Nhận dạng chuyển động bàn tay dựa vào phân đoạn màu thực hiện trên FPG

Lý thuyết phân đoạn màu trong xử lý ảnh và áp dụng vào nhận dạng theo dõi vật thể

Giới thiệu về các hệ thống theo vết vật thể di động

Hiện nay, có hai dạng chính của xử lý song song trong xử lý hình ảnh ở mức thấp: xử lý song song về không gian, trong đó hình ảnh được chia thành nhiều phần và xử lý đồng thời, và xử lý song song về thời gian, trong đó thuật toán được biểu diễn như chuỗi sự kiện theo thời gian Thuật toán xử lý song song theo thời gian thực hiện thông qua việc xây dựng đường ống các tác vụ đồng thời, giúp giảm số lần truy cập và sao chép hình ảnh từ bộ nhớ, cho phép xử lý trực tiếp trên luồng dữ liệu từ bộ chuyển đổi tín hiệu video ADC Luận văn này áp dụng xử lý dữ liệu hình dựa trên luồng, do đó có những giới hạn về các loại thuật toán có thể được áp dụng một cách dễ dàng và hiệu quả.

Có nhiều kỹ thuật theo dõi vật thể có thể áp dụng trong xử lý đề tài Các thuật toán theo dõi dựa trên chuyển động sẽ phân tích sự khác biệt giữa các khung hình liên tiếp để suy ra chuyển động của vật thể Tuy nhiên, các phương pháp nhận dạng dựa vào chuyển động này cần có bộ đệm khung hình, do đó sẽ không được sử dụng trong đề tài này.

Một phương pháp thay thế khác là tiếp cận dựa vào phân đoạn, trong đó vật thể mục tiêu được tách ra khỏi nền trong bức hình Sau khi tách, vật thể sẽ được theo dõi bằng cách tính toán sự thay đổi vị trí qua các khung hình tiếp theo.

Phân đoạn là quá trình chia hình ảnh thành các vùng vật thể riêng biệt dựa trên những đặc điểm chung đồng nhất.

Trang 5 characteristics) Một phương pháp đơn giản là phân đoạn bức ảnh dựa vào màu sắc bằng cách áp dụng các ngưỡng cho mỗi điểm ảnh (pixel) Phương pháp này lý tưởng cho xử lý theo luồng (stream) bởi vì việc xét ngưỡng là phép toán điểm có thể dễ dàng thực hiện trên FPGA Phần tiếp theo sẽ bàn đến ảnh hưởng của môi trường đối với phương pháp phân đoạn dựa trên màu sắc Sơ đồ khối tổng quát của hệ thống được minh hoạ ở hình 2.1 dưới đây

Hình 2.1: Sơ đồ khối của hệ thống theo vết vật thể di động dựa trên việc phân đoạn màu sắc

Thuật toán theo dõi bao gồm bốn giai đoạn chính: chuyển đổi màu, phân đoạn và dán nhãn các khu vực, lọc hình thái, và phát hiện vật thể Đầu tiên, luồng điểm ảnh từ thiết bị thu hình được chuyển đổi từ không gian màu RGB sang không gian màu YUV để loại bỏ sự phụ thuộc giữa độ sáng và sắc độ Sau đó, phân đoạn được thực hiện bằng cách sử dụng ngưỡng màu sắc để kết hợp mỗi điểm ảnh với một lớp màu cụ thể, giúp nhận dạng vật thể Tiếp theo, bộ lọc hình thái được áp dụng để loại bỏ các điểm ảnh nhiễu không thuộc vùng vật thể Cuối cùng, quá trình phát hiện vật thể được thực hiện.

Trang 6 hiện bằng cách xây dựng một hộp đường bao (bounding box) chứa đựng tất cả điểm ảnh nằm cùng một lớp màu Đối với mỗi vật thể được nhận dạng, ta có thể xác định được các thông số hữu ích về vùng vật thể như vị trí, kích thước, định hướng …

Tác động của môi trường đến nhận dạng

Mục tiêu của hệ thống nhận dạng là hoạt động hiệu quả trong môi trường không có cấu trúc, điều này mang lại tính linh hoạt và di động cao Tuy nhiên, việc xác định chính xác và đáng tin cậy trong những môi trường này trở nên khó khăn do sự cần thiết phải phân biệt đối tượng mong muốn với các vật thể khác có mặt Để khắc phục những khó khăn này, cần giới hạn đối tượng nhận dạng trong các màu sắc có độ bão hòa và đặc trưng cao, giúp chúng tách biệt rõ ràng với nền không có cấu trúc.

Việc cải thiện môi trường không có cấu trúc bằng cách sử dụng các màu có cấu trúc giúp đơn giản hóa quá trình áp dụng giải thuật phân đoạn màu Trong nghiên cứu này, việc nhận dạng các ngón tay sẽ được hỗ trợ bằng cách đeo băng keo màu đỏ và vàng, nhằm tăng cường khả năng phân đoạn so với môi trường hỗn hợp thông thường.

Việc phát hiện và phân đoạn vật thể dựa vào màu sắc yêu cầu điều chỉnh các biến tương tác một cách chính xác Ngoài việc điều chỉnh độ mở của ống kính và tối ưu ngưỡng màu sắc cho từng vật thể, ánh sáng trong môi trường cũng rất quan trọng Màu sắc và vị trí của nguồn sáng ảnh hưởng lớn đến độ tin cậy của thuật toán Nguồn sáng trong trường nhìn của camera có thể tạo ra các điểm ảnh nhiễu, trong khi nguồn sáng đặt phía trước có thể làm giảm chất lượng hình ảnh.

Trang 7 điểm ảnh của vật thể bão hoà và ngã màu trắng Vì vậy nguồn sáng khuếch tán (diffuse light) là thích hợp nhất.

Thu hình ảnh và không gian màu

Việc thu hình ảnh sử dụng video camera và bộ chuyển đổi ADC, trong đó mỗi điểm ảnh có màu sắc thuộc một lớp màu nhất định Tuy nhiên, khi áp dụng ngưỡng giá trị màu trong không gian màu RGB, kết quả có thể không ổn định do phụ thuộc vào cường độ màu Hiện nay, nhiều video camera đã chuyển sang sử dụng không gian màu YUV, giúp tách biệt thành phần màu sắc với cường độ và độ sáng, từ đó tăng cường độ ổn định trong việc nhận dạng.

Nhận dạng vật thể

Hộp đường bao (bounding box) là một công cụ hữu ích để xác định vị trí, kích thước và tỉ lệ tương quan của một vùng được gán nhãn Ngoài ra, nếu được xử lý thêm, hộp đường bao còn giúp xác định phương hướng của các vật thể không đối xứng.

Hộp đường bao (bounding box) được xác định bởi các điểm ảnh ở các vị trí trên cùng, dưới cùng, bên trái và bên phải thuộc về một lớp màu cụ thể Phương pháp này ghi lại tọa độ của điểm ảnh đầu tiên trong vùng dán nhãn khi thực hiện quét liên tiếp (raster scan), từ đó xác định đỉnh của hộp Trong quá trình quét, tọa độ x của mỗi điểm ảnh được so sánh với tọa độ mép trái (min) và mép phải (max) hiện tại của hộp, và các giá trị này sẽ được cập nhật khi phát hiện điểm ảnh nằm ngoài vùng đường bao Cuối cùng, điểm ảnh cuối cùng trong vùng dán nhãn sẽ xác định tọa độ y của cạnh dưới của hộp.

Mỗi vật thể mục tiêu trong một lớp màu đều có hộp đường bao riêng, yêu cầu tính toán song song tất cả các hộp trong quá trình xử lý ảnh Để theo dõi từng hộp, có thể xây dựng phần cứng với cấu trúc dữ liệu riêng biệt Tuy nhiên, do mỗi điểm ảnh chỉ được gán nhãn cho một phần của lớp màu, chỉ có một hộp duy nhất được điều chỉnh cho mỗi điểm ảnh Vì vậy, việc sử dụng nhiều thành phần phần cứng lặp lại là không hiệu quả, vì chỉ có một phiên bản phần cứng hoạt động tại một thời điểm.

Thay vì sử dụng nhiều phần cứng, chúng ta có thể chia sẻ một thể hiện duy nhất của phần cứng hộp đường bao Sự chia sẻ này được thực hiện thông qua việc ghép lại các cấu trúc dữ liệu chứa thông tin cho mỗi hộp dựa trên lớp màu Bằng cách điều chỉnh các logic cells làm bộ nhớ trên chip, chúng ta có thể tạo ra một dãy cấu trúc hộp để lưu trữ dữ liệu yêu cầu, với các ghép nối kênh được thực hiện ngầm qua cổng địa chỉ.

Sau khi quét toàn bộ vùng ảnh, các hộp đường bao sẽ được tạo ra thành công Thông tin hữu ích về hộp đường bao có thể được trích xuất trong khoảng chu kỳ trống chiều dọc và sử dụng để điều khiển các ứng dụng, cho phép ánh xạ thông tin này vào các chức năng có ích.

Tâm của hộp tương ứng với vị trí mục tiêu và có thể được tính đơn giản bằng cách lấy tổng các tọa độ trên, dưới, trái, phải Để xác định tọa độ tâm, bạn chỉ cần dịch các kết quả này qua phải 1 bit và chia cho 2: y_center = (y_top + y_bottom) / 2 và x_center = (x_left + x_right) / 2.

Kích thước của một vật thể được xác định thông qua chiều rộng và chiều cao, được tính bằng cách trừ tọa độ bên trái và bên phải, cũng như tọa độ trên và dưới Dựa vào kích thước này, chúng ta có thể suy luận khoảng cách từ vật thể đến camera.

Tỉ lệ tương quan được xác định bằng tỉ lệ chiều rộng so với chiều cao Người dùng có khả năng xoay các băng đánh dấu màu để điều chỉnh tỉ lệ này, đồng thời có thể sử dụng nó để mô phỏng hành động tương tự như việc nhấn chuột.

Hướng của một vật thể thon dài có thể xác định thông qua việc tăng hộp giới hạn Khi điều chỉnh biên trái trong ảnh, bộ cộng dồn sẽ giảm, trong khi điều chỉnh biên phải sẽ làm tăng bộ cộng dồn Đối với vật thể có hình dạng giống như roi ở một góc, một phía thường được mở rộng nhiều hơn phía còn lại, điều này được thể hiện qua dấu âm hoặc dương của bộ cộng dồn.

Phương pháp hộp đường biên trong nhận dạng vật thể dễ bị ảnh hưởng bởi nhiễu ở các điểm ảnh biên, dẫn đến hiện tượng gai trong vùng phát hiện Những gai này có thể gây ra sự bất ổn định và nhiễu cho các thông số theo dõi Để cải thiện độ chính xác, có thể áp dụng kỹ thuật làm mềm thông tin theo dõi qua chuỗi các vùng ảnh, tuy nhiên, điều này sẽ yêu cầu thêm tài nguyên logic cho hệ thống.

Lọc hình thái

Một vấn đề quan trọng trong việc xử lý hình ảnh là sự xuất hiện của các điểm ảnh nhiễu cô lập, ngay cả khi đã điều chỉnh đầy đủ Những điểm ảnh rải rác này có thể làm sai lệch hộp đường biên bao quanh các pixel, dẫn đến sai sót trong việc tính toán các vùng bao và thông tin theo dõi Các điểm ảnh có thể bị dán nhãn sai do nhiều yếu tố như sự tương đồng màu sắc với các vật thể khác, nhiễu từ hệ thống thu nhận hình ảnh, phản chiếu long lanh, và các cạnh có độ tương phản cao Để khắc phục tình trạng này, cần áp dụng bộ lọc ăn mòn theo hình thái với thành phần cấu trúc kích thước 2x2 nhằm loại bỏ các điểm ảnh không chính xác.

Bộ lọc này loại bỏ các nhãn của điểm ảnh không thuộc nhóm điểm ảnh trong cửa sổ thành phần hình vuông 2x2 (4 pixel).

Trang 10 minh đủ để loại bỏ hầu hết các nhiễu với điều kiện ánh sáng môi trường, hệ thống chụp ảnh (bao gồm cả độ mở/khẩu độ của ống kính) và các ngưỡng màu đã được thiết lập thích hợp Bộ lọc này không thể loại bỏ các điểm ảnh dán nhãn sai vì lý do đang có một vật khác giống màu đối tượng mục tiêu nằm trong cùng môi trường chụp ảnh

Bộ lọc 2x2 có khả năng tách riêng và hoạt động độc lập với cửa sổ gồm 2 phần tử theo chiều dọc và ngang Điểm ảnh hiện tại được so sánh với điểm ảnh bên trái bằng toán tử AND theo bit của các mặt nạ màu Nếu điểm ảnh trước thuộc cùng lớp màu, nó sẽ không thay đổi, nhưng nếu khác màu, kết quả sẽ là 0 và được lưu vào bộ đệm dòng Kết quả này cũng được so sánh với nhãn màu của điểm ảnh ở dòng trước, mà nhãn này được lấy từ bộ đệm dòng Bộ lọc sử dụng dòng cuối cùng của khung hình trước khi xử lý dòng đầu tiên của khung hình hiện tại, đồng thời tham chiếu đến điểm ảnh bên phải của dòng trước khi xử lý điểm ảnh đầu tiên của dòng hiện tại.

Trong một số trường hợp, bộ lọc không thể loại bỏ hoàn toàn nhiễu, vì vậy việc tăng kích thước cửa sổ của bộ lọc có thể giúp giảm số nhiễu còn sót lại Bên cạnh đó, sử dụng hệ thống dán nhãn các thành phần kết nối phức tạp hơn cũng là một giải pháp khả thi Tuy nhiên, các cải tiến này có thể dẫn đến việc tiêu hao tài nguyên và bộ nhớ nhiều hơn Một hệ thống thông thường có thể hoạt động hiệu quả sau khi điều chỉnh cẩn thận ánh sáng và các thông số hệ thống.

Xây dựng chương trình nhận dạng chuyển động của bàn tay dựa vào phân đoạn màu và thực hiện mạch phần cứng trên FPGA

Giới thiệu kit Altera DE2

Hình sau là thiết kế và các thành phần trên kit DE2

Kit DE2 cung cấp nhiều tính năng hữu ích cho người dùng như sinh viên, giáo sư và kỹ sư, cho phép họ thiết kế đa dạng các mạch từ đơn giản đến những mạch truyền thông đa phương tiện phức tạp.

Trên kit DE2 có những thành phần phần cứng sau:

 Chip Altera Cyclone® II 2C35 FPGA, cụ thể là EP2C35F672C6: gồm có

33216 LE (logic elements, mỗi LE gồm 4 cổng ngõ vào, 1 FF Flip Flop và 1 bộ cộng chuỗi carry bit); 35 bộ nhân 18x18 bits; 105 khối bộ nhớ M4K (mỗi

Trang 12 khối dung lượng 4Kbit); 4 bộ PLL (phase locked loop) để chia tạo xung clock chính xác

The Chip USB Blaster, integrated on the board, facilitates program uploading to the kit and enables users to utilize application programming interface (API) functions It supports both JTAG and Active Serial (AS) modes for effective debugging.

 8 Mbyte SDRAM: tổ chức thành 4 banks x 1M x 16 bits

 18 nút gạt (gạt lên = logic 1, gạt xuống = logic 0)

 18 đèn LED đỏ (tên để gán chân là LEDR) và 9 LED xanh lục (LEDG)

 Bộ dao động 50 MHz và 27 MHz dùng làm nguồn xung clock

Chip ADV7123 là giải pháp giải mã tín hiệu video ngõ ra VGA, được trang bị 3 bộ giải mã DAC 10-bit với tốc độ cao lên đến 240-MHz Sản phẩm này có đầu nối D-sub tiêu chuẩn 15 chân cho ngõ ra VGA, đảm bảo chất lượng hình ảnh sắc nét và mượt mà.

 Chip giải mã tín hiệu TV ngõ vào (định dạng NTSC/PAL) ADV7181B (gồm

3 bộ ADC 9 bit tốc độc 54 MHz) và đầu cắm RCA in Hỗ trợ ngõ ra số định dạng chuẩn ITU-R BT.656 YCrCb 4:2:2 + tín hiệu đồng bộ ngang và dọc

HS, VS và tín hiệu FIELD

Tất cả các kết nối với phần cứng và thiết bị ngoại vi đều được thực hiện qua FPGA, cho phép người dùng linh hoạt lập trình FPGA để thực hiện bất kỳ thiết kế hệ thống nào.

 Các ngoại vi và phần cứng khác có thể xem thêm trong tài liệu tham khảo DE2 user manual trên website của Altera.

Sơ đồ khối tổng quát của chương trình

Sơ đồ khối tổng quát của chương trình được cho ở hình 3.2 dưới đây

Hình 3.2: Sơ đồ các khối tổng quát của chương trình

Sử dụng camera Canon 500D ở chế độ thu video NTSC, kết nối với jack RCA trên kit DE2 thông qua cáp USB-RCA đi kèm, giúp xuất hình ảnh và video từ máy ảnh ra tivi một cách dễ dàng.

Hình 3.3: Camera sử dụng và cáp USB – RCA kết nối với kit

Khối giải mã video (Video Decoder) nhận tín hiệu video analog từ camera qua jack cắm RCA vào kit DE2, sau đó tín hiệu này được chuyển đến chip ADV7181B để giải mã Quá trình này giúp trích xuất tín hiệu video ở định dạng YCrCb 4:2:2 (YUV 4:2:2) từ luồng dữ liệu analog theo chuẩn ITU-R.

656 Khối này cũng tạo ra tín hiệu điều khiển chỉ ra khoảng thời gian hợp lệ của dữ liệu ngõ ra

 Khối I2C_AV_Config: khi chúng ta nạp luồng bit của chương trình

Để cấu hình hoạt động của chip TV decoder, giá trị thanh ghi sẽ được tải xuống FPGA thông qua khối I2C_AV_Config Khối này sử dụng giao thức I2C (inter-integrated circuit) để thực hiện giao tiếp với chip TV decoder.

SDRAM memory serves as a frame buffer and is responsible for de-interlacing interlaced video signals from the TV decoder.

 Khối YUV to RGB: chuyển đổi dữ liệu YCrCb sang định dạng RGB để xử lý và xuất ra VGA

Khối Main Control là phần quan trọng trong thiết kế, chịu trách nhiệm phát hiện và phân đoạn màu sắc Nó đọc dữ liệu từng điểm ảnh từ bộ đệm khung hình trong SDRAM, tính toán giá trị RGB và dựa vào cường độ tương đối của các thành phần Red, Green, Blue để nhận diện màu sắc khác nhau Đồng thời, khối này cũng xác định điểm giữa của khối đánh dấu màu và lưu giá trị màu đang chọn vào bộ nhớ M4K để khối VGA có thể đọc và hiển thị trên màn hình.

Khối VGA bao gồm VGA controller và VGA display, trong đó VGA controller nhận dữ liệu RGB từ bộ nhớ M4K và chuyển đổi thành tín hiệu analog thông qua VGA DAC Mỗi ô nhớ trong bộ nhớ M4K tương ứng với một điểm ảnh trên màn hình VGA, với độ rộng 2 bits cho phép lưu trữ 4 giá trị màu khác nhau Bên cạnh đó, VGA controller còn hiển thị bảng màu để người dùng có thể chọn màu khi vẽ.

Hình 3.4: Bảng màu trên màn hình để chọn màu vẽ

Chi tiết thực hiện chương trình

3.3.1 Khối giải mã video – Video Decoder

3.3.1.1 Chip giải mã tín hiệu ADV7181

Kit DE2 được trang bị chip ADV7181 của Analog Devices, một bộ giải mã video tích hợp có khả năng tự động phát hiện và chuyển đổi tín hiệu tivi analog chuẩn (NTSC, PAL và SECAM) thành dữ liệu video thành phần 4:2:2 tương thích với CCIR601/CCIR656 16-bit/8-bit Chip ADV7181 tương thích với nhiều thiết bị video như đầu đọc DVD, nguồn video từ băng từ, nguồn video/tivi phát quảng bá và các loại camera như camera dân dụng và camera giám sát an ninh.

Các thanh ghi của bộ giải mã có khả năng lập trình để giao tiếp thông qua bus I2C Dưới đây là sơ đồ kết nối và sơ đồ chân của bộ giải mã.

Hình 3.5: Sơ đồ bộ giải mã video

Bảng 3.1: Tên và ý nghĩa các chân của bộ giải mã video

3.3.1.2 Sơ đồ toàn bộ khối giải mã tín hiệu video

Hình 3.6: Sơ đồ khối giải mã video

3.3.1.2.a Chương trình ITU_656_Decoder giải mã tín hiệu từ TV decoder module ITU_656_Decoder( // TV Decoder Input

// Position Output oTV_X, oTV_Y, oTV_Cont,

The system incorporates various control signals, including iSwap_CbCr, iSkip, iRST_N, and iCLK_27, alongside an 8-bit input data signal (iTD_DATA) The outputs consist of a 16-bit YCbCr signal (oYCbCr), two 10-bit signals representing TV coordinates (oTV_X and oTV_Y), a 32-bit content signal (oTV_Cont), and a data valid signal (oDVAL).

The article discusses the implementation of various registers and signals for video processing, including a sliding window register (Window), a counter (Cont), and control signals such as Active_Video, Start, and Data_Valid It also highlights the use of a pre-field register (Pre_Field), a field register (Field), and a synchronization signal (SAV), along with a frame validity signal (FVAL) and a 10-bit vertical position register (TV_Y) Additionally, a 32-bit data counter (Data_Cont) is included for managing data flow.

The code snippet implements a conversion from ITU-R 656 to ITU-R 601 format, utilizing registers for Cb, Cr, and YCbCr values It assigns output signals for oTV_X and oTV_Y, while also defining the oYCbCr and oDVAL outputs based on the YCbCr and Data_Valid signals, respectively The SAV signal is determined by specific conditions involving the Window and iTD_DATA inputs Additionally, the Data_Cont is assigned to oTV_Cont, and the always block is triggered on the positive edge of iCLK_27 or the negative edge of iRST_N, initializing the registers upon reset.

Data_Cont