Đề tài nhận dạng vân mạch máu lòng bàn tay dựa vào đặc trưng hướng đường vân cục bộ và đặc trưng sift cải tiến

TỔNG QUAN

Giới thiệu chung

1.1.1 Giới thiệu sinh trắc học

Trong thời đại công nghệ phát triển, nhận dạng cá nhân tự động ngày càng trở nên nhanh chóng và dễ dàng, với công nghệ sinh trắc học được ứng dụng rộng rãi, đặc biệt là nhận dạng vân tay trên thiết bị di động Ứng dụng này không chỉ tiện lợi mà còn giúp bảo mật thiết bị hiệu quả, với nhiều người dùng ưa chuộng sinh trắc học như một sự thay thế cho mật khẩu Sinh trắc học mang lại những lợi thế vượt trội, gắn kết chặt chẽ danh tính người dùng với các đặc điểm sinh trắc học không thể mất đi hoặc bị trùng lặp Hệ thống này cũng có khả năng chống lại các cuộc tấn công cao hơn so với các phương pháp xác thực khác, đồng thời xác định được các người dùng đã được đăng ký trong hệ thống.

Hệ thống sinh trắc học yêu cầu sự hiện diện của người dùng tại thời điểm xác thực, giúp ngăn chặn các yêu cầu từ chối sai và bảo vệ an ninh cho các ứng dụng nhạy cảm Điều này đặc biệt quan trọng trong bối cảnh mà kẻ mạo danh có thể cố gắng lợi dụng danh tính khác nhau Ngoài việc nâng cao bảo mật, các hệ thống này còn mang lại sự tiện lợi cho người dùng bằng cách giảm bớt nhu cầu về mật khẩu và mã thông báo.

Hệ thống sinh trắc học dựa vào các đặc điểm cơ thể và hành vi để nhận dạng người dùng Các đặc điểm sinh trắc học có thể được sử dụng bao gồm khuôn mặt, tai, mống mắt, quét võng mạc, giọng nói, vân tay, hình dạng bàn tay/ngón tay, mẫu vân mạch máu, nhịp tim, và thậm chí cả DNA.

Đặc điểm sinh trắc học về cơ thể và hành vi bao gồm những thói quen hành động của mỗi người như dáng đi, chữ ký, và cách sử dụng thiết bị Các yếu tố sinh trắc học như màu da, màu mắt, chiều cao, và hình xăm cũng được sử dụng để nhận diện Các thiết bị như camera tại siêu thị và nơi công cộng có khả năng xác định người qua lại Hệ thống nhận diện mới được thiết kế để giảm thiểu lỗi nhận dạng sai, và trong tương lai, các hệ thống thế hệ tiếp theo sẽ cải thiện khả năng này bằng cách phát hiện các yếu tố bên ngoài ảnh hưởng đến hiệu quả của công nghệ sinh trắc học.

1.1.2 Các ứng dụng của sinh trắc học

Hệ thống sinh trắc học được ứng dụng rộng rãi trong nhiều lĩnh vực, đặc biệt trong bảo mật, bao gồm kiểm soát truy cập vật lý và logic Các lĩnh vực này đóng vai trò quan trọng trong việc nâng cao an ninh và bảo vệ thông tin.

1 Dịch vụ ngân hàng/tài chính như máy ATM, thiết bị thanh toán đầu cuối, thanh toán không dùng tiền mặt, rút tiền mặt tự động,…

2 Bảo mật máy tính & công nghệ thông tin như giao dịch Internet, đăng nhập máy tính cá nhân,…

3 Chăm sóc sức khỏe như quan tâm đến quyền riêng tư, kiểm soát thông tin bệnh nhân, kiểm soát thuốc,…

4 Nhập cư như kiểm soát biên giới, du khách thường xuyên, người tị nạn,…

5 Luật pháp và trật tự xã hội như thẻ căn cước, bỏ phiếu, kiểm soát súng, nhà tù,…

6 Người gác cổng/Kiểm soát ra vào cửa như thiết lập an toàn, quân đội, khách sạn, quản lý tòa nhà,…

7 Viễn thông như điện thoại, gian lận thuê bao, trung tâm cuộc gọi, trò chơi, …

8 Điểm danh và sự chuyên cần trong học tập và chấm công trong công ty

9 Phúc lợi, bao gồm các dịch vụ chăm sóc sức khỏe và các khoản thanh toán phúc lợi

10.Sản phẩm tiêu dùng như máy dịch vụ tự động, ATM, thiết bị khóa, PDA,…

1.1.3 Yêu cầu của đặc trưng sinh trắc học Đặc trưng sinh trắc học cần thỏa các tính chất để có thể áp dụng được bao gồm: tính phổ biến, tính duy nhất, tính lâu dài, khả năng thu thập, khả năng đo lường, hiệu suất, khả năng chấp nhận và độ tin cậy Trong “Sổ tay sinh trắc học” [13], “Công nghệ sinh trắc học và các hoạt động phát triển tiêu chuẩn sinh trắc học quốc tế-bảo mật” [14], các đặc tính này được trình bày như sau:

Mỗi người dùng ứng dụng sinh trắc học cần có một phương thức nhận dạng cụ thể như dấu vân tay, mống mắt hoặc tai để xác thực danh tính của mình.

Tính duy nhất là một đặc tính quan trọng trong hệ thống sinh trắc học, giúp phân biệt giữa các cá nhân và ngăn chặn truy cập trái phép Những đặc điểm này không chỉ bảo vệ hệ thống khỏi các cuộc tấn công mà còn đảm bảo nhu cầu về bảo mật và quyền riêng tư khi thiết kế.

Tính lâu dài là một yếu tố quan trọng trong sinh trắc học, yêu cầu các đặc tính của cá nhân phải duy trì sự ổn định trong một khoảng thời gian nhất định để phù hợp với thuật toán so khớp của hệ thống.

Khảnăng thu thập: Đề cập đến sự dễ dàng của việc lấy dữ liệu sinh trắc học

Có thể thu thập và số hóa đặc trưng sinh trắc học thông qua các thiết bị cảm biến phù hợp mà không gây bất tiện cho người dùng Điều này cho phép chúng ta rút trích và biểu diễn hiệu quả tập dữ liệu sinh trắc học.

Khả năng đo lường của bộ dữ liệu sinh trắc học là yếu tố quan trọng trong việc phân tích thống kê để xác định kết quả chính xác Cần xem xét độ phức tạp của các thuật toán, thời gian tính toán và chi phí các thành phần trong sơ đồ nhằm đánh giá hiệu quả của hệ thống trong các ứng dụng thực tế.

Hiệu suất của hệ thống được sử dụng để đánh giá độ chính xác, giúp đảm bảo chỉ những người dùng được ủy quyền mới có quyền truy cập, đồng thời ngăn chặn những kẻ mạo danh.

Khả năng chấp nhận hệ thống sinh trắc học phụ thuộc vào phản ứng của người dùng, mức độ quen thuộc với công nghệ và thói quen sử dụng ứng dụng, cũng như sự sẵn sàng cung cấp dữ liệu sinh trắc học Độ tin cậy của các đặc tính sinh trắc học được xác định qua chất lượng của chúng, trong khi thuộc tính gian lận/giả mạo được dùng để đánh giá các cuộc tấn công tiềm ẩn và đo lường khả năng bắt chước đặc điểm sinh trắc học.

1.1.4 Đặc trưng vân mạch máu lòng bàn tay

Nhận dạng vân mạch máu lòng bàn tay, ra đời vào năm 1991, đã thu hút sự chú ý nhờ tính bảo mật cao, khả năng phát hiện trực tiếp và sự tiện lợi Phương pháp này sử dụng mạng lưới mạch máu dưới da, đảm bảo an toàn và dễ dàng chấp nhận bởi người dùng.

Vân mạch máu lòng bàn tay là một phương thức nhận dạng sinh học an toàn và khó bị sao chép, vì chúng không giống nhau ở mỗi người và thường không nhìn thấy bằng mắt thường, chỉ có thể được chụp dưới ánh sáng hồng ngoại Các mẫu vân mạch máu tự nhiên được che giấu và không trùng lặp, với sự khác biệt giữa tay trái và tay phải Hệ thống nhận dạng này đảm bảo tính sống động, vì hình ảnh vân mạch sẽ biến mất khi không có máu chảy Quá trình thu thập hình ảnh vân mạch máu lòng bàn tay diễn ra dễ dàng, không gây khó chịu cho người dùng, và không yêu cầu tiếp xúc trực tiếp với cảm biến, giúp tránh nhiễm bẩn Ngoài ra, các yếu tố bên ngoài như dầu mỡ, bụi bẩn, và tình trạng bề mặt tay không ảnh hưởng đến cấu trúc của vân mạch máu.

Hệ thống nhận dạng vân mạch máu lòng bàn tay

Hệ thống định danh cho phép xác định danh tính cá nhân thông qua việc so khớp các thuộc tính vân mạch máu với dữ liệu lưu trữ trong cơ sở dữ liệu Quá trình này liên quan đến việc tìm kiếm một-nhiều, giúp nhận diện người dùng một cách chính xác và hiệu quả.

Hệ thống xác thực danh tính yêu cầu người dùng xác minh thông tin của họ Thay vì so khớp tất cả các thuộc tính vân mạch máu đã lưu trữ, hệ thống chỉ cần đối chiếu một cặp thuộc tính: một thuộc tính đại diện cho danh tính yêu cầu và một thuộc tính khác tương ứng.

18 tính khác được đo lường tại thời điểm yêu cầu Do đó, xác thực bao gồm tìm kiếm một-một [29]

1.2.3 Quy trình nhận dạng vân mạch máu lòng bàn tay

Hệ thống nhận dạng vân mạch máu lòng bàn tay bao gồm bốn bước chính: thu nhận hình ảnh, tiền xử lý, rút trích đặc trưng và so khớp Đầu tiên, hình ảnh vân mạch máu được thu nhận, sau đó tiến hành tiền xử lý để phân đoạn hình ảnh Tiếp theo, quá trình rút trích đặc trưng sẽ thu được các đặc trưng hiệu quả từ hình ảnh đã được xử lý Cuối cùng, so khớp đặc trưng sẽ so sánh các đặc trưng vân mạch máu lòng bàn tay với cơ sở dữ liệu lưu trữ các mẫu đã đăng ký.

Hình 1.2 Sơ đồ khối nhận diện bằng hình ảnh vân mạch máu lòng bàn tay Thu nhận ảnh

Trong nghiên cứu sinh trắc học, việc kết hợp nhiều phương thức hình ảnh đã cho thấy tiềm năng lớn trong việc nâng cao hiệu suất nhận dạng Theo lý thuyết điện từ, sóng hertzian từ ánh sáng quang phổ nhìn thấy đến tia hồng ngoại gần có khả năng xâm nhập sâu hơn vào các đặc trưng sinh trắc học Đối với sinh trắc học bàn tay, việc sử dụng đèn chiếu sáng đa phổ cho phép xuyên qua các mô dưới da ở nhiều độ sâu khác nhau.

Thu nhận ảnh vân mạch máu lòng bàn tay Vị trí

Có 19 đặc điểm khác nhau trên các vùng lòng bàn tay, tạo nên cấu trúc bề mặt da và hệ thống động mạch, bao gồm cả vân mạch máu Dựa vào những đặc tính này, một thiết bị hình ảnh đa phổ đã được thiết kế để thu thập thông tin tương quan và bổ sung về bàn tay con người.

1.2.3.1.2 Mô tả thu nhận ảnh

Thiết bị chụp ảnh đa quang phổ lòng bàn tay, như thể hiện trong Hình 1.3, sử dụng hình ảnh 8 bit cho tất cả các bàn tay Mỗi bàn tay được chụp trong hai phiên, cách nhau hơn một tháng, với ba mẫu trong mỗi phiên Mỗi mẫu bao gồm sáu hình ảnh lòng bàn tay được chụp đồng thời với sáu quang phổ khác nhau, tương ứng với các bước sóng 460nm, 630nm, 700nm, 850nm, 940nm và ánh sáng trắng Giữa hai mẫu, các tư thế tay có thể được thay đổi để tăng tính đa dạng của các mẫu nội lớp và mô phỏng ứng dụng thực tế.

Hình 1.3 Thiết bị chụp ảnh đa phổ lòng bàn tay

Thiết bị chụp ảnh đa phổ lòng bàn tay không có chốt cố định, cho phép người dùng tự do điều chỉnh tư thế và vị trí của lòng bàn tay Người dùng cần đặt lòng bàn tay vào thiết bị và đảm bảo nó được đặt trước nền có màu đồng nhất Thiết bị này cung cấp ánh sáng phân bố đồng đều để chụp ảnh chất lượng cao.

Thiết bị này sử dụng 20 lòng bàn tay được ghi lại bằng camera CCD cố định ở đáy, cùng với một mạch điều khiển tự động điều chỉnh phổ Hình 1.4[15] trình bày sáu hình ảnh vân lòng bàn tay điển hình trong cơ sở dữ liệu.

Hình 1.4 Sáu hình ảnh vân lòng bàn tay điển hình trong cơ sở dữ liệu

Rút trích ROI là một yếu tố quan trọng trong việc xác định vân lòng bàn tay và vân mạch máu lòng bàn tay Quá trình này bao gồm việc điều chỉnh và xác định các điểm chính trên hình ảnh vân mạch máu và lòng bàn tay, từ đó chọn ra vùng trung tâm, hay còn gọi là vùng quan tâm (ROI), để thực hiện rút trích và so sánh đặc trưng nhận dạng Để đảm bảo tính nhất quán, vị trí ROI cho cả hình ảnh vân mạch máu và lòng bàn tay phải giống nhau Mục tiêu của việc xác định ROI là để chuẩn hóa các đặc trưng của đường vân, giúp loại bỏ các yếu tố bất lợi và tạo ra hình ảnh chứa thông tin đa dạng, thuận tiện cho việc rút trích và so khớp đặc trưng sau này Hiện nay, có nhiều phương pháp khác nhau để thực hiện rút trích ROI cho vân mạch máu và vân lòng bàn tay.

Phương pháp 21 dựa trên đường tròn nội tiếp cực đại và phương pháp tâm, trong đó đường tròn nội tiếp lớn nhất được xác định từ lòng bàn tay và thực hiện hiệu chỉnh góc quay Hình vuông nội tiếp lớn nhất được cắt ra từ đường tròn này, sau đó chuẩn hóa thành kích thước ROI 128 × 128 Đồng thời, phương pháp rút trích tâm sử dụng tâm của hình ảnh lòng bàn tay đã thu được, tạo ra hình ảnh con hình chữ nhật kích thước 256 × 256 với tâm làm trung tâm.

Phương pháp đường tròn nội tiếp cực đại thường được áp dụng trong giai đoạn tiền xử lý để rút trích ROI, đặc biệt là trong việc nhận diện các đặc trưng của vân mạch máu lòng bàn tay sau khi đã rút trích thông tin phong phú.

Lưu đồ phương pháp đường tròn nội tiếp cực đại

Hình 1.5 Lưu đồ của phương phápđường tròn nối tiếp cực đại rút trích ROI

Để giảm chi phí tính toán, trước tiên cần cắt bỏ các cạnh không cần thiết và sau đó xử lý nhị phân hình ảnh, biến ảnh thành ảnh đen trắng Tuy nhiên, hình ảnh sau khi xử lý nhị phân vẫn không hoàn hảo do có một số đốm trắng nhỏ là nhiễu không hữu dụng Vì vậy, cần áp dụng các phép toán hình thái để loại bỏ nhiễu này Hình ảnh bảng màu dưới nguồn sáng trắng được chọn ngẫu nhiên từ cơ sở dữ liệu CASIA, với Hình 1.6 là hình ảnh màu xám và Hình 1.7 là hình ảnh nhị phân sau khi thực hiện các phép toán hình thái.

Nhận đường tròn nội tiếp cực đại

Xoay hình ảnh, cắt hình chữ nhật nội tiếp Cắt vùng ROI

Hình 1.6 Hình ảnh mức xám

Hình 1.7 Hình ảnh nhị phân sau các phép toán hình thái

Mỗi người có kích thước và vị trí lòng bàn tay khác nhau, do đó, phương pháp xác định vị trí sử dụng đường tròn nội tiếp cực đại là rất cần thiết Cách tiếp cận này tận dụng đặc điểm đường viền hình dạng bàn tay để thu thập các bảng màu một cách chính xác.

1) Sau khi tiền xử lý, thu được hình ảnh nhị phân của lòng bàn tay, điểm trung tâm của đường tròn nội tiếp cực đại trong lòng bàn tay nằm trong vùng lòng bàn tay Để nâng cao hơn nữa hiệu quả của các phép tính, điểm trung tâm có thể nằm trong lòng bàn tay xung quanh tâm Sử dụng tâm làm điểm gốc để xác định một hình chữ nhật có chiều dài nhất định Theo kinh nghiệm, thường xác định kích thước hình chữ nhật là 100 × 100 Tìm kiếm tâm vòng tròn trong khu vực này sẽ cải thiện hiệu quả rất nhiều

2) Lấy một điểm trong hình chữ nhật làm tâm của đường tròn và thay đổi dần bán kính của hình tròn Khi cạnh của vòng tròn này rơi vào cạnh của vân mạch máu lòng bàn tay, sẽ ngừng tìm kiếm bán kính và ghi lại bán kính của hình tròn này

M ục tiêu đề tài

Bài viết này trình bày sự phát triển thuật toán nhận diện vân mạch máu thông qua việc cải tiến đặc trưng SIFT và đặc trưng mã nhị phân đối xứng cục bộ Mục tiêu chính là nâng cao hiệu năng thực hiện và thử nghiệm trên cơ sở dữ liệu quốc tế (PUT) nhằm chứng minh hiệu quả của phương pháp được đề xuất.

Phương pháp nghiên cứ u

Nghiên cứu và phát triển thuật toán dựa trên phương pháp mã nhị phân đối xứng cục bộ kết hợp với đặc trưng bất biến SIFT nhằm tạo ra đặc trưng mới cho việc nhận diện vân mạch máu lòng bàn tay.

Đặc trưng và phạm vi nghiên cứu

Đề tài làm việc với hình ảnh trên cơ sở dữ liệu ảnh vân mạch máu lòng bàn tay PUT được thu nhận với 2 bước sóng 850nm và 940nm.

Cấu trúc báo cáo

Báo cáo có cấu trúc gồm các chương như sau:

Sinh trắc học là một lĩnh vực nghiên cứu quan trọng với nhiều ứng dụng trong nhận diện và xác thực danh tính Hệ thống sinh trắc học yêu cầu các đặc trưng riêng biệt, trong đó vân mạch máu lòng bàn tay là một trong những đặc trưng nổi bật Quy trình nhận dạng vân mạch máu lòng bàn tay bao gồm các bước phân tích và so sánh để đảm bảo độ chính xác cao Mục tiêu nghiên cứu tập trung vào việc phát triển các phương pháp mới nhằm cải thiện hiệu suất nhận diện Phạm vi nghiên cứu không chỉ bao gồm các kỹ thuật hiện có mà còn mở rộng đến các ứng dụng trong thực tiễn Bài viết cũng sẽ giới thiệu về những đóng góp khoa học trong lĩnh vực này, nhấn mạnh tầm quan trọng của sinh trắc học trong việc bảo mật và xác thực danh tính.

 Chương 2 Các công trình nghiên cứu liên quan

Bài viết trình bày các phương pháp rút trích đặc trưng từ mạng lưới mạch máu, bao gồm bộ lọc MFRAT và các kỹ thuật dựa trên mẫu nhị phân cục bộ (LBP), mẫu nhị phân cục bộ mở rộng, cũng như đặc trưng dẫn xuất cục bộ (LDP) Ngoài ra, các phương pháp tiếp cận dựa trên đặc trưng cục bộ bất biến như biến đổi đặc trưng bất biến theo tỉ lệ (SIFT) và các phiên bản sửa đổi của SIFT cũng được giới thiệu Bên cạnh đó, bài viết còn đề cập đến các kỹ thuật rút trích đặc trưng vân lòng bàn tay và các phương pháp liên quan nhằm xử lý ảnh và rút trích các đặc trưng bất biến, không ổn định với tính phân biệt cao từ MFRAT.

 Chương 3 Phương pháp đề xuất

Nghiên cứu giới thiệu một phương pháp mới để rút trích đặc trưng vân mạch máu lòng bàn tay không tiếp xúc, kết hợp giữa mô hình nhị phân cục bộ đối xứng trung tâm (ECS-LBP) cải tiến và các kỹ thuật SIFT cùng MFRAT, được gọi là MFRAT SIFT - ECS-LBP Phương pháp này được thực hiện qua hai bước chính, nhằm nâng cao độ chính xác trong nhận dạng vân mạch máu lòng bàn tay.

1) áp dụng bộ lọc MFRAT để rút trích đặc trưng hướng của đường vân

2) Áp dụng phương pháp ECS-LBP để phát hiện các đường vân mạch máu lòng bàn tay ổn định và rõ ràng

3) Rút trích đặc trưng cục bộ bất biến SIFT trên hình ảnh đường vân mạch máu lòng bàn tay

 Chương 4 Kết quả thực nghiệm

Thực nghiệm trên cơ sở dữ liệu hình ảnh vân mạch máu lòng bàn tay đa phổ

PUT và so sánh với các phương pháp trước đó như LBP [21], CS-LBP-SIFT [18],

 Chương 5 Kết luận và hướng phát triển

Dựa theo kết quả thống kê ở chương 4, đánh giá độ chính xác của phương pháp đã để xuất Đưa ra phương án đề xuất phát triển trong tương lai

CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

Bộ lọc MFRAT

Bộ lọc MFRAT, được đề xuất bởi Huang và các cộng sự, là một công cụ mạnh mẽ để trích xuất các đường đặc trưng MFRAT hoạt động dựa trên phép biến đổi Radon, mang lại hiệu quả cao trong việc phân tích dữ liệu.

Nó thực kết nối các gờ bị hỏng với nhau, lấp đầy các lỗ và làm rõ tính đối xứng tuyến tính của các gờ một cách nhanh chóng

MFRAT được định nghĩa là phương pháp tính toán các đường khác nhau {m i } (i=0, 1, …, 12) trong một ảnh có diện tích cục bộ Zp với kích thước p x p, đi qua điểm trung tâm (x0, y0) theo công thức cụ thể.

Trong đó f [x, y] là giá trị mức xám pixel (x, y) thuộc đường Li Li biểu thị tập hợp các điểm thuộc đường Z p theo công thức:

Trong đó S i là hệ số độ dốc của L i Với đường L i đi qua tâm (x0, y0) đã xác định được, m i là tổng mức xám của các điểm trên đường L i

Hình 2.1 13x13 MFRAT theo 12 hướng, Điểm đỏ là tâm, các đường in đậm đi qua điểm tâm là các đường xác định được theo các hướng

Các đặc trưng mẫu nhị phân cục bộ

2.2.1 Đặc trưng mẫu nhị phân cục bộ (LBP)

Mẫu nhị phân cục bộ (LBP) là một phương pháp rút trích đặc trưng trong xử lý ảnh, đóng vai trò quan trọng trong phân loại kết cấu bất biến xoay Hình 2.1 minh họa toán tử LBP cơ bản, cho thấy quá trình rút trích đặc trưng và bước chọn lọc (feature selection) để tạo thành vector đặc trưng Vector này có thể được sử dụng trong các mô hình nghiên cứu Đối với mỗi pixel trong hình ảnh, giá trị của nó được so sánh với các giá trị pixel lân cận, và kết quả so sánh được mã hóa thành giá trị nhị phân.

Nếu giá trị của pixel trung tâm nhỏ hơn, nó được gán giá trị nhị phân 0, ngược lại sẽ là 1 Các bit nhị phân này được nhóm lại thành một chuỗi nhị phân và sau đó chuyển đổi thành số thập phân Kết quả cuối cùng chính là giá trị LBP cho pixel trung tâm.

Hình 2.2 Ví dụ về toán tử LBP

Mở rộng hoạt động của LBP thông qua việc sử dụng các vùng lân cận với tỉ lệ khác nhau, cho phép thay thế mỗi pixel bị thiếu bằng giá trị trung bình có trọng số của các pixel gần nhất trên bốn cạnh Điều này cho phép sử dụng bất kỳ bán kính và số lượng pixel nào trong vùng lân cận Hoạt động LBP được biểu thị bằng 𝐿𝐵𝑃 𝑃,𝑅, trong đó 𝑃 là điểm lấy mẫu trên đường tròn bán kính 𝑅 Một số ví dụ về các vùng lân cận tròn được minh họa trong Hình 2.3, so sánh với tâm nhị phân: 00111001 và thập phân: 57.

Để loại bỏ ảnh hưởng của việc xoay hình ảnh dẫn đến các mẫu nhị phân khác nhau, mỗi LBP được xoay về một vị trí tham chiếu chung cho tất cả các phiên bản xoay Điều này liên quan đến việc sử dụng toán tử LBP bất biến xoay, được biểu thị bởi LBP P,R ri, và được định nghĩa như sau:

𝐿𝐵𝑃 𝑃,𝑅 𝑟𝑖 = 𝑚𝑖𝑛{𝑅𝑂𝑅(𝐿𝐵𝑃 𝑃,𝑅 , 𝑖|𝑖 = 0,1,2, … 𝑃 − 1)} (2.3) trong đó 𝑅𝑂𝑅(𝑥, 𝑖) thực hiện chuyển dịch tròn các bit sang phải 𝑖 lần trên số nhị phân

Một phần mở rộng khác của phương pháp LBP là các mẫu đồng dạng [69],

Một mẫu nhị phân cục bộ được gọi là đồng dạng nếu chỉ chứa tối đa hai lần chuyển đổi bit từ 0 sang 1 hoặc ngược lại khi chuỗi nhị phân được dịch chuyển theo vòng tròn Ví dụ, các mẫu như 00000000, 00001111 và 10000011 là các mẫu đồng dạng với 0, một và hai chuyển đổi bit từ 0 sang 1 riêng biệt Phép toán 𝐿𝐵𝑃 𝑃,𝑅 𝑢2 được sử dụng để tạo ra các mẫu đồng dạng LBP, với Hình 2.3 minh họa 36 mẫu bất biến xoay được tạo ra bởi phép toán 𝐿𝐵𝑃8,𝑅 𝑟𝑖, trong đó có 9 mẫu ở hàng đầu tiên là đồng dạng.

Hình 2.1 36 mẫu bất biến xoay được tạo ra bởi phép toán 𝑳𝑩𝑷 𝟖,𝑹 𝒓𝒊

2.2.2 Mẫu nhị phân cục bộ mở rộng

Mẫu nhị phân cục bộ đa biến (Multivariate Local binary pattern - MLBP)

Phép toán mẫu nhị phân cục bộ đa biến (MLBP), do Arco Lucifer phát triển, mô tả quan hệ pixel cục bộ trong ba dải Nó không chỉ xem xét các tương tác không gian giữa các pixel trong một dải mà còn giữa các dải khác nhau, tạo ra một vùng lân cận bao gồm các lân cận cục bộ trong cả ba dải.

Hình 2.2 Phép đo kết cấu MLBP mô tả các mối quan hệ không gian trong một dải và giữa các dải

Dựa vào công thức (2.4), ngưỡng cục bộ được xác định từ các dải, tạo ra tổng cộng chín kết hợp khác nhau Kết quả này cho phép mô tả cấu trúc màu cục bộ thông qua thước đo kết cấu màu, được thể hiện bằng biểu đồ tần suất xuất hiện 𝑀𝐿𝐵𝑃 Biểu đồ này được tính toán trên một hình ảnh hoặc một vùng của hình ảnh, với phân phối đơn chứa 𝑃 × 3^2 số khoảng (bin), trong đó nếu 𝑃 = 8 sẽ tạo thành 72 bin.

Mẫu nhị phân cục bộ nâng cao (ELBP)

Mở rộng phép toán LBP bằng cách tính toán các giá trị đặc trưng từ các tập hợp điểm thay vì các điểm cô lập giúp cải thiện hiệu quả Việc xem xét các tỉ lệ khác nhau của vùng lân cận và trung tâm cho phép phương pháp này xử lý một số vấn đề tồn tại trong LBP truyền thống.

 LBP hỗ trợ không gian nhỏ, do đó không thể phát hiện đúng các cấu trúc kết cấu quy mô lớn

 LBP làm mất thông tin kết cấu cục bộ, vì chỉ sử dụng các dấu hiệu khác biệt của các pixel lân cận

LBP rất nhạy cảm với nhiễu, vì ngay cả những dao động nhỏ nhất trên hoặc dưới giá trị của điểm ảnh trung tâm cũng được xem là tương đương với độ tương phản chính giữa điểm ảnh này và môi trường xung quanh.

Hình 2.3 Sơ đồ phép toán E – LBP 4,4,3

Thuật toán ELBP được minh họa trong Hình 2.5, trong đó 𝐺 𝑁𝑖 đại diện cho tập hợp cường độ pixel lân cận xung quanh tâm 𝐶𝑁𝑖 Đối với trường hợp kích thước vùng lân cận là chẵn, pixel bên trái/trên cùng gần nhất sẽ được chọn làm tâm Bên cạnh đó, 𝐺 𝐶 là tập hợp cường độ pixel tại tâm 𝐶 𝐶, với 𝑟 là khoảng cách giữa pixel trung tâm 𝐶 𝑁𝑖 và các pixel lân cận.

𝐶𝐶 Các giá trị đại diện cho những bộ này dưới dạng giá trị trung bình của cường độ pixel thuộc các bộ này: 𝑔 𝑖=𝑚𝑒𝑎𝑛(𝐺 ′ 𝑁𝑖 ),𝑖∈{1,…,8} và 𝑔 𝐶=𝑚𝑒𝑎𝑛(𝐺 ′ 𝐶 )

Vectơ đặc trưng được tạo ra tương tự như trong phép toán LBP, nhưng sử dụng các giá trị 𝑔 𝑖 ′ và 𝑔 𝐶 ′ thay vì 𝑔 𝑖 và 𝑔 𝑐.

Phương sai mẫu nhị phân cục bộ (Local binary pattern variance - LBPV)

Bộ mô tả LBPV cho kết quả tốt hơn so với LBP nhờ vào việc kết hợp các đặc trưng cục bộ bất biến và cục bộ toàn cục Trong khi các đặc trưng cục bộ bất biến có nhược điểm làm mất thông tin không gian toàn cục, thì các đặc trưng cục bộ toàn cục lại lưu trữ ít thông tin cấu trúc Phương pháp LBPV sử dụng một cách tiếp cận lai đơn giản nhưng hiệu quả, kết hợp giữa LBP và phương pháp phân phối tương phản Phương pháp 𝐿𝐵𝑃𝑝,𝑟/𝑉𝐴𝑅𝑝,𝑟 mạnh mẽ nhờ vào việc khai thác thông tin bổ sung từ mô hình không gian và độ tương phản cục bộ Các giá trị ngưỡng được tính toán để lượng tử hóa VAR của các ảnh thử nghiệm, giúp phân chia thành N bin với số đầu vào bằng nhau.

0 , 𝑜𝑡ℎ𝑒𝑟𝑤𝑖𝑠𝑒 (2.6) Các giá trị ngưỡng này được sử dụng để lượng hóa phương sai của hình ảnh thực nghiệm.

Đặc trưng dẫn xuất cục bộ (Local derivative pattern - LDP)

Mẫu dẫn xuất cục bộ (LDP) là một lược đồ mã hóa được thiết kế cho các mẫu hướng cục bộ, ban đầu được áp dụng trong nhận dạng khuôn mặt Đối với một hình ảnh bảng màu, các dẫn xuất bậc nhất theo các hướng khác nhau được ký hiệu là 𝐼 𝜕 ′ (𝑍), trong đó 𝜕 có các giá trị 0°, 45°, 90° và 135° Giả sử rằng 𝑍0 là một điểm trong 𝐼𝑍.

𝑍𝑖(𝑖 = 1, … ,8) là điểm lân cận Do đó, các dẫn xuất bậc nhất của bốn hướng được minh họa như sau:

8 lân cận xung quanh điểm trung tâm được thể hiện như Hình 2.5:

Hình 2.4 Mẫu 8 pixel lân cận xung quanh Z 0

Dẫn xuất cấp hai của 𝑍 0 trên 𝜕(𝜕 = 0 0 , 45 0 , 90 0 𝑣à 135 0 có thể được minh họa như:

Trong đó 𝑓( , ) là một hàm mã hóa nhị phân xác định các loại chuyển đổi mẫu cục bộ như:

1, 𝑛ế𝑢 𝐼 𝜕 ′ (𝑍 0 ) ∙ 𝐼 𝜕 ′ (𝑍 𝑖 ) ≤ 0 (2.8) Cuối cùng, một vectơ 32-bit được nối bởi các dẫn xuất theo bốn hướng như sau:

Các đặc trưng cục bộ bất biến

Khớp hình ảnh là một yếu tố quan trọng trong nhiều vấn đề của thị giác máy tính, như nhận dạng đối tượng, xây dựng cấu trúc 3D từ nhiều hình ảnh, âm thanh và theo dõi chuyển động Các đặc trưng hình ảnh có tính chất phù hợp để so khớp các hình ảnh khác nhau, không thay đổi tỉ lệ và xoay, đồng thời chịu được biến đổi về ánh sáng và góc nhìn camera 3D Những đặc trưng này được định vị tốt trong không gian và tần số, giảm thiểu rủi ro bị gián đoạn do nhiễu hoặc biến dạng Số lượng lớn đặc trưng có thể được rút trích từ hình ảnh bằng các thuật toán hiệu quả, cho phép so khớp chính xác và hiệu suất cao dựa trên cơ sở dữ liệu đặc trưng, từ đó hỗ trợ nhận dạng đặc trưng và cảnh.

Chi phí rút trích các đặc trưng hình ảnh được tối ưu hóa thông qua phương pháp lọc theo tầng, cho phép chỉ áp dụng các hoạt động tốn kém tại những vị trí vượt qua các thử nghiệm ban đầu Các giai đoạn tính toán chính sau đây sẽ được sử dụng để xây dựng tập hợp các đặc trưng này.

1 Phát hiện các điểm cực trị trong không gian theo tỉ lệ (Scale-space extrema detection): Giai đoạn đầu tiên của quá trình tính toán tìm kiếm trên tất cả các tỉ lệ và vị trí hình ảnh Được thực hiện một cách hiệu quả bằng cách sử dụng một hàm khác biệt của Gaussian để xác định các điểm quan tâm tiềm năng bất biến theo tỉ lệ và hướng

2 Định vị điểm chính (Keypoint localization): Tại mỗi vị trí điển hình, một mô hình chi tiết phù hợp để xác định vị trí và tỉ lệ Các điểm chính được lựa chọn dựa trên các thước đo về độ ổn định

3 Xác định hướng (Orientation assignment): Một hoặc nhiều hướng được chỉ định cho mỗi vị trí điểm chính dựa trên các hướng gradient hình ảnh cục bộ Tất cả các hoạt động trong tương lai được thực hiện trên dữ liệu hình ảnh đã được chuyển đổi so với hướng, tỉ lệ và vị trí được chỉđịnh cho từng đặc trưng cục bộ, do đó cung cấp tính bất biến cho các phép biến đổi này

4 Bộ mô tả điểm chính (Keypoint descriptor): Gradient của hình ảnh cục bộ được đo ở tỉ lệ đã chọn trong vùng xung quanh mỗi điểm chính Mỗi điểm chính này được chuyển đổi thành một điểm biểu diễn cho phép mức độ biến dạng cục bộ đáng kể và thay đổi độ chiếu sáng

Đặc trưng chuyển đổi bất biến theo tỉ lệ (SIFT) là một phương pháp chuyển đổi dữ liệu hình ảnh thành tọa độ bất biến theo tỉ lệ, liên quan đến các đặc trưng cục bộ.

Một yếu tố quan trọng trong phương pháp này là tạo ra một lượng lớn các đặc trưng cục bộ, giúp bao phủ dày đặc hình ảnh ở nhiều tỉ lệ và vị trí khác nhau Ví dụ, một hình ảnh kích thước 500x500 pixel có thể tạo ra khoảng 2000 đặc trưng ổn định Số lượng đặc trưng này rất quan trọng cho việc nhận dạng, vì để phát hiện các đặc trưng nhỏ trong ảnh gốc, cần ít nhất 3 đặc điểm phải được so khớp chính xác để đảm bảo độ tin cậy Để thực hiện việc so khớp và nhận dạng hình ảnh, các đặc trưng SIFT được rút trích từ một tập hợp hình ảnh tham chiếu và lưu trữ trong cơ sở dữ liệu Hình ảnh mới sẽ được so khớp bằng cách so sánh từng đặc trưng với cơ sở dữ liệu, tìm kiếm các đặc trưng phù hợp dựa trên khoảng cách Euclide của các vectơ đặc trưng.

Các bộ mô tả điểm quan trọng giúp xác định các đặc trưng cục bộ một cách chính xác trong cơ sở dữ liệu lớn Tuy nhiên, nhiều đặc trưng từ nền trong hình ảnh gốc không có kết quả khớp chính xác, dẫn đến việc phát sinh nhiều kết quả không mong muốn.

Các kết quả chính xác có thể được lọc từ các kết quả phù hợp bằng cách xác định các tập hợp con của các điểm chính thống nhất về đặc trưng và vị trí, tỉ lệ và hướng trong hình ảnh mới Việc xác định các cụm thích hợp này có thể được thực hiện nhanh chóng thông qua việc sử dụng bảng băm triển khai phép biến đổi Hough tổng quát.

Mỗi cụm ba đặc trưng trở lên sẽ được xác thực dựa trên một đặc trưng và tư thế thống nhất Đầu tiên, thực hiện ước tính bình phương nhỏ nhất cho một xấp xỉ affine của đặc trưng tư thế Các đặc điểm hình ảnh phù hợp sẽ được xác định, trong khi các đặc điểm ngoại lệ sẽ bị loại bỏ Cuối cùng, phép tính chi tiết sẽ được thực hiện dựa trên xác suất của các đặc trưng cụ thể, cho thấy sự hiện diện của đặc trưng đó, dựa trên độ chính xác và số lượng kết quả sai Các đặc trưng phù hợp vượt qua các bài kiểm tra này sẽ được xác định là đúng với độ tin cậy cao.

Phát hiện điểm cực trị không gian theo tỉ lệ (Scale-space extrema detection)

Phương pháp lọc theo tầng sử dụng các thuật toán hiệu quả để xác định các vị trí tiềm năng, sau đó tiến hành kiểm tra chi tiết Giai đoạn đầu tiên trong việc phát hiện điểm chính là xác định các vị trí và tỉ lệ có thể lặp lại dưới các góc nhìn khác nhau Để phát hiện các vị trí bất biến với sự thay đổi tỉ lệ hình ảnh, cần tìm kiếm các đặc trưng ổn định trên tất cả các tỉ lệ có thể, thông qua một hàm liên tục theo tỉ lệ được gọi là không gian tỉ lệ (Witkin, 1983).

Koenderink (1984) và Lindeberg (1994) đã chỉ ra rằng dưới nhiều giả thiết hợp lý, nhân không gian tỉ lệ duy nhất có thể là hàm Gaussian Do đó, không gian tỉ lệ của một hình ảnh được định nghĩa là hàm 𝐿(𝑥, 𝑦, 𝜎), được tạo ra từ tích chập của Gaussian tỉ lệ biến 𝐺(𝑥, 𝑦, 𝜎) với hình ảnh đầu vào 𝐼(𝑥, 𝑦).

Các điểm quan tâm với đặc trưng SIFT tương ứng với các điểm cực trị cục bộ của bộ lọc difference-of-Gaussian (DoG) ở nhiều tỉ lệ khác nhau, tạo ra một không gian tỉ lệ đa dạng.

39 của một hình ảnh được định nghĩa như một hàm 𝐿(𝑥, 𝑦, 𝜎) được tạo ra từ phép nhân chập một biến tỉ lệ Gaussian 𝐺(𝑥, 𝑦, 𝜎) với một hình ảnh đầu vào 𝐼(𝑥, 𝑦):

𝐿(𝑥, 𝑦, 𝜎) = 𝐺(𝑥, 𝑦, 𝜎) ∗ 𝐼(𝑥, 𝑦), trong đó ∗ là phép toán tích chập theo 𝑥 và 𝑦, và

Để phát hiện hiệu quả các vị trí điểm chính ổn định trong không gian tỉ lệ, Lowe (1999) đã áp dụng điểm cực trị không gian tỉ lệ trong hàm DoG được biến đổi với hình ảnh, 𝐷(𝑥, 𝑦, 𝜎) Hàm này có thể được tính toán từ hiệu số của hai thang đo gần nhau, được phân tách bằng hệ số nhân 𝑘 không đổi.

PHƯƠNG PHÁP ĐỀ XUẤT

KẾT QUẢ THỰC NGHIỆM