Chương 2. MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG VÀ THEO DÕI CHUYỂN ĐỘNG CỦA MẮT NGƯỜI
2.4 Phương pháp phát hiện vùng mắt trong ảnh chứa khuôn mặt con người . 36
2.4.1. Phương pháp đối sánh mẫu
Một trong những phương pháp phát hiện mắt phổ biến là đối sánh mẫu.
Trong phương pháp này, một con mắt mẫu T được sử dụng để phát hiện mắt từ hình ảnh khuôn mặt. Sự tương quan của mẫu mắt với các khu vực chồng chéo khác nhau của hình ảnh khuôn mặt được phát hiện ra. Vùng có tương quan tối đa với các mẫu đề cập đến khu vực mắt. Sơ đồ khối của phương pháp này được thể hiện trong hình dưới đây:
Hình 2.10. Phát hiện mắt dựa vào đối sánh mẫu
Bài toán: Cho I là một hình ảnh có kích thước m × n và T là một hình ảnh kích thước p × q. Đối sánh mẫu có thể được định nghĩa như là một phương pháp tìm kiếm mà phát hiện ra các phần trong I kích thước p × q trong đó T có hệ số tương quan chéo tối đa với nó.
Hệ số tương quan chéo được định nghĩa là 𝛾(𝑥𝑦) = ∑ ∑ 𝛿𝑠 𝑡 𝐼(𝑥+𝑠,𝑦+𝑡)𝛿𝑇(𝑠,𝑡)
∑ ∑ 𝛿𝑠 𝑡 𝐼(𝑥+𝑠,𝑦+𝑡)2 𝛿𝑇(𝑠,𝑡)2 (2.13) Trong đó,
𝛿𝐼(𝑥+𝑠,𝑦+𝑡) = 𝐼(𝑥 + 𝑠, 𝑦 + 𝑡) − 𝐼(𝑥, 𝑦), 𝛿𝑇(𝑠,𝑡) = T(s,t) - 𝑇
s 𝜖 {1,2,3,…,p}, t 𝜖 {1,2,3,…,q},
𝑥 𝜖 {1,2,3,…,m - p+1}, y 𝜖 {1,2,3,…,n - q+1}, 𝐼(𝑥, 𝑦) = 1
𝑝𝑞 ∑ ∑ 𝐼(𝑥 + 𝑠, 𝑦 + 𝑡) 𝑠 𝑡 𝑇 = 1
𝑝𝑞 ∑ ∑ 𝑇(𝑠, 𝑡) 𝑠 𝑡
Giá trị của hệ số tương quan chéo 𝛾 khoảng từ -l đến +l tương ứng hoàn toàn không phù hợp và hoàn toàn phù hợp tương ứng. Đối với đối sánh mẫu với các mẫu, T đi qua I và 𝛾 được tính cho tọa độ (x,y). Sau khi tính toán, các điểm thể hiện tối đa 𝛾 được gọi là những điểm phù hợp.
Các phương pháp của đối sánh mẫu được đưa ra như một thuật toán, nó rất đơn giản và dễ thực hiện. Các bước thuật toán như sau:
Thuật toán 2.4. Thuật toán đối sánh mẫu:
Đầu vào: Ảnh khuôn mặt, mẫu mắt có kích thước m x n Đầu ra: Vị trí của mắt
Phương pháp:
Bước 1: Lấy một mẫu mắt của kích thước m × n.
Bước 2: Phát hiện sự bình thường hóa 2-D tự động tương quan của các mẫu mắt.
Bước 3: Tính toán sự bình thường hóa 2-D tương quan chéo của mẫu mắt với khu vực chồng chéo khác nhau của hình ảnh khuôn mặt.
Bước 4: Các lỗi bình phương trung bình tự động tương quan và tương quan chéo của các vùng khác nhau được phát hiện ra. Phát hiện và được lưu trữ được các lỗi bình phương trung bình tối thiểu.
Bước 5: Các vùng của khuôn mặt tương ứng với lỗi bình phương trung bình tối thiểu đại diện cho vùng mắt.
Phương pháp đối sánh mẫu được hiểu như sau: một miền nhỏ chung quanh điểm cần được theo vết được dùng làm mẫu. Mẫu này sau đó dùng để tìm ra khung ảnh kế tiếp bằng cách sử dụng các kỹ thuật tương quan [7].
Vị trí với kết quả cao nhất sẽ là khớp tốt nhất giữa mẫu và ảnh.
Bằng cách cập nhật các mẫu theo chuỗi ảnh, các biến dạng lớn cũng có thể được theo vết [8]. Sử dụng một trong 3 luật cập nhật cơ bản như sau:
- Nếu có một sự thay đổi lớn giữa vị trí mẫu ban đầu và vị trí mới thi vị trí mẫu mới được chọn. Trong trường hợp này, các mẫu được hoán đổi hoàn toàn bởi hình dạng mới của chúng.
- Nếu có các thay đổi nhỏ giữa vị trí ban đầu và mới của mẫu, một phiên bản trung bình giữa mẫu mới và cũ sẽ được tính và được cập nhật như mẫu mới.
Bằng cách này, các đạo hàm nhỏ liên quan đến nhiều sẽ là trung bình, do đó gia tăng được khả năng theo vết trác nhiễu.
- Nếu chỉ có các thay đổi quá nhỏ giữa các vị trí ban đầu và mới, thì mẫu cũ sẽ được sử dụng. Điều này rất quan trọng cho các đối tượng tịnh tiến bởi các lượng nhỏ một pixel: nếu như ta cập nhật lại thì sẽ bị mất các thông tin dịch pixel nhỏ.
Ưu điểm: không chịu ảnh hưởng bởi nhiễu và hiệu ứng chiếu sáng, theo vết được các đối tượng biến dạng.
Nhược điểm: độ phức tạp tính toán cao, chất lượng so khớp phụ thuộc vào chi tiết và độ chính xác của mẫu đối tượng.
2.4.2. Phương pháp EigenEyes
Phương pháp nhận dạng dựa trên EigenEyes là một phương pháp dựa trên phương pháp EigenFaces nổi tiếng. Tuy nhiên là phương pháp được sử dụng để phát hiện mắt nên được đặt tên là “phương pháp EigenEye”. Ý tưởng chính là để phân hủy hình ảnh mắt và một tập nhỏ các đặc điểm đặc trưng hình ảnh gọi là EigenEye, trong đó có thể được coi như là thành phần chính của hình ảnh ban đầu. Chức năng EigenEyes như các vectơ cơ sở trực giao của một không gian con gọi là không gian mắt.
Để sử dụng các thông tin được cung cấp bởi các bộ theo dõi mặt chúng ta có thể sử dụng phương pháp eigeneye chỉ với một cơ sở dữ liệu, dữ liệu phát hiện mắt không có vấn đề quy mô. Trước mắt là tìm kiếm trên vùng mặt, cơ sở dữ liệu mắt là thay đổi kích cỡ với các yếu tố quy mô mà được tính theo công thức nhất định dưới đây;
T =
𝑓𝑤 × 𝑖(𝑒𝑤
𝑓𝑤)𝑟
ewd (2.14)
T: Chỉ ra bao nhiêu chiều rộng và chiều cao của hình ảnh trong cơ sở dữ liệu mắt sẽ thay đổi trước khi tính toán vector riêng.
fw: Chiều rộng của khuôn mặt. Chiều cao của khuôn mặt không phải là một ý tưởng tốt để sử dụng như là chiều cao có thể thay đổi với cổ hoặc trên cùng của khu vực giữa đầu con người.
i(ew/ fw)r: Xem xét tỉ lệ mô hình khuôn mặt.
ewd: Chiều rộng hình ảnh của mắt trong cơ sở dữ liệu.
Hình 2.11. Các mô hình khuôn mặt được sử dụng trong phát hiện mắt.
Hình ảnh mắt trong cơ sở dữ liệu được thay đổi kích thước của các yếu tố quy mô sử dụng nội suy, phương pháp nội suy giữa các giá trị điểm ảnh trong một vùng bằng cách lấy một mẫu thống kê (như là trung bình) của các giá trị cường độ lân cận.
nW = T × ewd nH = T × ehd
Hình 2.12. Sơ đồ khối phát hiện mắt sử dụng EigenEyes (2.15)
Bắt đầu
Thay đổi không gian màu của cơ sở dữ liệu Tính toán hệ số tỷ lệ sử dụng chiều rộng khuôn mặt
Thay đổi kích thước cơ sở dữ liệu
Thay đổi kích thước cơ sở dữ liệu
Tính trung bình hình ảnh.
Sử dụng F
Tính ma trận phương sai C, và vector riêng (U) Xác định vùng tìm kiếm trong hình ảnh khuôn mặt
cho cả hai mắt Thay đổi không gian màu
của vùng mặt
Nhận tọa độ (Vị trí mắt)
Sai Đúng
Sai Đúng
Xác định hình ảnh phụ trong khu vực tìm kiếm
ứng cử viên như mắt
Kiểm tra không đúng <
Tính toán hệ số phân hủy sử dụng Vector O và U.
Xây dựng lại hình ảnh sử dụng U, O
Tính khoảng cách giữa e tái tạo và độc đáo
e < e min
Lưu lại tọa độ
ảnh phụ Kiểm
tra khu Đúng
Sai
Chi tiết của từng bước được giải thích như sau:
- Đối với phương pháp EigenEye, mảng hình ảnh 2D được biểu diễn như là tập hợp dữ liệu 1D. Tuy nhiên hình ảnh cơ sở dữ liệu là hình ảnh màu sắc vì vậy chúng phải được chuyển đổi thành các dạng 2D như là bước đầu tiên. Trong luận án này, thay vì đại diện cho hình ảnh màu sắc như hình ảnh màu xám quy mô cho phương pháp EigenEye, chúng tôi đã thử các thành phần khác nhau của không gian màu khác nhau như CIE XYZ, YCbCr, HSV, CIE Lab và thu được kết quả tốt hơn so với sử dụng màu xám.
- Sau khi hình ảnh mắt được hình thành như là các mảng hình ảnh 2D thì những hình ảnh đó thay đổi tỷ lệ như đã giải thích ở trên với các công thức 2.14 và 2.15.
- Hình ảnh trung bình thu được bằng cách sử dụng công thức và hình thức 1D của hình ảnh mắt, điều đó là bình thường để loại bỏ các thành phần DC, là xây dựng các ma trận phương sai. Cuối cùng tính được vectơ riêng với trị riêng cao được lựa chọn để tạo ra vectơ riêng U ma trận U. Chọn đúng số hình ảnh huấn luyện và vectơ riêng là một điểm quan trọng trong phát hiện EigenEye.
- Ứng viên vùng mắt sẽ được nhập vào phân hủy Eigen tuy nhiên để tiết kiệm tính toán bằng cách sử dụng các mô hình hình học, chúng ta có thể giảm vùng, số lượng ứng cử viên. Khu vực tìm kiếm bên trái và phải của mắt được định nghĩa như sau;
Khu vực tìm kiếm bên trái
Khu vực tìm kiếm bên phải
Hình 2.13. Khu vực tìm kiếm cho mắt bên trái và phải.
MattraiXmin = 0 và MattraiXmax = Chieu rong vung mat 2
MattraiYmin = 𝐶ℎ𝑖𝑒𝑢 𝑐𝑎𝑜 𝑣𝑢𝑛𝑔 𝑚𝑎𝑡
2 và MattraiYmax = Chieu cao vung mat ×3 4
MatphaiXmin = Chieu rong vung mat
2 và MatphaiXmax = Chieu rong vung mat MatphaiYmin = 𝐶ℎ𝑖𝑒𝑢 𝑐𝑎𝑜 𝑣𝑢𝑛𝑔 𝑚𝑎𝑡
2 và MatphaiYmax = Chieu cao vung mat ×3 4
Trong giai đoạn phát triển của hệ thống, mặc dù các lĩnh vực tìm kiếm mắt giảm, và thấy rằng khu vực được lựa chọn rõ ràng đặc điểm vùng mắt.
Trong sử dụng các vùng da có giá trị ít sai, trong khi các khu vực có độ dốc như mắt có giá trị cao hơn, chúng tôi đã quyết định đúng để kiểm tra sự thay đổi của khu vực này trước khi thực hiện phát hiện eigeneye. Điều này làm giảm số lượng phát hiện không đúng và quan sát thấy một tính toán tiết kiệm đáng kể.
Mỗi khu vực được chọn với một giá trị được chiếu vào không gian mắt hình thành bởi cơ sở dữ liệu mắt. Phân loại các khu vực đầu vào như một mắt hoặc khu vực không có mắt được thực hiện bằng cách tính toán khoảng cách đến các không gian.