TỔNG QUAN VỀ ĐỀ TÀI
Mở đầu
Với sự phát triển mạnh mẽ của khoa học và công nghệ, trí tuệ nhân tạo (AI) đã trở thành một yếu tố quan trọng trong cuộc cách mạng công nghệ thông tin AI không chỉ là nền tảng cho các hệ thống công nghệ cao mà còn thúc đẩy sự phát triển của nhiều ứng dụng thông minh Một trong những lĩnh vực nổi bật trong AI là nhận dạng, bao gồm nhận diện con người, vật thể, chữ viết, âm thanh và khuôn mặt Trong nghiên cứu này, tôi tập trung vào đối tượng nhận dạng khuôn mặt.
Khuôn mặt đóng vai trò quan trọng trong giao tiếp, cung cấp thông tin về danh tính, giới tính, tuổi tác, chủng tộc và trạng thái cảm xúc Điều này cho phép phát triển nhiều ứng dụng thông minh trong thực tế Nhận dạng khuôn mặt là một bài toán quan trọng trong các lĩnh vực như thương mại, an ninh, và xử lý video, hình ảnh Mặc dù có nhiều phương pháp nhận dạng, nhưng vẫn gặp thách thức về độ sáng, hướng nghiêng, kích thước ảnh và các yếu tố môi trường Cải thiện độ chính xác trong nhận dạng thường được thực hiện qua ba giai đoạn chính: phát hiện, trích chọn đặc trưng và phân lớp khuôn mặt.
Tổng quan về đề tài trong và ngoài nước
Trên thế giới, có nhiều công trình nghiên cứu về phát hiện và nhận dạng khuôn mặt Theo Ming-Hsuan Yang, có bốn hướng tiếp cận chính: dựa trên tri thức, đặc trưng, đối sánh mẫu và diện mạo Phương pháp dựa trên diện mạo thường sử dụng mô hình học máy, do đó còn được gọi là phương pháp dựa trên máy học.
- Phương pháp dựa trên tri thức: Gồm có các tác giả Kanade 1973, G Yang
1994 và Kotropoulos 1997 Phương pháp này chủ yếu dựa trên những luật được định nghĩa trước về khuôn mặt người;
Phương pháp tiếp cận dựa trên các đặc trưng, được đề xuất bởi các tác giả như K.C Yow và R Cipolla (1997) cũng như T.K Leung (1995), tập trung vào việc xác định các đặc trưng độc lập, không bị ảnh hưởng bởi tư thế khuôn mặt hay điều kiện chiếu sáng.
- Phương pháp đối sánh mẫu: có thể kể đến các tác giả như I Craw 1992,
A Lanitis 1995 Phương pháp này dựa trên mẫu khuôn mặt đã định nghĩa bằng tay trước hay tham số hoá bằng một hàm số Mẫu này được sử dụng để phát hiện khuôn mặt bằng cách quét nó qua ảnh và tìm giá trị tương đồng cho mỗi vị trí trên khuôn mặt, sau đó cho ra kết quả là một khuôn mặt có điểm tương đồng so với mẫu chuẩn;
Phương pháp dựa trên học máy cho phép rút trích các mẫu khuôn mặt thông qua quá trình học, sử dụng nhiều thuật toán khác nhau Một trong những thuật toán tiêu biểu trong lĩnh vực này là Eigenface, được phát triển bởi M Turk và A Pentland vào năm 1991.
Mô hình phân phối (K K Sung và T Poggio 1998), mạng Nơ-ron (H Rowley
1998), Support Vector Machine (E Osuna et All 1997, Phân lớp Bayes (H Schneiderman và T Kanade 1998), Mô hình Markov ẩn (A Rajagopalan et al
1998), Mô hình tăng cường (AdaBoost của P Viola và M Jones 2001; FloatBoost do Stan Z Li và Zhen Qiu Zhang 2004)
Trong 15 năm qua, lĩnh vực nhận dạng khuôn mặt tại Việt Nam đã thu hút sự chú ý đáng kể, đặc biệt trong các doanh nghiệp như ngân hàng Việt Á và ngân hàng Quốc tế (VIB), nơi hệ thống này được áp dụng để nâng cao bảo mật cho giao dịch Internet Banking và Mobile Banking Ngoài ra, Trường Đại học Thăng Long cũng đã triển khai công nghệ nhận diện khuôn mặt để điểm danh sinh viên Các nhóm nghiên cứu tiên phong trong lĩnh vực này đã có những đóng góp quan trọng, tạo nền tảng cho sự phát triển tương lai của công nghệ nhận dạng khuôn mặt.
Nhóm nghiên cứu do TS Lê Đình Duy dẫn đầu tại Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TPHCM đã thực hiện các nghiên cứu về hệ thống phát hiện trộm sử dụng mạng cảm biến camera Dữ liệu phục vụ cho nghiên cứu này được thu thập trong khuôn khổ đề tài ĐHGQ-C.
Nhóm nghiên cứu do TS Trương Công Dung Nghi tại Đại học Bách Khoa TPHCM đã công bố bài viết về đề tài "Tái nhận dạng người trong hệ thống nhiều Camera giám sát không chồng lấp" trên tạp chí khoa học Trường Đại Cần Thơ vào năm 2015.
Nhóm nghiên cứu thứ ba do PGS TS Trần Minh Triết từ Trường Đại học Khoa học Tự nhiên TPHCM dẫn đầu, tập trung vào đề tài "Tổng hợp và tìm kiếm video dựa vào phát hiện và nhận biết khuôn mặt" Nghiên cứu này nhằm cải thiện khả năng tìm kiếm và phân loại video thông qua công nghệ nhận diện khuôn mặt.
Hiện nay, nhiều trường đại học đang sử dụng bảng theo dõi sinh viên vắng mặt trong từng môn học theo cách thủ công, bao gồm việc ghi nhận hàng ngày, hàng tuần và hàng tháng Cuối mỗi kỳ học, giáo viên phải mở bảng theo dõi để tính toán số tiết vắng và điểm chuyên cần, điều này gây tốn thời gian và công sức cho họ.
Trong luận văn này, tôi chọn đề tài "Xây dựng ứng dụng điểm danh sinh viên qua điện thoại sử dụng nhận dạng khuôn mặt", áp dụng mạng Nơ-ron tích chập (Cascaded Convolutional Networks - CNN) Phương pháp này đã được kiểm nghiệm trên bộ dữ liệu chuẩn LWF và trong môi trường thực tế, cho phép nhận dạng khuôn mặt trực tiếp từ Webcam hoặc điện thoại di động Kết quả thực nghiệm cho thấy hệ thống đạt độ chính xác cao và ổn định trong các điều kiện thực tế.
Mục đích của luận văn
Bài luận văn này nghiên cứu các thuật toán phát hiện và nhận dạng khuôn mặt trong ảnh và video, nhằm tìm ra thuật toán tối ưu cho việc phát triển ứng dụng điểm danh sinh viên qua điện thoại dựa trên công nghệ nhận dạng khuôn mặt.
Phạm vi và đối tƣợng nghiên cứu
Nghiên cứu các phương pháp phát hiện khuôn mặt (Face Detection) và nhận dạng khuôn mặt (Face Recognition)
1.4.2 Đối tƣợng nghiên cứu Đối tượng nghiên cứu của luận văn gồm: Ảnh khuôn mặt người.
Phương pháp nghiên cứu
Phương pháp nghiên cứu trong luận văn này kết hợp giữa lý thuyết và thực tiễn, nhằm kiểm nghiệm hệ thống nhận dạng khuôn mặt Cụ thể, nghiên cứu sẽ xây dựng một ứng dụng điểm danh sinh viên thông qua điện thoại, tạo ra một giải pháp tiện lợi và hiệu quả cho việc quản lý điểm danh.
1.5.1 Phương pháp nghiên cứu lý thuyết
- Tham khảo các tài liệu của một số phương pháp xác định, phát hiện khuôn mặt và nhận diện khuôn mặt người
- Tham khảo các tài liệu về việc kết nối và trao đổi dữ liệu giữa Client và Server
- Kiểm nghiệm so sánh các phương pháp phát hiện, nhận dạng khuôn mặt
- Xây dựng ứng dụng hỗ trợ điểm danh sinh viên bằng điện thoại dựa trên nhận dạng khuôn mặt người;
- So sánh kết quả thực nghiệm.
Ý nghĩa khoa học và thực tiễn của luận văn
Nghiên cứu các ưu và nhược điểm của các phương pháp phát hiện và nhận dạng khuôn mặt là cơ sở quan trọng để phát triển công nghệ trong tương lai, đồng thời giúp khắc phục những hạn chế hiện tại của các phương pháp này.
Xây dựng ứng dụng điểm danh sinh viên qua điện thoại sử dụng công nghệ nhận dạng khuôn mặt giúp giáo viên và nhà trường tiết kiệm thời gian điểm danh, từ đó nâng cao chất lượng giảng dạy.
Với mục tiêu đã trình bày, bố cục của luận văn sẽ đƣợc chia thành bốn chương theo cấu trúc như sau:
Chương 1: TỔNG QUAN VỀ ĐỀ TÀI
Chương 2: BÀI TOÁN VỀ HỆ THỐNG NHẬN DẠNG KHUÔN MẶT
Chương 3: CÁC GIẢI PHÁP ĐÃ NGHIÊN CỨU PHÁT TRIỂN Chương 4: GIẢI PHÁP NHẬN DẠNG KHUÔN MẶT
Chương 5: XÂY DỰNG HỆ THỐNG VÀ THỰC NGHIỆM KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
BÀI TOÁN VỀ HỆ THỐNG NHẬN DẠNG KHUÔN MẶT
Bài toán nhận dạng khuôn mặt
Nhận dạng khuôn mặt là công nghệ tự động xác định danh tính cá nhân thông qua hình ảnh kỹ thuật số hoặc video Ứng dụng này cho phép lấy thông tin cụ thể về một người chỉ từ một bức ảnh hoặc khung hình video.
Hệ thống nhận dạng khuôn mặt sử dụng nhiều phương pháp khác nhau, chủ yếu hoạt động bằng cách so sánh các đặc điểm hình ảnh của khuôn mặt được chọn với các khuôn mặt trong cơ sở dữ liệu Dựa trên trí tuệ nhân tạo sinh trắc học, hệ thống phân tích các mẫu đã được huấn luyện dựa trên kết cấu và hình dạng khuôn mặt để nhận diện một cách chính xác Trong quá trình triển khai, hệ thống liên tục thu thập dữ liệu nhằm cải thiện độ chính xác của mẫu nhận dạng Kết quả của hệ thống nhận diện được thể hiện qua Hình 1-1.
Hình 2.1: Mô tả kết quả hệ thống nhận dạng khuôn mặt
Nhận dạng mặt người là quá trình mà hệ thống tiếp nhận hình ảnh hoặc video và tự động xác định danh tính của từng đối tượng Qua quá trình học, hệ thống có khả năng phân biệt giữa người đã biết và người lạ Hệ thống này bao gồm hai phần chính: phát hiện và xác định khuôn mặt, cũng như nhận dạng khuôn mặt.
Hệ thống xác định khuôn mặt sử dụng video từ Webcam để phát hiện vị trí và số lượng khuôn mặt xuất hiện trong từng khung hình.
Hệ thống nhận dạng khuôn mặt thực hiện việc trích xuất các đặc trưng từ những khuôn mặt đã được xác định, sau đó tiến hành phân loại các đối tượng khuôn mặt để thực hiện nhận dạng chính xác.
Hình 2.2: Biểu đồ mô tả hệ thống nhận dạng khuôn mặt
Các khó khăn khi triển khai bài toán nhận diện khuôn mặt
Tư thế góc chụp ảnh khuôn mặt ảnh hưởng lớn đến sự nhận diện, với nhiều cách chụp như chụp thẳng, chụp xéo 45 độ bên trái hoặc bên phải, chụp từ trên xuống hay từ dưới lên Những góc chụp khác nhau có thể làm khuất một phần hoặc toàn bộ các thành phần trên khuôn mặt như mắt, mũi, miệng Khi khuôn mặt nhìn thẳng nhưng góc chụp lại lệch, hoặc khi khuôn mặt nghiêng sang một bên, sẽ tạo ra nhiều thách thức trong việc nhận dạng khuôn mặt.
Sự hiện diện hoặc vắng mặt của các đặc điểm khuôn mặt như râu mép, râu hàm và kính mắt trong ảnh có thể gây khó khăn trong việc nhận diện.
Biểu cảm khuôn mặt có ảnh hưởng lớn đến các đặc điểm của gương mặt con người Ví dụ, một khuôn mặt có thể trông rất khác khi người đó cười so với khi họ biểu lộ sự sợ hãi.
Video từ Camera Chuỗi khung hình Xác định khuôn mặt
Tiền xử lý Trích rút đặc trƣng
Sự che khuất: Khuôn mặt có thể bị che khuất bởi các đối tƣợng khác hoặc các khuôn mặt khác
Hướng chụp ảnh khuôn mặt có thể thay đổi đáng kể với các góc quay khác nhau của trục camera, ví dụ như khi máy ảnh nghiêng, khuôn mặt sẽ bị lệch so với trục ảnh Bên cạnh đó, điều kiện chụp ảnh, bao gồm ánh sáng và loại camera sử dụng (như máy kỹ thuật số hay máy hồng ngoại), cũng ảnh hưởng lớn đến chất lượng hình ảnh khuôn mặt.
Nền ảnh phức tạp gây khó khăn lớn trong việc nhận dạng khuôn mặt người, khi mà khuôn mặt dễ bị nhầm lẫn với các khung cảnh xung quanh Điều này ảnh hưởng đáng kể đến quá trình phân tích và trích xuất đặc trưng khuôn mặt, có thể dẫn đến việc không nhận diện được khuôn mặt hoặc nhầm lẫn các yếu tố xung quanh với khuôn mặt.
Màu sắc da mặt có thể gây khó khăn trong việc nhận diện khuôn mặt, đặc biệt khi màu da quá tối hoặc gần giống với màu sắc của môi trường xung quanh Khi màu da quá tối, thuật toán nhận diện khuôn mặt sẽ gặp khó khăn trong việc xác định các đặc trưng, dẫn đến khả năng không nhận ra được khuôn mặt người.
Các ứng dụng thông dụng của bài toán nhận dạng khuôn mặt
Hệ thống nhận diện khách hàng VIP giúp nhận diện khách hàng thân thiết và tiềm năng tại các cửa hàng và trung tâm thương mại Nhờ vào hệ thống này, các doanh nghiệp có thể chăm sóc và tiếp đón khách hàng tốt hơn, từ đó thu hút thêm khách hàng trung thành và nâng cao chất lượng dịch vụ.
Hệ thống giao tiếp thông minh giữa người và máy cho phép con người xây dựng các phương pháp tương tác hiệu quả thông qua nhận dạng khuôn mặt và biểu cảm, từ đó dự đoán và nhận biết trạng thái tâm lý hiện tại Ví dụ, trong tương lai, một ngôi nhà thông minh có khả năng nhận diện chủ nhân thông qua các yếu tố như khuôn mặt, dáng người, giọng nói và vân tay, tạo ra một trải nghiệm sống tiện nghi và cá nhân hóa hơn.
Hình 2.3: Minh họa mở khóa điện thoại bằng khuôn mặt
Hệ thống nhận dạng tội phạm có khả năng xác định khuôn mặt ngay lập tức và đối chiếu với hàng triệu bản ghi trong cơ sở dữ liệu Điều này giúp xác định xem đối tượng có phải là người đang bị truy tìm hay là một nhân vật đặc biệt nào đó.
Hình 2.4: Minh họa hệ thống nhận dạng tội phạm
Trong thời đại công nghệ hiện đại, hầu hết các máy ảnh đều tích hợp chức năng tự động phát hiện khuôn mặt, giúp lấy nét và điều chỉnh ánh sáng phù hợp với môi trường xung quanh Ngoài ra, nhiều trang web cũng đã ứng dụng công nghệ nhận dạng khuôn mặt, so sánh với cơ sở dữ liệu lớn để cung cấp những dịch vụ thông minh và lời chào cá nhân hóa cho người dùng.
Hình 2.5: Minh họa chức năng lấy nét trên camera điện thoại
Hệ thống quan sát và bảo vệ bằng camera giúp xác định và theo dõi các đối tượng cần chú ý Thường được lắp đặt tại những địa điểm công cộng đông đúc như sảnh tòa nhà, thang máy, trung tâm mua sắm, nhà ga và sân bay, hệ thống này đảm bảo an ninh và an toàn cho mọi người.
Tổ chức tìm kiếm có khả năng thực hiện các tìm kiếm liên quan đến con người thông qua khuôn mặt trên nhiều cơ sở dữ liệu lớn, giúp xác định vị trí của trẻ đi lạc bằng cách sử dụng thông tin khuôn mặt để huấn luyện hệ thống Nhờ đó, có thể nhận diện trẻ em qua camera tại các địa điểm công cộng Hệ thống cũng hỗ trợ việc kiểm soát ra vào các cơ quan, văn phòng và lớp học, cho phép học sinh, sinh viên và nhân viên vào mà không cần đăng nhập hay sử dụng thẻ, tiết kiệm thời gian và nhân lực, đồng thời nâng cao độ chính xác so với phương pháp điểm danh truyền thống Khi kết hợp với công nghệ nhận diện vân tay hoặc hốc mắt, hiệu quả nhận diện sẽ trở nên chính xác hơn rất nhiều.
Công nghệ nhận dạng khuôn mặt trong hệ thống chấm công tự động không chỉ giúp quản lý lưu lượng khách hàng ra vào cửa hàng mà còn cho phép đo lường hiệu quả kinh doanh thông qua doanh thu Ngoài ra, công nghệ này còn hỗ trợ phân tích giới tính, độ tuổi và cảm xúc của khách hàng, cung cấp dữ liệu quan trọng để xác định khách hàng mục tiêu Từ những thông tin này, nhà quản lý có thể xây dựng chiến lược kinh doanh và quảng cáo hiệu quả hơn.
Bài toán nhận diện khuôn mặt ngày càng trở nên quan trọng nhờ vào những ứng dụng đa dạng mà công nghệ này mang lại Khi so sánh với các công nghệ nhận dạng khác như nhận dạng giọng nói, vân tay và chữ ký, nhận diện khuôn mặt cho thấy nhiều tiềm năng vượt trội Mặc dù cả ba công nghệ này đều có hiệu quả nhất định trong thực tế, nhưng mỗi phương pháp cũng tồn tại những hạn chế riêng cần được xem xét.
Công nghệ nhận dạng giọng nói là một phương pháp tiên tiến cho phép điều khiển các ứng dụng bằng giọng nói Tuy nhiên, nhược điểm lớn của công nghệ này là khả năng xử lý tiếng ồn, khiến nó không phù hợp cho việc sử dụng ở những nơi công cộng đông người.
Công nghệ nhận dạng chữ ký mang lại nhiều bất tiện cho người dùng, do khó khăn trong việc duy trì chữ ký giống nhau ngay cả trong cùng một thời điểm.
Công nghệ nhận dạng vân tay hiện đang được sử dụng rộng rãi, tuy nhiên, nó cũng gặp phải một số nhược điểm như độ chính xác thấp khi gặp phải độ ẩm da hoặc khi sử dụng bởi những người có tay tiếp xúc với hóa chất Thêm vào đó, công nghệ này còn có hạn chế trong việc chống giả mạo, khi kẻ gian có thể lợi dụng vân tay của người khác để xác thực.
Tổng quan các phương pháp trong bài toán nhận dạng đối tượng
Có rất nhiều hướng tiếp cận và phương pháp khác nhau liên quan đến nhận dạng Có thể phân loại thành các hướng tiếp cận chính:
Hướng tiếp cận dựa trên tri thức (Knowledge-based) là phương pháp mã hóa hiểu biết của con người về đối tượng thành các quy luật, thường mô tả mối quan hệ giữa các đặc trưng Trong phương pháp này, các quy luật phụ thuộc nhiều vào kiến thức của các tác giả nghiên cứu, thể hiện rõ nét tính chất từ trên xuống dưới trong quá trình phân tích và xây dựng hệ thống.
- Hướng tiếp cận dựa vào các đặc trưng không thay đổi của khuôn mặt
Trong phương pháp tiếp cận đặc trưng không thay đổi, chúng ta xác định các đặc điểm khuôn mặt bền vững qua nhiều tư thế và điều kiện ánh sáng khác nhau Dựa trên những đặc trưng này, mô hình thống kê sẽ được xây dựng để mô tả mối quan hệ giữa chúng, sau đó mô hình sẽ được huấn luyện để phân loại và xác định các vùng khuôn mặt trong các khung hình cắt từ ảnh gốc Tuy nhiên, nhược điểm lớn nhất của kỹ thuật này là thời gian xử lý, do cần phải trích xuất nhiều vùng từ bức ảnh để đưa qua bộ phân loại.
Hướng tiếp cận dựa vào mẫu cho trước (Template-Matching) là một kỹ thuật xác định vị trí khuôn mặt trong ảnh bằng cách so sánh với các bức ảnh khuôn mặt chuẩn (Feature-template) Ảnh mẫu thường được chụp thẳng và từ ảnh đầu vào, ta tính các giá trị tương quan với mẫu chuẩn về đường viền khuôn mặt, mắt, mũi và miệng Dựa vào các giá trị này, chúng ta có thể xác định sự hiện diện của khuôn mặt trong ảnh Ưu điểm của phương pháp này là tính dễ sử dụng, tuy nhiên, nó cũng gặp phải vấn đề về thời gian tương tự như kỹ thuật dựa vào đặc tính khuôn mặt.
Hướng tiếp cận dựa vào hình dáng (Appearance-Base) khác với phương pháp so khớp mẫu đã xác định trước, bằng cách sử dụng các phương pháp hình thái học kết hợp với phân tích từ mô hình machine-learning để xác định vị trí các vùng có khuôn mặt trong ảnh Từ những đặc tính của các vùng trên khuôn mặt, chúng ta có thể xác định vị trí khuôn mặt người một cách hiệu quả Phương pháp này không chỉ mang lại kết quả tốt trong việc xác định khuôn mặt mà còn khắc phục được nhược điểm về thời gian, do đó, hiện nay nhiều phương pháp thường hướng theo cách tiếp cận này.
Hướng tiếp cận dựa trên diện mạo sử dụng các kỹ thuật học máy và thống kê để tự động nhận diện các đặc tính của khuôn mặt từ hình ảnh mẫu, thay vì dựa vào các mẫu được định nghĩa trước Phương pháp này học các đặc tính liên quan và không liên quan đến khuôn mặt, thông qua các mô hình phân bố và hàm biệt số Bên cạnh đó, việc giảm số chiều cũng được chú trọng nhằm nâng cao hiệu quả tính toán và độ chính xác trong việc xác định khuôn mặt.
2.4.1 Hướng tiếp cận dựa trên cơ sở tri thức (Knowledge – based)
Mã hóa hiểu biết của con người về đối tượng thành các luật thường mô tả quan hệ giữa các đặc trưng, phụ thuộc lớn vào tri thức của tác giả Đây là phương pháp từ trên xuống, cho phép xây dựng các luật cơ bản để mô tả đặc trưng của đối tượng, chẳng hạn như khuôn mặt có hai mắt đối xứng, một mũi và một miệng Các quan hệ giữa các đặc trưng có thể được mô tả qua khoảng cách và vị trí Tác giả thường trích xuất đặc trưng khuôn mặt để xác định ứng viên, từ đó áp dụng các luật để phân loại khuôn mặt và không phải khuôn mặt, nhằm giảm nhận dạng sai Tuy nhiên, việc chuyển đổi tri thức con người sang các luật hiệu quả là một thách thức, vì luật quá chi tiết có thể bỏ sót đối tượng, trong khi luật quá tổng quát có thể dẫn đến nhận dạng sai Điều này cũng gây khó khăn trong việc mở rộng yêu cầu để nhận dạng các đối tượng ở nhiều tư thế khác nhau.
Hình 2.7: Minh họa hệ thống chấm công tự động bằng nhận dạng khuôn mặt
Hệ thống đa độ phân giải
(a) Ảnh ban đầu có độ phân giải n = 1
(b) (c) (d) Ảnh có độ phân giải n = 4, 8 và 16
Hình 2.8: Một lọai tri trức của người nghiên cứu phân tích trên khuôn mặt
Yang và Huang đã phát triển một hệ thống xác định khuôn mặt dựa trên ba mức luật Ở mức cao nhất, hệ thống sử dụng một khung cửa sổ quét ảnh để tìm các ứng viên có thể là khuôn mặt thông qua các quy tắc xác định vùng trung tâm và phần bao quanh Mức thứ hai phân tích biểu đồ histogram để loại bỏ các ứng viên không phải khuôn mặt và xác định cạnh bao quanh Cuối cùng, ở mức chi tiết nhất, các đặc trưng khuôn mặt như mắt và miệng được xem xét Phương pháp "từ thô đến mịn" được áp dụng nhằm giảm thiểu khối lượng tính toán Mặc dù độ chính xác chưa cao, nhưng nghiên cứu này đã mở đường cho nhiều nghiên cứu tiếp theo trong lĩnh vực nhận diện khuôn mặt.
Kotropoulos và Pitas đã phát triển một phương pháp xác định đặc trưng khuôn mặt trên độ phân giải thấp thông qua kỹ thuật chiếu Đồng thời, Kanade cũng đạt được thành công trong việc sử dụng phương pháp chiếu để xác định biên của khuôn mặt.
Giá trị xám I(x,y) của một điểm trong ảnh kích thước m x n tại vị trí (x,y) được xác định, với các hàm chiếu ảnh theo phương ngang và thẳng đứng được định nghĩa rõ ràng.
Biểu đồ hình chiếu ngang cho thấy hai cực tiểu địa phương tại hai bên đầu, liên quan đến sự thay đổi độ đốc của HI Tương tự, hình chiếu dọc VI cũng chỉ ra các cực tiểu địa phương, giúp xác định vị trí miệng, đỉnh mũi và hai mắt Những đặc trưng này đủ để xác định khuôn mặt một cách chính xác.
2.4.2 Hướng tiếp cận dựa trên đặc trưng không thay đổi (Feature invariant):
Mục tiêu của các thuật toán nhận dạng đối tượng là tìm kiếm các đặc trưng mô tả cấu trúc của đối tượng, những đặc trưng này không thay đổi khi vị trí hoặc điều kiện ánh sáng thay đổi, theo hướng tiếp cận bottom-up Con người có khả năng nhận diện đối tượng trong các tư thế và điều kiện ánh sáng khác nhau, cho thấy sự tồn tại của các thuộc tính không thay đổi Nhiều nghiên cứu đã chỉ ra cách nhận dạng các đặc trưng như lông mày, mắt, mũi, miệng và đường viền tóc thông qua phương pháp xác định cạnh, từ đó xây dựng mô hình thống kê để nhận diện sự tồn tại của khuôn mặt trong ảnh Tuy nhiên, các thuật toán này cần điều chỉnh để phù hợp với các điều kiện như ánh sáng, nhiễu và bị che khuất, vì đôi khi bóng của đối tượng có thể tạo ra các cạnh giả, gây khó khăn trong việc nhận dạng Một số công trình tiêu biểu trong lĩnh vực này bao gồm nghiên cứu của K C Yow và R Cipolla (1997) cũng như T K Leung (1995).
- Các đặc trƣng khuôn mặt
Sirohey phát triển một phương pháp xác định khuôn mặt từ ảnh có nền phức tạp, dựa trên kỹ thuật cạnh để loại bỏ các cạnh thừa, chỉ giữ lại đường bao quanh khuôn mặt Phương pháp này sử dụng hình ellipse để bao quanh khuôn mặt, tách biệt vùng đầu và nền, với tỷ lệ chính xác đạt 80% Tương tự, Chetverikov và Lerch áp dụng phương pháp dựa trên blob và streak, sử dụng hai blob tối và ba blob sáng để mô tả các đặc điểm như mắt, gò má và mũi Mô hình của họ sử dụng các streak để mô tả hình dáng của khuôn mặt, lông mày và môi, đồng thời sử dụng ảnh có độ phân giải thấp qua biến đổi Laplace để xác định khuôn mặt thông qua blob.
Leung đã phát triển một mô hình xác suất để nhận diện khuôn mặt trong ảnh có nền phức tạp, dựa trên bộ đặc trưng cục bộ và so khớp đồ thị ngẫu nhiên Mô hình sử dụng năm đặc trưng chính (hai mắt, hai lỗ mũi, phần nối giữa mũi và miệng) để mô tả khuôn mặt, đồng thời tính toán quan hệ khoảng cách giữa các đặc trưng cặp như mắt trái và mắt phải, sử dụng phân bố Gauss để mô hình hóa Một mẫu khuôn mặt được tạo ra từ trung bình của bộ lọc đạo hàm Gauss đa hướng và đa tỷ lệ Các đặc trưng ứng viên được xác định bằng cách so khớp từng điểm ảnh với vector mẫu, chọn hai ứng viên hàng đầu để tìm kiếm các đặc trưng khác Mô hình xây dựng đồ thị quan hệ, trong đó mỗi node tương ứng với một đặc trưng của khuôn mặt, và xác suất được đưa vào để xác định Tỷ lệ nhận diện chính xác đạt 86%.
Khuôn mặt con người có các kết cấu đặc trưng giúp phân loại so với các đối tượng khác Augusteijn và Skufca đã chỉ ra rằng hình dạng khuôn mặt là một cấu trúc phân loại, gọi là kết cấu giống khuôn mặt Tính kết cấu được xác định qua các đặc trưng thống kê thứ hai (SGLD) trên vùng 16×16 điểm ảnh, bao gồm ba loại đặc trưng: màu da, tóc, và các yếu tố khác Hai tác giả đã áp dụng mạng neural về mối tương quan cascade để phân loại các kết cấu có giám sát, cùng với ánh xạ đặc trưng tự tổ chức Kohonen để nhóm các lớp kết cấu khác nhau Họ cũng đề xuất phương pháp bầu cử khi không thể xác định rõ kết cấu là của da hay tóc.
Manian và Ross đã áp dụng biến đổi wavelet để tạo ra tập dữ liệu kết cấu khuôn mặt từ ảnh xám ở nhiều độ phân giải khác nhau, kết hợp với xác suất thống kê nhằm xác định khuôn mặt người Mỗi mẫu trong nghiên cứu được đặc trưng bởi chín yếu tố khác nhau Kết quả cho thấy tỷ lệ chính xác đạt 87%, trong khi tỷ lệ xác định sai là 18%.
CÁC GIẢI PHÁP ĐÃ NGHIÊN CỨU PHÁT TRIỂN
Các phương pháp phát hiện khuôn mặt người
Có nhiều phương pháp để xác định khuôn mặt người trên ảnh 2D, trong đó phương pháp Haar-like - Adaboost do Paul Viola và Michael Jones đề xuất là một trong những giải pháp hiệu quả Phương pháp này sử dụng các đặc trưng Haar-like và đạt tỷ lệ phát hiện lên đến 93.86% trên tập dữ liệu AT&T Nhiều hãng sản xuất máy ảnh như Canon và Samsung đã tích hợp phương pháp này vào sản phẩm của họ Ngoài ra, phương pháp phát hiện khuôn mặt của Viola và Jones cũng được cài đặt trong OpenCV, làm cho nó trở thành công cụ hữu ích cho các ứng dụng nhận dạng khuôn mặt.
Hệ thống nhận dạng khuôn mặt sử dụng phương pháp học từ các mẫu khuôn mặt trong một tập ảnh mẫu Sau khi hoàn thành quá trình huấn luyện, hệ thống sẽ xác định các tham số cần thiết để thực hiện nhận dạng hiệu quả.
Vì vậy tiếp cận trên diện mạo còn đƣợc biết đến với tên gọi tiếp cận theo phương pháp học máy
Về tổng quan, phương pháp HA được xây dựng dựa trên sự kết hợp, lắp ghép của 4 thành phần, đó là:
Các đặc trưng Haar-like được áp dụng vào các vùng ảnh để tính toán giá trị đặc trưng, từ đó sử dụng trong bộ phân loại Adaboost nhằm xác định sự hiện diện của khuôn mặt trong ảnh.
- Ảnh tích hợp (Integral Image): thực ra đây là một công cụ giúp việc tính toán các giá trị đặc trƣng Haar-like nhanh hơn
Adaboost (Adaptive Boost) là một bộ phân loại mạnh mẽ được xây dựng từ việc kết hợp nhiều bộ phân loại yếu Phương pháp này sử dụng giá trị đặc trưng Haar-like để phân loại hình ảnh, xác định xem đó có phải là mặt hay không.
- Cascade of Classifiers: bộ phân loại tầng với mỗi tâng là một bộ phân loại Adaboost, có tác dụng tăng tốc độ phân loại
Như vậy bài toán xác định mặt người trong ảnh cũng chính là bài toán phân loại ảnh thành hai lớp mặt hoặc không phải mặt [2]
Phương pháp nhận dạng khuôn mặt HA được thực hiện trên ảnh xám, trong đó mỗi pixel có giá trị mức xám từ 0 đến 255, tương ứng với không gian màu 8 bit Mặc dù không khai thác đặc điểm màu sắc của khuôn mặt, phương pháp này vẫn rất hiệu quả trong việc nhận dạng Để chuyển đổi ảnh màu sang ảnh xám, ta sử dụng một hàm chuyển đổi và câu lệnh trong Opencv, ví dụ: import cv2 và image = cv2.imread("images/Bill Gates.jpg").
Tạo một bức ảnh xám từ bức ảnh gốc grayImage = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
Sau khi chuyển đổi thành ảnh xám, ảnh sẽ được chuyển sang dạng “ảnh tích hợp” và trong giai đoạn đầu của quá trình nhận dạng, các đặc trưng Haar-like sẽ hoạt động trực tiếp trên ảnh tích hợp.
3.1.1.2 Các đặc trƣng Haar-Like Đặc trƣng Haar Like đƣợc tạo thành bằng việc kết hợp các hình chữ nhật đen, trắng với nhau theo một trật tự, một kích thước nào đó Hình dưới đây mô tả 4 đặc trƣng Haar Like cơ bản nhƣ sau: Để phát hiện khuôn mặt các đặc trƣng Haar Like cơ bản trên đƣợc mở rộng thành các đặc trưng cạnh, đặc trưng đường và đặc trưng tâm Đặc trưng cạnh:
- Đặc trƣng tâm – xung quanh:
Giá trị của đặc trưng Haar Like được xác định bởi sự chênh lệch giữa tổng điểm ảnh của các vùng đen và trắng Để tính toán nhanh các đặc trưng này, Viola và Jones đã giới thiệu khái niệm ảnh tích phân (Integral Image), là một mảng hai chiều có kích thước tương đương với ảnh cần tính giá trị đặc trưng Haar Like.
Giá trị của một đặc trưng Haar-like được xác định bằng sự chênh lệch giữa tổng giá trị xám của các pixel trong vùng "đen" và tổng giá trị xám của các pixel trong vùng "trắng".
“trắng”: f(x) = Tổng vùng đen (pixel) - Tổng vùng trắng (pixel) (1)
Vậy khi đƣợc đặt lên một vùng ảnh, đặc trƣng Haar-like sẽ tính toán và đƣa ra giá trị đặc trƣng h(x) của vùng ảnh đó
3.1.1.3 Cách áp dụng đặc trƣng Haar-like để phát hiện khuôn mặt trong ảnh
Để phát hiện khuôn mặt, hệ thống sử dụng một cửa sổ con có kích thước cố định để quét toàn bộ ảnh đầu vào Qua đó, sẽ tạo ra nhiều ảnh con tương ứng với từng cửa sổ, và các đặc trưng Haar-like sẽ được áp dụng lên các cửa sổ này để tính toán giá trị đặc trưng Cuối cùng, các giá trị này sẽ được bộ phân loại kiểm tra để xác định xem khung hình có phải là khuôn mặt hay không.
Khung màu xanh trong hình minh họa là cửa sổ con, thể hiện đặc trưng Haar-like với kích thước và vị trí cụ thể Đối với mỗi đặc trưng này, một bộ phân lớp yếu (weak classifier) hk(x) được định nghĩa tương ứng.
X : cửa sổ con cần xét
: ngƣỡng f k : giá trị của đặc trƣng Haar-like p k : hệ số quyết định chiều của bất phương trình
Công thức trên có thể được hiểu đơn giản như sau: khi giá trị của đặc trưng Haar-like k:fk tại cửa sổ con x vượt qua một ngưỡng thì bộ phân lớp hk(x) sẽ kết luận cửa sổ con x là khuôn mặt, ngược lại nếu fk không vượt qua ngưỡng đó thì cửa sổ con x không phải là khuôn mặt.
Ngƣỡng là giá trị đã rút ra sau qua trình huấn luyện bộ phân lớp, sẽ trình bày sau
Đặc trưng Haar-like không có kích thước và vị trí cố định trong cửa sổ con x, mà giá trị f_k tại vị trí mắt thường lớn hơn nhiều so với vùng má Khi di chuyển cửa sổ con x qua các vị trí khác trong ảnh, giá trị f_k này vẫn duy trì sự vượt trội, giúp bộ phân lớp h_k(x) nhận diện đúng khuôn mặt tại vị trí đó Mặc dù có thể xuất hiện một số vị trí ngẫu nhiên cho ra giá trị f_k vượt ngưỡng, nhưng việc sử dụng nhiều đặc trưng Haar-like với các kích thước và vị trí khác nhau trong cửa sổ con sẽ giảm thiểu khả năng trùng hợp ngẫu nhiên, từ đó nâng cao độ chính xác trong việc nhận diện khuôn mặt.
3.1.1.4 Số lƣợng đặc trƣng Haar-like
Việc xác định xem một cửa sổ con có phải là mặt hay không dựa vào nhiều đặc trưng Haar-like Mỗi kích thước, kiểu đặc trưng và vị trí trong cửa sổ con tạo ra một đặc trưng tương ứng với một bộ phân lớp yếu x Do đó, số lượng đặc trưng trong một cửa sổ con là rất lớn Theo tính toán của hai tác giả, với kích thước cửa sổ con 24x24 pixel, số lượng đặc trưng Haar-like có thể lên tới hơn 160.000 Điều này đặt ra hai vấn đề quan trọng cần được giải quyết.
Giá trị của mỗi đặc trưng Haar-like được xác định bằng tổng giá trị các điểm ảnh vùng đen trừ đi tổng các điểm ảnh vùng trắng Với số lượng lớn các đặc trưng, quá trình tính toán trở nên khổng lồ, dẫn đến thời gian xử lý kéo dài Điều này không phù hợp cho các ứng dụng yêu cầu thời gian thực.
Các phương pháp nhận dạng khuôn mặt (Face Recognition)
Bài toán nhận dạng khuôn mặt là một thách thức quan trọng mà hệ thống cần giải quyết Quá trình này bao gồm việc sử dụng dữ liệu khuôn mặt từ giai đoạn phát hiện để phân lớp và gán nhãn định danh cho từng đối tượng khuôn mặt.
Quá trình nhận dạng khuôn mặt bắt đầu từ đầu ra của bài toán phát hiện khuôn mặt đã được xử lý, và chất lượng của nhận dạng phụ thuộc hoàn toàn vào kết quả phát hiện Việc xác định chính xác khuôn mặt sẽ tạo điều kiện thuận lợi cho nhận dạng Để giải quyết bài toán này, đã có nhiều phương pháp tiếp cận khác nhau, tùy thuộc vào đặc điểm hình ảnh và mục đích sử dụng Một số phương pháp nhận dạng khuôn mặt phổ biến hiện nay bao gồm
FaceNet là một kiến trúc Deep Learning sử dụng các lớp chập, được phát triển dựa trên mô hình GoogleNet Hệ thống này đạt hiệu suất cao trong các thử nghiệm với bộ dữ liệu Labeled Face in the Wild (LFW) với độ chính xác 99,63% và Youtube Faces DB với 95,12% Đặc biệt, từ dữ liệu ảnh khuôn mặt đầu vào, FaceNet chuyển đổi mỗi khuôn mặt thành một vector đặc trưng 128 chiều.
Quá trình trích rút đặc trưng trong Facenet được mô tả qua việc tính toán độ khác nhau bằng khoảng cách Euclid giữa các đặc trưng Dữ liệu khuôn mặt được huấn luyện bằng hàm Triple loss, trong đó mỗi "bộ ba" bao gồm một ảnh mặt của một người (Anchor), một ảnh mặt khác của người đó (positive) và một ảnh của người khác (negative) Mục tiêu là điều chỉnh tham số của mạng sao cho khoảng cách giữa ảnh Anchor và Positive là nhỏ nhất, trong khi khoảng cách giữa ảnh Anchor và Negative là lớn nhất Sau khi huấn luyện trên tập dữ liệu lớn, mô hình thu được có khả năng phân biệt ảnh của cùng một người và ảnh của người khác.
Hình 3.14: Mô tả hoạt động của hàm Triple loss
Phương pháp này có một yếu điểm lớn là yêu cầu khắt khe về chất lượng và kích thước ảnh đầu vào Điều này gây khó khăn trong việc thu thập dữ liệu huấn luyện từ nhiều nguồn khác nhau.
Hình 3.15: Sơ đồ hệ thống nhận dạng khuôn mặt OpenFace
Phương pháp OpenFace sử dụng các mô hình từ dlib hoặc OpenCV để xác định khuôn mặt và biến đổi nó thành mạng Neural Kho lưu trữ này áp dụng ước tính tư thế thời gian thực của dlib kết hợp với phép biến đổi của OpenCV nhằm xác định vị trí từ mắt đến môi trên từng ảnh Sau đó, một mạng Neural sâu được sử dụng để biểu diễn khuôn mặt trên một siêu cầu đơn vị 128 chiều, với các đặc trưng được trích rút đại diện cho khuôn mặt Những đặc trưng này giúp cải thiện khả năng phân cụm, phát hiện sự tương tự và thực hiện các tác vụ phân loại so với các kỹ thuật nhận diện khác Tuy nhiên, thực nghiệm cho thấy phương pháp này chỉ hoạt động hiệu quả với quy mô dưới 300 đối tượng.
3.2.3 Mô hình DeepFace (Facebook, CVPR 2014)
Nhóm tác giả từ Trung tâm Nghiên cứu Facebook và Đại học Tel Aviv, Israel đã phát triển thuật toán DeepFace, sử dụng ảnh từ người dùng Facebook làm dữ liệu Quy trình nhận dạng khuôn mặt bao gồm 4 bước: xác định, canh chỉnh, biểu diễn và phân loại khuôn mặt Nhóm nghiên cứu đã biểu diễn khuôn mặt theo mô hình 3D, áp dụng biến đổi affine từng phần, và sử dụng mạng nơ-ron sâu với hơn 120 ngàn tham số để đạt được hiệu quả cao trong việc nhận diện Họ cũng trình bày phương pháp canh chỉnh khuôn mặt dựa trên mô hình 3D, giúp tổng quát hóa cho các tập dữ liệu khác.
Hình 3.16: Cấu trúc huấn luyện của DeepFace
Mô hình cấu trúc huấn luyện DeepFace bắt đầu từ việc xử lý ảnh đầu vào để lấy khuôn mặt, sau đó thực hiện chỉnh chính diện bằng mô hình 3D (Frontalization) Quá trình tiếp theo bao gồm các lớp lọc Tích chập (C1), Pooling (M2), và Tích chập (C3), tiếp theo là ba lớp Liên thông Địa phương (L4 – L6) và hai lớp Liên thông Đầy đủ (F7 – F8) Mạng có hơn 120.000 tham số, trong đó 95% tập trung ở các lớp Liên thông Địa phương và Liên thông Đầy đủ DeepFace nổi bật với độ chính xác cao, nằm trong nhóm các thuật toán nhận dạng khuôn mặt hàng đầu.
Phương pháp DeepFace gặp nhược điểm khi huấn luyện với bộ dữ liệu riêng, bao gồm hàng triệu ảnh từ mạng xã hội, dẫn đến tốc độ chậm hơn so với các phương pháp khác Mô hình nhận diện khuôn mặt này chưa được Facebook công bố mã nguồn mở, chỉ có bài báo khoa học, khiến cho việc nghiên cứu và ứng dụng chưa được đầy đủ Để sử dụng mô hình này, cần phải có cấu hình máy tính mạnh mẽ để thực hiện việc điểm danh hiệu quả.
Luận văn sẽ trình bày hệ thống nhận diện khuôn mặt quy mô lớn sử dụng thư viện Arc-Face, với mục tiêu nâng cao khả năng phân biệt giữa các lớp thông qua việc thiết kế hàm thích hợp Phương pháp này đã chứng minh hiệu suất vượt trội, đạt độ chính xác 99,38% khi kiểm định trên bộ dữ liệu Labeled Faces in the Wild (LFW) gồm 13.332 bức ảnh của 5.749 người nổi tiếng Arc-Face không ngừng cập nhật và phát triển, đạt vị trí thứ 2 trong cuộc thi WIDER Face Detection Challenge 2019 và được chọn làm pre-train model cho cuộc thi iQIYI iCartoonFace challenge vào tháng 4 năm 2020 Đến tháng 9 năm 2020, phương pháp này đã kiểm định trên bộ dữ liệu lớn với 360.000 ids, đạt độ chính xác 99,1%.
