HỆ THỐNG ĐIỂM DANH LỚP HỌC DÙNG NHẬN DIỆN GƯƠNG MẶT

GIỚI THIỆU

1.1 Lý do chọn đề tài

Hiện nay, có nhiều loại hệ thống chấm công và điểm danh tự động, bao gồm vân tay, thẻ từ, và đặc biệt là hệ thống nhận diện gương mặt sử dụng công nghệ deep learning.

Hệ thống chấm công sử dụng công nghệ nhận diện gương mặt sẽ được triển khai gần cửa ra vào, giúp quản lý hiệu quả thông qua ứng dụng di động Dự án này nhằm cung cấp các giải pháp nghiệp vụ tối ưu cho việc theo dõi thời gian làm việc.

1.2 Mục đích của đề tài

Áp dụng kiến thức về trí tuệ nhân tạo, vi điều khiển và khoa học dữ liệu để thiết kế hệ thống nhận diện gương mặt hiệu quả.

 Vận dụng kiến thức cho việc thu thập dữ liệu là các hình ảnh của sinh viên. Chuẩn hóa và làm sạch dữ liệu

Tìm hiểu và triển khai mô hình nhận diện gương mặt từ các tập dữ liệu, sau đó tích hợp vào hệ thống backend service để cung cấp các API cho tất cả thiết bị trong hệ thống.

Ứng dụng di động sẽ được phát triển trên nền tảng công nghệ Xamarin, nhằm mục đích đa nền tảng, giúp hỗ trợ nhiều người dùng hơn.

GIẢI PHÁP

T ỔNG QUAN HỆ THỔNG

Hình 1 Tổng quan hệ thống

Để giải quyết bài toán phức tạp, cần chia nhỏ hệ thống lớn thành các hệ thống con đơn giản hơn, mỗi hệ thống đảm nhận một phần công việc riêng biệt.

- Như ở sơ đồ trên có thể thấy nó gồm 4 hệ thống con:

Tên linh kiện Hình ảnh Mô tả

Raspberry Pi 3 -Raspberry Pi có các thành phần chính như:

1 CPU ARM Cortex-A53 Quadcore 1.2GHz

7 4 cổng USB -Hệ điều hành: Raspbian 64 bit

-Camera xiaomi -Độ phân giải: 1080P -Kết nối: USB, Wifi

Thẻ nhớ Sandisk Ultra 32 GB. Dùng để lưu trữ OS và dữ liệu

Bảng 1 Danh sách phần cứng

- Camera kết nối với raspberry thông qua cổng dây USB

- Raspberry kết nối với server thông dây ethernet

API (Giao diện lập trình ứng dụng) là tập hợp các quy tắc và cơ chế cho phép các ứng dụng hoặc thành phần tương tác với nhau Nó cung cấp dữ liệu cần thiết cho ứng dụng của bạn dưới các định dạng phổ biến như JSON hoặc XML.

REST (REpresentational State Transfer) là một kiến trúc API sử dụng phương thức HTTP đơn giản để giao tiếp giữa các máy Thay vì chỉ sử dụng một URL để xử lý thông tin người dùng, REST gửi yêu cầu HTTP như GET, POST, DELETE đến một URL để quản lý dữ liệu hiệu quả.

RESTful API là tiêu chuẩn thiết kế API cho ứng dụng web, giúp quản lý tài nguyên hiệu quả Đây là một trong những phương pháp thiết kế API phổ biến hiện nay, cho phép các ứng dụng web và di động giao tiếp linh hoạt với nhau.

REST hoạt động chủ yếu dựa vào giao thức HTTP Các hoạt động cơ bản nêu trên sẽ sử dụng những phương thức HTTP riêng [8]:

 GET (SELECT): Trả về một Resource hoặc một danh sách Resource.

 POST (CREATE): Tạo mới một Resource.

 PUT (UPDATE): Cập nhật thông tin cho Resource.

 DELETE (DELETE): Xoá một Resource.

2.4.1 Tổng quan về hệ thống nhận diện

Hình 5 Hệ thống nhận diện

- Face encoder: là một module trong hệ thống được dùng để trích xuất đặc trưng của một gương mặt có trong bức ảnh.

- Sử dụng model facenet để đi trích xuất đặc trưng Facenet gồm có hai thành phần chính đó là siam network và triple loss function

Mạng Siamese, hay còn gọi là Siamese Neural Network, là một kiến trúc mạng nơron tích chập (CNN) được thiết kế đặc biệt bằng cách loại bỏ lớp đầu ra Mục tiêu chính của mạng này là xác định xem hai bức ảnh chụp khuôn mặt người trong những bối cảnh khác nhau có phải là của cùng một người hay không.

Siam Network được ứng dụng trong nhiều bài toán thực tế như điểm danh, chấm công và mở khóa điện thoại bằng nhận diện khuôn mặt Công nghệ này lần đầu được giới thiệu trong bài báo "DeepFace: Closing the Gap to Human-Level" của Yaniv Taigman.

Mạng Siam nhận đầu vào là hai bức ảnh bất kỳ và xuất ra hai vector đặc trưng tương ứng Các vector này được biểu diễn dưới dạng số học, cho phép kiểm tra độ tương đồng giữa các bức ảnh thông qua một hàm loss Hàm loss phổ biến thường được sử dụng là norm bậc 2.

 Công thức Norm bậc 2 có dạng:¿∨f ( x 1)− f (x 2)∨¿ 2 2

Triple loss áp dụng khái niệm anchor, trong đó anchor image là những bức ảnh gốc của sinh viên, chẳng hạn như ảnh thẻ 3x4 Những bức ảnh này được xem là cố định trong hệ thống.

 Như tên của loss function này là triple nên sẽ cần đến 3 bức ảnh: một là anchor, hai là positive và ba là negative.

Mục tiêu của phương pháp này là giảm thiểu khoảng cách giữa hai ảnh khi chúng là negative, đồng thời tối đa hóa khoảng cách khi chúng là positive Cụ thể, triple loss có thể được hiểu là sự kết hợp của hai hàm mất mát norm.

 Do đó khi đưa lần lượt bộ ba hình ảnh vào train model thì model sẽ học được cả trường hợp sai lẫn đúng.

- Face detection là một module trong hệ thống dùng để xác định các gương mặt có trong bức ảnh và đánh dấu bằng bounding box.

- Sử dụng hai model chính đó là Haarcascade và MTCNN.

Face identifier là một module trong hệ thống nhận dạng gương mặt, giúp xác định danh tính hoặc nhãn của một gương mặt Quá trình này bao gồm việc trích xuất đặc trưng của gương mặt thành vector với kích thước 128 chiều hoặc 512 chiều.

- Sử dụng ba classifier model SVM, KNN và FAISS (Facebook AI Similarity Search)

SVM (Support Vector Machine) là một thuật toán giám sát chủ yếu được sử dụng cho phân loại, mặc dù nó cũng có thể áp dụng cho đệ quy Trong quá trình hoạt động, thuật toán này biểu diễn dữ liệu dưới dạng các điểm trong không gian n chiều, trong đó n đại diện cho số lượng tính năng Mục tiêu của SVM là tìm kiếm một hyper-plane, hay còn gọi là "đường bay", để phân chia các lớp dữ liệu thành hai phần riêng biệt.

Support Vectors là các điểm trên đồ thị tọa độ giúp phân loại dữ liệu, trong khi Support Vector Machine (SVM) là phương pháp tối ưu hóa để tạo ra biên giới phân chia hai lớp dữ liệu một cách hiệu quả nhất.

KNN (K-Nearest Neighbors) là một trong những thuật toán học có giám sát đơn giản và phổ biến trong khai thác dữ liệu và học máy Thuật toán này không thực hiện quá trình học từ tập dữ liệu huấn luyện, vì vậy nó thuộc loại lazy learning, với tất cả các tính toán chỉ được thực hiện khi cần dự đoán nhãn cho dữ liệu mới.

Lớp (nhãn) của một đối tượng dữ liệu mới có thể dự đoán từ các lớp (nhãn) của k hàng xóm gần nó nhất.

Facebook AI Similarity Search (FAISS) là thư viện chuyên dụng cho tìm kiếm tương đồng và phân cụm các vector, được phát triển bởi đội ngũ Facebook AI Research FAISS được lập trình bằng C++ và có thể sử dụng trong môi trường Python, cung cấp các thuật toán hiệu quả cho tìm kiếm vector đa chiều trong các ứng dụng similarity search.

- Database sử dụng là dạng truy vấn có cấu trúc SQL, trên nền tảng MySQL.

Raspberry là phần cứng kết nối trực tiếp với camera, yêu cầu phải có một module server hoạt động trên nó Module này cung cấp các API cần thiết để các thành phần khác trong hệ thống có thể kết nối và điều khiển camera hiệu quả.

- Xây dựng API cho raspberry sẽ sử dụng django framework, restful API.

 http://host:port/raspberry/camera/open//

 Parameters: “id của camera”

 Function: Mở camera sẵn sàng cho việc ghi hình

 http://host:port/raspberry/camera/capture/

 Function: Đọc frame từ camera

 http://host:port/raspberry/camera/close/

G IAI PHAP TRUYỆN THỔNG

7 4 cổng USB -Hệ điều hành: Raspbian 64 bit

-Camera xiaomi -Độ phân giải: 1080P -Kết nối: USB, Wifi

Thẻ nhớ Sandisk Ultra 32 GB. Dùng để lưu trữ OS và dữ liệu

Bảng 1 Danh sách phần cứng

- Camera kết nối với raspberry thông qua cổng dây USB

- Raspberry kết nối với server thông dây ethernet

API (Giao diện lập trình ứng dụng) là tập hợp các quy tắc và cơ chế cho phép ứng dụng hoặc thành phần này tương tác với ứng dụng hoặc thành phần khác Nó cung cấp dữ liệu cần thiết cho ứng dụng của bạn dưới các định dạng phổ biến như JSON hoặc XML.

REST (REpresentational State Transfer) là một kiến trúc API sử dụng phương thức HTTP đơn giản để giao tiếp giữa các máy Thay vì xử lý thông tin người dùng qua một URL, REST gửi yêu cầu HTTP như GET, POST, DELETE, v.v đến một URL để quản lý dữ liệu.

RESTful API là một tiêu chuẩn thiết kế API cho ứng dụng web, giúp quản lý các tài nguyên hiệu quả Đây là một trong những kiểu thiết kế API phổ biến hiện nay, cho phép các ứng dụng web và di động giao tiếp linh hoạt với nhau.

REST hoạt động chủ yếu dựa vào giao thức HTTP Các hoạt động cơ bản nêu trên sẽ sử dụng những phương thức HTTP riêng [8]:

 GET (SELECT): Trả về một Resource hoặc một danh sách Resource.

 POST (CREATE): Tạo mới một Resource.

 PUT (UPDATE): Cập nhật thông tin cho Resource.

 DELETE (DELETE): Xoá một Resource.

G IAI PHAP PHAN MỆM

2.4.1 Tổng quan về hệ thống nhận diện

Hình 5 Hệ thống nhận diện

- Face encoder: là một module trong hệ thống được dùng để trích xuất đặc trưng của một gương mặt có trong bức ảnh.

- Sử dụng model facenet để đi trích xuất đặc trưng Facenet gồm có hai thành phần chính đó là siam network và triple loss function

Mạng Siamese, hay còn gọi là Siamese Neural Network, là một kiến trúc mạng nơron tích chập (CNN) được thiết kế đặc biệt để nhận diện khuôn mặt Mạng này loại bỏ lớp đầu ra nhằm giải quyết bài toán xác định xem hai bức ảnh chụp một người trong các hoàn cảnh khác nhau có phải là của cùng một người hay không.

Siam Network đã được áp dụng trong nhiều bài toán thực tiễn như điểm danh, chấm công và mở khóa điện thoại bằng nhận diện khuôn mặt Công nghệ này lần đầu tiên được giới thiệu trong bài báo "DeepFace: Closing the Gap to Human-Level" của tác giả Yaniv Taigman.

Mạng Siam sử dụng hai bức ảnh làm đầu vào và tạo ra hai vector đặc trưng tương ứng Những vector này được biểu diễn dưới dạng số học, cho phép kiểm tra độ tương đồng giữa các bức ảnh thông qua một hàm loss Hàm loss phổ biến được áp dụng trong trường hợp này là norm bậc 2.

 Công thức Norm bậc 2 có dạng:¿∨f ( x 1)− f (x 2)∨¿ 2 2

Triple loss sử dụng khái niệm anchor, cụ thể là anchor image, trong hệ thống của nó Anchor image được hiểu là các bức ảnh gốc của sinh viên, như ảnh thẻ 3x4, và đây là những bức ảnh cố định.

 Như tên của loss function này là triple nên sẽ cần đến 3 bức ảnh: một là anchor, hai là positive và ba là negative.

Mục tiêu của việc sử dụng triple loss là tối thiểu hóa khoảng cách giữa hai ảnh khi chúng là negative và tối đa hóa khoảng cách khi chúng là positive Có thể hiểu rằng triple loss kết hợp từ hai hàm mất mát norm khác nhau.

 Do đó khi đưa lần lượt bộ ba hình ảnh vào train model thì model sẽ học được cả trường hợp sai lẫn đúng.

- Face detection là một module trong hệ thống dùng để xác định các gương mặt có trong bức ảnh và đánh dấu bằng bounding box.

- Sử dụng hai model chính đó là Haarcascade và MTCNN.

Face identifier là một module trong hệ thống nhận dạng khuôn mặt, giúp xác định danh tính của một người hoặc phân loại theo nhãn Quá trình này diễn ra sau khi đặc trưng của gương mặt được trích xuất thành vector 128 chiều hoặc 512 chiều.

- Sử dụng ba classifier model SVM, KNN và FAISS (Facebook AI Similarity Search)

SVM (Support Vector Machine) là một thuật toán giám sát chủ yếu được sử dụng cho phân loại, mặc dù cũng có thể áp dụng cho hồi quy Thuật toán này hoạt động bằng cách vẽ đồ thị dữ liệu dưới dạng các điểm trong không gian n chiều, trong đó n là số lượng tính năng Mục tiêu chính là tìm kiếm "đường bay" (hyper-plane) để phân chia các lớp dữ liệu thành hai phần riêng biệt, với hyper-plane được hiểu đơn giản là một đường thẳng phân chia.

Support Vectors là các điểm quan trọng trên đồ thị tọa độ, trong khi Support Vector Machine (SVM) là một thuật toán tối ưu hóa để xác định biên giới phân chia hai lớp dữ liệu một cách hiệu quả nhất.

KNN (K-Nearest Neighbors) là một trong những thuật toán học có giám sát đơn giản nhất, thường được áp dụng trong khai phá dữ liệu và học máy Thuật toán này không thực hiện quá trình học từ tập dữ liệu huấn luyện, vì vậy nó được phân loại là lazy learning; mọi tính toán chỉ diễn ra khi cần dự đoán nhãn cho dữ liệu mới.

Lớp (nhãn) của một đối tượng dữ liệu mới có thể dự đoán từ các lớp (nhãn) của k hàng xóm gần nó nhất.

Facebook AI Similarity Search (FAISS) là thư viện chuyên dụng cho việc tìm kiếm sự tương đồng và phân cụm các vector Được phát triển bởi Facebook AI Research, FAISS được viết bằng ngôn ngữ C++ và có thể sử dụng trong môi trường Python Thư viện này cung cấp các thuật toán hiệu quả để thực hiện tìm kiếm vector đa chiều trong các bài toán similarity search.

- Database sử dụng là dạng truy vấn có cấu trúc SQL, trên nền tảng MySQL.

Raspberry Pi là phần cứng kết nối trực tiếp với camera, và để điều khiển camera, nó cần có một module server hoạt động bên trong Module này cung cấp các API cho phép các thành phần khác trong hệ thống kết nối và tương tác với camera.

- Xây dựng API cho raspberry sẽ sử dụng django framework, restful API.

 http://host:port/raspberry/camera/open//

 Parameters: “id của camera”

 Function: Mở camera sẵn sàng cho việc ghi hình

 http://host:port/raspberry/camera/capture/

 Function: Đọc frame từ camera

 http://host:port/raspberry/camera/close/

Server là thành phần thiết yếu trong hệ thống, đóng vai trò cung cấp các API quan trọng cho toàn bộ cấu trúc Các API này sẽ được gọi từ phía client, cụ thể là ứng dụng di động.

- Xây dựng API cho server sẽ sử dụng django framework, restful API Các API chia theo các chức năng của cùng một đối tượng.

 http://host:port/account/login/

 http://host:port/account/password/update/

 http://host:port/account/password/reset/ /

 Function: Gửi yêu cầu reset mật khẩu

 http://host:port/account/password/reset/ //

 Parameters: “email mã hóa base 64”,

“chuỗi ngẫu nhiên”

 Function: Link tạm thời dẫn đến form đổi mật khẩu

 http://host:port/account/signup///

 Parameters: “email mã hóa base 64”,

“chuỗi ngẫu nhiên”

 Function: Link để kích hoạt tài khoản

 http://host:port/lecturer/detail//

 Parameters: “id giảng viên”

 Function: Lấy thông tin giảng viên

 http://host:port/lecturer/update/

 Function: Cập nhật thông tin giảng viên

 http://host:port/subject/list///

 Parameters: “id giảng viên”,

 Function: Danh sách môn học

 http://host:port/subject/create/

 Function: Tạo môn học mới

 http://host:port/subject/time_slot/list///

 Parameters: “id phòng học”, “thứ muốn lấy”

 Function: Lấy slot của phòng học trong ngày hôm đó Student (1 API)

 http://host:port/student/list//

 Parameters: “id môn học”

 Function: Lấy danh sách sinh viên

 http://host:port/room/list/

 Function: Lấy danh sách phòng học

 http://host:port/room/update/

 Function: Cập nhật phòng học

 http://host:port/room/create/

 http://host:port/attendance/process/create//

 Parameters: “id môn học”

 Function: Tạo process điểm danh

 http://host:port/attendance/process/state//

 Parameters: “id process”

 Function: Lấy trạng thái của process

 http://host:port/attendance/list//

 Parameters: “id process”

 Function: Lấy danh sách điểm danh

 http://host:port/attendance/update///

 Parameters: “id môn học”,

“id process”

 Function: Cập nhật tiến trình điểm danh

 http://host:port/attendance/history/list///

 Parameters: “id môn học”,

 Function: Lấy lịch sử điểm danh

 http://host:port/attendance/history/latest///

 Parameters: “id môn học”,

 Function: Lấy lịch sử điểm danh gần nhất

 http://host:port/attendance/history/detail/ /

 Parameters: “id môn học”

 Function: Chi tiết lịch sử điểm danh

 http://host:port/ a ttendance/history/subject//

 Parameters: “id môn học”

 Function: Lấy file PDF thống kê danh sách điểm danh 2.4.8 Mobile:

- Bài toán cần giải quyết:

Xây dựng app mobile dành cho giáo viên tương tác với hệ thống gồm những chức năng sau:

 Hiển thị lịch dạy của giáo viên theo thứ ngày trong tuần (Bao gồm các thông tin chi tiết của môn học và danh sách sinh viên)

 Kích hoạt camera yêu cầu hệ thống điểm danh tự động.

Xem lịch sử điểm danh cho phép theo dõi số sinh viên có mặt và vắng mặt trong lớp học Người dùng có thể chỉnh sửa thủ công thông qua danh sách Known/Unknown và lưu lại kết quả của quá trình điểm danh.

Bài viết này trình bày đồ thị pie-chart và bảng biểu thể hiện số lượng sinh viên tham gia môn học qua các tuần liên tiếp, đồng thời cảnh báo cho giáo viên về những sinh viên thường xuyên vắng mặt.

 Xem, sửa thông tin cá nhân người dùng.

- Công nghệ sử dụng: Xamarin (android)

- Đối tượng người dùng: Giảng viên.

- Mô hình triển khai ứng dụng: Mô hình MVVM (Model – View- ViewModel). a Giới thiệu:

Hiện nay, sự phát triển trong xử lý sự kiện và binding dữ liệu giữa các tầng ứng dụng đã dẫn đến việc tích hợp chặt chẽ giữa tầng kết hợp và lớp presentation Điều này tạo ra nhu cầu cần một mô hình phát triển ứng dụng mới, phù hợp hơn, và từ đó, mô hình Model – View – ViewModel (MVVM) đã ra đời và ngày càng trở nên phổ biến.

KẾT QUẢ

K ỆT QUA MỔBILỆ

- Phần face encoding sẽ sử dụng model facenet 128 chiều dữ liệu để có thể giảm nhiễu của 1 bức ảnh khi trích xuất đặc trưng

- Phần classifier model sẽ sử dụng mô hình SVM vì nó cho độ chính xác và tốc độ thực thi tốt nhất so với KNN và FAISS

- Để có thể cải thiện được độ chính xác của hệ thống nhận diện thì 3 hướng để phát triển và triển khai:

 Chọn camera phù hợp có độ phân giải cao.

 Giảm chiều dữ liệu để có thể giảm được nhiễu.

 Sử dụng một model deep learning để có thể nâng cao độ phân giải của hình ảnh cực cao Đề xuất ESRGAN model.

- Sử dụng một model encoding khác sao cho yêu cầu đầu vào của bức ảnh nhỏ, ví dụ như 20x20, 30x30, …

[1] Source code, https://github.com/chautruonglong/NHOM_14

[2] davidsandberg(2018), Facenet, https://github.com/davidsandberg/facenet

[3] Vũ Hữu Long(2017), Principal Component Analysis, https://machinelearningcoban.com/2017/06/15/pca/

[4] Vũ Hữu Long(2018), Norm, https://machinelearningcoban.com/math/

[5] Yaniv Taigman, Ming Yang, Marc’Aurelio Ranzato and Lior Wolf, “DeepFace: Closing the Gap to Human-Level – Yaniv Taigman, https://www.cs.toronto.edu/~ranzato/publications/taigman_cvpr14.pdf

[6] xinntao(2020), ESRGAN, https://github.com/xinntao/ESRGAN

[7] Xamarin.Forms Documentation, Microsoft, https://docs.microsoft.com/en-us/xamarin/xamarin-forms/

[8] RESTful API, https://topdev.vn/blog/restful-api-la-gi/

[9] Phạm Đình Khánh, Mô hình Facenet trong face recognition https://phamdinhkhanh.github.io/2020/03/12/faceNetAlgorithm.html

[10] Phạm Văn Thịnh, Cơ bản về MVVM (Model–View–ViewModel) Pattern https://viblo.asia/p/co-ban-ve-mvvm-model-view-viewmodel-pattern-