Đề tài phân tích Đề tài nghiên cứu sinh viên “xây dựng hệ thống Điểm danh sinh viên dựa trên nhận diện khuôn mặt

Chính vì vậy, đề cung cáp một góc nhìn sâu sắc vẻ cách thức phát triển và thực hiện một đề tài nghiên cứu, nhóm 01 đã quyết định lựa chọn và phân tích dé tài nghiên cứu sinh viên “xây

eyir

HOC VIEN CONG NGHE BUU CHÍNH VIÊN THONG

KHOA VIEN THONG 1

BAI TAP LON MON HOC: PHUONG PHAP LUAN NGHIEN CUU KHOA HQC

pé tai: PHAN TICH DE TAI NGHIEN CỨU SINH VIÊN “XÂY DỰNG HỆ THONG DIEM DANH SINH VIÊN DUA TREN NHAN DIEN KHUON MAT”

Giang viên: Ngô Thị Thùy Dương

Nhóm môn học: 13

Nhóm thực hiện: 01

Nguyễn Bùi Trường An

Phạm Văn Nam Hoàng Xuân Đức

Nguyễn Minh Đạt

Tran Hiru Dat

Dao Quang Bao

Vi Quéc Uy

Vũ Xuân Cường

Nguyễn Xuân Bắc

B21DCCN133 B21DCVT316 B21DCCNO033 B21DCVT116 B21DCCN221 B21DCCN169 B21DCCN781 B21DCCN196 B21DCAT040

LOI NOI DAU

Nghiên cứu khoa học đóng vai trò quan trọng trong việc khám phá kiến thức mới

và giải quyết những vần đẻ thực tiễn của xã hội Đề thực hiện thành công một đề tài nghiên cứu khoa học, không chỉ cần sự đầu tư vẻ thời gian và công sức mà còn đòi hỏi một quy trình nghiên cứu chặt chẽ, khoa học và sáng tạo Trong bối cảnh đó, việc phân tích các đề

tài nghiên cứu khoa học không chỉ giúp làm rõ mục tiêu, nội dung mà còn cung cáp những

kinh nghiệm quý báu, giúp người nghiên cứu nhận diện các vần đè, rút ra được những bài

học thực tiễn từ chính đề tài của mình và của các công trình nghiên cứu khác

Chính vì vậy, đề cung cáp một góc nhìn sâu sắc vẻ cách thức phát triển và thực hiện

một đề tài nghiên cứu, nhóm 01 đã quyết định lựa chọn và phân tích dé tài nghiên cứu sinh

viên “xây dựng hệ thống điểm danh sinh viên dựa trên nhận diện khuôn mặt” Qua quá trình phân tích, không chỉ nêu bật được những đóng góp của đề tài mà còn có thê chỉ ra các diém can cải thiện, các thách thức gặp phải và cách thức giải quyết Hy vọng răng, những

phân tích này sẽ mang lại giá trị hữu ích, hỗ trợ cho các nghiên cứu khoa học tiếp theo và

khuyén khích tinh thân nghiên cứu sáng tạo trong cộng đồng học thuật

MỤC LỤC

1.1 Tính cấp thiết của đề tài:

1.2 Mục đích của nghiên cứu:

1.6 Thiết ké nghiên cứu

CHƯƠNG II Tông quan nghiên cứu

2 _ Nghiên cứu quốc tế

3 _ Đánh giá tông quan các mô hình

CHƯƠNG III KHUNG LY THUYET VA PHUGNG PHAP NGHIEN CUU

1 Can chinh thang hang guong mat

4 Phương pháp nhận diện

5 Tối ưu hóa hiệu suất nhận diện

CHƯƠNG V KẾT LUẬN

TÀI LIỆU THAM KHẢO

CHUONG 1 : PHAN MO DAU

1.1 Tính cấp thiết của đề tài:

Trải qua giai đoạn từ thập kỷ 1940 đến năm 2000, AI chưa thực sự phát triên mạnh mẽ,

nhưng từ năm 2006, với sự giới thiệu của khái niệm huán luyện không giám sát thông qua

mạng lưới niềm tin sâu, Deep Learning đã bắt đầu nôi lên Điều này đã mở ra cánh cửa cho

sự phát triên liên tục của trí tuệ nhân tạo và máy học, từ nhận diện sinh học đến các ứng

dụng dự báo thời tiết và khác

1.2 Mục đích của nghiên cứu:

Mục tiêu của nghiên cứu là xây dựng một hệ thống nhận diện gương mặt linh hoạt

và toàn diện, giải quyết các vấn đề phức tạp bằng cách thiết kế hệ thống linh hoạt và rộng

lớn, nhằm tạo ra một giải pháp nhận diện gương mặt tiện lợi và an toàn, phục vụ mọi người

một cách hiệu quả và dễ dàng

1.3 Mục tiêu nghiên cứu

Mục tiêu chung của nghiên cứu là xây dựng một ứng dụng trên nàn táng Web bang

tiếng Việt, cho phép nhận diện sinh viên từ các ảnh thư viện, ảnh chụp và nhận diện thời gian thực, sử dụng thư viện PyTorch dé huấn luyện, dự đoán tên của sinh viên và tạo tập

tin tống hợp đề giảng viên theo dõi

Mục tiêu cụ thế bao gồm:

« - Tìm hiểu và áp dụng phương pháp Học máy điền hình, đánh giá kết quả của hai

thuật toán đề chọn một mô hình phù hợp với độ chính xác cao cho việc triển khai trên website để người dùng tương tac

« _ Thu thập hình ảnh và thông tin của sinh viên, mỗi sinh viên có từ 50-100 bức

ảnh để huấn luyện, sau đó tiền xử lý hình ảnh đề đạt độ chính xác dự đoán trên

85%

‹ _ Xây dựng ứng dụng có thẻ triển khai tại khoa Công nghệ thông tin đề thử nghiệm điểm danh tự động cho sinh viên

‹ _ Phạm vi nghiên cứu đề cập đến sự phù hợp với trình độ và tính thực tế của người thực hiện, và kết quá của đề tài sẽ phản ánh tình hình hiện nay

1.4 Câu hỏi nghiên cứu

Câu hỏi chung

e_ Các yếu tô ảnh hưởng đến hiệu quả của hệ thông điềm danh sinh viên dựa trên

nhận diện khuôn mặt là gì?

Câu hỏi chỉ tiết

« Thế nào làm tăng độ chính xác của việc nhận diện khuôn mặt trong hệ thống

điểm danh?

« Muc dé dang tin cay cua hé thong trong môi trường học tập và làm việc?

« Anh huéng của ánh sáng, góc chụp và điều kiện môi trường đến việc nhận diện

khuôn mặt chính xác hay không?

« Kha nang xw lý số lượng lớn sinh viên cùng lúc trong quá trình điểm danh?

„ - Cách thức xử lý đữ liệu nhận diện sao cho bảo mật thông tin sinh viên”?

¢ Tinh 6n dinh va khả năng mở rộng của hệ thống khi phát triển trên quy mô lớn

như trường học hoặc trường đại học?

1.5 Ý nghĩa của nghiên cứu

Đối với sinh viên:

« _ Hỗ trợ sinh viên áp dụng công nghệ nhận diện khuôn mặt, tạo trải nghiệm thuận

lợi cho việc điểm danh, giúp sinh viên tiết kiệm thời gian và nâng cao hiệu qua

quản lý thời gian học tập

Đối với thực tế:

‹ _ Nghiên cứu nhằm xác định và đánh giá hiệu quả của công nghệ nhận diện khuôn

mặt trong hệ thống điềm danh sinh viên, cung cấp thông tin hữu ích cho việc phát triển và cải thiện hệ thống quản lý điểm danh hiện có, đồng thời nâng cao

độ chính xác và tính ứng dụng của công nghệ này trong quản lý học tập và lao

động đề tạo môi trường học tập hiệu quả và tiện lợi

1.6 Thiết kế nghiên cứu

„ _ Đối tượng nghiên cứu là phương pháp và ứng dụng nhận diện sinh viên từ gương

mặt, với việc nhận diện sinh viên khoa Công nghệ thông tin

« _ Phương pháp nghiên cứu tập trung vào khoảng 100 sinh viên khoa ONTT, thu thập

ít nhất 50 hình ảnh cho mỗi sinh viên, tỷ lệ ảnh chụp 1:1 Thời gian thực hiện nghiên

cứu sẽ tuân thủ tiến độ nghiên cứu khoa học cấp trường Nội dung nghiên cứu tập

trung vào giới thiệu lý thuyết Học máy và các phương pháp Học máy téng quan,

sau đó chọn mô hình phù hợp từ thư viện PyTorch đề triên khai hệ thông nhận diện

gương mặt

« _ Kế hoạch nghiên cứu cụ thê như sau :

Mẫu Kế hoạch thực hiện

Đến : 22/092024 - - Viết đề cương An

Đến : 28/092024 - - Khảo sát thực tế

3 Từ : 29/09/2024 - Viếtbáo cáo thuyết | Nguyễn Xuân

Đến : 08/10/2024

5 Từ : 09/10/2024 - _ Viết bản thảo lần 2 Vi Quốc Uy

Đến : 16/10/2024

Dén : 18/10/2024

CHUONG II Tổng quan nghiên cứu

Trong những năm gân đây, công nghệ nhận diện khuôn mặt đã trở thành một trong các lĩnh vực quan trọng của thị giác máy tính và trí tuệ nhân tạo, đặc biệt khi áp dụng vào

các hệ thống điểm danh tự động Nghiên cứu hiện tại tập trung vào việc ứng dụng công nghệ này vào hệ thống điểm danh sinh viên, nhằm nâng cao hiệu quả và giảm thiêu sai sót

SO Với phương pháp điểm danh thủ công

1 Nghiên cứu trong nước

Việc triển khai các hệ thống điềm danh dựa trên nhận diện khuôn mặt ở Việt Nam

đã có những bước phát triển đáng kê Đặc biệt là tại các cơ sở giáo dục, công nghệ này

được ứng dụng nhăm hỗ trợ giảng viên trong việc điểm danh sinh viên trong lớp học một

cách tự động, nhanh chóng và chính xác

Ứng dụng tại đại học Đà Lạt

e _ Mô hình nghiên cứu này được triển khai bởi nhóm sinh viên chuyên ngành Công nghệ Thông tin, với khoảng 100 sinh viên làm đối tượng thí nghiệm

Mỗi sinh viên có trung bình 50 ảnh được thu thập để làm dữ liệu huấn luyện

cho mô hình

e_ Hệ thống sử dụng mạng nơ-ron tích chập (CNN) để nhận diện khuôn mặt sinh viên trong thời gian thực Két quả thí nghiệm cho thấy mô hình đạt độ chính xác trên 90% trong điều kiện ánh sáng tốt, tuy nhiên độ chính xác giảm khi điều kiện ánh sáng yéu hoặc có sự thay đổi trong tư thế khuôn mặt của

sinh viên

Các hệ thống sử dụng thư viện PyTorch:

e _ Nghiên cứu tại Đại học Da Lat da su dụng thư viện PyTorch dé phat triển mô hình mạng nơ-ron cho việc nhận diện khuôn mặt Xây dựng một ứng dụng

trén nén tang Web băng tiếng Việt, cho phép nhận diện sinh viên từ các ảnh

thư viện, từ ảnh chụp và nhận diện thời gian thực (realtime), sử dụng thư viện

PyTorch đề huấn luyện, dự đoán tên của sinh viên và kết xuất ra tập tin tông hợp đề giảng viên theo

© Ung dung được xây dựng và có thê triển khai tại khoa Công nghệ thông tin trường Đại học Đà Lạt để thử nghiệm điểm danh tự động cho các sinh viên trong khoa Độ chính xác và hiệu suất của mô hình dựa trên PyTorch được

cải thiện so với các thư viện khác như OpenCV, nhờ khả năng xử lý dữ liệu

và tối ưu hóa thông qua GPU, với độ chính xác đạt khoảng 92% trong thử

nghiệm thực té

Ứng dụng Flask nhận diện khuôn mặt trong hệ thống điểm danh tại đại học

Đà Lạt

e Trong hệ thống điểm danh của Đại học Da Lat, Flask duoc chon lam framework chinh dé trién khai ứng dụng web Flask hỗ trợ giao diện quản lý điểm danh sinh viên theo thời gian thực và cung cấp các chức năng linh hoạt

mà không yêu càu cáu trúc phức tạp

e _ Ta sẽ xây dựng web app với 3 chức năng chính như sau: Quan sát trực tiếp kết quả Xử lý của hệ thống nhận diện gương mặt Tính toán và lưu lại các vector nhúng cho từng gương mặt qua các video được lưu Cuối cùng là xem

database diem danh theo ngày

e Hé thong ciing tich hop Ajax va Server-Sent Events (SSE) dé duy tri cập nhật

liên tục giữa server và client mà không cần tải lại trang, mang lại trải nghiệm mượt mà cho giảng viên khi quản lý sinh viên trong lớp học

2 Nghiên cứu quốc tế

Công nghệ nhận diện khuôn mặt quốc tế đã đạt được những thành tựu đáng kê

nhờ vào các tiền bộ của học sâu và các mô hình mạng nơ-ron Một số nghiên cứu

nổi bật bao gồm:

a Mô hình DeepFace của Facebook (2014):

e DeepFace là một trong những hệ thống nhận diện khuôn mặt đầu tiên ứng

dung mang nơ-ron sâu (DNN), do nhóm nghiên cứu tại Facebook phát triển

Mô hình đạt độ chính xác lên đến 97.35% khi thử nghiệm trên tập dữ liệu

nồi tiếng Labeled Faces in the Wild (LFW), với khả năng phân biệt khuôn

mặt ngay cả khi có sự khác biệt lớn về góc độ và điều kiện ánh sáng

e _ Thành công của DeepFace đã mở đường cho hàng loạt nghiên cứu sau này

về ứng dụng học sâu trong thị giác máy tính

b Mô hình FaceNet của Google (2015):

e Mô hình FaceNet, do Google phát triển, là một trong những mô hình tiên

phong trong việc sử dụng kỹ thuật nhúng (embedding) khuôn mặt, giúp mã

hóa hình ảnh khuôn mặt vào không gian vector, từ đó so sánh và nhận diện

khuôn mặt với độ chính xác cao Kết quả của FaceNet trên tập dữ liệu LFW

đạt 99.63%, vượt trội so với nhiều mô hình khác trong cùng lĩnh vực

e FaceNet đã được ứng dụng rộng rãi trong các hệ thông xác thực, quản lý an ninh và thậm chí trong các nèn táng mạng xã hội

c Mô Lightt Fast Face Detection (2018):

e Ultra-Light Fast Face Detection là một mô hình nhận diện khuôn mặt tốc độ

cao, được tối ưu hóa cho các thiết bị di động, phù hợp với môi trường giáo dục và quản lý học sinh Mô hình này đạt độ chính xác 95% trong điều kiện

ánh sáng yêu, chứng minh khả năng áp dụng cho các hệ thống điểm danh

trực tuyến và ngoại tuyến trong môi trường học đường

e Với thiết kế tối giản nhưng hiệu quả, Ultra-Light Fast Face Detection là một lựa chọn lý tưởng cho các ứng dụng thời gian thực, nhất là khi triên khai trên các thiết bị có cáu hình tháp

3 Đánh giá tổng quan các mô hình

Qua việc tông hợp các nghiên cứu trong và ngoài nước, có thê thấy rằng công nghệ nhận diện khuôn mặt đã đạt được nhiều tiến bộ, với độ chính xác ngày càng

cao và khả năng xử lý nhanh chóng Tuy nhiên, các mô hình cũng gặp một só thách thức:

e _ Độ chính xác: Các mô hình quốc tế như FaceNet và DeepFace đạt độ chính

xác rất cao (>97%), trong khi các nghiên cứu trong nước thường giới hạn ở

mức 85-92% do hạn chẻ về dữ liệu và công nghệ

e_ Hiệu suất thời gian thực: Các mô hình như MTCNN và Ultra-Light Fast Face Detection cho thay hiéu suat cao trên thiết bị di động và trong điều kiện hạn ché về cấu hình, rất phù hợp với các hệ thống điểm danh tự động

e Kha nang ỗn định trong điều kiện thực tế: Các mô hình quốc tế có khả

năng duy trì hiệu suất tốt trong các điều kiện ánh sáng và góc độ khác nhau,

trong khi các nghiên cứu trong nước cân cải thiện hơn nữa đề đạt độ chính

xác ồn định trong các điều kiện đa dạng

CHUONG III KHUNG LÝ THUYÉT VÀ PHƯƠNG PHÁP NGHIÊN CỨU

1 Căn chỉnh thăng hàng gương mặt

« - Căn chỉnh (alignment): Gương mặt cần được căn chỉnh thăng hàng dựa trên các điểm mốc (landmarks) nhu mat va mii dé dam bao tinh nhất quán khi đưa vào mô hình Căn chỉnh giúp tăng độ chính xác nhận diện của mô hình FaceNet tir 98.87% lên 99.63%

« - Thư viện dlib: Sử dụng thư viện dlib dé xác định 5 điểm chính (2 điểm trên mắt

trái, mắt phải, và I điểm trên mũi), sau đó chuân hóa kích thước ảnh về 160x160

đê phù hợp với mô hình FaceNet

2 M6 hinh FaceNet

¢ Kién tric mé hinh: FaceNet sir dung mang Inception-ResNet V1 dé chuyén déi gương mặt thành vector nhúng (embedding vector) có 128 giá trị, biểu diễn đặc trưng của gương mặt Các vector nhúng của cùng một người sẽ có xu hướng gần nhau hơn trong không gian đặc trưng

« - Mô hình pre-trained: Mô hình FaceNet được huấn luyện trên bộ dữ liệu lớn như CASIA-WebFace và VGGFace2 đề tối ưu hóa việc nhận diện Độ chính xác của

mô hình pre-trained này duoc danh gia trén b6 dit ligu LFW (Labelled Faces in the

Wild) đạt từ 0.9905 đến 0.9965

3 Hàm mắt mát Triplet Loss

Tniplet Loss, giúp giảm khoảng cách giữa các vector nhúng của cùng một người (positive pair) va tang khoảng cách giữa các vector nhúng của các người khác nhau (negative pair) Công thức Triplet Loss được biêu diễn như sau:

Lựa; = 3 ` max(0, |F(In) — F(Ly) = |? ~ ||P Ur) ~ #(p) lŸ + m)

Trong do:

«_ F(IR),F(IP),F(N)F(_R), F(LP), F(LN)F(R),F(IP),F(IN) lần lượt là các vector nhúng của ánh tham chiéu (reference), anh positive va anh negative

e mmm la gia tri margin, đảm bảo khoảng cách giữa các vector nhúng của positive và negative đủ lớn đề phân biệt

e _ Mục tiêu là tối ưu sao cho khoảng cách giữa positive và negative lớn nhát,

giúp cải thiện độ chính xác nhận diện

4 Phương pháp nhận diện

e_ Trích xuất đặc trưng: Hệ thống lưu trữ nhiều vector nhúng ở các góc độ

khác nhau của gương mặt sinh viên để đảm bảo tính chính xác khi nhận diện

e So sánh vector nhúng: Dé nhận diện gương mặt, hệ thống so sánh khoảng

cách giữa các vector nhúng thông qua các phương pháp như khoảng cách

Euclidean va Cosine:

Khoang cach Euclidean:

i=l

Ỷ Khoang cach Cosine:

-

ụ

=

Ụ

cos(@) =

-

L

>

L

Trong do: x Wec{x}x va yvec{yy là các vector nhúng của hai gương mat can so

sánh Phương pháp Euclidean thường được ưa chuộng trong nhận diện khuôn mặt do đặc

điểm hình dạng của các vector nhúng

5 Tối ưu hóa hiệu suất nhận diện

Pairwise Loss: Dé giam bot sai s6 trong Triplet Loss, hàm Pairwise Loss được ap

dụng thêm đề thu hẹp khoảng cách giữa các vector nhúng của cùng một người Công thức

Cua Pairwise Loss như sau:

Toaira » ||F (Ir) F(Ip)| ?

(T„,Ip)€1

Hàm này giúp cải thiện độ chính xác của hệ thống bằng cách đảm bảo khoảng cách

tuyệt đối giữa các cặp ánh của cùng một người nhỏ nhất có thẻ.