1. Trang chủ
  2. » Luận Văn - Báo Cáo

Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms

75 1 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề Ứng Dụng Phân Tích Khuôn Mặt Vào Chống Gian Lận Trong Thi Cử Trực Tuyến Tích Hợp Vào Hệ Thống LMS
Tác giả Vũ Văn Thương
Người hướng dẫn TS. Tạ Anh Sơn
Trường học Trường Đại Học Bách Khoa Hà Nội
Chuyên ngành Toán Tin
Thể loại luận văn thạc sĩ
Năm xuất bản 2022
Thành phố Hà Nội
Định dạng
Số trang 75
Dung lượng 2,46 MB

Nội dung

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS VŨ VĂN THƯƠNG thuongvv.hust@gmail.com Ngành Toán Tin Giảng viên hướng dẫn: TS.Tạ Anh Sơn Viện: Toán ứng dụng Tin học HÀ NỘI, 4/2022 Chữ kí GVHD ĐỀ TÀI LUẬN VĂN Tên học viên : Vũ Văn Thương Mã số học viên : CB190309 Tên đề tài : Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS Mã đề tài: 2019B-TOANTIN Hệ : Thạc sĩ khoa học Ngành : Toán Tin Cán hướng dẫn : TS Tạ Anh Sơn Đơn vị : Viện Toán ứng dụng Tin học, Trường Đại học Bách Khoa Hà Nội Chữ kí GVHD Lời cảm ơn Đầu tiên, em xin gửi lời cảm ơn chân thành đến thầy Tạ Anh Sơn hướng dẫn tận tình hướng dẫn đưa góp ý, nhận xét để em hồn thành tốt luận văn Em xin gửi lời cảm ơn chân thành đến thầy Viện Tốn ứng dụng Tin học, trường Đại học Bách Khoa Hà Nội, người tận tâm truyền đạt kiến thức quý giá cho em suốt q trình học tập Ngồi ra, em xin chân thành cảm ơn bạn đồng nghiệp Công ty cổ phần giải pháp phần mềm ZENTSOFT đưa đóng góp q trình thực đề tài Em xin gửi lời cảm ơn đến TS Nguyễn Quang Thuận chủ nhiệm đề tài QG21.51 cấp ĐHQGHN, cảm ơn Trường Quốc Tế - Đại Học Quốc Gia Hà Nội, cảm ơn Công ty cổ phẩn giáo dục Zent Education triển khai giải pháp thử nghiệm sử dụng hệ thống LMS đưa góp ý quan trọng quý báu để em hoàn thiện đề tài tốt Hà Nội, ngày 10 tháng năm 2022 Học viên thực Vũ Văn Thương Tóm tắt nội dung luận văn Mơ hình học tập thi trực tuyến đời phát triển nhanh nước phát triển, từ sinh viên chủ động việc xếp thời gian học tập Tại nước phát triển có Việt Nam, trước việc học tập trực tuyến hay thi trực tuyến cịn có nhiều rào cản Tuy nhiên, từ dịch bệnh Covid-19 hoành hành, trường học bắt buộc phải đóng cửa để đảm bảo phịng chống dịch bệnh Từ vấn đề cấp thiết đặt làm để tổ chức học thi trực tuyến cách hiệu nhất, đảm bảo chất lượng đào tạo tốt Một ứng dụng triển khai vào công tác giảng dạy, quản lý học tập học sinh, sinh viên hệ thống quản lý học tập LMS - Learning Managerment System Tuy nhiên, hệ thống dừng lại việc quản lý học tập, chưa có biện pháp để nâng cao chất lượng đào tạo đảm bảo tối thiểu gian lận trình học thi trực tuyến Luận văn đề xuất giải pháp tích hợp cơng nghệ nhận dạng khn mặt theo dõi ánh nhìn vào hệ thống LMS để cảnh báo sớm trường hợp vi phạm nhằm giảm thiểu gian lận thi cử trực tuyến Kết triển khai thử nghiệm Trường Quốc Tế - Đại học Quốc Gia Hà Nội cho tín hiệu tích cực việc đáp ứng nhu cầu thực tiễn giai đoạn tại, nhằm hỗ trợ nâng cao chất lượng giảng dạy triển khai học thi trực tuyến Từ khóa: CNN, nhận dạng khn mặt, nhận dạng cảm xúc, LMS Mục lục PHẦN MỞ ĐẦU TỔNG QUAN CÔNG NGHỆ NHẬN DIỆN KHUÔN MẶT 11 13 1.1 Giới thiệu tốn nhận dạng khn mặt 13 1.2 Các lý thuyết mạng thần kinh 14 1.3 Các thuật tốn nhận dạng khn mặt phổ biến 18 1.3.1 Phương pháp sử dụng đặc trưng cứng (handcrafted) 18 1.3.2 Phương pháp sử dụng mơ hình FaceNet 19 1.3.3 Phương pháp sử dụng mơ hình ArcFace 22 1.4 Tổng quan hệ thống nhận diện khuôn mặt 24 1.5 Kết chương 34 TỔNG QUAN VỀ CÔNG NGHỆ THEO DÕI ÁNH NHÌN TRÊN KHN MẶT 35 2.1 Face Landmark 36 2.2 Theo dõi ánh nhìn từ biểu đồ Face Landmark 39 2.3 Kết chương 43 TÍCH HỢP ỨNG DỤNG PHÂN TÍCH KHN MẶT TRONG CHỐNG GIAN LẬN TRONG THI TRỰC TUYẾN 44 3.1 Phân tích hành vi gian lận từ khuôn mặt 45 Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS 3.2 Phân tích thiết kế giải pháp 3.2.1 Mục đích xây dựng hệ thống giám sát 47 47 3.2.2 Yêu cầu đạt 48 3.2.3 Mơ hình giải pháp 48 3.2.4 Thiết kế xây dựng 49 3.3 Công nghệ sử dụng 54 3.4 Giải pháp tích hợp vào hệ thống LMS 56 3.4.1 Giải pháp tích hợp phiên website 56 3.4.2 Giải pháp tích hợp phiên application 56 3.5 Kết thử nghiệm thực tế 60 3.6 Kết chương 67 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 68 TÀI LIỆU THAM KHẢO 70 Danh sách hình vẽ 1.1 Biểu diễn perceptron dạng neural network 15 16 1.2 Biểu diễn Linear Regression dạng neural network 1.3 Mô tả Nơ-ron thần kinh sinh học 1.4 Tư tưởng hoạt động kiến trúc FaceNet 16 1.5 Triplet loss sử dụng FaceNet 20 21 1.6 Kiến trúc ArcFace 24 1.7 Sơ đồ hoạt động hệ thống nhận diện khn mặt có đeo trang 25 1.8 Đặc trưng HOG hình ảnh khn mặt 1.9 Cắc đặc trưng Haar 26 27 1.10 Sơ đồ khối hệ thống detect khuôn mặt thuật toán Viala-Jones 10 28 1.11 Ảnh trước sau chạy thuật toán NMS 1.12 Kiến trúc mạng SSD YOLO 12 14 29 29 1.13 Vị trí 68 điểm landmark có khn mặt 1.14 Q trình alignment lại khn mặt 11 13 31 31 1.15 Mơ hình q trình huấn luyện kiểm thử mạng CNN cho 32 1.16 Mơ hình xác thực khn mặt 16 33 1.17 Mơ hình nhận dạng khn mặt 17 34 toán nhận diện khn mặt 15 Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS 2.1 Sơ đồ khối xây dựng mơ hình landmark 18 2.2 Bản đồ 68 điểm khuôn mặt 19 37 2.3 Kiến trúc mô hình CNN cho face landmark 20 40 2.4 Minh hoạ quy tắc xác định ánh nhìn 21 41 2.5 Minh hoạ quy tắc xác định ánh nhìn 22 41 2.6 Bộ liệu MPIIGaze 42 3.1 Minh hoạ học online sử dụng điện thoại 23 45 3.2 Hệ thống điểm danh lớp học 24 46 3.3 Minh hoạ thủ thuật gian lận học thi online 25 47 3.4 Mơ hình tổng quan tích hợp FaceID vào LMS 26 48 3.5 Danh sách API Face ID API 27 49 3.6 Cấu trúc API nhận dạng khuôn mặt 28 50 3.7 Cấu trúc API thêm thông tin người dùng 29 51 3.8 Cấu trúc API xố thơng tin người dùng 30 52 3.9 Cấu trúc API xố thơng tin người dùng 31 53 39 3.10 Giao diện tham gia phịng thi, xác thực hiển thị thơng tin thí sinh 57 3.11 Xác thực hiển thị thơng tin thí sinh đeo trang 58 3.12 Cảnh báo vi phạm thí sinh khơng có mặt khung hình 58 3.13 Cảnh báo vi phạm thí sinh khơng tập trung vào thi, có hướng nhìn ngồi khu vực quan sát 59 3.14 Cảnh báo vi phạm nhìn ngồi phạm vi quan sát 63 3.15 Cảnh báo vi phạm nhìn ngồi phạm vi quan sát 63 3.16 Cảnh báo vi phạm nhìn phạm vi quan sát 64 3.17 Nhận dạng thí sinh đăng nhập hệ thống 64 Ứng dụng phân tích khn mặt vào chống gian lận thi cử trực tuyến tích hợp vào hệ thống LMS 3.18 Nhận dạng thí sinh đăng nhập hệ thống 64 3.19 Nhận dạng thí sinh đăng nhập hệ thống 65 3.20 Cảnh báo vi phạm xuất 02 khuôn mặt khu vực quan sát 65 3.21 Cảnh báo sai nhận dạng thí sinh có hình ảnh thí sinh ngồi bàn sau 3.22 Cảnh báo sai thí sinh đeo trang nhìn nghiêng 66 66 Danh sách bảng 1.1 Kết đánh giá liệu LFW phương pháp trích xuất đặc trưng cứng 19 1.2 So sánh ArcFace với phương pháp khác tập LFW YTF 23 2.1 Chia liệu thành nhóm từ tập liệu MPIIGaze 43 2.2 Kết kiểm tra thực thiết bị Macbook PRO 15 2020 43 3.1 Bảng giải mã thông tin nhận từ API kiểm tra ánh nhìn 54 10

Ngày đăng: 04/06/2023, 13:08

Nguồn tham khảo

Tài liệu tham khảo Loại Chi tiết
[9] Le, V., Brandt, J., Lin, Z., Bourdev, L., Huang, T. S. (2012, October).Interactive facial feature localization. In European conference on computer vision (pp. 679-692). Springer, Berlin, Heidelberg Sách, tạp chí
Tiêu đề: Interactive facial feature localization
Tác giả: Le, V., Brandt, J., Lin, Z., Bourdev, L., Huang, T. S
Nhà XB: Springer, Berlin, Heidelberg
Năm: 2012
[10] Zhang, B., Gao, Y., Zhao, S., Liu, J. (2009). Local derivative pattern versus local binary pattern: face recognition with high-order local pattern descrip-tor.IEEE transactions on image processing, 19(2), 533-544 Sách, tạp chí
Tiêu đề: Local derivative pattern versus local binary pattern: face recognition with high-order local pattern descriptor
Tác giả: Zhang, B., Gao, Y., Zhao, S., Liu, J
Nhà XB: IEEE transactions on image processing
Năm: 2009
[11] Cruz-Mota, J., Bogdanova, I., Paquier, B., Bierlaire, M., Thiran, J. P. (2012).Scale invariant feature transform on the sphere: Theory and ap-plications.International journal of computer vision, 98(2), 217-241 Sách, tạp chí
Tiêu đề: Scale invariant feature transform on the sphere: Theory and applications
Tác giả: Cruz-Mota, J., Bogdanova, I., Paquier, B., Bierlaire, M., Thiran, J. P
Nhà XB: International journal of computer vision
Năm: 2012
[12] Dalal, N., Triggs, B. (2005, June). Histograms of oriented gradients for human detection. In 2005 IEEE computer society conference on computer vision and pattern recognition (CVPR’05) (Vol. 1, pp. 886-893). Ieee Sách, tạp chí
Tiêu đề: Histograms of oriented gradients for human detection
Tác giả: Dalal, N., Triggs, B
Nhà XB: IEEE Computer Society
Năm: 2005
[13] Mehrotra, R., Namuduri, K. R., Ranganathan, N. (1992). Gabor filter-based edge detection. Pattern recognition, 25(12), 1479-1494 Sách, tạp chí
Tiêu đề: Gabor filter-based edge detection
Tác giả: Mehrotra, R., Namuduri, K. R., Ranganathan, N
Nhà XB: Pattern recognition
Năm: 1992
[17] Martínez-Díaz, Y., Méndez-Vázquez, H., López-Avila, L., Chang, L., Enrique Sucar, L., Tistarelli, M. (2018). Toward more realistic face recognition eval- uation protocols for the youtube faces database. In Proceedings of the IEEE conference on computer vision and pattern recognition workshops (pp. 413- 421) Sách, tạp chí
Tiêu đề: Toward more realistic face recognition evaluation protocols for the youtube faces database
Tác giả: Martínez-Díaz, Y., Méndez-Vázquez, H., López-Avila, L., Chang, L., Enrique Sucar, L., Tistarelli, M
Nhà XB: Proceedings of the IEEE conference on computer vision and pattern recognition workshops
Năm: 2018
[18] Kozma, L. (2008). k Nearest Neighbors algorithm (kNN). Helsinki University of Technology, 32 Sách, tạp chí
Tiêu đề: k Nearest Neighbors algorithm (kNN)
Tác giả: L. Kozma
Nhà XB: Helsinki University of Technology
Năm: 2008
[19] Zhang, C., Liao, Q., Rakhlin, A., Miranda, B., Golowich, N., Poggio, T. (2018).Theory of deep learning IIb: Optimization properties of SGD. arXiv preprint arXiv:1801.02254 Sách, tạp chí
Tiêu đề: Theory of deep learning IIb: Optimization properties of SGD
Tác giả: Zhang, C., Liao, Q., Rakhlin, A., Miranda, B., Golowich, N., Poggio, T
Nhà XB: arXiv
Năm: 2018
[21] Deng, J., Guo, J., Xue, N., Zafeiriou, S. (2019). Arcface: Additive angular margin loss for deep face recognition. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 4690-4699) Sách, tạp chí
Tiêu đề: Arcface: Additive angular margin loss for deep face recognition
Tác giả: Deng, J., Guo, J., Xue, N., Zafeiriou, S
Nhà XB: Proceedings of the IEEE/CVF conference on computer vision and pattern recognition
Năm: 2019
[22] Qin, Z., Zhang, Z., Chen, X., Wang, C., Peng, Y. (2018, October). Fd- mobilenet: Improved mobilenet with a fast downsampling strategy. In 2018 25th IEEE International Conference on Image Processing (ICIP) (pp. 1363- 1367). IEEE Sách, tạp chí
Tiêu đề: Fd- mobilenet: Improved mobilenet with a fast downsampling strategy
Tác giả: Qin, Z., Zhang, Z., Chen, X., Wang, C., Peng, Y
Nhà XB: IEEE
Năm: 2018
[24] Viola, P., Jones, M. (2001, December). Rapid object detection using a boosted cascade of simple features. In Proceedings of the 2001 IEEE com-puter society conference on computer vision and pattern recognition. CVPR 2001 (Vol. 1, pp.I-I). Ieee Sách, tạp chí
Tiêu đề: Rapid object detection using a boosted cascade of simple features
Tác giả: Viola, P., Jones, M
Nhà XB: IEEE Computer Society
Năm: 2001
[14] Abdi, H., Williams, L. J. (2010). Principal component analysis. Wiley in- terdisciplinary reviews: computational statistics, 2(4), 433-459 Khác
[15] Huang, G. B., Jones, M. J., Learned-Miller, E. (2008, October). LFW results using a combined Nowak plus MERL recognizer. In Workshop on Faces in’Real-Life’Images: Detection, Alignment, and Recognition Khác
[16] Schroff, F., Kalenichenko, D., Philbin, J. (2015). Facenet: A unified em- bedding for face recognition and clustering. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 815-823) Khác
[20] Lydia, A., Francis, S. (2019). Adagrad—an optimizer for stochastic gradient descent. Int. J. Inf. Comput. Sci, 6(5), 566-568 Khác
[23] Wang, Y. Q. (2014). An analysis of the Viola-Jones face detection algorithm. Image Processing On Line, 4, 128-148 Khác
[25] Vezhnevets, A., Vezhnevets, V. (2005, September). Modest AdaBoost-teaching AdaBoost to generalize better. In Graphicon (Vol. 12, No. 5, pp. 987-997) Khác

HÌNH ẢNH LIÊN QUAN

Hình 1.1: Biểu diễn perceptron dưới dạng neural network 1 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.1 Biểu diễn perceptron dưới dạng neural network 1 (Trang 15)
Hình 1.2: Biểu diễn Linear Regression dưới dạng neural network 2 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.2 Biểu diễn Linear Regression dưới dạng neural network 2 (Trang 16)
Hình 1.4: Tư tưởng hoạt động kiến trúc FaceNet 4 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.4 Tư tưởng hoạt động kiến trúc FaceNet 4 (Trang 20)
Hình 1.10: Sơ đồ khối hệ thống detect khuôn mặt bằng thuật toán Viala-Jones 10 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.10 Sơ đồ khối hệ thống detect khuôn mặt bằng thuật toán Viala-Jones 10 (Trang 28)
Hình 1.11: Ảnh trước và sau chạy thuật toán NMS 11 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.11 Ảnh trước và sau chạy thuật toán NMS 11 (Trang 29)
Hình 1.12: Kiến trúc của mạng SSD và YOLO 12 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.12 Kiến trúc của mạng SSD và YOLO 12 (Trang 29)
Hình 1.13: Vị trí 68 điểm landmark có trên khuôn mặt 13 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.13 Vị trí 68 điểm landmark có trên khuôn mặt 13 (Trang 31)
Hình 1.15: Mô hình quá trình huấn luyện và kiểm thử mạng CNN cho bài toán nhận diện khuôn mặt - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.15 Mô hình quá trình huấn luyện và kiểm thử mạng CNN cho bài toán nhận diện khuôn mặt (Trang 32)
Hình 1.16: Mô hình xác thực khuôn mặt 16 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.16 Mô hình xác thực khuôn mặt 16 (Trang 33)
Hình 1.17: Mô hình nhận dạng khuôn mặt 17 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 1.17 Mô hình nhận dạng khuôn mặt 17 (Trang 34)
Hình 2.3: Kiến trúc mô hình CNN cho face landmark 3 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 2.3 Kiến trúc mô hình CNN cho face landmark 3 (Trang 40)
Hình 2.4: Minh hoạ quy tắc 1 xác định ánh nhìn 4 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 2.4 Minh hoạ quy tắc 1 xác định ánh nhìn 4 (Trang 41)
Hình 2.5: Minh hoạ quy tắc 3 xác định ánh nhìn 5 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 2.5 Minh hoạ quy tắc 3 xác định ánh nhìn 5 (Trang 41)
Hình 3.1: Minh hoạ học online sử dụng điện thoại 1 . - Ứng dụng phân tích khuôn mặt vào chống gian lận trong thi cử trực tuyến tích hợp vào hệ thống lms
Hình 3.1 Minh hoạ học online sử dụng điện thoại 1 (Trang 45)

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w