Đại Học Quốc Gia Tp Hồ Chí Minh TRƯỜNG ĐẠI HỌC BÁCH KHOA PHẠM VĂN SIM BÉ NGHIÊN CỨU THUẬT TOÁN NHẬN DIỆN CẢM XÚC KHUÔN MẶT Chuyên ngành: Kỹ thuật điện tử LUẬN VĂN THẠC SĨ TP.HỒ CHÍ MINH, tháng 01 năm 2019 Trang CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán hướng dẫn khoa học : (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 1: (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét 2: (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 16 tháng 01 năm 2019 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA ………… Trang ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Phạm Văn Sim Bé MSHV: 7140939 Ngày, tháng, năm sinh: 17/11/1988 Nơi sinh: Kiên Giang Chuyên ngành: Kỹ thuật điện tử Mã số: 60520203 I TÊN ĐỀ TÀI: Nghiên cứu thuật tốn nhận diện cảm xúc khn mặt II NHIỆM VỤ VÀ NỘI DUNG: Phát xác định cảm xúc khuôn mặt xuất video thời gian thực sử dụng thuật toán mạng nơ-ron tích chập III NGÀY GIAO NHIỆM VỤ : 15/01/2018 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 30/12/2018 V CÁN BỘ HƯỚNG DẪN: Tiến sĩ Trương Quang Vinh Tp HCM, ngày tháng năm 20 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) Ghi chú: Học viên phải đóng tờ nhiệm vụ vào trang tập thuyết minh LV Trang ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập – Tự – Hạnh phúc NHẬN XÉT LUẬN VĂN THẠC SĨ (Nhận xét CB hướng dẫn  Họ tên học viên: Phạm Văn Sim Bé Nhận xét CB phản biện  ) Đề tài luận văn: Phát xác định cảm xúc khuôn mặt xuất video thời gian thực sử dụng thuật tốn mạng nơ-ron tích chập Chuyên ngành: Kỹ thuật Điện tử Người nhận xét (họ tên, học hàm, học vị): TS Nguyễn Minh Sơn Cơ quan cơng tác (nếu có): Đại học CNTT – ĐHQG TPHCM Ý KIẾN NHẬN XÉT 1- Về nội dung & đánh giá thực nhiệm vụ nghiên cứu đề tài: Đề tài trình bày hệ thống nhận dạng cảm xúc khn mặt người có chức chính: phát khn mặt video / camera, trích xuất khn mặt nhận dạng cảm xúc khn mặt Hệ thống có khả phát trích xuất cảm xúc khn mặt người, bao gồm: buồn, vui, giận, bình thường, ngạc nhiên, ghê tỏm sợ hãi, xử lý thời gian thực Cốt lõi phương pháp tiếp cận luận văn đưa dựa việc: Phát khn mặt video / camera trích xuất khn mặt Sử dụng phương pháp mạng nơ-ron tích chập để phát khuôn mặt thông qua hệ thống huấn luyện sẵn Hiển thị cảm xúc khuôn mặt video thời gian thực Luận văn đáp ứng yêu cầu luạn văn thạc sĩ 2- Về phương pháp nghiên cứu, độ tin cậy số liệu: Thuyết minh trình bày số nội dung minh chứng cho phương pháp nghiên cứu đề tài Số liệu nghiên cứu luận văn có độ tin cậy thể tính đắn phuong pháp nghiên cứu luận văn 3- Về kết khoa học luận văn: Chưa có 4- Về kết thực tiễn luận văn: Luận văn thực công cụ mô nhận diện cảm xúc khuôn mặt thử nghiệm video webcam thực tế Kết chưa đánh giá tập Trang liệu ngừoi Việt Nam, chưa đánh giá độ xác chưa tập trung đến thơng só khác như: hiệu suất thuật toán, thời gian … 5- Những thiếu sót & vấn đề cần làm rõ (nếu có): -Cần có bảng tổng hợp kết thuật tốn cho trình training trinh nhận dạng -Cần làm rõ thuật tốn nhận dạng trên kích thước video khác Ý kiến kết luận (mức độ đáp ứng yêu cầu LVThS): Cần hiệu chỉnh nội dung thiếu sot theo Đánh giá luận văn đạt loại Câu hỏi người nhận xét dành cho học viên (nếu có): a) Thuật toán nhận dạng đám so với thuật toán khác có bật? b) Dữ liệu training có ảnh hưởng đến tốc độ nhận dạng độ xác? Ngày 14 tháng năm 2019 NGƯỜI NHẬN XÉT Nguyễn Minh Sơn Trang PHẦN NỘI DUNG CHỈNH SỬA Luận văn chỉnh sửa cho phù hợp với ý kiến nhận xét cán phản biện, cụ thể sau : Bổ sung danh mục hình ảnh danh mục bảng trang 11 12 Bổ sung phần so sánh kết model đề tài số model nghiên cứu giới tập liệu FER2013, bảng trang 49 Bổ sung nội dung làm rõ thuật tốn nhận dạng trên kích thước video khác nhau, trang 58 Trang LỜI CÁM ƠN Được phân công nhà trường, khoa điện – điện tử đồng ý giáo viên hướng dẫn TS Trương Quang Vinh, em thực luận văn thạc sĩ chuyên ngành kỹ thuật điện tử với đề tài “Nghiên cứu thuật toán nhận diện cảm xúc khuôn mặt” Qua trang viết em xin gửi lời cảm ơn tới người giúp đỡ em thời gian học tập, nghiên cứu luận văn thời gian qua Trước hết, em xin gửi lời cảm ơn chân thành đến TS Trương Quang Vinh Thầy người trực tiếp hướng dẫn tận tình bảo cơng việc nghiên cứu, tìm kiếm tài liệu, xử lý phân tích vấn đề luận văn Nhờ thầy mà em hồn thành luận văn cao học Ngoài ra, em xin chân thành cảm ơn quý đồng nghiệp, gia đình bạn bè khóa động viên hỗ trợ em suốt trình nghiên cứu hồn thành luận văn TÁC GIẢ Phạm Văn Sim Bé Trang TÓM TẮT Cảm xúc người phản ứng rời rạc quán kiện bên bên người Chúng tạo thành phần quan trọng giao tiếp phi ngôn ngữ xã hội loài người Tuy việc nhận dạng cảm xúc khn mặt dễ dàng với người thách thức lớn việc nhận dạng phân loại máy tính hệ thống điện tử Những thành cơng gần mạng nơ-ron tích chập (CNN) giải pháp cho tốn nhận dạng cảm xúc khn mặt ứng dụng nhận dạng phân loại khác Đề tài trình bày phương pháp tiếp cận dựa mạng nơ-ron tích chập việc phân phát phân loại cảm xúc người, bao gồm: buồn, vui, giận, bình thường, ngạc nhiên, ghê tỏm sợ hãi sử dụng phương pháp phân loại Mạng nơ-ron tích chập ABSTRACTS Human emotions are discrete a consistent responses to internal or external events which have significance for an organism They constitute a major part of our non-verbal communication The task seems easy for human but it is so difficult for a machine or electronic system to recognize emotion The recent success of Convolutional Neural Networks (CNN) in tasks such as object classification extends to the problem of facial expression recognition In this project, we would like to present an approach based on CNN for facial expression recognition The objective of this project is to classify basic emotions: anger, disgust, fear, happiness, sadness, surprise and neutral Trang LỜI CAM ĐOAN Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các số liệu, kết đề tài trung thực chưa cơng bố hình thức trước Tất tham khảo kế thừa cho việc thực luận văn cảm ơn thơng tin trích dẫn luận văn rõ nguồn gốc phép công bố TP.HCM, ngày tháng Học viên thực Phạm Văn Sim Bé Trang năm Mục lục Tổng quan 13 1.1 Giới thiệu đề tài 13 1.2 Đặc trưng mặt người 13 1.2.1 Yêu cầu nhận dạng khuôn mặt 14 1.2.2 Các biểu cảm cảm xúc mặt người 14 1.3 Mục tiêu, nhiệm vụ phạm vi đề tài 15 1.3.1 Mục tiêu đề tài 15 1.3.2 Nhiệm vụ đề tài 15 1.3.3 Phạm vi đề tài 15 1.4 Tổ chức luận văn 15 Tình hình nghiên cứu ngồi nước 16 Mạng nơ-ron tích chập (Convolution neural network - CNN) 23 3.1 Tổng quan 23 3.2 Mạng nơ-ron tích chập 24 Thiết kế hệ thống mô thử nghiệm 29 4.1 Kiến trúc hệ thống nhận diện cảm xúc khn mặt sử dụng mạng nơ-ron tích chập (CNN) 29 4.2 Dữ liệu sử dụng cho huấn luyện mạng (Training dataset) 37 4.3 Huấn luyện cho kiến trúc mạng nơ-ron tích chập 39 4.4 Thiết kế giao diện chương trình (GUI) 50 4.5 Mô thực nghiệm 51 Hướng phát triển đề tài 63 Tài liệu tham khảo 64 Trang 10 b Trích xuất khn mặt Khung ảnh lấy vào với nhiều thông tin khác nhau, nhiên vùng chứa thông tin cần thiết khuôn mặt cho bước xử lý trích xuất (ROI), cịn vùng cịn lại loại bỏ Kích thước ROI định đến tốc tính tốn khả hệ thống Kích thước ROI nhỏ việc xử lý nhanh Ở để tài này, ROI có kích thước 48x48 (a) Ảnh cần xử lý (b) Vùng ROI trích xuất Hình 27: Xác định trích xuất khn mặt c Chuyển đổi khơng gian màu Một ảnh thơ trích từ camera thông thường cung cấp theo định dạng màu RGB Theo định dạng này, điểm ảnh chứa ba kênh màu : đỏ, xanh xanh dương Giá trị ba kênh màu kết hợp, tạo thành màu thật có điểm ảnh Đối với ảnh RGB việc tính tốn, xử lý phức tạp khó khăn Do mục địch việc biến đổi không gian màu nhằm nâng cao tốc dộ xử lý ảnh (a) Ảnh RGB vùng ROI b) Ảnh xám vùng ROI Hình 28: Chuyển đổi mức xám Trang 53 d Kết thực nghiệm ảnh Một số ảnh với cảm xúc khn mặt có sẵn từ internet đưa vào hệ thống Kết thu từ hệ thống nhận diện cảm xúc bên Hình 29: Kết nhận diện cảm xúc Vui với tỉ lệ dự đoán 100% Trang 54 Hình 30: Kết nhận diện cảm xúc Vui với tỉ lệ dự đốn 99.74% Hình 31: Kết nhận diện cảm xúc Buồn với tỉ lệ dự đoán 58.67% Trang 55 Hình 32: Kết nhận diện cảm xúc Giận với tỉ lệ dự đoán 92.29% Hình 33: Kết nhận diện cảm xúc Ngạc nhiên với tỉ lệ dự đốn 100% Trang 56 Hình 34: Kết nhận diện cảm xúc Sợ với tỉ lệ dự đốn 69.81% Hình 35: Kết nhận diện cảm xúc nhiều khn mặt hình Trang 57 e Kết thực nghiệm webcam Hệ thống lấy ngõ vào video từ webcam tích hợp sẵn máy tính Đối với video có kích thước khác, hệ thống đáp ứng tính nhận diện cảm xúc khn mặt với thuật tốn Hệ thống sữ dụng thuật toán Har cascade để phát khn mặt, trích xuất khn mặt resize ảnh khng mặt khích thước 48x48 để đưa vào mạng nơ-ron tích chập tiến hành nhận dạng Sau có kết nhận dạng, cảm xúc trả gắn lên khung ảnh để hiển thị cảm xúc lên khn mặt tương ứng Ngồi ra, hệ thống đáp ứng nhận dạng cảm xúc nhiều khn mặt có video / ảnh, nhằm đáp ứng ứng dụng thực tiển Trang 58 Trang 59 Trang 60 Hình 36: Kết nhận diện cảm xúc khn mặt video f Ghi nhận cảm xúc Hệ thống thiết kế có chức cho phép người dùng ghi lại cảm xúc mà hệ thống dự đoán ảnh / video, trạng thái cảm xúc lưu lại file excel với định dạng sau: - Số thứ tự: số thứ tự cảm xúc nghi nhận hệ thống - Emotions: cảm xúc mà hệ thống nghi nhận - Time: thời gian mà cảm xúc ghi nhận với định dạng: tháng ngày năm giờ:phút sáng hay chiều Hình 37: Kết ghi nhận cảm xúc file excel Trang 61 g Nhận xét Tuy đề tài bước đầu cảm xúc khn mặt người, cịn nhiều điểm bất cập: - Đối với cảm xúc ảnh: Vui, ngạc nhiên, bình thường giận, hệ thống nhận diện với tỉ lệ tốt (>90%), nhiên cảm xúc buồn sợ tỉ lệ dự đốn thấp Riêng cảm xúc ghê tỏm, hệ thống có tỉ lệ dự đốn thấp - Phát khn mặt: Với thuật tốn phát khn mặt tại, vài hình ảnh ghi nhận sai vị trí khn mặt khơng phát khn mặt Hình 38: Phát sai vị trí khn mặt - Sự phức tạp cảm xúc khuôn mặt người lớn (gần giống cảm xúc) nên hệ thống chưa thể nhận dạng hồn tồn cảm xúc khn mặt người - Đề tài mang tính nghiên cứu lý thuyết mơ máy tính Trang 62 Hướng phát triển đề tài Từ bất cập nêu, đề tài phát triển theo nhiều hướng khác cách linh hoạt thực tiễn hơn: - Mặt dù số lượng hình ảnh tập liệu FER2013 lớn, với đặt trưng tập liệu, khó để có hệ thống với độ xác cao tập liệu Do đó, để nâng cao độ xác, cần thay đổi tập liệu (CP+, MMI…) kết hợp thêm bước tiền xử lý - Sử dụng thuật tốn để nâng cao độ xác phát khn mặt, sử dụng mạng nơ-ron tích chập để phát khuôn mặt - Xây dựng đề tài ứng dụng phần cứng Trang 63 Tài liệu tham khảo [1] Ole Helvig Jensen, “Implementing the Viola-Jones Face Detection Algorithm”, Technical University of Denmark, 2008 [2] Đinh Xuân Nhất, “Nghiên cứu thuật toán nhận dạng cảm xúc khuôn mặt 2D”, Đại học Công nghệ - Đại học Quốc gia Hà Nội, 2010 [3] Le Thi-Lan Dong Van-Thai, “Toward a Vietnamese facial expression recognition system for human-robot interaction”, Tại Hội nghị Quốc tế Công nghệ tiên tiến áp dụng cho Truyền thông, 2011 [4] Arushi Raghuvanshi Vivek Choksi, “Facial Expression Recognition with Convolutional Neural Networks”, Stanford University, 2016 [5] Minh-An Quinn, Grant Sivesind, Guilherme Reis, “Real-time Emotion Recognition From Facial Expressions”, Đại học standford, 2017 [6] Keiron Teilo O'Shea Ryan Nash, “An Introduction to Convolutional Neural Networks”, ResearchGrate, 2015 [7] Goodfellow I J, Bulatov Y, Ibarz J, et al “Multi-digit number recognition from street view ima gery using deep convolutional neural networks” arXiv preprint arXiv:1312.6082, 2013 [8] Lecun Y, Kavukcuoglu K, Farabet C “Convolutional networks and applications in vision”, Circuits and Systems (ISCAS), Proceedings of 2010 IEEE International Symposium on IEEE, 2010:253 - 256 [9] Sebastian Ruder, “An overview of gradient descent optimization algorithms*”, arXiv:1609.04747v2 [cs.LG] 15 Jun 2017 [10] Ali Mollahosseini, David Chan, and Mohammad H Mahoor “Going deeper in facial expression recognition using deep neural networks” CoRR, abs/1511.04110, 2015 Trang 64 [11] Shrija Mishra, Geeta Ramani Bala Prasada, Ravi Kant Kumar Goutam Sanyal, “Emotion Recognition Through Facial Gestures - A Deep Learning Approach”, India, tháng 11 năm 2017 [12] Izard, C.E.: “Human Emotions”, Springer, New York, 2013 [13] Lopes, A.T., de Aguiar, E., De Souza, A.F., Oliveira-Santos, T.: “Facial expression recognition with Convolutional Neural Networks: coping with few data and the training sample order” Pattern Recogn 61, 610–628, 2017 [14] LeCun, Y.: LeNet-5, Convolutional Neural Networks, 2015 [15] Adam P Piotrowski , Jarosław J Napiorkowski, “A comparison of methods to avoid overfitting in neural networks training in the case of catchment runoff modelling”, tạp chí Hydrology, 2013 [16] https://www.tensorflow.org/ [17] http://tflearn.org/ Trang 65 Cách chạy chương trình: Yêu cầu cài đặt - Tensorflow (cho windows) - Tflearn (mới nhất) - Python 3.6.x - OpenCV-python - PyQt5 Mở command prompt, đến folder chứa file cnn.py Chạy file cnn.py thông qua lệnh python cnn.py enter Click vào Load CNN giao diện, chương trình hiển thị thơng báo bắt đầu kết thúc q trình load model, click Ok Trang 66 Sau load cnn model, click Start webcam load picture (chọn hình) để chuẩn bị cho bước nhận diện cảm xúc Click Start emotion REC, chương trình trả cảm xúc dự đốn khn mặt Click Record emotion, tab result hiển thị cảm xúc khuôn mặt, tab Detail of prediction (%) hiển thị tỉ lệ hệ thống dự đoán cảm xúc khn mặt Sau kết thúc q trình nhận diện cảm xúc, click Save emotions to file để lưu cảm xúc dự đoán vào file excel mang tên: Emotion_log.xlsx, lưu chung folder với cnn.py Trang 67 ... ? ?Nghiên cứu thuật toán nhận dạng cảm xúc khuôn mặt 2D”, đưa so sánh thuật tốn nhận dạng cảm xúc khn mặt gồm cảm xúc bản: vui, buồn, ghê tởm, giận tự nhiên Tác giả số thuật toán học áp dụng thuật. .. nhận diện cảm xúc Sợ với tỉ lệ dự đoán 69.81% 57 Hình 35: Kết nhận diện cảm xúc nhiều khn mặt hình 57 Hình 36: Kết nhận diện cảm xúc khuôn mặt video 61 Hình 37: Kết ghi nhận cảm xúc. .. thống nhận dạng cảm xúc khuôn mặt người Hệ thống thực chức chính: phát khn mặt video / camera, trích xuất khn mặt nhận dạng cảm xúc khn mặt Hệ thống có khả phát trích xuất cảm xúc khuôn mặt người,