BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH h THIẾT KẾ HỆ THỐNG MỞ CỬA TỰ ĐỘNG THÔNG QUA NHẬN DIỆN CÓ ĐEO KHẨU TRANG VÀ NHIỆT ĐỘ CƠ THỂ THẤP GVHD: PGS.TS TRƯƠNG NGỌC SƠN SVTH: NGUYỄN ANH HUY SKL009843 Tp Hồ Chí Minh, Tháng 8/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH h THIẾT KẾ HỆ THỐNG MỞ CỬA TỰ ĐỘNG THƠNG QUA NHẬN DIỆN CĨ ĐEO KHẨU TRANG VÀ NHIỆT ĐỘ CƠ THỂ THẤP SVTH: NGUYỄN ANH HUY MSSV: 18119077 TP HỒ CHÍ MINH – 08/2022 TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO ĐỒ ÁN TỐT NGHIỆP NGÀNH CƠNG NGHỆ KỸ THUẬT MÁY TÍNH h THIẾT KẾ HỆ THỐNG MỞ CỬA TỰ ĐỘNG THÔNG QUA NHẬN DIỆN CÓ ĐEO KHẨU TRANG VÀ NHIỆT ĐỘ CƠ THỂ THẤP SVTH: NGUYỄN ANH HUY MSSV: 18119077 GVHD: PGS.TS TRƯƠNG NGỌC SƠN TP HỒ CHÍ MINH – 08/2022 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -TP Hồ Chí Minh, ngày 31 tháng 07 năm 2022 NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP Họ tên sinh viên: Nguyễn Anh Huy MSSV: 18119077 Ngành: Công nghệ kỹ thuật máy tính Lớp: 18119CL1A Giảng viên hướng dẫn: PGS.TS Trương Ngọc Sơn Ngày nhận đề tài: Ngày nộp đề tài: Tên đề tài: Thiết kế hệ thống mở cửa tự động thơng qua nhận diện có đeo trang nhiệt độ thể thấp Các số liệu, tài liệu ban đầu: Các tài liệu dự án có liên quan, tài liệu ngơn ngữ lập trình sử dụng đề tài, tài liệu linh kiện sử dụng h đề tài Nội dung thực đề tài: Thiết kế chi tiết mơ hình thi cơng mơ hình thử nghiệm Sản phẩm: Mơ hình phần cứng hệ thống TRƯỞNG NGÀNH GIẢNG VIÊN HƯỚNG DẪN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -TP Hồ Chí Minh, ngày 31 tháng 07 năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên: Nguyễn Anh Huy MSSV: 18119077 Ngành: Cơng nghệ kỹ thuật máy tính Tên đề tài: Thiết kế hệ thống mở cửa tự động thông qua nhận diện trang nhiệt độ thể cao Họ tên Giáo viên hướng dẫn: PGS.TS Trương Ngọc Sơn NHẬN XÉT h Về nội dung đề tài & khối lượng thực hiện: Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: ……… (Bằng chữ: ) GIẢNG VIÊN HƯỚNG DẪN CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc *** -TP Hồ Chí Minh, ngày tháng năm 2022 PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: Nguyễn Anh Huy MSSV: 18119077 Ngành: Cơng nghệ kỹ thuật máy tính Tên đề tài: Thiết kế hệ thống mở cửa tự động thông qua nhận diện có đeo trang nhiệt độ thể thấp Họ tên Giáo viên phản biện: NHẬN XÉT Về nội dung đề tài & khối lượng thực hiện: h Ưu điểm: Khuyết điểm: Đề nghị cho bảo vệ hay không? Đánh giá loại: Điểm: ………… (Bằng chữ: ) GIẢNG VIÊN PHẢN BIỆN LỜI CẢM ƠN Trong suốt trình thực luận văn tốt nghiệp, nhóm nhận nhiều ý kiến đóng góp thầy cơ, gia đình bạn bè Nhóm xin gửi lời cảm ơn đến PGS.TS Trương Ngọc Sơn - Trường Đại học Sư phạm Kỹ thuật TP.HCM tận tình hướng dẫn suốt trình thực luận văn tốt nghiệp Thầy tạo nhiều hội, cho lời khuyên bổ ích, đồng thời dành nhiều cơng sức để tìm hiểu sửa chữa kiến thức cịn thiếu sót qua giúp nhóm hồn thành tốt luận văn Do thời gian chuẩn bị làm việc, với lượng kiến thức chuyên môn kinh nghiệm cịn hạn chế nên luận văn nhóm thực cịn vướng mắc nhiều vấn đề Rất mong nhận cảm thơng đóng góp q thầy bạn Cuối cùng, nhóm xin gửi lời cảm ơn đến gia đình bạn bè, tạo điều kiện, động lực, hỗ trợ, động viên nhóm để nhóm để hồn thành luận văn tốt nghiệp cách thuận lợi Nhóm xin chân thành thành cám ơn ! h v LỜI CAM ĐOAN Nhóm thực luận văn gồm Nguyễn Anh Huy xin cam đoan tất nội dung nhóm tự tìm hiểu hướng dẫn PGS.TS Trương Ngọc Sơn Các ứng dụng báo cáo nhóm có tham khảo vài tài liệu không thực hành vi chép nguồn tài liệu Thông tin tài liệu tham khảo trích dẫn cuối báo cáo Đại diện nhóm thực đồ án tốt nghiệp (ký ghi rõ họ tên) Nguyễn Anh Huy - 18119077 h vi TÓM TẮT Ngày nay, với tiến phát triển không ngừng khoa học kỹ thuật, trí tuệ nhân tạo xử lý ảnh đề tài để mắt đến Từ xử lý ảnh xám đơn giản ứng dụng để xử lý luồng hình ảnh thị giác máy tính Cùng với phát triển lĩnh vực trí tuệ nhân tạo mở hội cho nhóm ngành cơng nghệ nghiên cứu máy tính, cung cấp cho máy tính khả người khả học, suy luận, dự đốn, thị giác, ngơn ngữ Nhận thấy chủ đề xoay quanh việc sử dụng AI ngày nhiều sống, nhóm định thực đề tài chủ để xử lý ảnh Sơ lược đề tài nhóm thực hiện, nhóm tìm hiểu thiết kế hệ thống nhận diện có đeo trang nhiệt độ thể thấp để đóng mở cửa tự động Để tối ưu tốc độ hệ thống nhiều có thể, nhóm chia hệ thống thành hai khối nhỏ để đảm nhận công việc khác Đầu tiên khối nhận diện khn mặt có đeo trang, nhóm sử dụng Raspberry Pi để thực công việc với ưu điểm gọn nhẹ, tiết kiệm điện có đủ sức mạnh để có h thể xử lý mơ hình nhận diện trang Về mơ hình nhận diện trang, nhóm sử dụng kiến trúc MobileNetV2 với ưu điểm thuật tốn, phù hợp với thiết bị nhúng Raspberry Về khối đo nhiệt độ thể đóng mở cửa tự động, nhóm sử dụng STM32 với ưu điểm rẻ, sức mạng vi xử lý vừa đủ dùng, đồng thời lập trình ngơn ngữ C nên gần gũi với nhóm Bên khối này, để đo nhiệt độ người vào nhóm sử dụng cảm biến nhiệt độ không tiếp xúc để đo Đối việc đóng mở cửa nhóm sử dụng servo để mơ cho hoạt động đóng mở cửa hệ thống Về nội dung báo cáo, nhóm trình bày lý thuyết khối sử dụng báo cáo lưu đồ hoạt động hệ thống phần cứng lẫn phần mềm Cuối đánh giá hoạt động khối, đồng thời thời đưa bảng kiểm nghiệm sai số mơ hình nhận diện trang môi trường hoạt động khác vii ABSTRACT Nowaday, with improvement of technology, artificial intelligent image processing are some topics kept an eye on it From process a simple gray image to process a list of images in a second With development of AI has bring a lot of opportunity to major relatived to AI, create a computer which can behave like a human like thinking, deductive, prediction, vision and language Found that topic about AI play important role in life today, my group decide to make a project about image processing About our group project, we will research and design a system which can detect face with mask and measure body temperature, who is wearing mask for automatic door To optimize the system, we decide to split the system to two small parts The first part is used to detect face mask by using Raspberry Pi with some advantages like small, save energy with powerful chip for process mask image About the architecture we use to detect the face mask, we choose MobileNetV2 network with have advantage like less parameter, appropriate to use for embedded h system like Raspberry Pi About the other part, we use STM32 with have advantage such as cheap, chip have enough power to measure body temperature, and it use C to program which is easy program To measure body temperature, we use sensor to measure temperature And to simulate automatic door, we use servo in this system for this job About content in this report, we will introduce about basic theory used in this system and working flowchart about hardware and software using in this system Finally, we will validate working each part can work smoothly Beside, we will summary about error when detect face mask in different light conditions viii h Hình 4.3 Mơ hình tồn thể hệ thống Màn hình hoạt động hiển thị lại khuôn mặt người dùng, đồng thời hiển thị lại người dùng có đeo trang hay khơng 33 Hình 4.4 Màn hình hệ thống hoạt động Giao diện nhận diện tạo thơng qua đoạn chương trình ứng dụng viết trước h 4.2.2 Kết thực nghiệm từ việc nhận dạng khuôn mặt Đối với khối nhận diện Raspberry Pi nhận diện tốt khn mặt có hay không đeo trang tốt phạm vi 40cm 34 Hình 4.5 Kiểm tra nhận diện khơng đeo trang Raspberry Pi Với trường hợp không mang trang, khoảng cách tầm 35cm ánh sáng đầy đủ, việc nhận dạng đạt tỉ lệ 99% h Hình 4.6 Kiểm tra nhận diện có đeo trang Raspberry Pi Tương tự với trường hợp có mang trang, khoảng cách tầm 35cm ánh sáng đầy đủ, việc nhận dạng đạt tỉ lệ 99% 35 Do cấu hình Raspberry Pi thấp nên việc lấy liệu xử lý hình ảnh chậm, diễn tầm từ 3-5fps 4.2.3 Đánh giá trình nhận liệu Đối với việc truyền tham số từ Raspberry Pi đến STM32 thực ổn, nhiên có vài thời điểm không truyền liền nên cần thêm tối ưu thuật tốn h Hình 4.7 Kiểm tra truyền tham số nhận diện không đeo trang Với trường hợp không mang trang, khoảng cách tầm 35cm ánh sáng đầy đủ Khi phát không đeo trang, ghi Rx_data STM32 nhận giá trị 36 Hình 4.8 Kiểm tra truyền tham số nhận diện có đeo trang Tương tự với trường hợp có mang trang, khoảng cách tầm 35cm ánh sáng đầy đủ Khi phát có đeo trang ghi Rx_data STM32 nhận giá trị h 4.2.4 Đánh giá hoạt động tổng thể hệ thống Điều kiện để mở cửa phải đạt điều kiện: phát đeo trang nhiệt độ thể thấp Lúc STM32 gán biến step lên thực mở cửa 37 Hình 4.9 Trường hợp nhiệt độ cao có đeo trang Với trường hợp nhiệt độ thể thấp có đeo trang, thấy biến tempobi lớn 31.5, cao mức quy định nên biến step hệ thống khơng mở cửa h Hình 4.10 Trường hợp nhiệt độ thấp không đeo trang 38 Tương tự với trường hợp trên, biến tempobi bé quy định, Raspberry Pi phát khuôn mặt không đeo trang nên trả giá trị nhập vào biến rx nên hệ thống không mở cửa Hình 4.11 Trường hợp nhiệt độ thể thấp có đeo trang h Với trường hợp phát trang, đồng thời thấy nhiệt độ thấp biến step đẩy lên 1, cửa mở người qua Hình 4.12 Trường hợp có người qua cửa 39 Khi cửa mở, hệ thống nhận tín hiệu từ cảm biến hồng ngoại có người qua gán biến step đóng cửa vào lại 4.2.5 Đánh giá hoạt động hệ thống Dưới hình ảnh đánh giá tỉ lệ nhận dạng có hay khơng đeo trang hệ thống h Hình 4.13 Bảng đánh giá khả nhận diện điều kiện khác Có thể thấy với điều kiện ánh sáng đầy đủ thuận sáng, với điều kiện có đeo kính tỉ lệ nhận dạng hệ thống thấp hơn, mắt kính bị phản chiếu hình nên tỉ lệ nhận dạng thấp so với không đeo trang Cịn 40 trường hợp mơi trường q q tối camera khơng bắt kịp rõ ràng tồn cấu trúc khn mặt, trường hợp khơng đeo trang, nên thấy hệ thống thực không động tốt điều kiện môi trường tối h 41 CHƯƠNG KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 5.1 KẾT LUẬN Sau thời gian tháng tìm hiểu thực đề tài: “THIẾT KẾ HỆ THỐNG MỞ CỬA TỰ ĐỘNG THÔNG QUA NHẬN DIỆN KHẨU TRANG VÀ NHIỆT ĐỘ THẤP”, nhóm thực yêu cầu ban đầu với giúp đỡ tận tình PGS.TS Trương Ngọc Sơn Qua q trình thực hiện, nhóm rút kiến thức, học cần thiết cho công việc sau như: - Thành thạo cách viết chương trình hoạt động Python, ứng dụng Python lên mơi trường OpenCV để xử lý hình ảnh - Nghiên cứu phương thức giao tiếp liệu Raspberry Pi với STM32 thông qua chuẩn giao tiếp UART Hiểu rộng Raspberry khả làm việc đa tảng h - - Hồn thiện kỹ bố trí, xếp lắp ráp mơ hình hồn thiện - Cải thiện kỹ có liên quan Word, Powerpoint, STM32CubeMX, KeilC v5 Kết cuối nhóm thực đề tài “THIẾT KẾ HỆ THỐNG MỞ CỬA TỰ ĐỘNG THÔNG QUA NHẬN DIỆN KHẨU TRANG VÀ NHIỆT ĐỘ CƠ THỂ THẤP” sau: - Phát khn mặt người, từ phân tích khn mặt có đeo trang hay khơng - Truyền tham số từ Raspberry Pi sang cho STM32 thông qua cổng UART - Hệ thống xác định nhiệt độ người đo, đồng thời điều khiển đóng mở cửa - Ngồi cịn có hình lắp mơ hình hiển thị mặt người đo có tầm camera chưa 42 Về tổng quan, hệ thống sử dụng nguồn điện không cao nên yếu tố gây nguy hiểm thấp, đồng thời an toàn với người sử dụng xảy tượng rò điện, … Tuy nhiên, hạn chế mặt thời gian, thiếu hụt tài liệu tham khảo uy tín cho đề tài nên tồn đọng vài hạn chế định: - Hạn chế hệ thống chưa có nguồn pin để trì hoạt động phòng trường hợp đột ngột điện, đồng thời phải sử dụng nguồn riêng cho loại vi điều khiển - Bên cạnh chưa tối ưu hóa thuật tốn phần cứng để phân biệt trường hợp cố tình vượt mặt người dùng - Cuối hạn chế kinh phí thời gian mà độ hồn thiện hệ thống chưa mức tốt như: tính thẩm mỹ khơng cao (mơ hình cịn q to thơ, đường dây điện bên mơ hình khơng gọn, đường dán keo thô không đều) 5.2 HƯỚNG PHÁT TRIỂN h Sau tìm hiểu thêm nhu cầu thực tế ứng với đề tài, nhóm đưa vài hướng phát triển đề tài: - Sử dụng hệ thống nhỏ gọn mạnh mẽ hệ thống sử dụng kiến trúc x86 thay kiến trúc ARM Raspberry Pi để đảm bảo ổn định tăng tốc độ xử lý nhận dạng khuôn mặt - Lựa chọn vi điều khiển có sức mạnh khả chịu tải lớn vi điều khiển STM32 để ứng dụng mơ hình địa điểm lớn trung tâm thương mại, nhà máy, xí nghiệp, … - Tối ưu thuật tốn nhằm tránh để thiết kế rơi vào lỗi khiến thiết kế không chạy lưu đồ đề - Kết hợp nhận diện khuôn mặt với kiểu thuật toán nhận diện để điểm danh nhân viên, chấm công hay lưu liệu lên web 43 TÀI LIỆU THAM KHẢO [1] Andrew G Howard, Menglong Zhu, Bo Chen, Dmitry Kalenichenko, Weijun Wang, Tobias Weyand, Marco Andreetto, Hartwig Adam, MobileNets: Efficient Convolutional Neural Networks for Mobile Vision, arXiv:1704.04861, Apr 2017 [2] Mark Sandler, Andrew Howard, Menglong Zhu, Andrey Zhmoginov, Liang-Chieh Chen, Google Inc., MobileNetV2: Inverted Residuals and Linear Bottlenecks, arXiv:1801.04381, Jan 2018 [3] Trương Ngọc Sơn, Trí tuệ nhân tạo sở ứng dụng, Nhà xuất Đại học Quốc gia TP.Hồ Chí Minh, 2020 Melexix Engineering, MLX90614 family Datasheet [5] Agamem Microelectronics Inc., Servo Motor Controller Datasheet [6] FTDI Chip, FT232R USB UART IC Datasheet [7] Waveshare Electronics, 7inch HDMI LCD User Manual [8] UMWR, 3A Step-Down Voltage Regulator Datasheet h [4] 44 h 45 ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự Do – Hạnh phúc Tp HCM, ngày tháng năm 2022 BẢN GIẢI TRÌNH CHỈNH SỬA ĐỒ ÁN TỐT NGHIỆP NGÀNH: CNKT MÁY TÍNH Tên đề tài: Thiết kế hệ thống mở cửa tự động thơng qua nhận diện có đeo trang nhiệt độ thể thấp Tên sinh viên: GVHD: Nguyễn Anh Huy MSSV: 18119077 PGS.TS Trương Ngọc Sơn Hội đồng bảo vệ: HĐ 2, phòng A4-402 , ngày 06 tháng 08 năm 2022 Giải trình chỉnh sửa báo cáo đồ án tốt nghiệp: TT Nội dung góp ý Hội đồng Kết chỉnh sửa, bổ sung Chỉnh sửa lại bố cục tất Đã kiểm tra chỉnh sửa hình lại vị trí tất hình Đã kiểm tra bổ sung Bổ sung thêm thông tin thêm thông tin cho tài liệu cho tài liệu tham khảo tham khảo Đã kiểm tra lại bổ sung Bổ sung thêm đoạn văn thêm đoạn văn giới thiệu cho giới thiệu cho hình tất hình h Ghi Xác nhận trưởng ngành Xác nhận GVHD Nhóm thực báo cáo (Ký họ tên) (Ký họ tên) (Ký họ tên) Nguyễn Anh Huy 46 h S K L 0