TRƯỜNG ĐẠI HỌC MỞ HÀ NỘI BÁO CÁO CHUYÊN MÔN KHOA CÔNG NGHỆ THÔNG TIN ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC Ngành: Công nghệ Thông tin Chuyên ngành: Công nghệ phần mềm NGHIÊN CỨU VỀ MẠNG NƠ-RON TÍCH CHẬP VÀ XÂY DỰNG ỨNG DỤNG NHẬN DIỆN BIỂN BÁO GIAO THÔNG Sinh viên thực hiện: Nguyễn Thiên Sơn – 1610A06 Giảng viên hướng dẫn: TS Nguyễn Đức Tuấn 11/21/20 1/55 NỘI DUNG BÁO CÁO 11/21/20 Giới thiệu đề tài Cơ sở lý thuyết Phân tích thiết kế hệ thống Triển khai kết Kết luận Tài liệu tham khảo 2/55 GIỚI THIỆU VỀ ĐỀ TÀI Lý chọn đề tài • Việc hiểu biết luật giao thông phận người dân cịn hạn chế, khơng tn thủ tốt luật giao thơng, điển hình việc Khơng tn thủ biển báo giao thơng • Những năm gần đây, trí thơng minh nhân tạo, cụ thể Machine Learning Deep Learning lên chứng cách mạng cơng nghiệp lần thứ Mục đích đề tài 11/21/20 • Ứng dụng xây dựng giúp người dùng có cách tiếp cận nhanh luật giao thông, cụ thể công dụng biển báo giao thơng • Ứng dụng hoạt động trợ lý, cần bật ứng dụng hướng camera phía trước, ứng dụng nhắc tên biển báo Giúp tài xế không bị bỏ lỡ biển báo không bị phạm phải lỗi không mong muốn 3/55 CƠ sở lý thuyết • • • 11/21/20 Trí tuệ nhân tạo, Machine Learning Deep Learning Mạng nơ-ron tích chập • • • Các phép tích chập Pooling Các tốn với mạng nơ-ron tích chập Nhận diện vật thể với thuật tốn Single Shot Multibox Detection • • SSD với mạng VGG16 SSD-Lite với MobileNetV2 4/55 Single shot multibox detector Hình 2.10 Kiến trúc mạng SSD với backbone mạng VGG16 [4] 11/21/20 5/55 Hướng tiếp cận Hình 2.11 Hướng tiếp cận SSD • Ý tưởng SSD [4][5] đến từ việc sử dụng các bounding box, việc khởi tạo sẵn default box vị trí feature map, SSD tính tốn đánh giá thơng tin vị trí xem vị trí có vật thể hay khơng, có vật thể • 11/21/20 Bằng việc sử dụng default box feature map khác nhau, box ơm trọn phần hình ảnh với kích thước khác 6/55 HUẤN LUYỆN MẠNG • Trong trình huấn luyện, ta tiến hành tìm default box feature maps phù hợp với groundtruth (dữ liệu gán nhãn) cách tìm box có jaccard overlap cao Cơng thức tính jaccard overlap dựa tỉ lệ diện tích vùng trùng tập diện tích hợp lại tập • Đặt ngưỡng, jaccard overlap lớn ngưỡng đó, vật thể Hình 2.12 Minh họa Jaccard Overlap 11/21/20 7/55 HUẤN LUYỆN MẠNG Hàm mát • Localization Loss Confidence Loss Hàm mát SSD xây dựng bằng localization loss để đánh giá việc phát và confidence loss để đánh giá việc phân lớp đối tượng • Đặt p x ij • l box dự đoán = { 1, } ứng với default box thứ i khớp với groundtruth thứ j thuộc lớp p, ta có hàm Loss sau: Trong đó: • • 11/21/20 • Trong đó N là số lượng default boxes matching với ground truth boxes • SmoothL1 tính tốn sau: c confidence score: Độ tin cậy • l predicted box: Các khung dự đốn • g groundtruth: Các giá trị thật g box groundtruth • 8/55 SINGLE SHOT Multibox detector với mobilenet v2 • Cũng thuật toán nhận diện vật thể SSD, sử dụng mạng mobilenet làm mạng sở để trích xuất đặc trưng ảnh Mạng mobilenet giúp ta triển khai mơ hình máy học thiết bị có tài ngun tính tốn hạn chế Raspberry PI, Jetson Nano thiết bị di động 11/21/20 Hình 2.13 Ứng dụng mạng MobileNet thiết bị di động 9/55 SINGLE SHOT Multibox detector với mobilenet v2 • Sử dụng kiến trúc ResNet[6] để mạng có nhiều layer khơng gặp tượng Vanishing Gradient • MobileNetV2[7] sử dụng tích chập chiều sâu tách biệt để giảm số lượng tham số mạng => Giảm số lượng tham số => Kích thước mạng giảm => chạy tốt thiết bị hạn chế tài ngun tính tốn Hình 2.15 Khối bình thường Hình 2.14 Hiện tượng Vanishing Gradient 11/21/20 Khối dư mạng 10/55 Thu thập liệu Bảng 4.2 Biển báo số lượng biển báo huấn luyện Dữ liệu huấn luyện: • Do mơ hình học máy học dựa vào liệu, có nhiều liệu tốt • Để đảm bảo model hoạt động tốt, Thực lấy biển báo có số lượng 100 tập liệu để huấn luyện model Các biển báo lại gộp lại ý Được tập liệu có loại biển báo số lượng sau 11/21/20 30/55 CÔNg nghệ sử dụng • Model nhận diện biển báo: Ngơn ngữ python, framework pytorch • Server web: Flask • Ứng dụng Mobile: JavaAndroid, TorchScript Hình 4.5 Kiến trúc ứng dụng 11/21/20 31/55 Huấn luyện model Kết huấn luyện, việc đánh giá thực tập liệu kiểm thử • • Mạng VGG16-SSD huấn luyện qua 562 epoch, có Loss ≈ 2.69 Mạng MobileNetV2-SSD-Lite huấn luyện qua 708 epoch có Loss ≈ 2.78 Hình 4.6 Biểu đồ hàm MultiBoxLoss mạng VGG Mobilenet Có thể thấy giá trị hàm Loss mạng VGG16-SSD hội tụ nhanh có giá trị nhỏ mạng MobileNetV2-SSD-Lite Điều dễ hiểu mạng MobileNet chứa tham số phù hợp với việc chạy thiết bị có cấu hình thấp Đây đánh đổi hiệu độ xác 11/21/20 32/55 Huấn luyện model 11/21/20 Hình 4.8 Biểu đồ hàm Regression Loss mạng Hình 4.9 Biểu đồ hàm Classification Loss mạng VGG VGG Mobilenet Mobilenet 33/55 KIỂM THử model • Average Precision [10] độ đo độ xác mơ hình nhận diện vật thể (object-detection) SSD, Faster-RCNN,… Bảng 4.3 Độ xác model trên tập liệu huấn luyện kiểm thử • Nhận xét: Theo biểu đồ hàm Loss bên trên, bảng so sánh độ xác mạng theo độ đo Average Precision, thấy Mạng VGG16SSD có độ xác cao nhiều so với MobileNetV2 Nhưng có nhược điểm   VGG16 - SSD MobileNetV2 SSD Dữ liệu huấn luyện 0.78049555 0.52104798 Dữ liệu kiểm thử 0.6894157 0.47277347 mạng VGG16-SSD tính tốn xử lý server, điều dẫn đến tình trạng kết nối mạng ứng dụng server khơng tốt, việc nhận diện có độ trễ lớn Do cần phải tiếp tục huấn luyện mạng MobileNetV2 để tăng độ xác cho mơ hình mạng MobileNetV2, phải có thay đổi kiến trúc mạng Đây hướng nghiên cứu tiếp theo, để việc xử lý tính tốn, nhận diện biển báo khơng cịn phụ thuộc vào server 11/21/20 34/55 KIỂM THỬ model Google Colab: GPU NVIDIA TESLA T4 Máy tính cá nhân: CPU Intel Core I5 5200U Hình 4.12 VGG16-SSD Gooogle Colab Hình 4.13 VGG16-SSD máy tính cá nhân Hình 4.14 MobiletNetV2 SSD Lite Gooogle Colab 11/21/20 Hình 4.15 MobiletNetV2 SSD Lite máy tính cá nhân 35/55 KIỂM THỬ model • Chạy thử model 36/55 11/21/20 Hình 4.10 Chạy thử model mobile KIỂM THỬ model • Chức “Nhận diện biển báo theo thời gian thực” • Bằng việc sử dụng mạng MobileNetV2 thiết bị di động, ứng dụng nhận diện ổn định khoảng khung hình/giây Cịn sử dụng server để nhận diện, ứng dụng đạt độ xác cao hơn, tốc độ khung hình tùy thuộc vào sức mạnh server tốc độ mạng 37/55 11/21/20 Hình 4.11 Chạy thử tính nhận diện realtime XÂY DỰNG ỨNG DỤNG Hình 4.16 Giao diện menu ứng dụng 11/21/20 38/55 XÂY DỰNG ỨNG DỤNG 11/21/20 Hình 4.17 Giao diện hình cài đặt 39/55 XÂY DỰNG ỨNG DỤNG Hình 4.18 Chức tra cứu thơng tin biển báo hình ảnh 11/21/20 40/55 XÂY DỰNG ỨNG DỤNG 11/21/20 Hình 4.19 Chức nhận diện biển báo theo thời gian thực 41/55 KẾT LUẬN Hướng Những Kết quảphát điểm đạt hạn chế triển 11/21/20 • Đã tìm Dữ liệu thu mạng cịn nơ-ron chưa tíchhuấn chập đầy luyện đủ vàcác xây loại dựng biển báomodel có tạiSSD Việt dựa Nam mạng sở VGG16 MobileNetV2 để nhận diện biển báo Tiếp tụchiểu thuthập thập thêm dữít,liệu, tiếp model • giaochính Độ thơng model cao để model nhận diện tốt sử dụng mơ hình mạng khác Thực hiệnxác việccủa tinh chỉnhchưa kiến trúc mạng • Model Khả SSDnhận MobileNetV2 diện có model thể chạy phần phụ thuộc trực vào tiếp góc chụp thiếttương bị dibiển động báo, biển báo khung hình Phát triển sản phẩm thành module cứng, có khả thích vớikích thiếtthước bị camera hành trình • Đã xây dựng đượchướng ứng dụng nhận diện biển giao xe mobile Nghiên cứu theo tích hợp vào hệ báo thống tự thông hành như: tự lái.với đầy đủ chức đề 42/55 TÀI LIỆU THAM KHẢO [1] Lý thuyết mạng Nơron, "kdientu.duytan.edu.vn," [Online] Available: http://kdientu.duytan.edu.vn/media/50176/ly-thuyet-mang-neural.pdf [2] nttuan8, "nttuan8.com," 30 2019 [Online] Available: https://nttuan8.com/bai-6-convolutional-neural-network/ [3] "Wikipedia," [Online] Available: https://en.wikipedia.org/wiki/Kernel_(image_processing) [4] W Liu, D.Anguelov, D.Ehan, C.Y.Fu, "reasearchGate," 10 2016 [Online] Available: https://www.researchgate.net/publication/308278279_SSD_Single_Shot_MultiBox_Detector [5] P Trong, "nerophung.github.io," 15 06 2019 [Online] Available: https://nerophung.github.io/2019/06/15/ssd-single-shot-detector [6] K He, X Zhang, S Ren, J Sun, "Arxiv," 10 12 2015 [Online] Available: https://arxiv.org/pdf/1512.03385.pdf [7] M Sandler, A Howard, M Zhu, A Zhmoginov, L.C Chen, "Arxiv.org," 13 2018 [Online] Available: https://arxiv.org/abs/1801.04381 [8] P Đ Khánh, "Khoa học liệu - Khanh's blog," 19 2020 [Online] Available: https://phamdinhkhanh.github.io/2020/09/19/MobileNet.html [9] BGTVT, "thuvienphapluat," 2019 [Online] Available: https://thuvienphapluat.vn/tintuc/vn/thoi-su-phap-luat/chinh-sach-moi/27757/da-co-qcvn-41-2019-bgtvt-ve-bien-bao-giao-thong-duong-bo [10] J Hui, "Medium.com," 07 03 2018 [Online] Available: https://medium.com/@jonathan_hui/map-mean-average-precision-for-object-detection-45c121a31173 11/21/20 43/55 EM XIN CẢM ƠN QUÝ THẦY CÔ VÀ CÁC BẠN ĐÃ CHÚ Ý LẮNG NGHE! 11/21/20 44/55 ... giao diện ứng dụng 11/21/20 19/55 Hình 3.10 Giao diện Menu Hình 3.11 Màn hình cài đặt Thiết kế giao diện ứng dụng • Giao diện chức Tra cứu thơng tin biển báo qua hình ảnh • Khi bấm vào biển báo. .. thơng tin ý nghĩa biển báo 11/21/20 Hình 3.12 Giao diện chức Tra cứu thơng tin biển báo qua hình ảnh 20/55 Thiết kế giao diện ứng dụng • Giao diện camera hình chức nhận diện biển báo theo thời gian... thời gian thực • 11/21/20 Khi ứng dụng nhận diện biển báo, ứng dụng đọc lên tên biển báo Hình 3.13 Giao diện chức Nhận diện biển báo 21/55theo thời gian thực TRIỂN KHAI VÀ KẾT QUẢ • 11/21/20 Theo