BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN VIỆT HÀ NGUYỄN VIỆT HÀ PHƯƠNG PHÁP HỌC SÂU DEEP LEARNING VÀ ỨNG DỤNG TRONG THỊ GIÁC MÁY TÍNH COMPUTER VISION CƠNG NGHỆ THƠNG TIN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN 2016A Hà Nội – Năm 2019 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN VIỆT HÀ PHƯƠNG PHÁP HỌC SÂU DEEP LEARNING VÀ ỨNG DỤNG TRONG THỊ GIÁC MÁY TÍNH COMPUTER VISION CHUN NGÀNH: CƠNG NGHỆ THƠNG TIN LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: PGS TS ĐỖ PHAN THUẬN Hà Nội – Năm 2019 LỜI CẢM ƠN Trước tiên, xin bày tỏ lòng biết ơn sâu sắc tới PGS TS Đỗ Phan Thuận, mơn Khoa học Máy tính, Viện Cơng nghệ thơng tin Truyền thơng dành thời gian quý báu, tận tình hướng dẫn, bảo góp ý cho tơi suốt q trình thực luận văn tốt nghiệp Tôi xin chân thành cảm ơn thầy giáo, cô giáo Viện Công nghệ thông tin Truyền thông tham gia giảng dạy q trình học tập trường Các thầy tận tình giảng dạy, truyền đạt kiến thức, tạo tiền đề cho tơi hồn thành luận văn Xin cảm ơn giúp đỡ nhiệt tình thầy giáo, cô giáo Viện đào tạo sau đại học – Trường Đại học Bách Khoa Hà Nội Tôi xin cảm ơn đồng nghiệp Zalo Group hỗ trợ nhiệt tình thiết bị liệu phục vụ trình thử nghiệm Cuối cùng, tơi xin chân thành cảm ơn gia đình tơi quan tâm tạo điều kiện tốt nhất, động viên, cổ vũ tơi suốt q trình học tập nghiên cứu để hoàn thành tốt luận văn tốt nghiệp Xin trân trọng cảm ơn! LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng tơi có giúp đỡ lớn Thầy hướng dẫn PGS TS Đỗ Phan Thuận Các nội dung nghiên cứu, số liệu kết nêu luận văn trung thực rõ ràng Trong luận văn, tơi có tham khảo đến số tài liệu liệt kê phần Tài liệu tham khảo cuối luận văn, nội dung trích dẫn ghi rõ nguồn gốc MỤC LỤC LỜI CẢM ƠN .1 LỜI CAM ĐOAN .1 MỤC LỤC PHẦN MỞ ĐẦU .12 CHƯƠNG KIẾN THỨC CƠ BẢN VỀ MẠNG NEURAL SÂU ỨNG DỤNG TRONG THỊ GIÁC MÁY 14 1.1 Những tiến học sâu ứng dụng thị giác máy .14 1.1.1 Thị giác máy tính số tốn .14 1.1.2 Học sâu thúc đẩy phát triển thị giác máy 15 1.1.3 Học sâu thị giác máy tính thiết bị di động 18 1.2 Mạng neural tích chập, huấn luyện mạng neural 19 1.2.1 Khái niệm thành phần mạng neural tích chập 19 1.2.2 Huấn luyện mạng neural tích chập 27 1.2.3 Transfer learning 35 CHƯƠNG CÁC CẤU TRÚC MẠNG TÍCH CHẬP TIÊN TIẾN .38 2.1 Xu thiết kế mạng tích chập hiệu 38 2.1.1 Tư tưởng thiết kế độ hiệu mạng neural sâu 38 2.1.2 Một số cách thiết kế lớp tích chập 39 2.2 Những mạng điển hình 43 2.2.1 Mạng ResNet sử dụng kết nối tắt .43 2.2.2 Mô đun Inception, mạng Inception 46 2.3 Những kỹ thuật tiên tiến 49 2.3.1 Khối dày đặc, mạng DenseNet 50 2.3.2 Phương pháp tìm kiếm cấu trúc neural, mạng NASNet 53 2.3.3 Khối chiết xuất kích thích, mạng SENet .56 2.4 Mạng thiết kế cho di động 59 2.4.1 MobileNet 61 2.4.2 ShuffleNet 66 2.4.3 Đánh giá hoạt động mạng neural tích chập thiết bị động .71 CHƯƠNG GIẢI QUYẾT BÀI TỐN VÀ PHÂN TÍCH KẾT QUẢ 76 3.1 Mơ tả tốn cần giải 76 3.2 Phương pháp triển khai giải toán 78 3.2.1 Phương pháp chung 78 3.2.2 Cài đặt, huấn luyện, đánh giá 79 3.2.3 Từng bước tối ưu mạng neural 80 3.2.4 Xây dựng cấu trúc mạng huấn luyện 80 3.2.5 Triển khai lên ứng dụng 82 3.3 Nền tảng TensorFlow, Keras API cài đặt mã nguồn 82 3.3.1 Giới thiệu TensorFlow Keras API 82 3.3.2 TensorFlow Lite .83 3.3.3 TensorBoard .83 3.3.4 Cài đặt mã nguồn 84 3.4 Thử nghiệm, giải toán kết 85 3.4.1 Cấu hình thiết bị .85 3.4.2 Áp dụng Transfer learning .86 3.4.3 Tối ưu trình huấn luyện tinh chỉnh .87 3.4.4 Hoạt động thiết bị di động 94 3.4.5 Đánh giá kết luận trình giải toán 96 KẾT LUẬN .100 TÀI LIỆU THAM KHẢO .101 CHƯƠNG PHỤ LỤC 105 4.1 Các thử nghiệm khác 105 4.1.1 Thử nghiệm độ trễ số thiết bị 105 4.1.2 Thử nghiệm bổ sung liệu nhãn 105 4.2 Bảng biểu đồ chi tiết thử nghiệm 106 4.2.1 Bảng liệt kê kết thử nghiệm sử dụng thực tế 106 4.2.2 Phân bố liệu tập huấn luyện 107 4.2.3 Các biểu đồ chi tiết giá trị hàm mát tất thử nghiệm 108 DANH MỤC KÝ HIỆU, TỪ VIẾT TẮT AI Artificial Intelligence – trí tuệ nhân tạo API Application Programing Interface – giao diện lập trình ứng dụng BN Batch Normalization – lớp chuẩn hóa theo lơ CNN Convolutional neural network (Convnets) – mạng neural tích chập RNN Recurrent neural network – mạng neural hồi quy FC Fully connected – lớp kết nối đầy đủ FLOPs Floating-point Operations per second – số phép tính thập phân FPS Frames per second – số khung hình giây IoT Internet of Things – vạn vật kết nối MIT Một loại giấy phép nguồn mở dựa giấy phép có nguồn gốc từ Viện cơng nghệ Massachusetts ms mili giây NNAPI Neural Network API – giao diện lập trình hỗ trợ chạy thao tác học máy hiệu nhiều phần cứng khác [1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] [21] [22] [23] [24] [25] [26] [27] [28] [29] DANH MỤC BẢNG BIỂU Bảng 2-1 Thiết kế đầy đủ mạng ResNet với số lớp khác [8] .45 Bảng 2-2 Tỷ lệ lỗi (top-5) mạng ResNet so với số mạng tiên tiến [8] .45 Bảng 2-3 Kết thử nghiệm Inception-v4 Inception-ResNet-v2 [21] 48 Bảng 2-4 Cấu trúc mạng DenseNet [13] 52 Bảng 2-5 Mạng NASNet so với mạng tiên tiến giải tốn phân loại hình ảnh ImageNet [29] .56 Bảng 2-6 Mạng NASNet dành cho di động so với MobileNet ShuffleNet [29] 56 Bảng 2-7 So sánh chất lượng độ phức tạp hai mạng neural tiên tiến gắn thêm khối chiết xuất kích hoạt 59 Bảng 2-8 So sánh chất lượng độ phức tạp hai mạng neural cho di động gắn thêm khối chiết xuất kích hoạt .59 Bảng 2-9 Hệ số nhân chiều rộng ảnh hưởng tới độ xác độ phức tạp mạng MobileNet [5] 62 Bảng 2-10 Hệ số nhân độ phân giải ảnh hưởng tới độ xác độ phức tạp mạng MobileNet [5] 62 Bảng 2-11 Độ xác độ phức tạp mạng MobileNet so với GoogLeNet VGG [5] .62 Bảng 2-12 Biến đổi kích thước số kênh qua mô đun MobileNet-v2 [19] 63 Bảng 2-13 Cấu trúc mạng MobileNet-v2 [19] 65 Bảng 2-14 Chất lượng, độ phức tạp độ trễ mạng MobileNet-v2 so với mạng thiết kế cho di động [19] 65 Bảng 2-15 Chất lượng mạng ShuffleNet so sánh với mạng MobileNet tương đương [28] .67 Bảng 2-16 Chất lượng độ phức tạp mạng ShuffleNet so với số mạng phổ biến [28] 68 Bảng 2-17 Cấu trúc mạng ShuffleNet-v2 với mức phức tạp khác [18] .69 Bảng 2-18 Chất lượng tốc độ suy diễn mạng ShuffleNet-v2 so với nhiều mạng tiên tiến [18] .70 Bảng 2-19 Mạng ShuffleNet-v2 50 lớp so sánh với ResNet-50 SENet [18] 70 Bảng 2-20 Bảng liệt kê mạng có chất lượng tốt theo yêu cầu ràng buộc tài nguyên [1] .75 Bảng 3-1 So sánh với kết tốt từ thi Zalo AI 97 Bảng 4-1 Lỗi huấn luyện mơ hình sử dụng liệu mở rộng 105 Bảng 4-2 Thử nghiệm thực tế nhãn bổ sung 105 Bảng 4-3 Chi tiết kết thử nghiệm sử dụng thực tế mạng MobileNet-v2 NASNet-A-Mobile 106 DANH MỤC HÌNH VẼ Hình 1-1 Tỷ lệ lỗi (top-5) phân loại hình ảnh ILSVRC từ 2010 đến 2017 17 Hình 1-2 Bộ lọc cạnh đứng 20 Hình 1-3 Một lọc 3×3 với tham số 𝑊 21 Hình 1-4 Hình ảnh trực quan đặc trưng trích xuất từ lọc qua lớp mạng neural tích chập .22 Hình 1-5 Một lọc hoạt động đầu vào khối chiều 22 Hình 1-6 Kết hợp nhiều lọc lớp tích chập 23 Hình 1-7 Hàm ReLU y=max(0,x) 24 Hình 1-8 Sử dụng hàm ReLU mạng neural tích chập 24 Hình 1-9 Lớp pooling lớn pooling trung bình .25 Hình 1-10 (a) Batch Gradient Descent (b) Stochastic Gradient Descent (c) Minibatch Gradient Descent 28 Hình 1-11 Gradient Descent có Momentum 29 Hình 1-12 Cấu trúc mạng đầy đủ sử dụng Dropout [20] 33 Hình 1-13 Lật ảnh theo chiều ngang 34 Hình 1-14 Cắt ngẫu nhiên hình ảnh 34 Hình 1-15 Thay đổi giá trị kênh màu ảnh 35 Hình 1-16 Ưu điểm việc sử dụng Transfer learning thay khởi tạo ngẫu nhiên tham số .36 Hình 2-1 Cấu trúc mạng AlexNet [16] 38 Hình 2-2 Hình ảnh trực quan đặc trưng trích xuất qua lớp sâu dần mạng neural tích chập [27] 38 Hình 2-3 Lớp tích chập thơng thường sử dụng 128 lọc 3×3 .40 Hình 2-4 Tích chập 1×1 thắt cổ chai hay tích chập điểm 40 Hình 2-5 Hai lọc 3×3 thay cho lọc 5×5 41 Hình 2-6 Hai lọc 3×1 1×3 thay cho lọc 3×3 41 Hình 2-7 Tích chập riêng rẽ kênh 42 Hình 2-8 Tích chập điểm giúp điều chỉnh số kênh đầu .42 KẾT LUẬN Kết thử nghiệm cho thấy việc triển khai sản phẩm ứng dụng mạng học sâu vào thị giác máy tính khả thi có nhiều hứa hẹn Với phần cứng phù hợp mơ hình huấn luyện vịng ngày triển khai mơ hình lên thiết bị di động với cấu hình trung bình cho hoạt động hiệu ổn định Các mơ hình huấn luyện cho hệ số lỗi thấp tập liệu khó thi không dùng kỹ thuật kết hợp mơ hình phức tạp Ngồi nội dung luận văn đề cập đến vấn đề then chốt nhất, vấn đề cần thiết để bắt đầu triển khai sản phẩm sử dụng mạng neural sâu trí tuệ nhân tạo Luận văn trình bày cách trực quan khái niệm thuật tốn tối ưu q trình huấn luyện Adam hay Gradient Descent có Momentum, phương pháp chống khớp liệu L2 Dropout phương pháp tăng cường data chương đưa bàn luận cách lựa chọn tham số cho yếu tố chạy thuật toán học chương Các tham số chung khơng tối ưu cho cấu trúc mạng khởi đầu tốt để bắt đầu thử nghiệm sản phẩm nhanh chóng tiền đề tối ưu sau Các mạng tiên tiến DenseNet, MobileNet hay NASNet so sánh đánh giá sử dụng làm sở lựa chọn cấu trúc phù hợp giải toán thực tế cụ thể Trong tương lai gần xuất thêm nhiều mạng tiên tiến hơn, phần cứng mạnh hay thực tế ứng dụng khác Nhưng kết hoàn toàn sử dụng làm sở để nhanh chóng bắt tay vào giải toán thị giác máy tính 100 TÀI LIỆU THAM KHẢO [1] S Bianco, R Cadene, L Celona and P Napoletano, "Benchmark Analysis of Representative Deep Neural Network Architectures," arXiv preprint arXiv:1810.00736v2, 2018 [2] F Chollet and various developers, "Keras," Keras team, [Online] Available: https://keras.io/ [3] F Chollet, "Xception: Deep learning with depthwise separable convolutions," Conference on Computer Vision and Pattern Recognition (CVPR), 2017 [4] Facebook Open Source, "Caffe2 | A New Lightweight, Modular, and Scalable Deep Learning Framework," Facebook, [Online] Available: https://caffe2.ai/ [5] A G Howard, M Zhu, B Chen, D Kalenichenko, W Wang, T Weyand, M Andreetto and H Adam, "Mobilenets: Efficient convolutional neural networks for mobile vision applications," arXiv preprint arXiv:1704.04861, 2017 [6] Google Brain, "TensorFlow," Google, [Online] Available: https://www.tensorflow.org/ [7] Google Brain, "TensorFlow Lite," Google, [Online] Available: https://www.tensorflow.org/lite [8] K He, X Zhang, S Ren and J Sun, "Deep Residual Learning for Image Recognition," Proceedings of the IEEE conference on computer vision and pattern recognition, p 770–778, 2016 [9] K He, X Zhang, S Ren and J Sun, "Identity Mappings in Deep Residual Networks," European Conference on Computer Vision, p 630–645 , 2016 101 [10] G E Hinton, S Osindero and Y W Teh, "A Fast Learning Algorithm for Deep Belief Nets," Neural Computation, vol 18, no 7, p 1527–1554, 2006 [11] R Hollander, "Two-thirds of the world's population are now connected by mobile devices," Business Insider, 19 September 2017 [Online] Available: https://www.businessinsider.com/world-population-mobile-devices-2017-9 [12] J Hu, L Shen, S Albanie, G Sun and E Wu, "Squeeze-and-excitation networks," Conference on Computer Vision and Pattern Recognition (CVPR), 2018 [13] G Huang, Z Liu and L van der Maaten, "Densely Connected Convolutional Networks," Proceedings of the IEEE conference on computer vision and pattern recognition, vol 1, p 3, 2017 [14] A Ignatov , R Timofte, W Chou, K Wang, M Wu, T Hartley and L van Gool, "AI Benchmark: Running Deep Neural Networks on Android Smartphones," arXiv preprint arXiv:1810.01109v2, 2018 [15] ImageNet, "ImageNet Large Scale Visual Recognition Challenge (ILSVRC)," ImageNet, [Online] Available: http://image-net.org/challenges/LSVRC/ [16] A Krizhevsky, I Sutskever and G Hinton, "Imagenet classification with deep convolutional neural networks.," NIPS, 2012 [17] Y LeCun, L Bottou, Y Bengio and P Haffner, "Gradient-based learning applied to document recognition," Proceedings of the IEEE 86, p 2278–2324, 1998 [18] N Ma, X Zhang, H.-T Zheng and J Sun, "ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design," arXiv preprint arXiv:1807.11164v1, 2018 102 [19] M Sandler, A Howard, M Zhu, A Zhmoginov and L C Chen, "Mobilenetv2: Inverted residuals and linear bottlenecks," Conference on Computer Vision and Pattern Recognition (CVPR), p 4510–4520, 2018 [20] N Srivastava, G Hinton, A Krizhevsky, I Sutskever and R Salakhutdinov, "Dropout: A Simple Way to Prevent Neural Networks from Overfitting," Journal of Machine Learning Research 15, pp 1929-1958, 2014 [21] C Szegedy , S Ioffe, V Vanhoucke and A Alemi, "Inception-v4, InceptionResNet and the Impact of Residual Connections on Learning," International Conference Learning Representations (ICLR) Workshop, 2016 [22] C Szegedy , V Vanhoucke, S Ioffe and J Shlens, "Rethinking the inception architecture for computer vision," Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition., p 2818–2826, 2016 [23] C Szegedy, W Liu, Y Jia, P Sermanet, S Reed, D Anguelov, D Erhan, V Vanhoucke and A Rabinovich, "Going deeper with convolutions," CVRP, 2015 [24] S Xie, R Girshick, P Dollár, Z Tu and K He, "Aggregated Residual Transformations for Deep Neural Networks," Computer Vision and Pattern Recognition (CVPR) 2017 IEEE Conference, p 5987–5995, 2017 [25] M Xu, J Liu, Y Liu , F Xiaozhu Lin, Y Liu and X Liu, "A First Look at Deep Learning Apps on Smartphones," arXiv preprint arXiv:1812.05448v2, 2019 [26] Zalo, "Zalo AI Challenge: Landmark Identification," Zalo Group, 10 2018 [Online] Available: https://challenge.zalo.ai/portal/landmark [Accessed 2019] 103 [27] M D Zeiler and R Fergus, "Visualizing and Understanding Convolutional Networks," ECCV, p 818–833, 2014 [28] X Zhang, X Zhou, M Lin and J Sun, "Shufflenet: An extremely efficient convolutional neural network for mobile devices," Conference on Computer Vision and Pattern Recognition (CVPR), 2018 [29] B Zoph , V Vasudevan, J Shlens and Q V.Le, "Learning transferable architectures for scalable image recognition," Conference on Computer Vision and Pattern Recognition (CVPR), 2018 104 CHƯƠNG PHỤ LỤC 4.1 Các thử nghiệm khác 4.1.1 Thử nghiệm độ trễ số thiết bị Ngồi thiết bị Google Pixel, ứng dụng triển khai thử nghiệm số thiết bị khác có phân khúc từ cao cấp tới giá rẻ Kết gợi ý ứng dụng hoạt động tốt thiết bị tầm trung cao cấp cịn gặp khó khăn thiết bị giá rẻ 550 500 ms 230 85 63 144 98 194 196 MobileNet-v2 NASNet-A-Mobile Samsung Note9 (Exynos 9810) Samsung Galaxy S8 (Exynos 8895) Google Pixel (Snapdragon 821) Nokia 2018 (Snapdragon 630) Hình 4-1 Độ trễ MobileNet-v2 NASNet-A-Mobile số thiết bị 4.1.2 Thử nghiệm bổ sung liệu nhãn Để thử nghiệm khả mở rộng bổ sung liệu ứng dụng, nhãn Đại học Bách Khoa Hà Nội thêm vào tập liệu tốn với kích thước tập huấn luyện 149 ảnh tập kiểm tra gồm 15 ảnh Mơ hình mạng NASNet-A-Mobile huấn luyện tập liệu mở rộng với phương pháp tương tự mô tả Chương mục 3.4.5 Kết thu mơ hình có tỷ lệ lỗi liệt kê Bảng 4-1 Thử nghiệm sử dụng thực tế đạt kết mô tả Bảng 4-2 Lỗi huấn luyện Lỗi xác nhận 4.16% Lỗi Kiểm tra 10.62% Lỗi Kiểm tra (top-3) 12.87% 5.41% Bảng 4-1 Lỗi huấn luyện mơ hình sử dụng liệu mở rộng SL ĐHBKHN Tỷ lệ lỗi NASNet-A-Mobile (top-1) 23 NASNet-A-Mobile (top-3) 16 21 30.43% 8.70% Bảng 4-2 Thử nghiệm thực tế nhãn bổ sung 105 Hình 4-2 Hình ảnh thử nghiệm nhãn 4.2 Bảng biểu đồ chi tiết thử nghiệm 4.2.1 Bảng liệt kê kết thử nghiệm sử dụng thực tế Bảng 4-3 liệt kê tất địa điểm kết thử nghiệm sử dụng thực tế đề cập mục 3.4.4.c Chương SL Văn miếu MobileNet-v2 (top-1) Ga Hà Nội Hồ Gươm 10 Nhà Hát Lớn MobileNet-v2 (top-3) NASNet-AMobile (top-1) NASNet-AMobile (top-3) 4 3 8 1 1 Phố tranh gốm 2 2 Phố cổ Hà Nội 1 1 Chợ Đồng Xuân 2 2 Bốt Hàng Đậu 1 1 Cầu Long Biên 2 2 Hồ Tây 3 3 Lăng Bác 7 7 Tổng cộng 38 27 35 31 34 28.95% 7.89% 18.42% 10.53% Tỷ lệ lỗi Bảng 4-3 Chi tiết kết thử nghiệm sử dụng thực tế mạng MobileNet-v2 NASNet-A-Mobile 106 4.2.2 Phân bố liệu tập huấn luyện 3000 2000 1000 0 10 15 20 25 30 35 Số lượng 40 45 50 200 55 400 60 65 75 Trung bình (856) Hình 4-3 Phân bố tập liệu huấn luyện 107 70 80 85 90 95 100 4.2.3 Các biểu đồ chi tiết giá trị hàm mát tất thử nghiệm 0 20 40 60 80 100 120 140 160 180 200 220 240 loss (transfer learning) validation loss (transfer learning) loss (khởi tạo ngẫu nhiên) validation loss (khởi tạo ngẫu nhiên) 260 Hình 4-4 Giá trị hàm mát khởi tạo ngẫu nhiên so với sử dụng transfer learning 108 280 0 20 40 60 80 loss (α=0.01) loss (α=0.001) loss (α=0.0001) loss (α=0.00001) validation loss (α=0.01) validation loss (α=0.001) validation loss (α=0.0001) validation loss (α=0.00001) Hình 4-5 Giá trị hàm mát thử nghiệm tốc độ học 109 1.5 0.5 0 20 loss (8) loss (16) 40 loss (32) validation loss (8) 60 validation loss (16) 80 validation loss (32) Hình 4-6 Giá trị hàm mát thử nghiệm lơ nhỏ kích thước 8, 16, 32 110 1.5 0.5 0 20 loss (128) loss (64) 40 loss (32) validation loss (128) 60 validation loss (64) 80 validation loss (32) Hình 4-7 Giá trị hàm mát thử nghiệm lơ nhỏ kích thước 128, 64, 32 111 1.5 0.5 batch loss (8) batch loss (32) batch loss (128) Hình 4-8 Kích thước lô lớn ổn định hơn, so sánh giá trị hàm mát mát lơ kích thước 8, 32, 128 112 1.5 0.5 0 20 40 60 loss (không sử dụng) validation loss (không sử dụng) loss (có tăng cường liệu) validation loss (có tăng cường liệu) Hình 4-9 Giá trị hàm mát so sánh sử dụng không sử dụng biện pháp tăng cường liệu 113 80 2 1.5 1.5 1 0.5 0.5 0 20 40 60 80 100 120 140 160 180 200 20 40 60 80 100 120 140 160 180 200 None loss None validation loss None loss None validation loss L2 (λ=0.01) loss L2 (λ=0.01) validation loss Dropout (ρ=0.2) loss Dropout (ρ=0.2) validation loss L2 (λ=0.1) loss L2 (λ=0.1) validation loss Dropout (ρ=0.5) loss Dropout (ρ=0.5) validation loss L2 (λ=1) loss L2 (λ=1) validation loss Dropout (ρ=0.8) loss Dropout (ρ=0.8) validation loss Hình 4-10 Giá trị hàm mát tất thử nghiệm chống khớp 114 ... NEURAL SÂU ỨNG DỤNG TRONG THỊ GIÁC MÁY 1.1 Những tiến học sâu ứng dụng thị giác máy 1.1.1 Thị giác máy tính số tốn a Thị giác máy tính Thị giác máy tính lĩnh vực nghiên cứu rộng nhằm làm cho máy tính. .. NEURAL SÂU ỨNG DỤNG TRONG THỊ GIÁC MÁY 14 1.1 Những tiến học sâu ứng dụng thị giác máy .14 1.1.1 Thị giác máy tính số tốn .14 1.1.2 Học sâu thúc đẩy phát triển thị giác máy ... neural sâu việc ứng dụng lên thị giác máy đề cập thực đề tài "Phương pháp học sâu Deep Learning ứng dụng thị giác máy tính Computer Vision" nhằm so sánh đánh giá cấu trúc mạng tiên tiến nhất, đưa vào