ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐỒNG NGỌC MINH CÔNG XÂY DỰNG HỆ THỐNG PHÁT HIỆN LÀN ĐƯỜNG VÀ VẬT CẢN Chuyên ngành: Kỹ thuật điện tử Mã số: 60 52 02 03 LUẬN VĂN THẠC SĨ TP.HỒ CHÍ MINH, tháng năm 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM Cán hướng dẫn khoa học: TS Trần Hoàng Linh Cán chấm nhận xét 1: TS Bùi Trọng Tú Cán chấm nhận xét 2: TS Nguyễn Minh Sơn Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 13 tháng 07 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ tịch: PGS TS Hoàng Trang Thư ký: TS Trương Quang Vinh Phản biện 1: TS Bùi Trọng Tú Phản biện 2: TS Nguyễn Minh Sơn Ủy viên: TS Lê Chí Thơng Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA………… ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Đồng Ngọc Minh Công MSHV:1570363 Ngày, tháng, năm sinh: 23/08/1991 Nơi sinh: TP.HCM Chuyên ngành: Kỹ thuật điện tử Mã số : 60 52 02 03 I TÊN ĐỀ TÀI: Xây dựng hệ thống phát đường vật cản II NHIỆM VỤ VÀ NỘI DUNG:  Tìm hiểu sở lý thuyết giải thuật phát đường, lý thuyết mạng neuron, giải thuật dựa mạng neuron tích chập (CNN)  Xây dựng hệ thống mô visual studio để huấn luyện cho sở liệu dùng CNN  Xây dựng hệ thống visual studio để mô giải thuật phát đường vật cản III NGÀY GIAO NHIỆM VỤ : 04/09/2017 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 03/12/2017 V CÁN BỘ HƯỚNG DẪN: TS Trần Hoàng Linh Tp HCM, ngày 13 tháng 07 năm 2018 CÁN BỘ HƯỚNG DẪN (Họ tên chữ ký) CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) LỜI CÁM ƠN Được phân công nhà trường, khoa điện – điện tử đồng ý giáo viên hướng dẫn thầy TS Trần Hoàng Linh, em thực luận văn thạc sĩ chuyên ngành kỹ thuật điện tử với đề tài “Xây dựng hệ thống phát đường vật cản” Qua trang viết em xin gửi lời cảm ơn tới người giúp đỡ em thời gian học tập, nghiên cứu luận văn thời gian qua Trước hết, em xin tỏ lòng biết ơn gửi làm cảm ơn chân thành đến Trương Cơng Dung Nghi thầy Trần Hồng Linh Cô người trực tiếp hướng dẫn tận tình bảo cơng việc nghiên cứu, tìm kiếm tài liệu, xử lý phân tích vấn đề luận văn Nhờ thầy mà em hoàn thành luận văn cao học Ngoài ra, em xin chân thành cảm ơn quý đồng nghiệp, gia đình bạn bè động viên hỗ trợ em suốt q trình nghiên cứu hồn thành luận văn TÁC GIẢ Đồng Ngọc Minh Cơng TĨM TẮT Tai nạn giao thông đường trở thành vấn đề nghiêm trọng giới Cùng với tiến công nghệ, hệ thống phát minh tích hợp vào phương tiện, đặc biệt xe làm giảm số lượng vụ tai nạn giao thơng Trong đó, hệ thống ADAS (Advanced Driving Assistant System) hỗ trợ người lái cách hiệu Luận văn xin giới thiệu số giải thuật lĩnh vực xử lý ảnh áp dụng hệ thống nhằm phát đường vật cản, từ áp dụng vào việc đưa cảnh báo cho người lái, hay xa tích hợp vào công nghệ xe tự hành ngày phát triển ABSTRACT Traffic safety is one of the most important issues which every country is facing With the advancement of technology, many modern systems have been invented and integrated into automobile industry The Advanced Driver Assistance System (ADAS) is known at most as an outstanding system to support drivers Reducing the ratio of accidents and saving lives are principal objectives in the context of this system In the driving assistance system, obstacle and lane detection is the key components of collision avoidance Therefore, in this thesis, I woud like to introduce the versatile methodologies which are used in order to detecting the lanes and obstacles LỜI CAM ĐOAN Tơi xin cam đoan cơng trình nghiên cứu riêng Các số liệu, kết đề tài trung thực chưa công bố hình thức trước Tất tham khảo kế thừa cho việc thực luận văn cảm ơn thông tin trích dẫn luận văn rõ nguồn gốc rõ ràng phép công bố TP.HCM, ngày tháng năm 2018 Học viên thực Đồng Ngọc Minh Công MỤC LỤC CHƯƠNG I: GIỚI THIỆU 1.1 Tổng quan 1.2 Mục tiêu đề tài .2 1.3 Phạm vi đề tài 1.4 Tình hình nghiên cứu ngồi nước CHƯƠNG II: PHÁT HIỆN LÀN ĐƯỜNG 2.1 Một số giải thuật phát đường .5 2.2 Xác định vùng cần xử lý 2.3 Phát dấu đường 11 2.3.1 Chuyển đổi không gian màu 11 2.3.2 Lọc nhiễu phát cạnh 12 2.3.3 Biến đổi Hough 13 2.3.4 Loại bỏ đoạn sai định vị đường 16 CHƯƠNG III: PHÁT HIỆN VẬT CẢN 19 3.1 Tổng quan Deep Learning 20 3.1.1 Neuron 20 3.1.2 Mạng neuron (Neuron network) 21 3.2 Mạng neuron tích chập – Convolutional Neuron Network (CNN) 22 3.2.1 Cấu trúc 22 3.2.2 Đặc điểm nhận dạng 22 3.2.3 Tích chập (Convolution) .23 3.2.4 Pooling 25 3.2.5 Chuẩn hóa 27 3.2.6 Kết nối đầy đủ – Fully Connect 27 3.2.7 Truyền ngược – Backpropagation 28 3.3 Áp dụng giải thuật YOLO vào phát vật cản 33 3.3.1 Giới thiệu giải thuật YOLO 33 3.3.2 Cấu trúc YOLO 34 3.3.3 Tóm tắt giải thuật YOLO 34 3.3.4 Chi tiết bước phát đối tượng YOLO 37 3.4 Đưa cảnh báo 53 CHƯƠNG IV: KẾT QUẢ MÔ PHỎNG – NHẬN XÉT 55 4.1 Kết mô 55 4.1.1 Phát đường 55 4.1.2 Phát vật cản 57 4.1.3 Kết tổng hợp phát đường vật cản cảnh báo 59 4.2 Nhận xét .61 4.3 Hướng phát triển đề tài 62 TÀI LIỆU THAM KHẢO 63 MỤC LỤC HÌNH ẢNH VÀ BẢNG BIỂU Hình 1: Mơ hình cho hệ thống lái tự động Hình 2: Sơ đồ tổng quát đề tài Hình 3: Kết mơ HOG-SVM Hình 4: Kết phát đường với RANSAC Hình 5: Xử lý hệ thống Mobile eye Hình 6: Chức cảnh báo va chạm Mobile eye .4 Hình 1: Mơ tải giải thuật line segment Hình 2: Mơ tả RANSAC Hình 3: Giải thuật gradient constraint Hình 4: Các bước tổng thể giải thuật đề xuất Hình 5: Xác định vùng ROI 10 Hình 6: Sơ đồ tổng quát khối phát dấu đường 11 Hình 7: Hình ảnh chuyển đổi khơng gian màu .12 Hình 8: Kết lọc cạnh 13 Hình 9: Mơ hình biến đổi Hough 14 Hình 10: Kết từ biến đổi Hough .15 Hình 11: Sơ đồ giải thuật loại bỏ khơng xác 17 Hình 12: Kết áp dụng giải thuật loại bỏ khơng xác 18 Hình 1: Mơ hình neuron 20 Hình 2: Cấu trúc tổng quát mạng neuron .21 Hình 3: Cấu trúc mạng neuron tích chập 22 Hình 4: Trích xuất đặc điểm nhận dạng ảnh 23 Hình 5: Cách thức thực tích chập 23 Hình 6: Kết tích chập lọc 24 Hình 7: Kết tích chập tồn ảnh 25 Hình 8: Cách thức thực pooling 26 Hình 9: Kết pooling 26 Hình 10: Một đơn vị tinh chỉnh .27 Hình 11: Xử lý lớp kết nối đầy đủ .28 Hình 12: Mơ hình tính tốn tuyền ngược đa lớp 29 Hình 13: Mơ hình tính tốn tuyền ngược đa lớp có bias 32 Hình 14: Sơ đồ giải thuật R-CNN 33 Hình 15: Các đặc điểm nhận dạng đối tượng .33 Hình 16: Sơ đồ tổng quát giải thuật YOLO 34 Hình 17: Cấu trúc YOLO 34 Hình 18: Các vùng phân chia 35 Hình 19: Các khung bao nhận dạng đối tượng 35 Hình 20: Tỉ số IOU .36 Hình 21: Mơ hình YOLO nhận dạng toàn ảnh 36 Hình 22: Trích xuất thơng tin đối tượng theo khung bao cell 39 Hình 23: Xác suất nhận dạng đối tượng .40 Hình 24: Xác định thông tin nhận dạng đối tượng theo khung bao 41 Hình 25: Số lượng khung bao cho toàn ảnh 43 Hình 26: Các bước chọn lọc khung bao phù hợp cho việc nhận dạng 44 Hình 27: Thơng tin khung bao lớp đối tượng .45 Hình 28: So sánh khung bao nhận dạng .46 Hình 29: Khung bao loại bỏ xác suất 47 Hình 30: Khung bao giữ lại 48 Hình 31: Kết giả thuật NMS 49 Hình 32: Kết thực cho lớp đối tượng cuối 50 Hình 33: Chọn lọc cho khung bao số 51 Hình 34: Kết phát đối tượng 52 Hình 35: Khu vực cảnh báo nguy hiểm 53 Hình 36: Những điểm chọn để kiểm tra đối tượng 54 Hình 1: Một số kết phát đường 56 Hình 2: Kết phát vật cản 58 Hình 3: Kết mô đề tài 60 Bảng 1: Kết định lượng nhận dạng vật cản 59 Bảng Kết đáp ứng thời gian xử lý hệ thống 61 Hình 32: Kết thực cho lớp đối tượng cuối Có thể thấy rằng, khung bao chứa nhiều đối tượng khác việc đưa kết nhận dạng khung bao thuộc đối tượng phải cần thêm bước chọn lọc Việc chọn lọc dựa xác suất lớp đối tượng tất khung bao khung bao xét Giải thuật mô tả theo sơ đồ bên Trang 50 Đối tượng = max(giá trị đối tượng bb3từ bb1 đến bb98) Score = max(xác suất lớp đối tượng bb3) Bỏ qua No Score > Yes Khung bao vẽ cho đối tượng Hình 33: Chọn lọc cho khung bao số Bằng cách áp dụng giải thuật cho tồn khung cịn lại ta có kết phát đối tượng cuối cho ảnh Trang 51 Hình 34: Kết phát đối tượng Trang 52 3.4 Đưa cảnh báo Từ việc phát đường vật cản, ta đưa cảnh báo có vật cản nằm vùng nguy hiểm.Vùng giới hạn theo khu vực đường phía trước xe chạy thiết lập cách linh động theo tốc độ di chuyển phương tiện Do đề tài không xét tới tốc độ phương tiện, nên khoảng cách lựa chọn theo tỉ lệ chiều cao khung hình Khu vực giới hạn hai đường trái phải với đường thẳng màu vàng hình 3.35 a) Khoảng cách theo phần ba khung hình b) Khoảng cách theo phần hai khung hình Hình 35: Khu vực cảnh báo nguy hiểm Trang 53 Hình 36: Những điểm chọn để kiểm tra đối tượng Đối với khung bao đối tượng, tọa độ gốc xác định bên trái phía Tọa độ gốc (x,y), chiều cao khung bao (h) chiều rộng khung bao (w) Khi đó, ta chọn điểm xung quanh khung bao đối tượng để xét có nằm vùng nguy hiểm hay không Tọa độ điểm chọn dựa theo vị trí vật thể so với đường Nếu phía đường bên trái có tọa độ sau: A(x+w, y+h/2); B(x+w, y+h), C(x+w/2, y+h), D(x, y+h), E(x, y+h/2) Nếu thuộc bên phải có tọa độ điểm: A’(x, y+h/2), B’(x, y+h), C’(x+w/2, y+h), D’(x+w, y+h), E’(x+w, y+h/2) Hình 3.36 mơ tả điểm chọn để kiểm tra Nếu điểm thuộc vùng nguy hiểm dịng chữ “WARNING!” hiển thị tín hiệu cảnh báo Trang 54 CHƯƠNG IV: KẾT QUẢ MÔ PHỎNG – NHẬN XÉT 4.1 Kết mô 4.1.1 Phát đường Một số màu quy định đường sau: trái (màu đỏ), phải (màu xanh dương) Khu vực dược giới hạn đoạn thẳng màu vàng hai đường trái, phải khu vực cảnh báo nguy hiểm Tùy theo việc lựa chọn khoảng cách cảnh báo nguy hiểm, khu vực thiết lập cách linh động Một số kết phát đường trích xuất từ video trình bày hình 4.1 a) Kết b) Kết Trang 55 c) Kết d) Kết e) Kết Hình 1: Một số kết phát đường Trang 56 Về mặt giải thuật dẵ phát tương đối xác đường xe chạy Tuy nhiên nhiều điều kiện mặt đường khác như: ánh sáng, bóng đoạn thẳng gần giống với đường có số lỗi đường đánh dấu đường sai Đây hạn chế giải thuật 4.1.2 Phát vật cản Đối với phần phát vật cản, kết phát khoanh vùng hiển thị thông tin loại vật thể a) Kết b) Kết Trang 57 c) Kết d) Kết e) Kết Hình 2: Kết phát vật cản Đối với kết nhận dạng vật cản trích xuất khung ảnh riêng biệt, đánh giá bảng 4.1 Trang 58 Kết Kết Kết Kết Tổng số vật cản (quan sát mắt) 5 Hệ thống nhận dạng 5 xác Tỉ lệ nhận dạng (%) 100% 100% 100% 100% Bảng 1: Kết định lượng nhận dạng vật cản Kết 67% Có thể thấy khả nhận dạng vật cản hệ thống tương đối tốt Tỉ lệ xác trung bình đạt gần 90% Một số kết chư xác, liệu huấn luyện chưa đủ lớn, vật thể có đặc trưng gần giống với đặc trưng ảnh Những trường hợp xảy tượng khơng nhiều, mặt giải thuật hệ thống cho kết tốt yêu cầu toán nhận dạng vật cản giao thơng Nhưng bên cạnh đó, cần phải cải tiến giải thuật tạo sở liệu huấn luyện nhiều kết thu tốt 4.1.3 Kết tổng hợp phát đường vật cản cảnh báo Một số kết trình bày hình 4.3 với khoảng cách thiết lập phần hai khung hình a) Kết b) Kết Trang 59 c) Kết d) Kết e) Kết Hình 3: Kết mơ đề tài Trang 60 Với cấu hình phần cứng thực đề tài là: CPU( Core i5, 2500), RAM 12GB, card đồ họa GPU NVIDIA 1050 có dược kết thời gian xử lý hệ thống biểu diễn bảng 4.1: Tổng số khung hình Thời gian xử lý (giây) Thời gian xử lý (giây/khung hình) Kết Kết Kết Kết Kết 699 941 218 865 890 66.4 85.15 21.4 111.2 73.8 0.094 0.09 0.1 0.13 0.08 Bảng Kết đáp ứng thời gian xử lý hệ thống Từ kết thời gian xử lý với trường hợp khác nhau, hệ thống có độ trễ tương đối lớn, chưa đáp ứng khả xử ý theo thời gian thực Vì cần phải cải tiến giải thuật khả kỹ lập trình phần cứng hệ thống để đạt kết thời gian xử lý tốt Khi kết hợp phát đường phát vật cản, ta ứng dụng đơn giản đưa cảnh bảo có vật cản vùng nguy hiểm phía trước xe chạy Đối với số kết việc cảnh báo tương đối xác, nhiên cịn xuất số lỗi q trình thực Do đó, để đưa cảnh báo cách xác địi hỏi độ xác phần phát đường vật cản phải cải thiện 4.2 Nhận xét  Đạt được:  Thông qua số kết đạt đề tài xây dựng hệ thống có khả phát đường nhận dạng vật cản đồng thời đưa cảnh báo có vật cản vùng nguy hiểm Trong số điều kiện mặt đường ánh sáng tốt, hệ thống xử lý tốt việc phát đường vật cản Trang 61  Hạn chế:  Vẫn tồn số lỗi việc phát đánh dấu sai đường có thay đổi điều kiện mặt đường, ánh sáng khác đoạn thẳng gần giống với đường  Bên cạnh giải thuật cho việc cảnh báo đơn giản, ảnh hưởng đến khả cảnh báo xác hệ thống Đây điểm lưu ý việc phát triển đề tài  Vẫn chưa đáp ứng xử lý theo thời gian thực  Các liệu video thử nghiệm sử dụng lý tưởng, chưa phản ánh khả theo điều kiện thực tế Việt Nam 4.3 Hướng phát triển đề tài Việc nhận dạng không sử dụng riêng biệt video mà phải kết hợp sử dụng giải pháp khác như: sử dụng radar, ultrasonic, lidar … thành hệ thống hồn chỉnh, đại cho kết xác từ đưa vào ứng dụng thực tiễn sống Tuy nhiên, việc tích hợp thảnh cơng giải thuật xử lý ảnh máy học đề tài thành hệ thống có khả nhận dạng đường vật cản thông qua video đồng thời đưa cảnh báo góp phần vào phương pháp việc xây dựng hệ thống xe tự hành cách hồn chỉnh Bên cạnh lĩnh vực “Deep Learning” khơng giới hạn tốn phát vật cản, mà áp dụng cách rộng rãi vào lĩnh vực khác, làm cho sống người ngày tiện nghi hơn, đại Trang 62 TÀI LIỆU THAM KHẢO [1] C Chen, A Seff, A Kornhauser and J Xiao: DeepDriving: Learning Affordance for Direct Perception in Autonomous Driving Proceedings of 15th IEEE International Conference on Computer Vision (ICCV2015) [2] Mohamed Aly: Real time Detection of Lane Markers in Urban Streets IEEE Intelligent Vehicles Symposium IEEE (2008) [3] Yue Wang, Dinggang Shen, Eam Khwang Teoh: Lane detection using spline model Nanyang Technological University – Singapore (2000) [4] Wang J, An X: A multi-step curved lane detection algorithm based on hyperbola-pair model International Conference on Automation and Logistics IEEE (2010) [5] Huachun Tan, Yang Zhou, Yong Zhu, Danya Yao, Keqiang Li: A novel curve lane detection based on Improved River Flow and RANSAC 17th International Conference on Intelligent Transportation Systems (ITSC) IEEE (2014) [6] Rafael Gromp one von Gioi, J´er´emie Jakubowicz, Jean-Michel Morel, Gregory Randall, LSD: a Line Segment Detector IPOL, 24 – Mar – 2012 [7] Fischler, M.A., Bolles, R.C.: Random sample consensus: A paradigm for model fitting with applications to image analysis and automated cartography Communications of the ACM (1981) [8] Lawrence, S., Giles, C.L., Tsoi, A.C., Back, A.D: Face recognition: A convolutional neural-network approach IEEE Transactions on Neural Networks (1997) [9] Muhammad Shafique, Muhammad Fahim, Prashant Pydipogu: Robust lane detection and object tracking School of Engineering Blekinge Institute of Technology, Sweden (2013) [10] ZuWhan Kim Robust lane detection and tracking in challenging scenarios IEEE Transactions on Intelligent Transportation Systems (2008) [11] Professor Fei Lee: CS231n: Convolutional Neural Networks for Visual Recognition Standford University http://cs231n.stanford.edu/ [12] Professor William Hoff: EENG 512: “Computer Vision” Colorado School of Mines.[Online] http://inside.mines.edu/~whoff/courses/EENG512/ [13] Joseph Redmon, Santosh Divvala, Ross Girshick, Ali Farhadi “You Only Look Once: Unified, Real-Time Object Detection” IEEE 12 December 2016 Trang 63 [14] Brandon Rohrer, “How Convolutional Neural Network work?”[Online] https://brohrer.github.io [15] Andrew Y Ng, “Convolutinal Neural Network Learning Course.” [Online] https://www.coursera.org [16] E.Shectman, M.Irani, “Matching Local Self-Similarities across Images and Videos,” In IEEE International Conference on Computer Vision and Pattern Recognition, pp 1-8, 2007 [17] A Monroy, A Eigenstetter, B Ommer, “Beyond Straight Lines - Object Detection Using Curvature,” In 18th IEEE International conference on Image Processing (ICIP), pp 3561 - 3564, 2011 [18] Thái Văn Chánh, “Phát người vật cản hệ thống hỗ trợ xe tự hành” Luận văn thạc sĩ, Đại Học Bách Khoa TpHCM, 2016 [19] C Papageorgiou and T Poggio, “A trainable system for object detection,” International Journal of Computer Vision, 38(1), pp.15–33, 2000 [20] Dr Michael J de Smith, “Determination of gradient and curvature constrained optimal paths, University College London (UCL) Jan, July 2005) Trang 64 ... 18 CHƯƠNG III: PHÁT HIỆN VẬT CẢN Bên cạnh việc phát đường, việc phát vật cản đường quan trọng không Việc phát vật cản giống việc hệ thống biết tình trạng giao thơng xung quanh xe đường Trong đề... cho hệ thống lái tự động Trang 1.2 Mục tiêu đề tài Phát đường vật cản yếu tố định hệ thống hỗ trợ lái xe Do đó, việc tích hợp giải thuật phát đường vật cản thực cách xác thành hệ thống đưa cảnh... TÀI: Xây dựng hệ thống phát đường vật cản II NHIỆM VỤ VÀ NỘI DUNG:  Tìm hiểu sở lý thuyết giải thuật phát đường, lý thuyết mạng neuron, giải thuật dựa mạng neuron tích chập (CNN)  Xây dựng hệ thống