i ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ MAI ỨNG DỤNG THUẬT TOÁN ADABOOST VÀ HOG VÀO HỆ THỐNG TRỢ LÁI THÔNG MINH ADAS ĐỂ PHÁT HIỆN, PHÂN LOẠI CÁC PHƯƠNG TIỆN CHUYỂN ĐỘNG Luận văn thạc sỹ kỹ thuật điều khiển tự động hóa Thái Nguyên - 2020 ii ĐẠI HỌC THÁI NGUYÊN TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG NGUYỄN THỊ MAI ỨNG DỤNG THUẬT TỐN ADABOOST VÀ HOG VÀO HỆ THỐNG TRỢ LÁI THÔNG MINH ADAS ĐỂ PHÁT HIỆN, PHÂN LOẠI CÁC PHƯƠNG TIỆN CHUYỂN ĐỘNG Ngành: Kỹ thuật điều khiển tự động hóa Mã số: 852 02 16 Luận văn thạc sỹ kỹ thuật điều khiển tự động hóa Người hướng dẫn khoa học TS Lê Hùng Linh Thái Nguyên - 2020 iii LỜI CAM ĐOAN Họ tên: Nguyễn Thị Mai Năm sinh: Ngày 09 tháng 06 năm 1992 Học viên lớp CĐK17A – KTĐK&TĐH,Trường Đại học Công nghệ thông tin Truyền thông - Đại học Thái Nguyên Tôi xin cam đoan cơng trình nghiên cứu riêng tơi Các số liệu nêu luận văn trung thực Những kết luận luận văn chưa công bố cơng trình Mọi thơng tin trích dẫn luận văn rõ nguồn gốc Tác giả luận văn Nguyễn Thị Mai ii LỜI CẢM ƠN Tơi xin trân trọng bày tỏ lịng biết ơn sâu sắc đến thầy giáo TS Lê Hùng Linh - người hướng dẫn, tận tình giúp đỡ tơi hồn thành luận văn thạc sĩ Tôi xin chân thành cảm ơn thầy cô giáo Khoa công nghệ tự động hóa trường Đại học Cơng nghệ Thơng tin Truyền thơng Thái Ngun đóng góp nhiều ý kiến tạo điều kiện thuận lợi cho tơi hồn thành luận văn Tôi xin chân thành cảm ơn Ban giám hiệu, Khoa, Phòng chức trường Đại học Công nghệ Thông tin Truyền thông Thái Nguyên tạo điều kiện thuận lợi mặt để tơi hồn thành khóa học! Tác giả luận văn Nguyễn Thị Mai MỤC LỤC LỜI CAM ĐOAN i MỤC LỤC ii DANH SÁCH HÌNH VẼ v LỜI CẢM ƠN .ii LỜI MỞ ĐẦU .1 Chương 1: KHÁI QUÁT CÔNG NGHỆ VÀ HỆ THỐNG TRỢ LÁI THÔNG MINH 1.1 TỔNG QUAN VỀ HỆ THỐNG TRỢ LÁI THÔNG MINH 1.2 HỆ THỐNG PHÁT HIỆN VÀ PHÂN LOẠI CÁC PHƯƠNG TIỆN DI ĐỘNG 1.2.1 Phương pháp phát dựa hình dạng 1.2.2 Phương pháp phát dựa máy học .9 1.3 NGUYÊN TẮC THU THẬP VÀ XỬ LÝ DỮ LIỆU CỦA HỆ THỐNG ADAS 1.3.1 Thuật toán học tập dựa AdaBoost .11 1.3.2 Tính Haar-Like 12 1.3.3 Cấu trúc tầng để phát nhanh đối tượng .13 1.3.4 Luồng phát 13 1.4 KẾT LUẬN CHƯƠNG 15 Chương 2: ĐỀ XUẤT MƠ HÌNH TRỢ LÁI THÔNG MINH 16 2.1 NGUYÊN TẮC KIỂM SOÁT DỮ LIỆU CỦA HỆ THỐNG .16 2.2 PHẦN MỀM CHO HỆ THỐNG TRỢ LÁI THÔNG MINH 17 2.2.1 Tổng quan visual studio 2010 17 2.2.2 Tổng quan phần mềm mơ phịng OpenCV 20 2.3 THUẬT TOÁN ADABOOST VÀ HOG 28 2.3.1 Thuật toán AdaBoost 28 2.3.2 Thuật toán HOG 38 2.4 MƠ HÌNH HỆ THỐNG TRỢ LÁI THƠNG MINH ĐƯỢC ĐỀ XUẤT .48 2.5 KẾT LUẬN CHƯƠNG .53 Chương 3: ĐÁNH GIÁ HIỆU SUẤT VÀ SO SÁNH 54 3.1 YÊU CẦU CỦA HỆ THỐNG VÀ CẤU TRÚC CHƯƠNG TRÌNH 54 3.2 NGUYÊN TẮC VẬN HÀNH, THỬ NGHIỆM VÀ ĐÁNH GIÁ HỆ THỐNG 54 3.3 CÁC KẾT QUẢ THỬ NGHIỆM 57 3.4 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI 61 3.5 KẾT LUẬN CHƯƠNG .62 KẾT LUẬN VẦ KIÊN NGHỊ 63 TÀI LIỆU THAM KHẢO .64 DANH SÁCH HÌNH VẼ Hình 1.1 Tầm nhìn ô tô di chuyển đường Hình 1.2 Hệ thống camera lắp đầu xe Hình 1.3 Hệ thống cảnh báo tập trung Hình 1.4 Các vị trí đề cử điểm ảnh cho tâm đối tượng [6] Hình 1.5 Nhân góc gradient tam giác với [6] .8 Hình 1.6 Ví dụ tính Haar-like Những tính đơn giản tương tự Chức sở Haar 11 Hình 1.7 Vùng xác định điểm ảnh gốc 12 Hình 1.8 Cấu trúc tầng hệ thống 13 Hình 1.9 Bước nhảy trình phát vật [7] 14 Hình 2.1 Cấu trúc Visual Studio 2010 .17 Hình 2.2 Thiết lập cấu hình 18 Hình 2.3 Quá trình phát triển OpenCV 21 Hình 2.4 Cấu trúc sở OpenCV 22 Hình 2.5 Boosting 30 Hình 2.6 Các khái niệm sử dụng phát đối tượng AdaBoost [8] 33 Hình 2.7 Sơ lược quy trình phân loại dựa AdaBoost [9] 36 Hình 2.8 Các giai đoạn thuật toán [9] 37 Hình 2.9 Ảnh input hai đạo hàm 39 Hình 2.10 Tổng quan bước trừ .43 Hình 2.11 Hình tạo từ ảnh gốc .48 Hình 2.12 Một ví dụ minh họa mô tả HOG 49 Hình 2.13 Cấu trúc tầng giai đoạn phân loại .50 Hình 2.14 Bốn đặc trưng Haar-like 51 Hình 2.15 Tính tốn tổng điểm ảnh bên hình chữ nhật D 52 Hình 3.1 Các mẫu đào tạo dương âm tập liệu đào tạo 55 Hình 3.2 Kỹ thuật ROI đề xuất đề tài 56 Hình 3.3 Các kết phát thuật toán đề xuất 59 Hình 3.4 So sánh hiệu suất phương pháp đề xuất phương pháp khác 60 LỜI MỞ ĐẦU Xử lý ảnh bao gồm lý thuyết kỹ thuật liên quan nhằm mục đích tạo hệ thống nhân tạo tiếp nhận thơng tin từ hình ảnh thu tập liệu đa chiều Đối với người chúng ta, trình nhận thức bên ngồi điều dễ dàng, q trình nhận thức học thơng qua q trình sống người Tuy nhiên với vật vơ tri vơ giác máy tính, robot… điều thật bước tiến gian nan Các thiết bị ngày không nhận thông tin dạng tín hiệu đơn lẻ mà cịn có nhìn thật với giới bên ngồi Cái nhìn qua q trình phân tích, kết hợp với mơ máy học, mạng noron… giúp cho thiết bị tiến dần tới hệ thống nhân tạo có khả định linh hoạt đắn nhiều OpenCV thư viện mã nguồn mở xử lí ảnh Intel đáp ứng đầy đủ yêu cầu lĩnh vực xử lý ảnh Trên giới lĩnh vực công nghiệp, nghiên cứu ứng dụng xử lý ảnh phát triển vô mạnh mẽ có bước tiến kinh ngạc Ở Việt Nam lĩnh vực phát triển, nhiên việc sử dụng xử lý ảnh công nghiệp mẻ non yếu thiếu thiết bị hỗ trợ, tài liệu nghiên cứu Vì hướng phát triển đầy hứa hẹn khơng thách thức Với mong muốn tham gia vào lĩnh vực cịn góp phần vào phát triển xử lý ảnh Việt Nam, thực đề tài “ Ứng dụng thuật tốn ADABOOST HOG vào hệ thống trợ lái thơng minh ADAS để phát hiện, phân loại phương tiện chuyển động” NỘI DUNG LUẬN VĂN ĐƯỢC CHIA LÀM CHƯƠNG Chương Khái quát công nghệ hệ thống trợ lái thông minh Chương Đề xuất phương án trợ lái thông minh Chương Đánh giá hiệu suất so sánh Với thời gian kiến thức có hạn, luận văn khơng thể tránh khỏi sai sót Rất mong góp ý thầy cô, bạn bè đồng nghiệp Tôi xin chân thành cảm ơn! Thái Nguyên, ngày tháng năm 2020 Tác giả luận văn Nguyễn Thị Mai đối tượng nhanh Tuy nhiên, kỹ thuật đề xuất sinh nhiều cảnh báo lỗi Viola Jones đề xuất phát mạnh mẽ với tốc độ xử lý nhanh cách sử dụng thuật toán Adaboost Họ đề xuất phương pháp rút trích đặc trưng, tức đặc trưng Haar-like cho phân loại yếu, cấu trúc tầng phân loại để phát đối tượng nhanh Ở phương pháp họ, phân loại mạnh biểu diễn cách kết hợp nhiều phân loại yếu Nói cách khác, phân loại mạnh hình thành kết hợp tuyến tính kết có trọng số phân loại yếu, trọng số phân loại yếu đào tạo số lượng lớn ảnh mẫu âm dương Hình 2.13 Cấu trúc tầng giai đoạn phân loại Giai đoạn phân loại bao gồm số phân loại yếu Nếu giai đoạn trả false, cửa sổ bị từ chối lập tức, khơng có xử lý thực Sự kết hợp phân loại mạnh tầng dẫn tới tỷ lệ xác cao hiệu tính tốn Vì lẽ phát đối tượng rút trích nhiều vùng ứng cử viên tiềm năng, vùng cần tính tốn phân loại, chi phí tính tốn cho vùng cần phải giữ mức thấp Với yêu cầu vậy, thuật tốn vào Adaboost đạt phân loại xác với chi phí tính tốn nhỏ Kỹ thuật tăng tốc thời gian tính tốn cách xác định có hay khơng mẫu ứng cử viên có chứa đối tượng quan tâm để di chuyển sang giai đoạn từ chối vùng mà không chứa đối tượng quan tâm, để phát tập trung vào ứng cử viên chứa đối tượng cần phát Các đặc trưng Haar-like rút trích cách tính tốn khác tổng giá trị điểm ảnh vị trí tương ứng hình chữ nhật đen trắng Các đặc trưng rút trích cách trượt bốn mặt nạ Haar-like toàn ảnh đầu vào Bốn loại mặt nạ đặc trưng Haar-like hình số 2.14 Hình 2.14 Bốn đặc trưng Haar-like Hai đặc trưng hình chữ nhật minh họa (A) (B) Ba bốn đặc trưng hình chữ nhật tương ứng (C) (D) Viola Jones đề xuất kỹ thuật biểu diễn ảnh gọi “integral image” để tăng tốc độ tính tốn tổng giá trị điểm ảnh hình chữ nhật đen trắng Ảnh integral ii(x,y) vị trí (x,y) bao gồm tổng điểm ảnh cho phần trái điểm đó, hình số 3.4 Hình 2.15 Tính tốn tổng điểm ảnh bên hình chữ nhật D P1 tổng điểm ảnh hình chữ nhật A P2 tổng điểm ảnh hình chữ nhật A B P3 tổng điểm ảnh hình chữ nhật A C P4 tổng điểm ảnh hình chữ nhật A, B, C, D  ii(x, y)  x'x; y' y i(x ', y ') (2.18) i(x,y) giá trị điểm ảnh ảnh gốc Ở ảnh integral, tổng điểm ảnh vùng từ (x1,y1) tới (x2,y2) biểu diễn sau: r(x1 ,x , y1 , y2 )     x1 x'x ; y1 y' y i(x ', y ')  i(x ', y ')  i(x ', y ')   i(x ', y ')  ii(x , y2 ) - ii(x , y1 ) - ii(x1 , y ) + ii(x1 , y1 ) x'x ; y' y x1 x'x ; y' y1 x'x1 ; y' y (2.19) Gần đây, với ứng dụng phát đối tượng di chuyển, kỹ thuật trừ biết đến thời gian xử lý nhanh, hiệu xuất cao xác ứng dụng có camera tĩnh Tuy nhiên kỹ thuật hiệu với ứng dụng có camera gắn cố định Đề tài hướng tới mục tiêu phát đối tượng di chuyển, cụ thể xe ô tô ứng dụng với camera di động nên phương pháp mạnh mẽ có khả đạt tỷ lệ phát cao chiến lược tìm kiếm tồn diện tất vùng ứng cử viên tiềm năng, điều dẫn tới chi phí tính tốn cao làm phương pháp khơng có khả đáp ứng cho ứng dụng thời gian thực Do đó, nghiên cứu nhắm vào giải nhiệm vụ phát đối tượng thời gian thực cách hợp kỹ thuật tiến phương pháp trước Theo đó, ta giảm khơng gian tìm kiếm để tăng thời gian phát qua toàn ảnh kỹ thuật regions of interests (ROI) Kỹ thuật thực hữu ích khơng giảm số lượng lớn vùng ứng cử viên, mà cịn tránh rút trích vùng bầu trời, vùng không phù hợp với ngữ cảnh, xác xuất suất cảnh báo lỗi cao Để phân loại đối tượng phát thuật toán Adaboost sử dụng ưu điểm liệt kê Ngồi ra, để cải thiện tỷ lệ phát hiện, tỷ lệ lỗi, tỷ lệ cảnh báo sai cho thuật toán Adaboost, luận văn tập hợp thêm vào tập liệu đào tạo mẫu đào tạo với tập liệu PETs INRIA 2.5 KẾT LUẬN CHƯƠNG Chương trình bày phương pháp tổng quát sử dụng đề tài Luận văn nêu sở lý thuyết thuật tốn trích xuất đặc trưng Haar-like, thuật toán HOG, thuật toán Adaboost, kỹ thuật trừ nền, phương pháp nhận dạng phát phương tiện di động để phục vụ cho yêu cầu hệ thống Chương 3: ĐÁNH GIÁ HIỆU SUẤT VÀ SO SÁNH 3.1 YÊU CẦU CỦA HỆ THỐNG VÀ CẤU TRÚC CHƯƠNG TRÌNH Đề tài nhắm vào tối ưu nhiệm vụ phát nhận dạng cho đối tượng di chuyển cách kết hợp hai phương pháp miền thời gian không gian Theo đó, bước đầu sử dụng kỹ thuật ROI để giảm khơng gian tìm kiếm đối tượng di chuyển Sau sử dụng thuật tốn AdaBoost để phân loại đối tượng phát vào phạm vi chúng Các kết thí nghiệm tập liệu cách tiếp cận đề xuất tăng tốc độ xử lý, với hiệu suất cải thiện đáng kể cho video ban ngày trời Cả cộng đồng khoa học ngành công nghiệp ô tô nghiên cứu phát triển hệ thống bảo vệ khác nhằm cải thiện hệ thống an tồn giao thơng Trong đó, hệ thống hỗ trợ lái xe đại, đặc biệt hệ thống bảo vệ người trở thành phạm vi nghiên cứu tích cực nhằm nâng cao tính an tồn cho người tham gia giao thơng Thử thách hệ thống phát triển hệ thống phát đối tượng xác on-board Điều xuất hay biến đổi đối tượng cần phát (ví dụ: quần áo, kích thước, tỉ lệ, hình dạng động, tình trạng tắc nghẽn phần) mơi trường phi cấu trúc, khó khăn để đáp ứng với yêu cầu hệ thống Trong giới hạn phạm vi nghiên cứu đề tài này, tập trung phát triển thuật tốn phát tơ để cải thiện hai nhiệm vụ nghiên cứu: tăng tỷ lệ phát giảm tỷ lệ cảnh báo lỗi cho hệ thống; hai cải thiện tốc độ phát để thực hệ thống hệ thống nhúng chuyên dụng 3.2 NGUYÊN TẮC VẬN HÀNH, THỬ NGHIỆM VÀ ĐÁNH GIÁ HỆ THỐNG Vận hành phần mềm Visual Studio qua ứng dụng nhúng Open CV, sử dụng camera qua quát thực tế để thử nghiệm tập hợp tập liệu có độ phân giải cao để đánh giá giám sát Tập liệu bao gồm 16383 khung hình có độ phân giải 720 x 480 pixel Các đánh giá thực hệ điều hành Windows 7-64bit, Intel Core i7-3687U CPU @ 2.60 GHz, nhớ 16 G Ngoài ra, định nghĩa ba tham số để định giá thuật toán đề xuất: tỷ lệ phát (DR), tỷ lệ lỗi (MR), tỷ lệ phát lỗi (FDR) Ở thí nghiệm , tập liệu đào tạo bao gồm hai tập liệu âm dương, mẫu dương chứa đối tượng cần nhận dạng mẫu âm không bao gồm đối tượng quan tâm Tập liệu dương gồm có 2508 mẫu đào tạo tập liệu âm gồm 4433 mẫu đào tạo, kích thước mẫu 24 x 18-pixel Một số liệu mẫu tập đào tạo minh họa hình số 3.1 a, Các mẫu đào tạo dương b, Các mẫu đào tạo âm Hình 3.1 Các mẫu đào tạo dương âm tập liệu đào tạo Để tăng tốc độ xử lý giảm tỷ lệ cảnh báo lỗi đề cập mục Kỹ thuật minh họa thêm hình số 3.6 đề tài nghiên cứu, khơng gian thừa bầu trời không gian trái với tiền cảnh loại khỏi vùng tìm kiếm Ngồi q trình khảo sát tập liệu, phát nhiều trường hợp cảnh báo lỗi xuất mặt đường Vì đề xuất thêm kỹ thuật lọc cửa sổ đề xuất vào tọa độ vùng đề xuất Kỹ thuật minh họa hình số 3.2 đường thẳng màu đỏ a Chữ nhật màu xanh minh họa cho vùng ROI ảnh liệu đầu vào b, Minh họa cho trường hợp có nhiều cửa sổ phát đối tượng Hình 3.2 Kỹ thuật ROI đề xuất đề tài 3.3 CÁC KẾT QUẢ THỬ NGHIỆM So sánh hiệu suất thuật toán đề xuất công việc trước: P h K h i Đ ề 81 TT ỷỉ l l ệ ệ b 9 49 % BTố ác ođộ xử đlý ộ f 34 p5 f Các kết thí nghiệm cách tiếp cận tăng tốc lên 1.9 lần so sánh với phương pháp truyền thống, với tỷ lệ cảnh báo lỗi giảm 5.05% Các kết thí nghiệm tập liệu minh họa thêm hình số 3.7 hình số 3.8 (các kết chi tiết minh họa video đề tài) Hình 3.3 Các kết phát thuật tốn đề xuất Conventional approach Proposed work Hình 3.4 So sánh hiệu suất phương pháp đề xuất phương pháp khác Trên hình 3.3 3.4 kết so sánh phương pháp cũ thuật toán đề xuất Phương pháp cũ xuất nhiều cảnh báo lỗi, độ rộng khung hình thấp, tốc độ xử lý chậm Phương pháp đề xuất khắc phục nhược điểm đó: nhận diện khung hình/ đối tượng, độ rộng khung hình đẩy lên cao, tốc độ xử lý tăng nhiều Đó ưu điểm mà luận văn hướng tới 3.4 HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI - Kết hợp với hệ thống trợ lái điều khiển cho xe - Ứng dụng dây chuyền rà soát sản phẩm, nhận biết sản phẩm lỗi đưa khỏi băng chuyền - Xây dựng phân tích mơ hình đề xuất sử dụng mạng học tập sâu để cải thiện tỉ lệ phát giảm cảnh bảo lỗi cho toàn hệ thống - Tập hợp liệu để thực đào tạo máy học - Thiết kế hệ thống phần cứng (tính tốn lựa chọn hệ nhúng phù hợp cho hệ thống) 3.5 KẾT LUẬN CHƯƠNG Chương giải mục tiêu đề tài, chương trình nghiên cứu, thử nghiệm, đánh giá nhiều điều kiện môi trường khác nhau, số lượng tập liệu thử nghiệm đủ lớn để tin cậy độ xác phương pháp nghiên cứu Những kết tạo tiền đề cho việc xây dựng mở rộng thêm hệ thống nhận dạng biển báo giao thơng hồn chỉnh phù hợp với hệ thống biển báo giao thông Việt Nam KẾT LUẬN VẦ KIÊN NGHỊ Luận văn đạt số kết sau: Trình bày tổng quan hệ thống trợ lái thông minh Đề xuất phương án trợ lái thơng minh thuật tốn ADABOS HOG để phát hiện, phân loại phương tiện chuyển động Đánh giá hiệu suất so sánh tốc độ phát giảm tỉ lệ cảnh báo lỗi Tuy đạt số kết quả, xong luận văn dừng lại mặt nghiên cứu lý thuyết mơ Trong q trình làm cịn nhiều thiếu sót cần bổ sung, mong nhận đóng góp ý kiến từ thầy bạn Tôi xin chân thành cảm ơn! Thái Nguyên, ngày tháng năm 2020 Xác nhận giáo viên hướng dân Học viên TS Lê Hùng Linh Nguyễn Thị Mai TÀI LIỆU THAM KHẢO Tiếng Việt Dương Quang Thiện (2005), C# NET Framework, Nhà xuất Tổng hợp TP Hồ Chí Minh Nguyễn Xuân Huy (2011), Sáng tạo thuật tốn lập trình, Nhà xuất Thơng tin Truyền thông Tiếng Anh P Dollar, C Wojek, B Schiele, and P Perona (2012), Pedestrian detection: An evaluation of the state of the art, IEEE Trans Pattern Anal Mach Intell, 34(4), pp 743–761 Q Zhu, M C Yeh, K T Cheng, and S Avidan (2006), Fast human detection using a cascade of histograms of oriented gradients, in Proc Comput Vis Patt Recognit (CVPR), pp 1491–1498 H S Vu, J X Gou, K H Chen, S J Hsieh, and D S Chen (2016), A real-time moving objects detection and classification approach for static cameras, in Proc IEEE Int Conf on Consumer Electronics-Taiwan (ICCE-TW), pp 1–2 M Jin, K Jeong, S Yoon, and D S Park (2013), Real-time Pedestrian Detection based on GMM and HOG Cascade, in Pro Sixth Int Conf on Machine Vision, pp 1–5 ... CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG NGUYỄN THỊ MAI ỨNG DỤNG THUẬT TOÁN ADABOOST VÀ HOG VÀO HỆ THỐNG TRỢ LÁI THÔNG MINH ADAS ĐỂ PHÁT HIỆN, PHÂN LOẠI CÁC PHƯƠNG TIỆN CHUYỂN ĐỘNG Ngành: Kỹ thuật. .. gia vào lĩnh vực góp phần vào phát triển xử lý ảnh Việt Nam, thực đề tài “ Ứng dụng thuật toán ADABOOST HOG vào hệ thống trợ lái thông minh ADAS để phát hiện, phân loại phương tiện chuyển động? ??... CÔNG NGHỆ VÀ HỆ THỐNG TRỢ LÁI THÔNG MINH 1.1 TỔNG QUAN VỀ HỆ THỐNG TRỢ LÁI THÔNG MINH 1.2 HỆ THỐNG PHÁT HIỆN VÀ PHÂN LOẠI CÁC PHƯƠNG TIỆN DI ĐỘNG 1.2.1 Phương pháp phát dựa