BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH Hà Nội − 2016 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI NGUYỄN QUỐC HÙNG NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ Chun ngành: Khoa học Máy tính Mã số chun ngành: 62480101 LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH NGƯỜI HƯỚNG DẪN KHOA HỌC: TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan Hà Nội −2016 LỜI CAM ĐOAN Tơi xin cam đoan luận án: “Nghiên cứu phát triển số kỹ thuật định vị dựa hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” cơng trình nghiên cứu riêng tơi Một phần số liệu, kết trình bày luận án trung thực, cơng bố tạp chí khoa học chun ngành, kỷ yếu hội nghị khoa học nước quốc tế Phần lại luận án chưa cơng bố cơng trình nghiên cứu ngồi nước Hà Nội, ngày 20 tháng năm 2016 NGHIÊN CỨU SINH Nguyễn Quốc Hùng TẬP THỂ HƯỚNG DẪN KHOA HỌC TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan i LỜI CẢM ƠN Luận án tiến sĩ thực Viện Nghiên cứu Quốc tế MICA, trường Đại học Bách khoa Hà Nội hướng dẫn khoa học TS Trần Thị Thanh Hải PGS.TS Nguyễn Quang Hoan Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới thầy, định hướng khoa học suốt q trình nghiên cứu Nghiên cứu sinh xin trân trọng cảm ơn nhà khoa học, tác giả cơng trình cơng bố trích dẫn cung cấp nguồn tư liệu q báu q trình hồn thành luận án Nghiên cứu sinh xin trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiện MICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS Phạm Thị Ngọc Yến; GS.TS Eric Castelli; đề tài KHCN tiềm mã số: KC.01.TN19/11-15, đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08; Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu Hà Nội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ tạo điều kiện thuận lợi thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ mặt nhân lực để NCS thực việc thu thập liệu, thực nghiệm kết nghiên cứu Cuối nghiên cứu sinh xin bày tỏ biết ơn tới Ban giám hiệu Trường Cao đẳng Y tế Thái Ngun; gia đình đồng nghiệp động viên khích lệ, tạo điều kiện thuận lợi để NCS n tâm cơng tác học tập Hà Nội, ngày 20 tháng năm 2016 NGHIÊN CỨU SINH Nguyễn Quốc Hùng ii MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT vii DANH MỤC CÁC BẢNG ix DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ xv MỞ ĐẦU 1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ 1.1 Đặt vấn đề 1.2 Các nghiên cứu liên quan 4 1.2.1 Các nghiên cứu giới 1.2.1.1 Siêu âm 1.2.1.2 1.2.1.3 1.2.1.4 Hồng ngoại Laser Camera 7 1.2.1.5 Đa cảm biến Các nghiên cứu nước 10 1.2.3 Thảo luận 1.3 Mục tiêu nghiên cứu phương pháp đề xuất 1.3.1 Mục tiêu phạm vi nghiên cứu 11 12 12 1.3.2 Phương pháp đề xuất 1.4 Kết luận chương 12 13 BIỂU DIỄN MƠI TRƯỜNG VÀ ĐỊNH VỊ 2.1 Giới thiệu chung 14 14 2.2 Những nghiên cứu liên quan 2.2.1 Hướng tiếp cận sử dụng đồ số liệu 15 15 1.2.2 2.2.2 2.2.3 2.2.4 Hướng tiếp cận sử dụng đồ topo Hướng tiếp cận lai Thảo luận iii 17 19 21 2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn mơi trường 22 2.4 Phương pháp xây dựng đồ mơi trường 2.4.1 Xây dựng đồ số liệu 2.4.1.1 Phương pháp đo hành trình hình ảnh sử dụng mơ 23 23 hình khơng chắn Thích nghi VO cho mơi trường nhà 24 27 2.4.1.2 2.4.2 Xây dựng đồ topo 29 2.4.2.1 Giải thuật FAB-MAP 30 2.4.2.2 Thích nghi cải thiện FAB-MAP xây dựng đồ topo 39 2.4.3 Bổ sung thơng tin đối tượng vật cản tĩnh đồ 2.5 Phương pháp định vị 44 44 2.6 Kết thực nghiệm 2.6.1 Mơi trường đánh giá 2.6.2 Thu thập liệu đánh giá 45 45 46 2.6.2.1 Hệ thống thu thập liệu 2.6.2.2 Thu thập liệu Kết đánh giá 46 47 48 2.6.3.1 2.6.3.2 Đánh giá phương pháp xây dựng đồ số liệu Đánh giá phương pháp định vị hình ảnh 48 53 2.7 Kết luận chương 59 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN 3.1 Định nghĩa tốn thách thức 3.2 Những nghiên cứu liên quan 60 60 61 2.6.3 3.2.1 Các phương pháp sử dụng 01 camera 3.2.1.1 Hướng nghiên cứu sử dụng stereo camera 61 62 3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect 3.2.1.3 Phân tích đánh giá phương pháp 3.3 Đề xuất phương pháp phát ước lượng khoảng cách 64 65 66 3.4 Phát vật cản 3.4.1 Phát vật cản cố định 67 67 3.4.1.1 3.4.1.2 3.4.1.3 Đối sánh điểm đặc trưng Phát vật cản từ kết đối sánh Xác định vùng chứa đối tượng 68 71 74 Phát vật cản động 3.4.2.1 Trích chọn đặc trưng HoG 3.4.2.2 Bộ phân loại SVM 75 75 76 3.5 Uớc lượng khoảng cách vật cản 3.5.1 Ngun lý ước lượng khoảng cách 77 77 3.4.2 iv 3.5.2 Xây dựng đồ chênh lệch 79 3.5.2.1 3.5.2.2 3.5.2.3 Thu thập liệu Hiệu chỉnh hình ảnh Đối sánh hình ảnh 80 80 84 3.5.2.4 Tính tốn độ sâu 3.6 Kết đánh giá 86 88 3.6.1 3.6.2 3.6.3 Xây dựng sở liệu vật cản Đánh giá giải thuật phát đối tượng Đánh giá giải thuật ước lượng khoảng cách vật cản 88 90 93 3.7 Kết luận chương 98 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG 4.1 Hệ thống tích hợp 4.1.1 Tích hợp phần cứng 99 99 99 4.1.2 Kiến trúc tổng thể 101 4.2 Phát triển hệ thống dẫn đường sử dụng robot 102 4.2.1 4.2.2 Tìm đường cho robot 102 Điều khiển robot 103 4.2.2.1 Điều khiển trực tiếp dựa đường xác định 103 4.2.2.2 Điều khiển theo dự báo hiệu chỉnh vị trí lọc Kalman 105 4.2.3 Tương tác người-robot 111 4.3 Thử nghiệm đánh giá hệ thống dẫn đường 112 4.3.1 Mơi trường quy trình thử nghiệm 112 4.3.1.1 4.3.1.2 4.3.2 Mơi trường thử nghiệm 112 Quy trình thử nghiệm 115 Kết thực nghiệm 116 4.3.2.1 Đánh giá khả xác định vị trí xuất phát robot 116 4.3.2.2 Đánh giá khả điều khiển robot 117 4.3.2.3 4.3.2.4 Đánh giá khả tương tác người-robot 119 Đánh giá hệ thống dẫn đường trợ giúp NKT robot 121 4.3.3 Bàn luận hệ thống robot dẫn đường 130 4.4 Kết luận chương 132 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 133 TÀI LIỆU THAM KHẢO 136 DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN 148 PHỤ LỤC 151 v A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG 151 A.1 Đặc trưng Harris Corner 151 A.2 Đặc trưng SIFT 153 A.3 Đặc trưng SURF 157 A.4 Đặc trưng GIST 163 A.5 Đặc trưng HoG 165 A.6 Đặc trưng Haar 170 B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 173 B.1 Giới thiệu CSDL thử nghiệm 173 B.2 Khung nhận dạng đối tượng tổng qt 177 B.3 Độ đo đánh giá 182 B.4 Kết đánh giá 183 C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU 188 C.1 Xe camera thu thập liệu 188 C.2 Hiệu chỉnh camera góc rộng 191 C.3 Robot PC-Bot914 193 vi DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT TT 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 Viết tắt AM AP BOW CSDL ED FAB-MAP FLANN FN FP GPS HOG HSI KF KH&CN k-NN LASER LATS LIDAR MICA MUT NCS NĐC NKT PUT RANSAC RFID RGB RMSE SAD SIFT SLAM SURF SVM TP TQB VO WIFI Nghĩa đầy đủ (tiếng Việt/tiếng Anh) Appearance based Mapping Average Precision Bag of Words Cơ sở liệu Euclidean Distance Fast Appearance Based Mapping Fast Library for Approximate Nearest Neighbors False Negative False Positive Global Positioning System Histogram of Oriented Gradients Hue Saturation and Intensity Kalman Filter Khoa học Cơng nghệ K-Nearest Neighbors Light Amplification by Stimulated Emission of Radiation Luận án tiến sĩ Light Detection And Ranging Multimedia, Information, Communication & Applications Motion Uncertainty Tetragon Nghiên cứu sinh Nguyễn Đình Chiểu Người khiếm thị Perspective Uncertainty Tetragons RANdom SAmple Consensus Radio Frequency Identification Red Green and Blue Root Mean Square Error Sum of Absolute Differences Scale Invariant Feature Transforms Simultaneous Localization and Mapping Speeded Up Robust Features Support Vector Machine True Positive Tạ Quang Bửu Visual Odometry Wireless Fidelity vii DANH MỤC CÁC BẢNG Bảng 2.1 Bảng tổng hợp thơng tin 03 mơi trường thử nghiệm 46 Bảng 2.2 Tốc độ lấy mẫu (fps) camera mơi trường thử nghiệm 47 Bảng 2.3 Dữ liệu thu thập E1:NĐC 47 Bảng 2.4 Dữ liệu thu thập E2:TQB 47 Bảng 2.5 Dữ liệu thu thập E3:MICA 47 Bảng 2.6 Kết đánh giá RMSE E1:NĐC 48 Bảng 2.7 Kết đánh giá độ sai số tiêu chuẩn RMSE E2:TQB 50 Bảng 2.8 Kết đánh giá độ sai số tiêu chuẩn RMSE E3:MICA 52 Bảng 2.9 So sánh khả định vị giải thuật FAB-MAP* E1:NĐC 54 Bảng 2.10 Kết đánh giá so sánh giải thuật định vị FAB-MAP* E2:TQB 56 Bảng 2.11 Kết đánh giá so sánh giải thuật định vị FAB-MAP* E3:MICA 57 Bảng 3.1 Kết thu nhận liệu khung cảnh/đường phục vụ đánh giá 88 Bảng 3.2 Thu thập liệu đánh giá phát ước lượng khoảng cách vật cản 90 Bảng 3.3 Kết phát đối tượng theo phương pháp đề xuất 91 Bảng 3.4 Kết phát đánh giá so sánh với phương pháp Haar-AdaBoost 91 Bảng 3.5 Kết dự đốn độ sai số ước lượng khoảng cách vật cản 93 Bảng 4.1 Danh sách tham gia thử nghiệm dẫn đường E1:NĐC 112 Bảng 4.2 Danh sách tham gia đánh giá hệ thống dẫn đường E2:TQB Bảng 4.3 Danh sách tham gia đánh giá hệ thống dẫn đường E3:MICA 114 Bảng 4.4 Kết đánh giá điểm xuất phát robot 117 Bảng 4.5 Kết đánh giá vai trò lọc Kalman điều khiển robot 118 Bảng 4.6 Kết sai số định vị sử dụng sai số trung vị 118 viii 113 Biên lớn + + + + Lớp I + + + + Lớp II + + Một siêu phẳng Siêu phẳng tối ưu Hình B.9 Phân tách theo siêu phẳng (w,b) khơng gian chiều tập mẫu giải thuật phân lớp tập đóng ví dụ khơng gian đặc trưng Ý tưởng phương pháp xếp vào lớp có k hàng xóm gần với nhất, minh họa Hình B.10 nh thử nghiệm Khoảng cách Nhãün lớp D1 D1 D5 D8 Lớp nh huấn luyện Hình B.10 Minh họa bước tính tốn k-NN Các hàm tính khoảng cách k-NN đóng vai trò quan trọng phương pháp học, dựa láng giềng gần thường xác định trước khơng thay đổi suốt q trình học phân lớp + Các hàm tính khoảng cách hình học: dành cho tốn có thuộc 181 tính đầu vào kiểu số thực (xi ∈ R) o Hàm Minkowski: d(x, z) = ( n |xi − zi |p )1/p (B.3) i=1 n o Hàm Manhattan: d(x, z) = |xi − zi | (B.4) i=2 o Hàm Euclid: d(x, z) = n (xi − zi )2 (B.5) i=1 + Hàm khoảng cách Hamming: dành cho tốn có thuộc tính đầu vào kiểu nhị phân (xi ∈ {0, 1}) n d(x, z) = Dif f erence(xi , zi ) (B.6) i=1 1, (x = z) Trong đó: Dif f erence(x, z) = B.3 0, (x = z) Độ đo đánh giá Trong 03 CSDL đề xuất thử nghiệm, chúng tơi sử dụng độ đo đánh giá khác cụ thể sau: • CSDL Naiscorp 2012: Sử dụng độ đo xác (Precision) tính theo cơng thức (2.26) để đánh giá hiệu hệ thống nhận dạng • CSDL Robot Vision 2013: Cung cấp bảng điểm cho việc nhận dạng 10 khung cảnh 08 đối tượng Bảng B.1, điểm cuối tổng điểm tất điểm thu Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013 Các lớp đối tượng/Class Nhận dạng xác Nhận dạng sai Khơng nhận dạng Khung cảnh 1.0 -0.5 0.0 Đối tượng 0.125 -0.125 0.000 • CSDL PascalVOC 2007: sử dụng độ đo xác trung bình AP (Average Precision) thể giá trị tích phân đồ thị ROC (Receiver Operating Characteristic) hai giá trị độ đo triệu hồi (recall) độ đo xác (Precision) 182 B.4 Kết đánh giá Kết đánh giá 03 CSDL thực nghiệm sở để chúng tơi lựa chọn lớp đối tượng đạt hiệu cao nhằm xây dựng CSDL vật cản phù hợp với mơi trường thực tế mà NKT thường gặp phải Cụ thể sau: - CSDL Naiscorp 2012: Trong Bảng B.2 Haar-AdaBoost phương pháp tốt cho lớp điện thoại, đồng hồ, hoa, tơ Thuyền, điều tính Haarlike đại diện với chi tiết đối tượng Còn GIST k-NN phương pháp nhận dạng tốt cho lớp Giày dép, Kính, Máy tính xách tay, Xe máy Độ xác trung bình CSDL Naiscorp 2012 80% Bảng B.2 Kết nhận dạng tượng CSDL Naiscorp 2012 TT Lớp đối tượng Haarlike-Adaboost HoG-SVM GIST-kNN 00 Điện thoại 97% 67% 88% 01 Đồng hồ 98% 95% 81% 02 Giày dép 34% 67% 73% 03 Hoa 90% 76% 75% 04 Kính 91% 87% 98% 05 Máy tính 62% 78% 99% 06 Người 91% 90% 77% 07 Ơ tơ 100% 85% 91% 08 Thuyền 100% 78% 92% 09 Xe máy 56% 88% 96% 82% 81% 87% Trung bình Hình B.11 đối tượng ảnh khoanh vùng gán nhãn, kết nhận dạng phụ thuộc vào CSDL huấn luyện Hình B.11(a) nhận dạng đồng hồ đặc tính ảnh đưa vào nhận dạng khác nhiều so với huấn luyện Hình B.11(b) cho thấy nhận dạng nhầm từ lớp đồng hồ sang lớp máy tính xách tay số đặc trưng trích chọn ảnh đồng hồ phím bấm tương đối giống với đặc trưng trích chọn lớp máy tính xách tay, nên xảy trường hợp nhận dạng nhầm Hình B.11(c) cho thấy lớp đồng hồ nhận dạng đúng, nhiên đặc trưng trích chọn lớp đồng hồ hình tròn, phía có họa tiết giống bơng hoa nên nhận nhầm sang lớp hoa Cuối Hình B.11(d) có tình trạng nhận dạng nhập nhằng, nhận dạng lớp máy tính máy tính chứa hình ảnh giày dép nên hiểu nhận dạng sai nhận dạng Thuật tốn nhận dạng đối tượng chạy máy tính cấu hình (CHIP Intel(R) Core(TM) 183 (a) Phát (b) Phát nhầm (c) Phát đúng, thừa (d) Phát nhập nhằng Hình B.11 Một số kết nhận dạng đúng/sai CSDL Naicorp 2012 i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB) Kích thước trung bình ảnh 600 × 400, tốc độ tính tốn đạt 88.12 ms/ ảnh - CSDL Robot Vision 2013: Đã có 16 kết đội thi đến từ nhóm nghiên cứu giới gửi tới thi Robot Vision, nhóm MICA gửi 03 kết dự thi, cụ thể sau Phương pháp nhận dạng đề xuất sử dụng giải thuật kết hợp GIST k-NN để nhận dạng khung cảnh trước nhận dạng đối tượng Kết nhận dạng minh họa Hình B.12 (a) Phát (b) Phát nhầm Hình B.12 Một số kết nhận dạng đúng/sai CSDL RobotVision2013 Nhóm nghiên cứu MICA đứng thứ 9/16 kết đạt số điểm 4497.875 điểm, kết xếp hạng có Bảng B.3 Kết chưa cao số ngun nhân nhóm nghiên cứu chưa sử dụng đến hình ảnh độ sâu (Depth) cung cấp, đặc trưng trích chọn ảnh huấn luyện chưa đủ nhiều, bao hết trường hợp tập thử nghiệm Với ngun nhân 184 Bảng B.3 Kết điểm nhận dạng đối tượng CSDL Robot Vision 2013 TT 10 11 12 13 14 15 16 Đội thi MIAR ICT MIAR ICT MIAR ICT MIAR ICT MIAR ICT NUDT SIMD* REGIM MICA REGIM MICA MICA GRAM GRAM GRAM NUDT Tổng điểm 6033.5 5924.25 5924.25 5867.5 5867 5722.5 5004.75 4638.875 4497.875 3763.75 3316.125 2680.625 -487 -497 -497 -866.25 Kết tham dự 1367338469342_result5.txt 1367337521811_result1.txt 1367338031442_result3.txt 1367338141275_result4.txt 1367337920393_result2.txt 1367330362498_Submission_zy.results 1366035468189_exampletest.results 1367938209005_results2 (1).results 1367489769671_MICA_RobotVision_2.txt 1367937984977 results1 (1).results 1367487985297_MICA_RobotVision_1.txt 1368014381988_MICA_RobotVision_3.txt 1368038785876_gram_3dspmk_l2_k400.txt 1368090179987_gram_3dspmk_l2_k800.txt 1368090208187_gram_3dspmk_l2_k1000.txt 1367376643434_Submission_yl.results chúng tơi đề xuất kết hợp 02 nguồn liệu màu sắc (RGB) ảnh độ sâu (Depth) để nhận dạng xác có khung cảnh đề xuất Thuật tốn chạy cấu hình máy tính (CHIP Intel(R) Core(TM) i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB), kích thước ảnh trung bình 640 × 480, thời gian tính tốn trêm ảnh 90.3 ms/ ảnh - CSDL PascalVOC 2007: Với đồ thị AP Hình B.13 thấy đặc trưng GIST phân lớp k-NN chạy với CSDL Pascal VOC 2007 cho kết trung bình, với AP=0.164, đồ thị AP lớp đối tượng Hình B.14 thấy rõ vai trò đặc trưng GIST sử dụng nhận dạng đối tượng cho kết tốt lớp người, tơ, xe bt, hình ti vi khơng tốt lớp lại Lý đối tượng CSDL đa dạng, số lượng lớn đặc biệt ảnh chứa nhiều đối tượng Tuy nhiên, GIST, k-NN cần phối hợp với đặc trưng khác kết tốt Một số hình ảnh kết nhận dạng CSDL Pascal VOC 2007: Hình B.15(a) khoanh vùng đối tượng tơ, người (ngồi tơ), đặc biệt với kỹ thuật qt cửa sổ tồn ảnh khoanh vùng khóm bên đường, giống đối tượng chậu hoa có CSDL Tuy nhiên, phương pháp cho kết 185 Hình B.13 Đồ thị AP 20 lớp đối tượng CSDL PascalVOC 2007 Hình B.14 Đồ thị AP lớp đối tượng CSDL PascalVOC 2007 186 (a) Phát (b) Phát đúng, thừa Hình B.15 Kết nhận dạng đối tượng CSDL Pascal VOC 2007 phát thừa Hình B.15(b) Hình B.15(c) (b) Nhận nhầm sang lớp chó (a) Lớp cừu (c) Nhận nhầm sang lớp Bò Hình B.16 Kết nhận dạng đối tượng CSDL Pascal VOC 2007 Thuật tốn nhận dạng đối tượng sở liệu PascalVOC 2007 chạy máy tính cấu hình (CHIP Intel(R) Core(TM) i5-2520M CPU @ 3.2 GHz x 2, RAM 8GB) Kích thước trung bình ảnh (380 × 470) điểm ảnh, tốc độ tính tốn đạt 150 ms/ảnh 187 PHỤ LỤC C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU C.1 Xe camera thu thập liệu - Ý tưởng thử nghiệm: sử dụng 02 camera bố trí vng góc, thu liệu đồng thời: camera thứ chiếu xuống đất thu hình ảnh mặt đường, camera thứ hai hướng phía trước thu thập liệu khung cảnh, camera gắn gậy; cầm tay; gắn ghế; gắn xe đẩy hàng; gắn xe đạp mơ tả Hình C.1 (a) Gắn ghế (b) Gắn xe đẩy hàng (c) Gắn xe đạp (e) Cầm tay người (d) Gắn gậy người Hình C.1 Một số giải pháp thu thập liệu từ camera Với thiết kế đề xuất Hình C.1, chúng tơi tiến hành đánh giá 02 kịch nhà ngồi trời sau: + Kịch (trong nhà): khu thực nghiệm - Đại học Gent - Vương quốc Bỉ, định nghĩa 06 địa điểm (A, B, C, D, E, G) xuất phát từ A thành vòng tròn khép kín qua điểm quay trở lại A, chiều dài hành trình d = 89.4m Hình C.2(a) Phương pháp thu thập liệu sử dụng ghế xe đẩy hàng mơ 188 tả Hình C.1(a-b) Kết lệch so với thực địa mơi tả Hình C.2(b) Kết thúc C B G Xuất phát C B A D A Xuất phát Kết thúc E D G Thực đòa Đúng E Sai (a) Kòch thử nghiệm (b) Kết vẽ đồ Hình C.2 Một số lỗi xây dựng đồ mơi trường nhà cấu trúc mặt sàn khơng đồng nhất, số lượng đặc trưng khơng đồng gây lỗi tích lũy + Kịch (ngồi trời): khn viên Đại học Gent - Vương quốc Bỉ, định nghĩa 06 địa điểm (A, B, C, D, E, G) xuất phát từ A qua điểm quay lại A, chiều dài d = 320m Hình C.3(a) Phương pháp thu thập liệu sử dụng gậy, xe đạp người mơ tả Hình C.1(c-d-e) Xuất A phát D Xuất phát D Kết thúc A C E B E C B Thực đòa Kết thúc Đúng Sai G G (b) Kết vẽ đồ (a) Kòch thử nghiệm Hình C.3 Một số lỗi xây dựng đồ mơi trường ngồi trời Kết lệch với thực địa Hình C.3(b) điểm có mật độ đặc trưng dẫn tới việc sai số tích lũy làm thay đổi hành trình - Nhận xét đánh giá: Kết khơng đạt tiêu chí đặt hình ảnh bị rung, nghiêng Đặc biệt số lượng camera lớn 2, việc lắp đặt trở lên 189 khó khăn hay khó để xác định khoảng cách cụ thể để cố định camera theo hướng u cầu - Mục đích thiết kế xe camera: Hệ thống định vị xây dựng đồ mơi trường luận án dựa giải thuật VO* FAB-MAP*, đó: + Giải thuật xây dựng đồ mơi trường VO*: sử dụng 01 camera gắn xe với góc nhìn trúc xuống mặt đường Ngun lý VO xem xét đến điểm đặc trưng trích chọn mặt phẳng để đơn giản phép tính homography phép ánh xạ ngược 2D-3D + Giải thuật định vị hình ảnh FAB-MAP*: sử dụng camera góc rộng (camera IP) thu thập hình ảnh khung cảnh phía trước, ngun lý FAP-MAP* sử dụng xác suất có điều kiện Bayes quan sát thời với loạt quan sát trước để định vị trí định nghĩa đồ mơi trường Do cần có nguồn liệu thu thập, đồng thời phục vụ cho pha huấn luyện hai giải thuật có chất lượng hình ảnh tốt Chúng tơi đề xuất thiết kế chế tạo xe camera khơng phụ thuộc nhiều vào nguồn điện truyền thơng, mơ tả Hình C.4 (a) Bản vẽ thiết kế (b) Xe hoàn chỉnh Hình C.4 Thiết kế xe camera thu thập liệu Hình C.4(a) mơ tả chi tiết thiết kế xe camera kích thước: dài 1.3 m, rộng 0.6m, cao 1m (độ cao thay đổi 1.2m nhờ khóa định vị); cấu bánh bánh (02 bánh giảm sóc, 02 bánh nhựa chun động quay); mặt sàn khoan lỗ (cách 20 cm, đường kính lỗ Φ = 0.5mm) giúp cố định nhiều thiết bị thu thập; chữ L (chiều dài 50cm) cố định camera theo hướng; bảng bàn cờ (độ cao cách sàn 60 cm) di chuyển ngang giúp việc hiệu chỉnh tham số ngồi camera; 190 vật liệu sử dụng innox chống gỉ sét Hình C.4(b) thiết kế xe hồn chỉnh gắn camera thu liệu C.2 Hiệu chỉnh camera góc rộng - Mục đích q trình hiệu chỉnh: Thu thập hình ảnh có chất lượng tốt, ổn định phục vụ cho cho loạt tốn định vị, xây dựng đồ, tìm đường, phát vật cản Do bước tiền xử lý hiệu chỉnh camera quan trọng giúp cho thuật tốn chạy nhanh hơn, loại bỏ lỗi ngoại lai khó phát Q trình hiệu chỉnh việc xác định ma trận: ma trận nội (Intrinsic Matrix) ma trận biến dạng (Distortion Matrix) Trong [15] camera thơng dụng hoạt động theo ngun lý thu ảnh đối xứng Hình C.5 Do vậy, q điểm thu từ Camera Q điểm thực tế, ta có: Mặt phẳng ảnh Điểm thu nhận ảnh Trục quang học Hình C.5 Mơ hình thu nhận ảnh camera       X fx 0 x       q = MQ , q =  y  , M =  fy 0 Q =  Y  W 0 ω (C.1) Trong đó: fx fy chiều dài tiêu cựu camera, (Z, Y, Z) tọa độ điểm Q Tuy nhiên, tọa độ camera khơng phải lúc thẳng mà đơi bị lệch Để khắc phục điều người ta cần thêm vào hệ số cx cy để đưa góc thu nhận ảnh vị trí trung tâm Do cơng thức (C.1) trở thành:       X fx cx x       q = MQ , q =  y  , M =  fy cy  Q =  Y  W 0 ω (C.2) Ma trận M cơng thức (C.2) gọi ma trận nội Trong thực tế khơng 191 có camera hồn hoản nên làm việc với camera ln phải giải vấn đề biến dạng hình ảnh [15] đưa loại: biến dạng bán kính (Radial Distortion), ảnh thu nhận từ ống kính thường bị biến dạng chỗ gần cạnh biến dạng tiếp tuyến (Tangential Distortion) xảy khơng song song với ống kính Hình C.6 Ống kính Chíp cảm biến Ảnh méo Điểm bán dính Đối tượng hình vuông Mặt phẳng ảnh -2 -4 -6 -8 Ống kính -10 -10 -8 -6 -4 -2 10 Camera thông dụng (a) Biến dạng bán kính (b) Biến dạng tiếp tuyến Hình C.6 Các loại biến dạng thu nhận ảnh Qua thực nghiệm, biến dạng thường khơng lớn chuẩn hóa cách sử dụng vài hệ số triển khai Taylor xung quanh bán kính r = Để hiệu chỉnh loại biến dạng người ta thường thêm 02 hệ số k1 k2 méo thơng thường, trường hợp méo lớn sử dụng thêm hệ số k3 Do vậy, biến dạng bán kính điểm hiệu chỉnh cặp phương trình sau: xcorrected = x(1 + k1 r + k2 r + k3 r ) ycorrected = y(1 + k1 r + k2 r + k3 r ) (C.3) Trong (x, y) tọa độ điểm thu nhận camera, (xcorrected, ycorrected) tọa độ sau khử biến dạng Bằng cách làm tương tự biến dạng tiếp tuyến hai hệ số p1 p2 bổ sung vào hệ tọa độ (x, y) camera điều chỉnh cặp phương trình sau: xcorrected = x + [2p1 y + p2 (r + 2x2 )] ycorrected = y + [p1 (r + 2y 2) + 2p2 x] (C.4) Năm hệ số cơng thức (C.3) cơng thức (C.4) gom lại thành ma trận (5 × 1) gọi ma trận biến dạng cơng thức (C.5) Distortioncoef f icients = (k1 k2 p1 p2 k3 ) (C.5) Trong khn khổ luận án, chúng tơi sử dụng phương pháp bàn cờ (chess192 board) [15] bao gồm hình vng đen trắng giao nhau, q trình hiệu chỉnh thực biết vị trí giao đen trắng để tính tham số méo ảnh Sau kết hợp với tọa độ ảnh thu thập tìm tọa độ khơng gian theo cơng thức (C.4), (xcorrected, ycorrected) tọa độ khơng gian, (x, y) tọa hộ ảnh thu thập, (r, p1 , p2 ) tham số lấy từ q trình hiệu chỉnh camera Cơng thức chuyển tọa độ ảnh sang hệ tọa độ khơng gian:      X fx cx x       y  =  fy cy   Y  Z 0 ω (C.6) Trong (fx , fy ) tiêu cựu ống kính, (cx , cy ) điểm tâm quang, (ω = Z) hệ quy chiếu giới thực Q trình hiệu chỉnh Camera phục vụ việc sửa méo hình ảnh thực mơ tả Hình C.7 (a) Hình ảnh chưa hiệu chỉnh (b) Hiệu chỉnh chessboard (c) Hình ảnh hiệu chỉnh Hình C.7 Q trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng Hình C.7 minh họa kết hiệu chỉnh camera mơi trường thử nghiệm luận án Đây bước tiền xử lý quan trọng, phục vụ cho tốn liên quan đến hình ảnh như: định vị, phát ước lượng khoảng cách vật cản C.3 Robot PC-Bot914 PC-Bot 914 robot nghiên cứu chế tạo WhiteBox robotic Đây robot dịch vụ đa chức với tảng xử lý mạnh bao gồm thành phần: - Khối xử lý trung tâm: Được sử dụng máy tính chủ (host computer), có cấu hình iGoLogic i3899 Mini-ITX motherboard, xử lý intel Core DUO GHz, Gbyte, PC3200 DDR 400MHz DIMM (có thể nâng cấp lên 2x1 GB DDR 667MHz), ổ cứng 80 GB SATA Cung cấp sức mạnh xử lý lưu trữ liệu đa phương tiện cho phép nâng cấp dễ dàng ROBOT dùng hệ điều hành Windows Trên hệ điều 193 C0189168#06 C0189168#07 C0189168#10 C0189168#08 Hình C.8 Các phiên robot PC-Bot 914 hành có cung cấp mơi trường phát triển Trên windows với nhiều phần mềm BRAIN, Microsoft Robotic Studio Visual Studio 914 PC-Bot hỗ trợ dot Net Ngồi số diễn đàn có chương trình phát triển với java hay C++ Đối với phiên cài Linux (Ubuntu) có cơng cụ Players - Khối điều khiển trung tâm (M3): Hạt nhân khối vi điều khiển CM3410 hãng Power machine device Bên cạnh mạch điều khiển động mạch giao tiếp Nhiệm vụ khối M3 nhận tín hiệu thiết lập từ Host Computer (qua cổng USB), tín hiệu từ cảm biến hồng ngoại (qua mạch giao tiếp) thực tất cơng việc liên quan đến việc chuyển động điều khiển động bước Phần giao tiếp M3 gồm cổng vào tương tự (Analog_In1 Analog_In8) để nhận tín hiệu từ cảm biến hồng ngoại, cảm biến cho bit liệu sau tín hiệu qua ADC Ngồi nhiều cổng chưa sử dụng, như: cổng vào số; cổng số; cổng USB; cổng IDC; 10 chân dùng để kết nối với bo mạch chủ Ngồi 30 pin Samtec Conn dùng để kết nối với mạch khối điều khiển M3 Trong hệ có mạch I/O board Interface cần mạch đủ đáp ứng nhu cầu khác Tuy nhiên ta chọn tùy thuộc vào nhu cầu cụ thể - Khối thu thập liệu: cảm biến hồng ngoại phục vụ cho tốn liên quan đến robot di động như: phát tránh vật cản bố trí thành phần: cảm biến nằm phần thân robot, khoang 8×5.25 (ở độ cao khoảng 370 mm) Góc nhìn cúi xuống cho phép 914 PC-BOT có nhìn tồn cảnh với cảm biến nằm phần chân đế với góc nhìn nằm ngang, mơ tả Hình C.9 - Khối chấp hành: Bao gồm động chiều điều khiển bánh xe bánh xe robot đó, bánh lớn dẫn hướng, bánh phụ giảm sóc cho robot Hình C.10 194 (IR1) 90❃ (IR2) 25❃ (IR3) 0❃ (IR 6, IR7, IR8) (IR4) -25❃ -90❃ (IR 2, IR3, IR4) (IR & IR5) (IR5) (a) 05 cảm biến hồng ngoại phát vật cản phía (b) Vò trí lắp cảm biến hồng ngoại Hình C.9 Vị trí lắp cảm biển hồng ngoại IR Hình C.10 Cơ cấu bánh xe điều khiển robot PC-Bot 914 195 [...]... ó xut gii phỏp cụng ngh tr giỳp cho NKT Cú th k n mt s in hỡnh sau: Gy cho ngi khim th: Nm 2011, mt nhúm 4 sinh viờn bao gm c mt sỏng v khim th ó thit k gy dn ng rt n gin tr giỳp i li cho NKT Gy c cu thnh t gm 4 on ng inox, dõy dự, mt búng ốn LED, mt thit b phỏt õm thanh, dõy in, cụng tc Trong quỏ trỡnh di chuyn, NKT mang theo gy cú gn ốn v õm thanh s to s chỳ ý cho cỏc phng tin tham gia giao thụng,... gii Trờn th gii, ch tr giỳp NKT ó thu hỳt ụng o cỏc nh nghiờn cu phỏt trin t nhng nm 70 ca th k trc Cho n nay, nhiu cụng trỡnh nghiờn cu v sn phm ng dng ó c a vo thc t Chỳng tụi chia cỏc phng phỏp ny thnh 05 nhúm chớnh da trờn cụng ngh s dng thu nhn tớn hiu mụi trng phc v cho vic phõn tớch v cnh bỏo cho NKT: Siờu õm, Hng ngoi, Laser, Camera, a cm bin 4 1.2.1.1 Siờu õm Cỏc phng phỏp tr giỳp NKT s dng... tng hiu qu dn ng cho NKT Leslie Kay 1984 xut thit b tờn Sonic torch [71] cú kh nng h tr di chuyn cho NKT thit b ny cú thit k nh gn dng cm tay ging nh mt chic ốn pin bao gm 2 phn, phn th nht l cỏc cm bin siờu õm phỏt ta chựm súng siờu õm hng phớa trc v nhn c chựm tia phn x t vt cn gn nht, phn th hai l h thng truyn õm thanh ti tai NKT Pressey 1977 xut thit b cm tay Mowat sensor [113] cho phộp xỏc nh... th gii xung quanh, con ngi s dng h giỏc quan gm th giỏc, thớnh giỏc, khu giỏc, v giỏc v xỳc giỏc Mi giỏc quan u cú vai trũ quan trng v h tr mt thit cho nhau trong quỏ trỡnh nh hỡnh khụng gian v thi gian cho con ngi i vi ngi khim th, khim khuyt th giỏc lm cho h rt khú khn khi hũa nhp vo xó hi Vic cm nhn th gii xung quanh ca h lỳc u thụng qua cỏc giỏc quan cũn li nh xỳc giỏc (ln, s ), thớnh giỏc (nghe... bỏo n NKT thụng qua cỏc kớch thớch trờn cỏc in cc 10 a cm bin dựng cho k thut dn ng cỏc robot di ng: nhúm tỏc gi Trn Thun Hong, Trn Quang Vinh [35] [62] [63] xut gii phỏp tng hp cm bin vi vic s dng b lc Kalman m rng kt hp nhng u nhc im ca mt hoc nhiu cm bin cho phộp tng c chớnh xỏc, tin cy ca vic nh v robot nhm nõng cao cht lng dn ng cho robot di ng Trong ú ci tin thnh cụng mt thit b o xa laser 2D... cn thit v chng minh c tớnh n nh tim cn ton cc ca robot camera bỏm mc tiờu 1.2.3 Tho lun Cỏc nghiờn cu v phõn tớch trờn õy cho thy cỏc phng phỏp tr giỳp NKT hin ti cú mt s u nhc im sau: Cỏc phng phỏp s dng laser, lidar, siờu õm cho phộp xỏc nh nhanh v tr giỳp cnh bỏo thụng tin vt cn cho NKT hoc h tr trong quỏ trỡnh i li Tuy nhiờn nhúm cỏc phng phỏp ny khụng xỏc nh i tng vt cn l gỡ, mc nguy him ra sao... phỏp s dng hỡnh nh ũi hi k thut x lý hỡnh nh phc tp hn, tuy nhiờn lng tin nhiu hn, cho phộp phõn loi i tng, xỏc nh khong cỏch v mc nguy him Cho nờn nhúm cỏc phng phỏp ny gp nhiu thỏch thc ca cỏc bi toỏn th giỏc mỏy tớnh, dn hng s dng hỡnh nh, v.v Trong tt c cỏc phng phỏp nờu trờn, khụng cú phng phỏp no thc hin dn ng cho NKT n v trớ mong mun m ch h tr trong quỏ trỡnh i li Cỏc phng phỏp cnh bỏo vt cn... nng h tr cho NKT mt cỏch khỏc nhau Da trờn vic phõn tớch u nhc im, chỳng tụi ó xut phng phỏp tr giỳp dn ng cho NKT s dng cm bin hỡnh nh Chỳng tụi cng trỡnh by cỏc rng buc, gii hn pham vi nghiờn cu v cỏc bi toỏn c bn cn gii quyt Cỏc chng tip theo s trỡnh by ln lt cỏc bi toỏn liờn quan 13 CHNG 2 BIU DIN MễI TRNG V NH V Nh ó trỡnh by trong chng I, chỳng tụi hng n phỏt trin h thng robot dn ng cho NKT di... nht da trờn bn mụi trng ó c xõy dng t trc bi chớnh robot hoc bi mt cụng c khỏc; loi th hai va nh v va t xõy dng bn (hay cũn gi chung l SLAM) Cỏc phng phỏp thuc hng tip cn th hai ch cho phộp dn hng cho robot nhng khụng cho phộp tỡm ng i gia hai v trớ trong mụi trng Trong khi ng cnh bi toỏn t ra l robot dn ng t hai v trớ bit trc, vỡ vy phi cú mt bn mụi trng c xõy dng pha ngoi tuyn v c s dng pha trc... SLAM cho robot di ng Kuipers v Byun 1991 [77] ó chng minh c xõy dng hiu qu mt bn lai thỡ mt bn topo c xõy dng bng cỏch s dng cỏc phng phỏp phõn bit cho cỏc nỳt ca th, mi nỳt ca bn c gn cỏc thụng tin s liu, do ú bn s liu s thc hin lai sau bn topo Cựng vi nghiờn cu kt hp gia bn topo v bn s liu cũn cú cỏc nghiờn cu tiờu biu, nh: Kuipers v Benjamin 2000 trỡnh by phng phng biu din mụi trng cho bi