Tự động giám sát phương tiện hệ thống giao thông thông minh BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI Họ tên tác giả luận văn THÂN VĂN TRƯỜNG TÊN ĐỀ TÀI LUẬN VĂN TỰ ĐỘNG GIÁM SÁT PHƯƠNG TIỆN TRONG HỆ THỐNG GIAO THÔNG THÔNG MINH Chuyên ngành : KỸ THUẬT TRUYỀN THÔNG LUẬN VĂN THẠC SĨ KỸ THUẬT Chuyên ngành : Kỹ thuật Truyền thông NGƯỜI HƯỚNG DẪN KHOA HỌC : PGS.TS NGUYỄN TIẾN DŨNG Hà Nội – Năm 2013 Tự động giám sát phương tiện hệ thống giao thông thông minh MỤC LỤC MỤC LỤC LỜI CAM ĐOAN PHẦN MỞ ĐẦU DANH SÁCH CÁC THUẬT NGỮ VIẾT TẮT Danh mục bảng biểu Danh mục hình vẽ Chương : Giới thiệu chung 11 1.1 Giới thiệu giao thông Việt Nam 11 1.2 Ứng dụng công nghệ thông tin giao thông giới Việt Nam 12 1.3 Mục tiêu luận văn 16 Chương : Tổng quan xử lý ảnh thư viện mã nguồn mở Open CV 17 2.1 Giới thiệu số ứng dụng xử lý ảnh 17 2.1.1 Trong quân sự: 17 2.1.2 Trong an ninh, phòng chống tội phạm, bảo vệ pháp luật: 17 2.1.3 Trong lĩnh vực hàng không vũ trụ: 17 2.1.4 Trong công nghiệp, giao thông, xây dựng : 18 2.1.5 Trong nghiên cứu y sinh dược học: 18 2.1.6 Trong công nghiệp giải trí truyền hình: 18 2.2 Một số giải pháp phần cứng phục vụ xử lý ảnh 19 2.2.1 Máy tính PC, laptop 20 2.2.2 Main cơng nghiệp, máy tính nhúng PC 104 20 2.2.3 Single Board Computer(SBC) sử dụng Single on Chip (SoC) 21 2.2.4 DSP (Digital signal processing) 22 2.3 Giới thiệu thư viện mã nguồn mở Open CV 23 2.4 NET Framework cách sử dụng OpenCV NET Framework 26 2.4.1 Những điểm đặc trưng NET Framework 26 2.4.2 Kiến trúc NET Framework 27 Chương 3: Thuật toán cho hệ thống giám sát phương tiện giao thông 31 Tự động giám sát phương tiện hệ thống giao thông thông minh 3.1 Giới thiệu 31 3.2 Các phương pháp tracking objects 31 3.3 Kiến trúc hệ thống giám sát 35 3.4 Background estimation subtraction 36 3.5 High-level tracking 36 3.6 Giám sát dựa mơ hình xuất 38 3.7 Phân tách đa đối tượng 41 3.8 Phân loại đối tượng 41 Chương 4: Xây dựng chương trình tự động giám sát phương tiện hệ thống giao thông thông minh 42 4.1 Tổng quan hệ thống 42 4.2 Xây dựng chương trình 42 4.3 Giao diện chương trình 46 4.4 Đánh giá hệ thống tự động giám sát phương tiện hệ thống giao thông thông minh 47 4.4.1 Đánh giá chức phát giám sát phương tiện 47 4.4.2 Đánh giá thuật toán đếm phương tiện tham gia giao thông 49 Chương 5: Kết luận hướng phát triển 51 Tài liệu tham khảo 53 Tự động giám sát phương tiện hệ thống giao thông thông minh LỜI CAM ĐOAN Tôi Thân Văn Trường - tác giả luận văn “Tự động giám sát phương tiện hệ thống giao thông thông minh” Tôi xin cam đoan thực hiện luận văn nghiêm túc, toàn nội dung luận văn kết nghiên cứu thực Đồng thời, việc tham khảo tài liệu trình thực luận văn tuân thủ theo yêu cầu không chép luận văn trước Tự động giám sát phương tiện hệ thống giao thông thông minh PHẦN MỞ ĐẦU Trong năm gần đây, với phát triển đất nước, kinh tế phát triển mạnh mẽ, thành phố ngày đông đúc, nhiên, hệ thống giám sát hệ thống giao thông chưa đủ thông minh để đáp ứng thay đổi lưu lượng người tham gia giao thông ngày Số người tham gia giao thông thường đông vào lúc đầu làm tan tầm, thường thưa vào thời gian cịn lại Mục đích nghiên cứu luận văn đưa phương pháp áp dụng vào hệ thống giao thông để nhận dạng phương tiện tham gia giao thông, đồng thời đếm số lượng phương tiện Đối tượng nghiên cứu luận văn bao gồm ngơn ngữ lập trình C++, hình ảnh từ video từ camera giám sát giao thông, phương tiện tham giao thông người đường, xe cộ Để thực mục đích nghiên cứu nêu trên, phương pháp nghiên cứu sử dụng luận văn lập kế hoạch nghiên cứu chi tiết, rõ ràng trước bắt tay vào thực nghiên cứu Bên cạnh thu thập tài liệu từ nhiều nguồn thông tin bao gồm Internet, báo quốc tế, proceedings, người có kinh nghiệm Đồng thời thực nghiên cứu gán liền với thực nghiện công cụ thiết kế để quan sát kết mơ với mơ hình nghiên cứu Tồn nội dung luận văn trình bày chương với nội dung tóm tắt sau: Chương - Giới thiệu chung: Trong chương giới thiệu hệ thống giao thông thông minh giới, sau đưa tiêu chí để xây dựng hệ thống giám sát giao thông Chương – Tổng quan xử lý ảnh thư viện mã nguồn mở Open CV : Trong chương đưa sở lý thuyết xử lý ảnh ngơn ngữ lập trình, lý thuyết chung cần phải tìm hiểu để xây dựng ứng dụng cho hệ thống triển khai Chương – Thuật toán cho hệ thống giám sát phương tiện giao thơng : Trong chương trình bày thuật toán sử dụng để nhận diện, phân tách giám Tự động giám sát phương tiện hệ thống giao thông thông minh sát người, phương tiện đối tượng khác Sau mơ hình xuất mơ hình phù hợp hiệu trình bày giải vấn đề khó khăn mà thuật tốn trước gặp phải Chương – Xây dựng chương trình tự động giám sát phương tiện hệ thống giao thông thơng minh: Trong chương đưa mơ hình tổng quan chương trình, sau lớp xây dựng để triển khai thuật toán, đưa đánh giá hệ thống Chương – Kết luận hướng phát triển : Trong chương trình bày ưu điểm nhược điểm thuật toán sau đưa hướng phát triển tiếp theo, kèm theo phương hướng giải Tự động giám sát phương tiện hệ thống giao thông thông minh DANH SÁCH CÁC THUẬT NGỮ VIẾT TẮT Chữ viết tắt Chữ đầy đủ Nghĩa Tiếng Việt 3G Third-generation technology Công nghệ truyền thông hệ thứ AHS Automated highway system Hệ thống hỗ trợ lái xe tự động đường cao tốc ASV Armored Security Vehicle Phương tiện giao thơng an tồn cao BCL Base Class Libraries Các thư viện lớp sở CPU Central Processing Unit Đơn vị xử lý trung tâm CLR Common Language Runtime Bộ thực ngôn ngữ chung CV Computer Vision Thị giác máy tính DAL Data Access Layer Tầng Truy cập liệu DLL Dynamic Link Library Thư viện liên kết động DSP Digital signal processing Bộ xử lý tín hiệu số DCT Discrete cosine transform Phép biến đổi cosin rời rạc ETS Edmonton Transit System Hệ thống thu thuế đường điện tử để chống ùn tắc giao thông FG Foreground Tiền cảnh GPS Global Positioning System Hệ thống định vị toàn cầu HTML HyperText Markup Language Ngôn ngư đánh dấu siêu văn ID Indentifier Định danh IIS Internet Information Services Dịch vụ thông tin Internet ITS Intelligent Transportation Hệ thống giao thơng thơng minh System PC Personal Computer Máy tính cá nhân PLC Programable Logic Controller Bộ điều khiển logic lập trình RGB Red green blue Mơ hình gồm màu: đỏ, xanh lá, xanh lục UCL Unified Class Libraries Các thư viện lớp hợp Tự động giám sát phương tiện hệ thống giao thông thông minh VICS XML Vehicle Information and Hệ thống thông tin liên lạc phương Communication System tiện giao thông eXtensible Markup Language Ngôn ngữ đánh dấu mở rộng Tự động giám sát phương tiện hệ thống giao thông thông minh Danh mục bảng biểu Bảng 1.1 Số lượng phương tiện giới đường 11 Bảng 2.1 Các thuật toán tracking objects 32 Bảng 3.1 Bảng tỉ lệ nhận dạng phương tiện giao thông 41 Danh mục hình vẽ Hình 2.1 Một số hệ thống tích hợp quang hồng ngoại, ảnh nhiệt phương tiện di động 19 Hình 2.2 Một số hệ thống camera robot tự hành, hàng khơng vũ trụ 19 Hình 2.3 Main cơng nghiệp PC 104 20 Hình 2.4 SBC sử dụng SoC 21 Hình 2.5 Một board xử lý ảnh sử dụng DSP 23 Hình 2.6 Tổ chức thư viện OpenCV 24 Hình 2.7 Cách thêm thư mục Include vào project 28 Hình 2.8 Cách thêm thư viện OpenCV vào project 29 Hình 2.9 Cách thêm kết nối vào project 30 Hình 3.1 Kiến trúc hệ thống giám sát……………………………………………… 35 Hình 3.2 Cách tính khoảng cách cho ma trận khoảng cách …………… ………….37 Hình 3.3 Giải pháp cho việc chồng lấn đối tượng …………… ………… 40 Hình 3.4 Phân loại đối tượng ……………………………… ……………………… … 40 Hình 4.1 Tổng quan hệ thống giám sát phương tiện hệ thống giao thông thông minh ………………………………………………… .42 Hình 4.2 Thuật tốn cho chương trình tự động giám sát phương tiện hệ thống giao thơng thơng minh………………………………………………… 43 Hình 4.3 Thuật tốn đếm phương tiện tham gia giao thơng thơng minh … …… 46 Hình 4.4 Giao diện chương trình…………………………………………… .47 Tự động giám sát phương tiện hệ thống giao thơng thơng minh Hình 4.5 Đánh giá kết giám sát cho trường hợp …… ……………………….48 Hình 4.6 Đánh giá kết giám sát cho trường hợp …………………………… 48 Hình 4.7 Đánh giá thuật tốn đếm phương tiện cho trường hợp ……………… 49 Hình 4.8 Đánh giá thuật toán đếm phương tiện cho trường hợp ……………… 50 Hình 5.1 Hệ thống đề xuất………………………………………………………… 51 10 Tự động giám sát phương tiện hệ thống giao thông thông minh  Các đối tượng xếp mà có pixel bị tranh chấp, chồng lấn đánh dấu khối Hình 3.3 Giải pháp cho việc chồng lấn đối tượng Các pixel bị chồng lấn gán cho đối tượng mà chúng chồng lấn lên Các khung hình tiếp theo, bước vị trí hóa tiến hành theo thứ tự chiều sâu, với đối tượng vừa vặn Hình 3.4 Phân loại đối tượng 40 Tự động giám sát phương tiện hệ thống giao thông thông minh Nếu đối tượng quan sát tách ngồi thành hai hộp kín, track tạo riêng rẽ, với mơ hình xuất khởi tạo đáp ứng lại vùng diện tích trước 3.7 Phân tách đa đối tượng Mơ hình xuất sử dụng để phân tách đối tượng phức tạp Khi mà phương pháp background-subtraction đưa vùng phân tách bị nhiễu, chồng lần phương pháp mơ hình xuất có q trình xử lý cách trộn điểm ảnh để lọc đối tượng quan sát Phương pháp sử dụng để tìm kiếm đối tượng, đặc biệt nhóm đối tượng 3.8 Phân loại đối tượng Để phân loại đối tượng video điều quan trọng đánh nhãn cho đối tượng khung cảnh Để giới hạn đa dạng đối tượng liệu xử lý đây, lọc dựa nguyên tắc viết Đối tượng, lúc đầu, phân loại dựa kích thước hình dạng Có đối tượng để phân loại sau: Người ( người tham gia giao thơng), nhóm người xe cộ Cho đối tượng mà tìm thấy, gồm có diện tích, độ dài đường viền độ dài hướng trục Sự phân tán định nghĩa tỷ lệ chu vi bình phương diện tích Tham số hữu dụng để phân biệt đối tượng người hay nhiều người từ xe cộ riêng rẽ hình 2D Cho đối tượng 2D xác định trục ngang dọc Thỉ lệ trục để phân biệt người lẽ chiều dọc người gần hẳn so với chiều ngang Bảng 3.1 Bảng tỉ lệ nhận dạng phương tiện giao thông R > 0.8 People r