BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ NGUYỄN VĂN CĂN NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ THUẬT TOÁN PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN TỪ DỮ LIỆU VIDEO GIAO THÔNG LUẬN ÁN TIẾN SĨ TOÁN HỌC HÀ NỘI, NĂM 2015 BỘ GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ NGUYỄN VĂN CĂN NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ THUẬT TOÁN PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN TỪ DỮ LIỆU VIDEO GIAO THÔNG Chuyên ngành: CƠ SỞ TOÁN HỌC CHO TIN HỌC Mã số: 62 46 01 10 LUẬN ÁN TIẾN SĨ TOÁN HỌC NGƯỜI HƯỚNG DẪN KHOA HỌC 1. PGS. TS. NGUYỄN ĐỨC HIẾU Học viện Kỹ thuật Quân sự 2. TS. PHẠM VIỆT TRUNG Cục Công nghệ thông tin – Bộ Quốc phòng HÀ NỘI, NĂM 2015 LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Những nội dung, số liệu và kết quả trình bày trong luận án là hoàn toàn trung thực và chưa có tác giả nào công bố trong bất cứ một công trình nào khác. Tác giả luận án Nguyễn Văn Căn LỜI CẢM ƠN Trước hết tôi xin bày tỏ lòng biết ơn chân thành của tôi với tập thể giáo viên hướng dẫn của tôi, PGS. TS Nguyễn Đức Hiếu, Giám đốc Trung tâm Công nghệ thông tin, Học viện Kỹ thuật Quân sự Việt Nam; TS. Phạm Việt Trung, Phó cục trưởng Cục Công nghệ thông tin - Bộ Quốc phòng trực tiếp hướng dẫn cho tôi thông qua sự tiến bộ nghiên cứu. Tôi muốn cảm ơn tất cả các giảng viên mà tôi đã có vinh dự được cùng làm việc hoặc tham gia các khóa học trong quá trình làm nghiên cứu sinh. Cảm ơn các thầy giáo, cô giáo Viện Công nghệ thông tin, phòng Quản lý đào tạo sau đại học thuộc Viện Khoa học và Công nghệ quân sự - Bộ quốc phòng. Tôi muốn đặc biệt cảm ơn PGS. TS Ngô Quốc Tạo, TS. Nguyễn Đức Dũng, phòng Nhận dạng và Xử lý tri thức, thuộc Viện Công nghệ thông tin, Viện hàn lâm Khoa học Việt Nam; cảm ơn các đồng nghiệp công tác tại Trường Đại học Kỹ thuật – Hậu cần Công an nhân dân đã có những bàn luận, thảo luận hữu ích, cài đặt thử nghiệm trong công việc nghiên cứu của tôi. Cuối cùng, tôi dành luận án này cho gia đình tôi và bạn bè của tôi. Nếu không có sự hỗ trợ của họ đầy đủ, tôi sẽ không có can đảm để đi qua tất cả những khó khăn trong việc nghiên cứu. i MỤC LỤC DANH MỤC CÁC KÝ HIỆU ................................................................................................... iii DANH MỤC CHỮ VIẾT TẮT ................................................................................................. iv DANH MỤC CÁC BẢNG ......................................................................................................... v DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ................................................................................... vi MỞ ĐẦU ............................................................................................................... 1 Chương 1. TỔNG QUAN VỀ PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO ........................................................................ 8 1.1. Cơ sở lý thuyết và những khái niệm cơ bản ........................................... 8 1.1.1. Dữ liệu video số ............................................................................... 8 1.1.2. Mô-men bất biến ............................................................................ 12 1.1.3. Hình dạng và Khối đối tượng chuyển động ................................... 13 1.1.4. Đường viền đối tượng .................................................................... 13 1.1.5. Nền và đối tượng chuyển động ...................................................... 21 1.1.6. Entropy của khối ............................................................................ 22 1.1.7. Biểu diễn hình dạng đối tượng theo vector khoảng cách .............. 25 1.2. Một số phương pháp và công trình nghiên cứu liên quan .................... 29 1.2.1. Hệ thống điều khiển giao thông và giám sát an ninh ..................... 30 1.2.2. Hệ thống phát hiện và phân loại xe dựa trên video ....................... 32 1.2.3. Hệ thống giám sát giao thông dựa trên độ dài ............................... 34 1.2.4. Hệ thống giám sát tích hợp phát hiện, theo dõi, phân loại ............ 36 1.2.5. Phát hiện đối tượng ........................................................................ 38 1.2.6. Phân loại đối tượng ........................................................................ 41 1.3. Hướng tiếp cận của luận án .................................................................. 45 1.3.1. Sơ đồ khái quát hướng tiếp cận xử lý bài toán .............................. 45 1.3.2. Xác định vùng quan tâm và nhiệm vụ của luận án ........................ 47 1.4. Kết luận chương 1 ................................................................................. 49 Chương 2. PHÁT HIỆN ĐỐI TƯỢNG CHUYỂN ĐỘNG TỪ VIDEO DỰA TRÊN MÔ HÌNH GAUSS HỖN HỢP THÍCH NGHI VỚI THAY ĐỔI ÁNH SÁNG ........................................................................................................ 51 2.1. Một số thuật toán phát hiện chuyển động ............................................. 51 2.1.1. Thuật toán trừ nền cơ bản .............................................................. 51 2.1.2. Thuật toán trừ nền trung bình: ....................................................... 53 2.1.3. Thuật toán Σ-Δ: .............................................................................. 54 2.1.4. Thuật toán Σ-Δ cải tiến: ................................................................. 56 ii 2.1.5. Thuật toán thống kê khác biệt cơ bản ............................................ 58 2.1.6. Mô hình Gauss hỗn hợp ................................................................. 61 2.1.7. Đánh giá các thuật toán trừ nền thông qua một số phép đo ........... 66 2.2. Mô hình và thuật toán đề nghị .............................................................. 72 2.2.1. Mô hình GMM đề nghị .................................................................. 72 2.2.2. Thuật toán trích chọn khối chuyển động (EMB) ........................... 77 2.3. Phương pháp đếm phương tiện giao thông áp dụng mô hình GMM thích nghi thay đổi ánh sáng kết hợp luồng quang học ............................... 78 2.3.1. Sơ đồ khối tổng quát ...................................................................... 79 2.3.2. Thuật toán phát hiện và gán nhãn cho khối (SLBBI) .................... 82 2.3.3. Thuật toán trích chọn luồng quang học (EBOF) ........................... 83 2.3.4. Kết quả thực nghiệm. ..................................................................... 86 2.4. Kết luận chương 2................................................................................. 91 Chương 3. PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO DỰA TRÊN ĐẶC TRƯNG HÌNH DẠNG ........................................................ 93 3.1. Phân đoạn khối phương tiện dựa trên kích thước ................................. 93 3.1.1. Phân tích kích thước phương tiện .................................................. 93 3.1.2. Thuật toán phân loại theo kích thước ............................................ 95 3.2. Phân loại phương tiện bằng kết hợp kích thước ảnh và hình chiếu hình dạng khối phương tiện ......................................................................... 98 3.2.1. Ý tưởng phương pháp .................................................................... 99 3.2.2. Giai đoạn chuẩn bị CSDL ............................................................ 100 3.2.3. Thuật toán phân loại dựa trên độ dài và hình chiếu đối tượng .... 101 3.3. Phân loại phương tiện dựa trên đường viền biểu diễn bằng số phức . 103 3.3.1. Sơ đồ khái quát............................................................................. 104 3.3.2. Xấp xỉ độ dài đường viền và thuật toán Douglas Peucker........... 104 3.3.3. Thuật toán CCAVC...................................................................... 107 3.3.4. Kết quả thực nghiệm: ................................................................... 111 3.4. Kết luận chương 3 ............................................................................... 114 PHẦN KẾT LUẬN ........................................................................................... 116 PHỤ LỤC .............................................................................................................. 1 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ........................................ 118 TÀI LIỆU THAM KHẢO ................................................................................. 119 iii DANH MỤC CÁC KÝ HIỆU Ký hiệu Ý nghĩa  Giá trị ngưỡng cho trước trong trừ nền B(x,y) Giá trị nền cố định tại điểm ảnh (x,y) It(x,y) Giá trị điểm ảnh tại điểm ảnh (x,y) Dt(x,y) Mặt nạ nhị phân của đối tượng tiền cảnh α,,, Hằng số tỷ lệ học cho trước t(x,y) Giá trị tuyệt đối của hiệu giá trị điểm ảnh trừ giá trị nền của điểm ảnh (x,y) tại thời điểm t Vt(x,y) Giá trị điểm ảnh (x,y) của khung hình đang xét thời gian t xy Giá trị trung bình của các điểm ảnh tương ứng của tập hợp điểm ảnh (x,y) theo các khung hình đang xét xy Trung bình độ lệch chuẩn của điểm ảnh (x,y) Mô hình nền thích nghi biến đổi cosin rời rạc Khoảng cách Ơclit giữa các mô hình nền thích nghi P(Xt) (Xt, , ) Xác suất quan sát của điểm ảnh tại thời điểm t Hàm mật độ xác suất tại thời điểm t i,t Ma trận hiệp phương sai của phân bố Gauss thứ i tại thời gian t i,t Giá trị trung bình của các điểm ảnh tại thời điểm t Biến nhận giá trị 1/0 thể hiện sự phù hợp mô hình của điểm ảnh mới k,t Hệ số cập nhật nền K mô hình tại thời điểm t t Hệ số biểu thị mức độ ánh sáng thay đổi Et Giá trị thông tin Entropy của điểm ảnh tại thời điểm t D(t,t-1) i IL(x,y) Hàm biểu diễn cường độ sáng Hệ số lựa chọn sự thay đổi ánh sáng Ảnh điểm ảnh (x,y) biểu diễn mức L trong mô hình kim tự tháp Tập biểu diễn kết quả phát hiện đối tượng tại thời điểm t i Tính chất thứ i của mô-men bất biến  Hằng số xấp xỉ diện tích hai hình đa giác Lrounded Khoảng cách giữa các điểm cơ bản trên biên D(si,c) Khoảng cách giữa điểm mẫu và trọng tâm đa giác SIM(D1,D2) Độ đo tương tự giữa 2 đa giác D1 và D2. iv u Chiều dài đối tượng tính xấp xỉ v Chiều rộng đối tượng tính xấp xỉ  Đường viền Vector  Vector cơ sở đường viền  Tích vô hướng giữa 2 đường viền (m) ( ) Hàm tương quan giữa 2 đường viền m đỉnh ( ) { v DANH MỤC CÁC CHỮ VIẾT TẮT Chữ viết tắt Ý nghĩa ACF Hàm tự tương quan (Auto Correlation Function) BMC Thách thức mô hình trừ nền (Background Models Challenge) BSM Trừ nền (Background Subtraction Method) BGS Thư viện trừ nền (Background Subtraction Library) CA Phân tích đường viền (Contour Analys) CSDL Cơ sở dữ liệu (Database) EV Vector cơ sở (Elementary Vector) FG Tiền cảnh (Foreground) GMM Mô hình hỗn hợp Gauss (Gauss Mixture Model) ICF Hàm tương quan (Intercorrelation Function) NSP Tích vô hướng chuẩn hóa (Normalized Scalar Product) ROI Vùng quan tâm (Region of Interest) TVH Tích vô hướng VC VVDC đường viền vector (Vector Contour) Phát hiện và phân loại phương tiện dựa trên video (Video-based Vehicle Detection and Classification) vi DANH MỤC CÁC BẢNG Bảng 1.1. Phân loại các phương pháp mô hình nền ...................................................... 40 Bảng 1.2. Kết quả sử dụng độ dài đường biên hình chiếu ...........................................42 Bảng 2.1. Ưu điểm và nhược điểm các thuật toán BSM đã trình bày .......................... 64 Bảng 2.2. Hệ số đánh giá toàn cục các thuật toán BS trong tập dữ liệu BMC [36]. ....69 Bảng 2.3. Dữ liệu thực nghiệm..................................................................................... 87 Bảng 2.4. Phản ứng với mật độ xe trên các cung đường ..............................................90 Bảng 2.5. So sánh thời gian xử lý của thuật toán với mỗi khung hình ......................... 90 Bảng 3.1. Kết quả thực nghiệm thuật toán CVIL ......................................................... 98 Bảng 3.2. Bảng kết quả thực nghiệm thuật toán VCALOS .......................................103 vii DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ Hình 1.1. Cấu trúc phân đoạn của video ............................................................... 8 Hình 1.2. Các biến đổi hình dáng đối tượng trong không gian 2D. .................... 12 Hình 1.3. Biểu diễn đường viền bằng vector số phức ......................................... 14 Hình 1.4. NSP trên đường viền vector ................................................................ 18 Hình 1.5. Biểu diễn đường viền và lược đồ xám ................................................ 21 Hình 1.6. Mô tả hình dạng hình tròn ................................................................... 26 Hình 1.7. Đa giác xấp xỉ đối tượng có n cạnh..................................................... 27 Hình 1.8. Điểm mẫu căng đều trên mỗi cạnh biên .............................................. 28 Hình 1.9. Kiến trúc tổng thể hệ thống CadProTMS ........................................... 31 Hình 1.10. Trạm nghiệp vụ xử lý phạt nguội vượt đèn đỏ ngã tư ...................... 32 Hình 1.11. Cấu trúc hệ thống phát hiện và phân loại xe dựa trên video ............. 33 Hình 1.12. Sơ đồ của hệ thống giám sát giao thông tự động .............................. 35 Hình 1.13. Cấu trúc hệ thống tích hợp phát hiện, phân loại, theo dõi đối tượng 36 Hình 1.14. Cấu trúc hệ thống phát hiện đối tượng chuyển động ........................ 37 Hình 1.15. Lược đồ khái quát phân loại đối tượng dựa trên hình chiếu ............. 38 Hình 1.16. Cấu trúc khái quát hệ thống nhận dạng đối tượng chuyển động ...... 46 Hình 1.17. Sơ đồ xác định vùng nghiên cứu ....................................................... 47 Hình 1.18. Hướng tiếp cận xử lý bài toán ........................................................... 49 Hình 2.1. Lược đồ khái quát thuật toán CCA-GMMOF ..................................... 80 Hình 2.2. Minh họa thuật toán gán nhãn cho khối .............................................. 83 Hình 2.3. Dữ liệu video quay trên đường quốc lộ 5, hướng Hải phòng - Hà Nội ............................................................................................................................. 88 Hình 2.4. Một số hình ảnh từ camera đưa vào thực nghiệm ............................... 89 Hình 2.5. Giao diện kết quả thực nghiệm của hệ thống ...................................... 89 Hình 3.1. Phân tích kích thước khối xe ô tô con ................................................. 93 Hình 3.2. Sơ đồ tổng quát phân giải theo độ dài ................................................. 95 Hình 3.3. Sơ đồ tổng quát phân loại theo hình dạng ........................................... 99 Hình 3.4. Sơ đồ khối tổng quát phân loại theo đường viền .............................. 104 Hình 3.5 Đơn giản hóa đường công theo thuật toán Douglas Peucker ............ 105 Hình 3.6. Xấp xỉ hóa đường viền ...................................................................... 106 Hình 3.7. Giao diện hệ thống thực nghiệm thuật toán CCAVC ....................... 111 Hình 3.8. Giao diện hệ thống thực nghiệm thuật toán CCAVC ....................... 112 Hình 3.9. Ví dụ về tập mẫu để so sánh ............................................................. 113 Hình 3.10. Ví dụ kết quả nhận dạng xe ô tô và xe máy .................................... 114 1 MỞ ĐẦU Phần này giới thiệu bài toán phát hiện và phân loại phương tiện giao thông, những vấn đề đặt ra cho bài toán để giải quyết vấn đề tăng độ chính xác với điều kiện giao thông đông đúc và đa dạng ở Việt Nam. Tiếp theo, trình bày mục tiêu, phạm vi, nội dung và phạm vi nghiên cứu của luận án. Cuối cùng là giới thiệu cấu trúc của luận án. 1. Tính cấp thiết của vấn đề nghiên cứu Giám sát và quản lý giao thông đã và đang được các nhà khoa học thế giới và Việt Nam quan tâm nghiên cứu phát triển. Trong điều kiện giao thông Việt Nam, từ các tuyến đường quốc lộ, đường cao tốc, đến giao thông đô thị, giao thông nông thôn mật độ phương tiện rất dày đặc, đa dạng về chủng loại, trong đó hai thành phần chính đó là ô tô và xe máy. Nếu mật độ xe dày đặc, tức là số lượng xe trên một vùng quan sát là lớn, khi đó ảnh giao thông thu được tồn tại các phương tiện trước sau, bên cạnh liên tiếp nhau, các phương tiện tạo thành khối phương tiện, khi đó các đường viền có thể bị che khuất thì việc phân tích đường viền các phương tiện để phát hiện, đếm, phân loại gặp rất nhiều khó khăn. Nhiều nghiên cứu trên thế giới và Việt Nam đã quan tâm đến vấn đề phát hiện và phân loại phương tiện giao thông, tuy nhiên chưa có nghiên cứu đầy đủ nào quan tâm đến mức độ dày đặc của phương tiện trên đường, cũng như quan tâm đặc biệt đến phương tiện giao thông chủ yếu là xe máy và xe ô tô. Việc lựa chọn phương pháp, thuật toán, hay phối kết hợp các thuật toán sử dụng trong hệ thống giám sát tự động, cũng như cải tiến một số thông số kỹ thuật trong thuật toán mang lại lợi ích cho việc phát hiện và phân loại phương tiện giao thông trong bối cảnh Việt Nam là điều cần thiết có ý nghĩa cả về lý thuyết và thực tiễn. Bài toán phát hiện và phân loại phương tiện giao thông dựa trên video là xét xem tại một thời điểm, trong vùng quan tâm, có những loại phương tiện gì, số lượng tương ứng. Về ứng dụng, bài toán thuộc nhóm các ứng dụng liên quan 2 đến giao thông thông minh. Bài toán được ứng dụng nhiều trong lĩnh vực quản lý giao thông, trong nhiều hoạt động an ninh, quốc phòng, kinh tế xã hội, như cảnh báo trộm, cảnh báo cháy, giám sát bảo vệ các mục tiêu quan trọng, thu thập các chứng cứ tại những tình huống nhạy cảm. Yêu cầu cơ bản của bài toán phát hiện và phân loại giao thông là với dữ liệu đầu vào là video giao thông, yêu cầu đầu ra là loại phương tiện tham gia giao thông trong vùng quan sát (ô tô, xe máy và các phương tiện thô sơ khác). Hướng tiếp cận giải quyết bài toán: Thứ nhất, cần xem xét cấu trúc và phương pháp xử lý dữ liệu video. Cấu trúc dữ liệu video được kết cấu từ tập các khung hình, tốc độ hiển thị các khung hình trong một đơn vị thời gian (giây), mỗi khung hình là một ảnh tĩnh,... Phương pháp xử lý dữ liệu video là việc xử lý lưu trữ, trích chọn khung hình, phân đoạn, phân tích, trích chọn đặc trưng dựa trên cơ sở dữ liệu (CSDL) tri thức có sẵn. Từ những tập dữ liệu video, qua quá trình xử lý, mang lại những thông tin hữu ích theo mục đích yêu cầu của con người. Thứ hai, cần xác định tập các đặc trưng riêng có của video giao thông. Các đặc trưng của phương tiện chuyển động trong video được chia thành 2 mức tiếp cận: mức cục bộ và mức toàn cục. Mức toàn cục quan tâm đến các đặc trưng toàn cảnh như nền, đối tượng chuyển động, khối, đốm sáng. Mức cục bộ quan tâm đến các vấn đề xử lý hình dạng, khoảng cách, đường biên,... Đặc trưng tiếp cận ở mức toàn cục gồm:  Vùng quan tâm (ROI), hướng quan sát, khoảng cách quan sát;  Video và khung hình;  Đối tượng chuyển động và nền (Moving Object and Background);  Khối chuyển động (Block);  Đốm sáng (Blob). Đặc trưng ở mức toàn cục ảnh hưởng nhiều đến trích chọn đối tượng chuyển động. ROI ảnh hưởng đến việc xét điểm bắt đầu và điểm kết thúc thời điểm quan sát, hướng quay ảnh hưởng đến hình dạng đối tượng; Video ảnh 3 hưởng đến chất lượng hình ảnh, độ phân giải, tốc độ hình; Khung hình được trích chọn từ video thành ảnh tĩnh để phân tích,... Đặc trưng tiếp cận ở mức cục bộ gồm:  Đối tượng chuyển động và bóng của nó (Moving Object, Shadow);  Độ dài (Visual Length);  Hình dạng đối tượng (Edge, Contour), hình dạng và đường viền;  Mức xám khu vực đèn trước/sau xe;  Mức xám và đặc điểm khu vực biển số xe, kính trước xe;  Các đường biên ngang trên xe. Đặc trưng ở mức cục bộ, đặc biệt là độ dài, hình dạng đối tượng, các đường biên bên ngoài và bên trong phương tiện là những đặc trưng quan trọng trong việc phân loại phương tiện. Sử dụng một đặc trưng, hoặc kết hợp 2 hay nhiều đặc trưng và một số kỹ thuật liên quan để phân loại phương tiện là rất hiệu quả. Yếu tố ảnh hưởng đến phương pháp tiếp cận: Về màu sắc phương tiện thay đổi liên tục theo thời gian, thêm vào đó có nhiều loại phương tiện có màu sắc tương đồng nhau, do vậy việc phân loại dựa trên màu sắc là khó khăn và không mang lại kết quả. Về hình dạng, các phương tiện có thể đi sát nhau trong khung hình quan sát, hợp thành các khối và dẫn đến khó xác định được chính xác đó là phương tiện gì bằng biện pháp thông thường. Đặc biệt trong điều kiện giao thông tại Việt Nam, mật độ phương tiện di chuyển trên đường dày đặc về mật độ, đa dạng về chủng loại thì việc phân loại càng khó khăn. Tuy nhiên hình dạng xe ô tô, hình dạng xe máy, phương tiện thô sơ khác là một tập có thể xác định kể cả khi chúng hợp khối. Ngoài việc xác định tập đặc trưng của phương tiện chuyển động trong video, để có thể nhận dạng, xác định mật độ phương tiện, cần xác định các yếu tố, tình huống ảnh hưởng đến phương pháp xác định các tập thuộc tính liên quan đến phương pháp tiếp cận phát hiện và phân loại phương tiện giao thông. Tình huống liên quan đến chuyển động gồm: 4  Đối tượng bắt đầu vào vùng quan sát;  Đối tượng ra khỏi vùng quan sát;  Đối tượng đang đi rồi dừng lại;  Đối tượng đang dừng thì chuyển động;  Nền động (dao động tự nhiên). Tình huống liên quan đến khối chuyển động gồm:  Các đối tượng di chuyển cạnh nhau tạo thành một khối đối tượng;  Đối tượng đang di chuyển tách khối;  Đối tượng đang di chuyển thì hợp khối. Tình huống liên quan đến chất lượng ảnh gồm nhiều yếu tố liên quan, nhưng chủ yếu là:  Ánh sáng thay đổi;  Điều kiện thời tiết. 2. Mục tiêu nghiên cứu của luận án - Mục tiêu chung: Từ dữ liệu video thu được từ các đường quốc lộ, tìm một số thuật toán hợp lý để phân loại và xác định phương tiện chuyển động. - Mục tiêu cụ thể: + Lựa chọn và cải tiến phương pháp phát hiện phương tiện chuyển động phù hợp với môi trường ngoài trời, chịu tác động nhiều của sự thay đổi ánh sáng. + Trích chọn các đặc trưng của phương tiện chuyển động, phân tích và biểu diễn đặc trưng phù hợp để đề xuất và áp dụng thuật toán phân loại phương tiện chuyển động. + Trên cơ sở phân tích tập thuật toán, đề xuất sự cải tiến, kết hợp các thuật toán cho mục đích phát hiện, phân loại phương tiện giao thông trong điều kiện giao thông đông đúc và đa dạng về chủng loại phương tiện. 3. Đối tượng và phạm vi nghiên cứu Vấn đề "Nghiên cứu phát triển một số thuật toán phát hiện và phân loại phương tiện từ dữ liệu video giao thông” được thực hiện chủ yếu trên môi 5 trường ngoài trời. Dữ liệu video giao thông có thể thu được từ những cung đường khác nhau: từ các cung đường nông thôn (quận, huyện), từ các đường quốc lộ (cao tốc), từ các đường trong đô thị (thành phố). Trong điều kiện ở Việt Nam hiện nay, việc gắn các camera giao thông của các cơ quan quản lý và điều khiển giao thông ở các đường quốc lộ (đường cao tốc) là phổ biến, tập dữ liệu dùng cho việc thực nghiệm cũng thu được một cách dễ dàng hơn. Dữ liệu video nghiên cứu trong luận án tập trung vào việc nghiên cứu dữ liệu video thu được từ các cung đường quốc lộ. Chẳng hạn như quốc lộ 1, quốc lộ 5 và một số đường cao tốc mới xây dựng như đại lộ Thăng long, Bắc Thăng long - Nội bài. Luận án tập trung trình bày và giải quyết cốt lõi của hệ thống phát hiện và phân loại phương tiện giao thông thông qua quá trình xử lý hình ảnh và đưa ra thông tin. Bản chất của quá trình này là: phân tách video thành các khung hình; phát hiện đối tượng chuyển động trong cảnh video; dựa vào các đặc trưng hình học, chuyển động để phân loại và kết hợp với những đặc tính không gian, thời gian khác để đếm các loại đối tượng chuyển động có trong video. Đối tượng nghiên cứu của luận án gồm: Bài toán phát hiện, theo dõi và phân loại đối tượng chuyển động; Các công trình đã và đang nghiên cứu trong và ngoài nước về vấn đề phát hiện, theo dõi và phân loại đối tượng chuyển động; Các thuật toán, phương pháp đã áp dụng trong vấn đề này. Các đoạn video quay cảnh giao thông. Tổng quát lại, đây là một phạm vi rộng, bao gồm: phát hiện, phân loại và theo dõi đối tượng chuyển động. Luận án tập trung vào việc nghiên cứu một số thuật toán phát hiện và phân loại đối tượng chuyển động trong vùng quan tâm; giải quyết vấn đề ô tô, xe máy trong video giao thông mà lưu lượng giao thông đông đúc ("dày đặc") có sự và "dính nhau" trong điều kiện Việt Nam. 4. Phương pháp nghiên cứu Thu thập và nghiên cứu tài liệu về các nghiên cứu đã thực hiện trên thế giới và Việt nam về vấn đề giám sát thông minh bằng hình ảnh. 6 Phân tích cấu trúc một hệ thống giám sát thông minh bằng hình ảnh; thống kê, phân tích và đánh giá các phương pháp đã sử dụng; trên cơ sở đó thực hiện một số công việc giải quyết bài toán:  Lựa chọn phương pháp phù hợp trong từng điều kiện hoàn cảnh khác nhau của bài toán giám sát tự động.  Phân tích và cải tiến hệ thống về mặt cấu trúc, quy trình, khung làm việc của hệ thống giám sát tự động.  Lựa chọn và đề xuất cải tiến một số thuật toán áp dụng. Thử nghiệm và đánh giá kết quả một số phương pháp đề xuất:  Thu thập dữ liệu video trên một số cung đường tại đường quốc lộ.  Viết chương trình thử nghiệm bằng ngôn ngữ lập trình C++ trên môi trường .NET.  Đánh giá và phân tích kết quả. 5. Ý nghĩa khoa học và thực tiễn của luận án Ý nghĩa khoa học: Làm phong phú hơn về lý luận cho phương pháp phát hiện và phân loại đối tượng chuyển động trong video. Tổng hợp và xây dựng một tập các phương pháp trích chọn các đặc trưng phương tiện chuyển động, biểu diễn và xử lý các đặc trưng của phương tiện theo từng cấp độ phù hợp cho phân loại và đếm đối tượng, bao gồm:  Đặc trưng khối chuyển động.  Đặc trưng hình dạng và kích thước đối tượng.  Đặc trưng luồng quang học.  Đặc trưng đường viền đối tượng. Đề xuất khung làm việc chung cho bài toán xác định mật độ phương tiện trong video giao thông. Ý nghĩa thực tiễn: Mở ra khả năng tính toán mới để xác định đối tượng trong ảnh nhanh hơn; có sự phân loại tốt hơn, tránh được những thông tin dư thừa do mật độ đối tượng 7 chuyển động dày đặc, đan xen gây ra... phục vụ cho các ứng dụng thực tế như đo lưu lượng giao thông, xác định hiện trường tai nạn giao thông, chứng thực xe đã đi qua đoạn đường trong khoảng thời gian t,... phục vụ trong công tác an ninh. 6. Cấu trúc của luận án Phần mở đầu. Giới thiệu tổng quát bài toán, phương pháp tiếp cận, phạm vi nghiên cứu, những thách thức đặt ra cho bài toán, hướng nghiên cứu, ý nghĩa khoa học, ý nghĩa thực tiễn của bài toán nghiên cứu. Chương 1. Tổng quan về bài toán phát hiện và phân loại phương tiện trong video giao thông. Đặt vấn đề về bài toán nghiên cứu; trình bày kết quả của một số nghiên cứu liên quan. Đề xuất vấn đề nghiên cứu của luận án. Chương 2. Trình bày phương pháp trích chọn đặc trưng đối tượng chuyển động từ video. Cải tiến phương pháp GMM thích nghi với ánh sáng thay đổi. Áp dụng kết hợp GMM thích nghi với phát hiện luồng quang học để đếm số lượng xe trong vùng quan tâm. Chương 3. Trình bày cách thức phân loại phương tiện giao thông thông qua một số phương pháp: tính toán độ dài; biểu diễn hình dạng đối tượng dựa trên vector khoảng cách từ tâm đến cạnh của đa giác xấp xỉ; kết hợp độ dài và vector khoảng cách để nhận dạng, phân loại phương tiện trong ảnh; Áp dụng một số tính chất của đường viền vector để phân loại phương tiện dựa trên độ dài và hình dáng đường viền dựa trên đối sánh ảnh. Phần kết luận. Trình bày những đóng góp và hướng nghiên cứu phát triển tiếp theo của luận án. 8 Chương 1. TỔNG QUAN VỀ PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO Chương này trình bày một số phương pháp, kỹ thuật xử lý, kết quả trong bài toán xác định mật độ phương tiện giao thông đã sử dụng. Tập trung phân tích những kỹ thuật, phương pháp liên quan đến hướng tiếp cận của bài toán. Bao gồm 3 nhóm phương pháp chính: phát hiện, phân loại và theo dõi. Tuy nhiên những kỹ thuật liên quan đến máy camera, nén dữ liệu, tiền xử lý dữ liệu không được đề cập đến trong luận án này. 1.1. Cơ sở lý thuyết và những khái niệm cơ bản 1.1.1. Dữ liệu video số Năm 2005, Sagar Deb, University Southem Queensland, Australia, đã tổng hợp và biên tập tài liệu Quản lý dữ liệu video và tìm kiếm thông tin [20], trong đó đã xác định khái niệm, cấu trúc video số, cách tổ chức và xem xét cấu trúc dữ liệu video. Định nghĩa 1.1. Video số Video số là một dãy các khung hình liên tiếp, mỗi khung hình tương ứng với một hình ảnh tĩnh. Khi video được thực hiện, dãy khung hình được hiển thị tuần tự với một tốc độ nhất định. Tốc độ hiển thị các khung hình thường là 30 hoặc 25 khung hình/giây [20]. Hình 1.1 thể hiện cấu trúc tổng quát của dữ liệu Video: khung hình, cảnh quay, cảnh. Hình 1.1. Cấu trúc phân đoạn của video 9 Trong kỹ thuật xử lý dữ liệu video tác động đến nhiều thành phần và các đối tượng kéo theo của video như: cảnh, cảnh quay, khung hình, ảnh, điểm ảnh, ngưỡng, tách ngưỡng, đường viền, nền, phép cộng ảnh, phép nhân ảnh với 1 số... Dữ liệu video và những thành phần liên quan được đặc tả hình thức bằng ngôn ngữ đặc tả hình thức RAISE như sau: scheme Video= class type Video=Scene-list, /*Video là một danh sách các cảnh*/ Scene=Shot-list, /*Cảnh là một danh sách các cảnh quay*/ Shot=Image-list, /*Cảnh quay là một danh sách các ảnh*/ Image=Point-set, /*Ảnh là một tập hợp các điểm ảnh*/ Point=Nat>Real speed(v,t) is real(len(v))/t, /* thời gian hiển thị*/ displaytime:Video>Real displaytime(v,t) is real(Shotnumber(v))/t, /* Số cảnh quay trong một video*/ Shotnumber:Video->Nat Shotnumber(v) is if v= then 0 else Shotnumber(hd(v))+Shotnumber(tl(v)) end, /* Số cảnh quay trong một cảnh */ Shotnumber:Scene->Nat Shotnumber(s) is if s= then 0 else Shotnumber(hd(s))+Shotnumber(tl(s)) 10 end, Shotnumber:Shot->Nat Shotnumber(sh) is if sh= then 0 else 1+Shotnumber(tl(sh)) end, /* Định nghĩa phép tổng hai ảnh */ +: Image>Image, tong:Shot->Image tong(sh) is if len(sh) = 1 then hd(sh) else hd(sh)+tong(tl(sh)) end, /:Image>Image, /* Định nghĩa ảnh nền */ back1:Shot->Image back1(sh) is tong(sh)/Shotnumber(sh), /* Định nghĩa phép nhân ảnh với một số*/ alpha: Real, *:Real> Image, back:Shot->Image /* anh nen*/ back(sh) is if else len(sh) = 1 then hd(sh) alpha*hd(sh)+(1.0-alpha)*back( tl(sh)) end, /* Định nghĩa ảnh biên */ constraint:Image>Bool, anhbien:Image->Image anhbien(I) as I1 post constraint(I,I1), /* Tách ngưỡng */ constraint:Image>Bool, tachnguong:Image>Image tachnguong(I, threshold) constraint(I,I1,threshold) as I1 post 11 /* Xác định đường viền */ Check_Cycle :Point-list-> Bool /* Kiểm tra chu trình*/ Check_Cycle(pl) is hd(pl)=ptcuoi(pl), ptcuoi: Point-list-~->Point ptcuoi(pl) is if len(pl)=1 then hd(pl) else ptcuoi(tl(pl)) end pre len(pl)>0, end Đặc trưng của video: Bao gồm màu, kết cấu, hình dạng và chuyển động. - Màu (Color): Màu sắc là một đặc trưng cơ bản của ảnh. Với ảnh thì lược đồ màu là biểu diễn sự phân bố màu trong ảnh. Biểu đồ màu không phụ thuộc vào việc quay ảnh, dịch chuyển ảnh, hướng ảnh mà phụ thuộc vào vào hệ màu và các phương pháp lượng tử hóa ảnh được dùng. - Kết cấu (Texture): là một đặc trưng quan trọng của bề mặt khung hình, nơi xảy ra việc lặp lại mẫu cơ bản. Có hai dạng biểu diễn kết cấu phổ biến: ma trận đồng thời và Tamura. Ma trận đồng thời mô tả hướng và khoảng cách giữa các điểm ảnh, ta có thể trích chọn được các thống kê có ý nghĩa. Biểu diễn Tamura bao gồm các thuộc tính đo tính thô, độ tương phản, hướng, tính trơn, tính cân đối và độ thô ráp. Các đặc tính này rất quan trọng trong việc tìm hiểu nội dung ảnh vì nó biểu diễn rất trực quan. - Hình dạng (Shape): đặc trưng hình dạng có thể được phân chia thành đặc trưng toàn cục và đặc trưng cục bộ. Đặc trưng toàn cục là đặc trưng thu được từ toàn bộ hình dáng đối tượng trong ảnh (Ví dụ: chu vi, tính tròn, hướng trục chính...). Đặc trưng cục bộ là đặc trưng thu được từ việc thao tác với một phần của ảnh, không phụ thuộc vào toàn bộ ảnh. - Chuyển động (Motion): Là thuộc tính quan trọng của video. Các đặc trưng chuyển động như mô-men của trường chuyển động, biểu đồ chuyển động, các tham số chuyển động toàn cục có thể được trích chọn từ vectơ chuyển động. 12 1.1.2. Mô-men bất biến Mô-men có nhiều ứng dụng trong kỹ thuật phân đoạn ảnh, đối sánh ảnh và nhận dạng ảnh. Năm 2004, Chee-Way Chong and và cộng sự nghiên cứu về lý thuyết môn men và ứng dụng [6]. Từ những năm 1962, tác giả Hu M. K [13] đã đề cập đến vấn đề hệ số tương quan trong kỹ thuật phân đoạn ảnh. Dựa vào tính chất bất biến và hệ số tương quan của mô-men để đối sánh và phân loại đối tượng trong ảnh theo hình chiếu đối tượng trong không gian 2D. Ứng dụng của mô-men bất biến trong nhận dạng ảnh: Mô-men bất biến thường được dùng để trích đặc điểm trong xử lý ảnh, và ghi nhận hình dạng đối tượng và phân lớp. Mô-men có thể cung cấp các đặc điểm của một đối tượng duy nhất mô tả hình dạng của đối tượng. Hình dạng đối tượng không phụ thuộc vào 3 dạng biến đổi: chuyển đổi (thay đổi vị trí), co giãn (thay đổi kích thước) và hướng (biến đổi quay). Hình 1.2 thể hiện sự bất biến đối với phép biến đổi trong không gian 2 chiều. Tính bất biến của chuyển đổi vị trí được xác định bởi mô-men đã được chuẩn hóa là trọng tâm của đối tượng. Tính bất biến của biến đổi kích thước đối tượng là sự bất biến của các giá trị đại số liên quan đã được chuẩn hóa. Một vấn đề thiết yếu trong lĩnh vực phân tích mẫu là việc ghi nhận đối tượng và đặc điểm ký tự cho dù đối tượng đó thay đổi vị trí, thay đổi kích thước hay là biến đổi hướng. Mô-men bất biến được tính toán cơ bản dựa trên các thông tin được cung cấp bởi đường biên và miền bên trong của đối tượng. Hình 1.2. Các biến đổi hình dáng đối tượng trong không gian 2D. 13 1.1.3. Hình dạng và Khối đối tượng chuyển động Định nghĩa 1.2. Khối đối tượng chuyển động Khối đối tượng chuyển động là tập hợp các điểm ảnh của các đối tượng chuyển động được trích ra từ các khung hình sau khi loại bỏ các đối tượng không chuyển động. Khối đối tượng chuyển động có thể gồm một đối tượng độc lập, hoặc có thể là một tập hợp các đối tượng dính nhau, che khuất nhau một phần. Gọi I là khung hình trích ra từ video, B là các đối tượng không chuyển động, X là khối đối tượng chuyển động,  là ngưỡng sai số cho phép. Khi đó: X=I–B+ Một số các thao tác trên X: - Xác định X trở thành vấn đề xác định B và ngược lại. - Loại bỏ nhiễu, tức là làm sạch X, loại bỏ những thành phần không quan tâm ra khỏi X. Thường là xác định ngưỡng kích thước để loại bỏ những thành phần nhỏ ra khỏi khối X quan tâm. - Phân rã X thành các khối con: X=X1+ ... + Xn, với tiêu chuẩn phân rã là một ngưỡng xác định để các điểm ảnh tạo thành một khối. - Gán nhãn cho các khối con: Xác định đối tượng có trong khối. Định nghĩa 1.3. Hình dạng khối đối tượng Hình dạng khối đối tượng [30] là một đa giác được xấp xỉ lên đường biên của nó. Biên đối tượng trong ảnh là một tập hợp các điểm ảnh phân biệt giữa vùng bên trong và bên ngoài đối tượng. Gọi X là đường biên của đối tượng, DG là đa giác xấp xỉ lên đường biên đối tượng, DT(X) là diện tích khối ảnh đối tượng, DT(DG) là diện tích của đa giác xấp xỉ lên X. Khi đó: DT(X)  DT(DG) + , với  là ngưỡng xác định cho phép sai số. 1.1.4. Đường viền đối tượng Định nghĩa 1.4. Đường viền Tập hợp tất cả các điểm biên của đối tượng, tạo thành một đường khép kín bao quanh đối tượng gọi là đường viền của đối tượng, hay nói cách khác đường viền của một đối tượng là đường biên khép kín bao quanh đối tượng [30]. 14 Một số đặc tính của đường viền như độ dài, hình dáng, trọng tâm diện tích bên trong, rất có ích để tính toán, nhận diện đối tượng là gì. Biểu diễn đường viền trong ảnh có nhiều cách khác nhau. Trong các hệ thống thị giác máy tính, một vài định dạng mã hóa đường viền được sử dụng như mã hóa Freeman, mã hóa 2 chiều, mã hóa đa giác thường được sử dụng. Phân tích đường viền (CA) [30] cho phép mô tả, lưu trữ, so sánh và tìm ra các đối tượng biểu diễn dưới dạng đường viền. Đường viền chứa thông tin cần thiết về hình dạng đối tượng. Không quan tâm nhiều đến các điểm bên trong của đối tượng. Các trường hợp không quan tâm nhiều đến vùng bên trong đối tượng nhưng quan tâm nhiều về thể hiện đường viền bên ngoài thì cho phép chuyển về không gian 2 chiều của ảnh tức là không gian đường viền, từ đó cho phép giảm thời gian tính toán và độ phức tạp tính toán. CA cho phép giải quyết hiệu quả các bài toán cơ bản của nhận dạng mẫu – biến đổi, quay và tỷ lệ của ảnh đối tượng. Phương pháp CA là bất biến đối với phép biến đổi. Một phương pháp biểu diễn đường viền được đề nghị là biểu diễn bằng một dãy các số phức (Xem Hình 1.3). Trên một đường viền, điểm bắt đầu cần được xác định. Tiếp theo, đường viền sẽ được quét (xoay theo chiều kim đồng hồ), và mỗi vector được biểu diễn bằng một số phức a+ib. Với a, b là điểm tương ứng trên trục x, y. Các điểm được biểu diễn kế tiếp nhau. Hình 1.3. Biểu diễn đường viền bằng vector số phức Do tính chất vật lý của các đối tượng ba chiều, đường viền của chúng luôn khép kín và không tự giao nhau. Nó cho phép xác định rõ ràng việc duyệt qua 15 một đường viền (xuôi/ngược chiều kim đồng hồ). Vector cuối cùng của một đường viền luôn luôn dẫn đến điểm khởi đầu. Định nghĩa 1.5. Đường viền vector Đường viền được biểu diễn dưới dạng một tập các véc tơ số phức được gọi là đường viền vector (VC) [31]. Một vector thành phần của VC được gọi là vector cơ sở (EV). Đường viền vector VC ký hiệu bằng chữ cái Γ và EV ký hiệu là . Khi đó, Γ có độ dài p có thể được xác định là: =(0, 1, ..., p-1) Thao tác trên đường viền như là thao tác trên vector số phức có chứa nhiều đặc tính toán học hơn là các mã biểu diễn khác. Về cơ bản, mã số phức là gần với mã hai chiều khi mà đường viền được định nghĩa phổ biến bằng EV trong tọa độ 2 chiều. Nhưng sự khác biệt giữa thao tác tỷ lệ của các vector đối với số phức là khác nhau. Trường hợp này cũng ưu tiên cho các phương pháp CA. Rohit Kolar và cộng sự, năm 2014, trong công trình [31] đã định nghĩa nhiều khái niệm liên quan đến phương pháp CA như là: tích vô hướng của đường viền vector, tích vô hướng chuẩn hóa, hàm tương quan, hàm tự tương quan,... Định nghĩa 1.6. Tích vô hướng của đường viền vector [31] Hai số phức của 2 đường viền Γ và N, tích vô hướng (TVH) của nó là: ( ) ∑ ( ) (1.1) với p – kích thước của VC, γn là EV của đường viền Γ, νn là EV của đường viền N. (γn, νn) là TVH của hai số phức. Tính chất TVH của đường viền: TVH của các số phức được tính bằng biểu thức liên hợp [37]: (a+ib, c+id) = (a+ib) (c-id) = ac + bd + i(bc-ad) (1.2) Trong CA thì VC có chiều đồng nhất, vì thế số EV là trùng nhau. Nếu ta nhân một EV đơn giản như một vector, TVH của chúng: ((a,b),(c,d))=ac + bd (1.3) 16 So sánh công thức này với công thức (1.2) chú ý rằng: - Kết quả TVH của các vector là một số thực. Và kết quả tích của các số phức là một số phức. - Phần thực của TVH của các số phức trùng với TVH của các vector phù hợp. Tích số phức bao gồm TVH vector. Theo đại số tuyến tính, để xác định được chính xác chiều vật lý và các đặc tính của TVH. TVH bằng với tích của độ dài vector của góc cosin ở giữa trong đại số tuyến tính. Tức là 2 vector vuông góc sẽ luôn có TVH bằng 0. Ngược lại, tích của vector thẳng hàng sẽ cho giá trị TVH tối đa. Những đặc tính của TVH được sử dụng để đo lường độ gần của các vector. Nếu tích càng lớn, góc giữa các vector càng nhỏ, các vector này càng gần nhau. Với những vector vuông góc, tích này bằng 0, và hơn nữa có thể nhận giá trị âm cho những vector có hướng khác nhau. TVH cũng có các đặc tính tương tự. Mệnh đề 1.1. Đặc tính đường viền 1. Tổng các EV của một đường viền kín bằng 0. Nó là tầm thường đối với các vectơ tự trỏ vào điểm khởi đầu, tổng bằng 0 tương ứng với vector 0. 2. VC thì không phụ thuộc vào phép chuyển vị song song của ảnh nguồn. Như vậy các đường viền được mã hóa tương đối so với điểm bắt đầu, chế độ này của mã hóa là bất biến chuyển của một đường viền ban đầu. 3. Quay ảnh theo một góc độ nào đó tương đương với quay mỗi EV của đường viền trên cùng góc độ đó. 4. Việc thay đổi điểm khởi đầu tiến hành theo vòng tròn VC. Vì các EV được mã hóa liên quan đến các điểm trước đó, điều này rõ ràng là thay đổi điểm khởi đầu, trình tự của một EV sẽ là như nhau, nhưng EV đầu tiên sẽ là bắt đầu từ điểm khởi đầu. 5. Thay đổi tỷ lệ ảnh nguồn có thể được coi là phép nhân của mỗi EV của đường viền với một hệ số tỷ lệ. Chứng minh: 17 Gọi tọa độ các điểm biên là z1, z2, z3, z4,…zn, z1. Khi quay zp góc  ta được điểm eizp tương tự như vậy các véc tơ hướng biên dp sẽ biến thành ei dp. Do đó từ đầu tiên có dãy d1 d2 d3.. dn thì sau biến đổi sẽ là d’1 d’2 d’3..d’n d’1. Trong đó d’p= e-i dp. Như vậy [d1d2d3..dn d1][d’1d’2d’3....d’n d’1] ̅ =  =∑ Do |∑ đó |  ∑ [d1d2..dn ̅ d1][d’1d’2..d’n d’1]| = |  | |∑ ̅̅̅ | |    Vì  |∑ | là hằng số với các phép quay , { Đây là điều cần chứng minh. Định nghĩa 1.7. Tích vô hướng chuẩn hóa đường viền [31] Tích vô hướng chuẩn hóa (NSP): ( ) (1.4) |Γ| và |N| - Tiêu chuẩn (chiều dài) của đường viền được tính: (∑ ) (1.5) Tính chất của NSP: NSP trong không gian phức cũng là một số phức. Do vậy, tính đồng nhất là giá trị lớn nhất có thể của chuẩn NSP (Theo bất đẳng thức Cauchy-Bunyakovsky Schwarz): |ab| 0; cơ số logarithm là bất kỳ. Bổ đề: h(p)=-Clog(p) Trường hợp C = 1 và cơ số logarithm = 2 thì đơn vị tính là bit. Khi đó: h(p)=-log(p) (đvt: bit) và Entropy của X là: ( ) ( ) ∑ ( ) (1.11) Sử dụng giá trị Entropy của độ lệch (hiệu tuyệt đối) giữa khung hình hiện thời và nền, hay nói khác đi đó chính là độ lệch về màu sắc của hai khung hình video. Việc xác định giá trị Entropy của độ lệch này là cơ sở để xác định những điểm ảnh của đối tượng chuyển động. 24 Sau khi xây dựng được nền tối ưu Bt(x,y) tương ứng với mỗi khung hình hiện thời It(x,y), tính hiệu tuyệt đối Δt(x,y) giữa mô hình nền tối ưu và khung hình hiện thời: ( ) ( ) ( ) (1.12) Khối ảnh, thường được sử dụng trong xử lý hình ảnh và bao đối tượng chuyển động trong phát hiện chuyển động [22]. Giả sử ký hiệu một khối ảnh có chiều dài và rộng bằng nhau, được ký hiệu là ww, giá trị mức xám điểm ảnh trong khối là ww(i,j) với i,j=1..n, với n là kích thước của khối. Giả sử, với mỗi khối ww(i,j) với hiệu tuyệt đối Δt(x,y) được tạo thành bởi vector xám rời rạc cấp V {L0, L1, …, LV-1}. Hàm mật độ xác suất của những ( ) điểm ảnh có mức xám h của khối ww(i,j): ( ) được định nghĩa như sau: ( ) (1.13) Trong đó: h là phần tử tùy ý của {L0, L1, …, LV-1} đại diện cho bất kỳ vector mức xám trong mỗi khối ww(i,j); ( ) là số pixel tương ứng với mức xám h tùy ý; Coi h0 khi h  then Dt(x,y)=1 Else Dt(x,y)=0 4. Return {Dt(m,n)|t=0..NF} Độ phức tạp thuật toán: Gọi NF là số khung hình thu nhận từ dữ liệu video, mỗi khung hình là một ảnh tĩnh. Gọi m, n là kích thước của mỗi khung hình. Căn cứ vào bước thứ 3 trong thuật toán, dễ dàng ước tính được số lượng các phép toán: - Số lượng khung hình xét là NF; - Kích thước mỗi khung hình là nm; - Số phép toán ước tính là NFmn. Độ phức tạp của thuật toán là O(NFmn), với NF là số khung hình; mn là kích thước ảnh của khung hình. 53 2.1.2. Thuật toán trừ nền trung bình BSM trung bình là một cải tiến của BSM cơ bản [17]. Thay vì giữ nguyên giá trị khung hình nền B(x,y) trong phép trừ thì BSM trung bình cải tiến cập nhật liên tục giá trị khung hình nền nhằm tăng tính chính xác kết quả phát hiện đối tượng chuyển động. Gọi β là hệ số được chọn trước thuộc (0,1), ảnh nền đầu tiên B0 gán bằng ảnh I0, ta có ảnh nền được cập nhật trung bình theo phương trình (2.2), Bt(x,y) = (1-)Bt-1(x,y)+It(x,y) (2.2) Gọi  là giá trị ngưỡng sai lệch cho phép giữa các giá trị điểm ảnh của khung hình It và ảnh nền ta có ảnh tách ngưỡng (chứa đối tượng chuyển động) được tính theo công thức (2.3). ( ) { ( ( ) ) ( ( ) ) (2.3) Trong công thức (2.3) ta có Dt(x,y) = 0, kết luận đây là điểm ảnh của nền, ngược lại, Dt(x,y) = 1, kết luận đây là điểm ảnh của đối tượng chuyển động. Tập hợp các điểm ảnh này ta sẽ có hình ảnh của đối tượng chuyển động. Nội dung thuật toán: Thuật toán trừ nền trung bình: Đầu vào: Video  : Giá trị ngưỡng cho trước NF: Số khung hình cần sử dụng m,n: kích thước một khung hình (điểm ảnh) : Tham số cập nhật nền cho trước  (0,1) Đầu ra: {Dt(m,n)| t=1..NF} //Tập ảnh đã tách ngưỡng đối tượng chuyển động Các bước thực hiện: 1. Thu nhận khung hình For t=0 to NF It = FrameCapture(video,t) 2. Khởi tạo giá trị nền ban đầu B0 = I0 54 3. Cập nhật giá trị nền Bt(x,y) theo chỉ số khung hình và tính mặt nạ nhị phân For t=0 to NF For x=0 to n For y=1 to m { Bt(x,y) = (1-)Bt-1(x,y)+It(x,y) If |It(x,y)-Bt(x,y)|>  then Dt(x,y)=1 Else Dt(x,y)=0 } 4. Return {Dt(m,n)|t=0..NF} Độ phức tạp thuật toán: Tương tự như trình bày trong thuật toán trừ nền trung hình, số phép toán ước tính tổng quan chung của thuật toán tập trung ở bước 3. Độ phức tạp của thuật toán là O(NFmn), với NF là số khung hình; mn là kích thước ảnh của khung hình. 2.1.3. Thuật toán Σ-Δ Thuật toán Σ-Δ dựa trên phương pháp đệ quy phi tuyến đơn giản (còn được gọi là bộ lọc Σ-Δ). Thuật toán Σ-Δ sử dụng hàm sgn(a) để ước lượng giá trị của nền, công thức (2.4). Hàm sgn() được xây dựng như sau: ( ) { (2.4) Theo công thức (2.5), giá trị nền đối với mỗi khung hình tại thời điểm t là Bt(x,y), tăng hoặc giảm hoặc giữ nguyên tùy thuộc vào giá trị của hàm sgn(a). t(x,y) là giá trị tuyệt đối hiệu giữa Bt(x,y) và It(x,y) theo công thức (2.6). Gọi Vt(x,y) là biến ngưỡng xác định cho sự chuyển động theo thời gian t, nhằm xác định xem mỗi điểm ảnh của một khung hình đang xét sẽ là điểm ảnh “nền” hay điểm ảnh của “đối tượng chuyển động”, được tính theo công thức (2.7), với N là tham số cho trước trong khoảng từ 14; 55 Giá trị Dt(x,y) là giá trị lưu trữ nền hoặc đối tượng chuyển động. Nếu Dt(x,y)=0 thì điểm (x,y) là của nền, ngược lại điểm ảnh của đối tượng chuyển động, công thức (2.8). = It(x,y) – Bt-1(x,y) Bt(x,y) = Bt-1( ( ( ) ) ( ( ( ) ) ) ) ( ( ( ( ( { ( ) ) ) (2.5) ) (2.6) ) ( ( ( )) ) ) (2.7) (2.8) Nội dung thuật toán: Thuật toán Σ-Δ Đầu vào: Video  : Giá trị ngưỡng cho trước NF: Số khung hình cần sử dụng m,n: kích thước một khung hình (điểm ảnh) α: Tham số cập nhật nền cho trước  [0,1] Đầu ra: {Dt(m,n)| t=1..NF} //Ảnh đã tách ngưỡng đối tượng chuyển động Các bước thực hiện: 1. Thu nhận khung hình For t=0 to NF It = FrameCapture(video,t) 2. Khởi tạo giá trị nền ban đầu B0=I0 //Giá trị khởi tạo mô hình nền và khung hình video đến. 0 = 0 V0 = 0 3. Cập nhật giá trị nền Bt theo chỉ số khung hình và tính mặt nạ nhị phân For each Image It For each x,y  [n,m] { = It(x,y) – Bt-1(x,y) Bt(x,y) = Bt-1( ) ( ) 56 ( ) ( ) ( ) ( ( ) ) ( ( ) ( )) If |t(x,y)-Vt(x,y)|> then Dt(x,y)=1 Else Dt(x,y)=0 4. Return {Dt(m,n)| t=1..NF} Độ phức tạp thuật toán: Gọi NF là số khung hình thu nhận từ dữ liệu video, mỗi khung hình là một ảnh tĩnh. Gọi m, n là kích thước của mỗi khung hình. Căn cứ vào bước thứ 3 trong thuật toán, dễ dàng ước tính được số lượng các phép toán tương đương với O(NFnm), với NF là số khung hình; n, m là kích thước khung hình. 2.1.4. Thuật toán Σ-Δ cải tiến Thuật toán Σ-Δ cập nhật mô hình nền theo hằng số thời gian sgn(a). Điều này tạo ra hạn chế đối với những ảnh chứa nhiều đối tượng chuyển động hoặc đối tượng có nhiều chuyển động. Thuật toán Σ-Δ cải tiến được đề xuất để giải quyết bài toán nhiều đối tượng và nhiều chuyển động. Phương pháp này sử dụng mô hình nền thích nghi để tăng khả năng phát hiện các chuyển động trong một ảnh phức tạp. Việc xử lý theo thời gian có thể cho ra kết quả phát hiện chuyển động rất hiệu quả trong trường hợp đối tượng chuyển động chậm dần, dừng lại hoặc quay vòng. Tuy nhiên, do thuật toán Σ-Δ đặc trưng bởi khoảng thời gian cố định: cập nhật theo giai đoạn và độ lớn số lượng mức xám trên một giây. Đây là lý do gây ra hạn chế của thuật toán Σ-Δ trong việc thích nghi với khung hình phức tạp nhất định. Thuật toán Σ-Δ cải tiến thay vì tính một nền riêng lẻ, chúng ta sẽ tính một tập các nền: { }. Công thức tính như sau: ( Trong đó, ) ( ( ) ( ( ) ( )) (2.9) ) là giá trị nền tham chiếu thứ i tại thời điểm t, là giá trị nền tham chiếu thứ i tại thời điểm (t-1), chiếu thứ (i-1) tại thời điểm t, giá trị khởi tạo với i=0: ( ( ( ) ) là giá trị nền tham ) ( ). 57 Mỗi nền được đặc trưng bởi thời gian cập nhật ( Với mỗi khung hình, tính giá trị hiệu tuyệt đối ( biến theo thời gian ) it ( x, y) và giá trị ) như sau: ( ( . ) ) ( | ( ) ) ( ( )| ( ( (2.10) ( )) (2.11) Giá trị mô hình nền thích nghi tổng hợp Bt ( x, y ) được tính như sau: ( ) ∑ ( ∑ ) ( ( ) (2.12) ) Với  i là giá trị được định nghĩa trước, i là chỉ số tham chiếu, R là tổng số chỉ số i. Giá trị thực nghiệm đặt K=3, α1, α2, α3 được đặt 1, 8, 16. Trên mô hình nền thích nghi Bt(x,y) đã được tạo ra, áp dụng thuật toán Σ-Δ với mô hình nền Bt(x,y) này để xử lý xác định đối tượng chuyển động. Nội dung thuật toán: Thuật toán Σ-Δ cải tiến Đầu vào: Video  : Giá trị ngưỡng cho trước NF: Số khung hình cần sử dụng m,n: kích thước một khung hình (số điểm ảnh theo chiều ngang, dọc) K: số lượng tập nền theo dõi cho trước αi(i=1..K): Tham số cập nhật nền cho trước  [0,1] Đầu ra: {Dt(m,n)| t=1..NF} //Tập ảnh đã tách ngưỡng đối tượng 1. Thu nhận khung hình For t=0 to NF It= FrameCapture(video,t) 2. Khởi tạo giá trị nền và các tham số ban đầu For i=1 to K { 0 = 0 } 58 V0 = 0 For i=1 to K {αi=const} 3. Cập nhật giá trị nền Bt theo chỉ số khung hình và tính mặt nạ nhị phân For t=0 to NF For x=0 to n For y=1 to m { For i=1 to K { ( ) ( ) ( ) ( | ( ) ) ( ( ( ( ) ( )) )| ) ( ( ) ( )) } //End of for i For i=1 to K { TS=TS + ( ( MS=MS + )) ( ( ) ) Bt(x,y) = TS/MS } t(x,y) = |It(x,y)-Bt(x,y)| Vt(x,y) = Vt-1(x,y) + sgn(N×t(x,y)-Vt-1(x,y)) If t(x,y)>Vt(x,y) then Dt(x,y)=1 Else Dt(x,y)=0 } //End of for t 4. Return {Dt(m,n)| t=1..NF} Độ phức tạp thuật toán: Gọi NF là số khung hình thu nhận từ dữ liệu video, mỗi khung hình là một ảnh tĩnh. Gọi m, n là kích thước của mỗi khung hình. Gọi k là số tập nền cần theo dõi. Căn cứ vào bước thứ 3 trong thuật toán, dễ dàng ước tính được số lượng các phép toán tương đương với O(NFkmn). 2.1.5. Thuật toán thống kê khác biệt cơ bản Thuật toán thống kê khác biệt cơ bản tính giá trị trung bình cho từng điểm ảnh riêng lẻ của khung video trước đó dựa trên việc sử dụng giá trị trung bình, 59 độ lệch tiêu chuẩn cũng như sắp xếp mô hình nền. Mô hình nền thích nghi được tạo ra thông qua việc xác định giá trị từng điểm ảnh xy của mô hình nền. Giá trị xy được tính là giá trị trung bình của các điểm ảnh tương ứng từ một tập K khung hình trước đó trong một khoảng thời gian nhất định từ thời điểm khung video đầu tiên đến thời điểm khung video thứ K-1 (có thể coi khoảng thời điểm từ t0 – tK-1). ∑ ( ) (2.13) K: là số lượng khung video đang xét; t: là chỉ số của khung video, t = 1..K; It(x,y): là giá trị khung video đến hiện thời thứ t. Với mỗi điểm ảnh, một giá trị ngưỡng biểu diễn bằng độ lệch chuẩn xy trong cùng một khoảng thời gian (t0 – tK-1), được tính bằng trung bình độ lệch giữa giá trị của điểm ảnh tương ứng trong các khung video trước và xy, công thức tính như sau: ( ∑ ( ( ) ) ) (2.14) Để phát hiện được chuyển động, giá trị tuyệt đối của hiệu giữa khung video đến và mô hình nền được tính toán. Từ đó ta sẽ xác định mặt nạ nhị phân phát hiện chuyển động Dt(x,y) được tính bởi công thức sau: ( ) { | ( ) | | ( ) | (2.15) Ta chọn  là tham số thực nghiệm. Phương pháp chọn  được giải thích như sau: Theo [23], có nhiều cách để thể hiện các đặc tính của một phân phối xác suất. Cách dễ thấy nhất là thông qua hàm mật độ xác suất, nó cho biết khả năng xảy ra của mỗi giá trị của biến ngẫu nhiên. Hàm phân phối tích lũy cũng cho cùng thông tin, nhưng hình ảnh của nó thì thông tin chứa đựng không được dễ nhận thấy cho lắm. Các cách tương đương khi chỉ định một phân phối chuẩn là thông qua: mômen, ước lượng, hàm đặc trưng, hàm khởi tạo mômen, và hàm khởi tạo ước lượng và định lí Maxwell. Một số rất hữu ích về mặt lí thuyết, 60 nhưng không trực quan. Hàm mật độ xác suất của phân phối chuẩn với trung bình  và phương sai 2 (hay, độ lệch chuẩn ). Hàm mật độ là đối xứng qua giá trị trung bình (giá trị kì vọng). Giá trị trung bình cũng là mode và trung vị của nó. Ta có 68.26894921371% của diện tích dưới đường cong là nằm trong khoảng 1 lần độ lệch chuẩn tính từ trị trung bình (tức là khoảng (-, +)); 95.44997361036% của diện tích dưới đường cong là nằm trong khoảng 2 lần độ lệch chuẩn (-2,+2); 99.73002039367% của diện tích dưới đường cong là nằm trong khoảng 3 lần độ lệch chuẩn (-3,++). Do đó việc chọn 1) then α=1 7. Tính toán các tham số của gauss for i = 1 to k { 8. Tính độ lệch chuẩn σ2 cho mỗi kênh màu i+1(u,v)2 = (1-α) i-1(u,v)2 + αi(u,v)2 9. Cập nhật hệ số lặp mô hình i,t+1 = (1-α)i,t + αMt – αCT } 10. Sắp xếp mức độ ưu tiên min (/)  min_var() 11. Cập nhật giá trị nền {∑ ∑ } Bước 2. Tách nền và tiền cảnh 12. For each pixel (u,v) in ROI template if | I(u,v) – B| > TROI  else FGt(u,v) = 1 (Tiền cảnh) FGt(u,v) = 0 //Nền 13. Return FGt(u,v) Độ phức tạp thuật toán: Giả sử tại thời điểm t xem xét chuỗi gồm số lượng NF khung hình được trích chọn từ thời điểm trước tới thời điểm t. Số bước thực hiện duyệt qua toàn bộ các khung hình là NF (For i=1 to NF). Giả sử mỗi bức ảnh của khung hình phân tích có kích thước là (n  m), số điểm ảnh cần duyệt qua mỗi khung hình là n  m ( For j=1 to nm). Số phép toán ước tính là: NF  n  m. Độ phức tạp ước tính của thuật toán EMB là O(NF  n  m), với NF là số khung hình, n và m là kích thước ảnh của mỗi khung hình. 2.3. Phương pháp đếm phương tiện giao thông áp dụng mô hình GMM thích nghi thay đổi ánh sáng kết hợp luồng quang học 79 Trong tài liệu [3], nhóm Trần Thanh Việt dựa trên luồng quang học để bám đối tượng chuyển động. Tuy nhiên, đối với vấn đề đếm xe trên đường cao tốc, để đối phó với sự thay đổi ánh sáng môi trường ngoài trời có thể vận dụng kết hợp mô hình GMM thích nghi với ánh sáng và luồng quang học để thiết kế hệ thống. Một số kết quả thực nghiệm cho thấy phương pháp này cho kết quả khá tốt trong môi trường thực và mức độ dính nhau trong khung hình của các phương tiện là ít (thưa), mức độ chính xác giảm dần khi mức độ dính nhau tăng. 2.3.1. Sơ đồ khối tổng quát Mục đích đếm số lượng đối tượng chuyển động, sử dụng phương pháp phát hiện đối tượng chuyển động dựa trên mô hình GMM thích nghi sự thay đổi ánh sáng và kết hợp luồng quang học. Sơ đồ hệ thống của phương pháp chúng tôi đề nghị bao gồm 6 bước cơ bản. Bắt đầu từ xác định vùng quan tâm trên đường, thu nhận video từ camera,... kết quả cho ra số lượng đối tượng đang chuyển động trong vùng quan tâm. Sơ đồ khối của phương pháp xử lý được thể hiện trong Hình 2.1. (1) Xác định ROI: vùng quan tâm chịu ảnh hưởng của phương pháp đặt camera để thu nhận dữ liệu video. Có nhiều cách để đặt camera, như đặt bên hông đường, đặt trực diện ở trên tầm cao, đặt trực diện ở tầm thấp,... Ở đây xác định đặt camera trên độ cao phù hợp, ngang tầm với các cầu vượt đường cao tốc (tương tụ như các camera giao thông đang sử dụng hiện nay) để theo dõi trực diện phương tiện chuyển động. Vùng quan tâm được xác định là cặp vạch ảo thiết lập trên làn đường theo chiều ngang. Khung hình được thu nhận liên tiếp từ vạch thứ nhất (ở xa) và được theo dõi, phân tích cho đến khi ra khỏi vạch thứ hai (ở gần). (2) Căn cứ vào cấu trúc và cấu hình của camera mà xác định số lượng khung hình trích chọn cho phù hợp. Theo cấu trúc dữ liệu Video hiện sử dụng thường có tốc độ 25frames/giây. Dùng thuật toán nắm bắt khung hình kết hợp với bộ đồng hồ trong ngôn ngữ lập trình có thể thu nhận dữ liệu các khung hình thành file ảnh màu tương ứng. 80 Bắt đầu 1. Xác định ROI 2. Trích chọn khung hình trong ROI 3. Trích chọn đối tượng chuyển động (mặt nạ) và tiền xử lý 4. Xác định khối và gán nhãn cho khối đối tượng 5. Xác định và trích chọn luồng quang học trên từng khối 6. Thực hiện đếm số lượng xe Kết thúc Hình 2.1. Lược đồ khái quát thuật toán CCA-GMMOF (CCA-GMMOF - Car Counting Alogorithm using GMM and Optical Flow) (3) Trích chọn đối tượng chuyển động và tiền xử lý. Căn cứ vào dãy các khung hình thu được, sử dụng BSM, áp dụng mô hình GMM thích nghi ánh sáng để phát hiện mặt nạ đối tượng chuyển động. Ảnh nhị phân được làm sạch bằng phương pháp loại bỏ nhiễu. Nhiễu được xác định là các khối có kích thước nhỏ theo quy ước của một ngưỡng đối tượng tương ứng xác định trước. Áp dụng phương pháp loại bỏ nhiễu, những đối tượng không phải là phương tiện chuyển động, kích thước bé,... ra khỏi mặt nạ phương tiện chuyển động, tiếp tục nhị phân hóa ảnh mặt nạ phương tiện. Nội dung chi tiết được trình bày trong thuật toán EMB (Extract Moving Block). (4) Mặt nạ đối tượng chuyển động chứa các khối chuyển động riêng biệt trong ảnh nhị phân. Cần phải gán nhãn cho các khối này, hoặc chỉ mục hóa các khối này để chuyển sang giai đoạn sau là phân tích hình dạng và đường viền. Thuật toán phân đoạn khối và gán nhãn cho khối được trình bày trong thuật toán SLBBI (Segmentation and Labling to Block for Binary Image). 81 (5) Xác định và trích chọn luồng quang học trên từng khối: Luồng quang học là đường đi của một điểm ảnh giữa các khung hình được trích ra từ một video. Gọi p(x0,y0,t0) là điểm ảnh thuộc khung hình I(t0) tại thời điểm t0, điểm p(xn,yn,tn) là điểm ảnh đó tại khung hình I(tn), với n>=1. Luồng quang học được xác định khi: p(xn,yn,tn) = p(x0,y0,t0) +d; với d là khoảng cách điểm ảnh giữa thời điểm t0 và tn; vấn đề đặt ra với luồng quang học là xác định được độ dài d. Nếu độ dài d=0 thì coi như không có luồng quang học, và đối tượng không chuyển động. Thuật toán trích chọn luồng quang học được trình bày trong thuật toán EBOF(Extract Blob from Optical Flow). (6) Thực hiện đếm xe: Thực hiện chọn 1 điểm trên mỗi block khi xuất hiện ở vạch xuất phát ở xa hướng quan sát, nếu điểm này sau một khoảng các khung hình chạm tới vạch đích (gần hướng quan sát) thì xác định đây là một khối đối tượng chuyển động. Thuật toán đếm xe CCA-GMMOF: Đầu vào: Video Đầu ra: Số lượng xe ô tô Các bước thực hiện: 1. Xác định ROI và khởi tạo ROI (x1,y1,x1,y2;x2,y1,x2,y2) Khởi tạo count = 0; 2. Trích chọn khung hình trong ROI frames  read_frame(videoSource); grayFrame  convert_to_gray(frame); roiFrame region_interest(grayFrame) ; 3. Trích chọn mặt nạ đối tượng chuyển động và tiền xử lý binaryImage  EMB(roiFrame); filterBinaryImage  morphology(binaryImage); 4. Phát hiện khối và gán nhãn cho khối Block[i]  SLBBI(filterBinaryImage) 5. Phát hiện và theo dõi luồng quang for each(c in blocks) If (c satisfy as vehicle)  Generate tracking point Pi in object c 82 Pi +1 = optical_follow(Pi) 6. Thực hiện đếm xe For each(tracking point Pi) If (Pi + n) reach counting line  Count++; else delete Pi; 7. Return Count; 2.3.2. Thuật toán phát hiện và gán nhãn cho khối (SLBBI) Mô tả thuật toán: Giả sử có ảnh nhị phân như hình dưới (màu đen là nền, màu trắng là đối tượng). Duyệt qua lần lượt các điểm ảnh theo từng hàng. Từ trái qua phải, từ trên xuống dưới. Có các trường hợp xảy ra như là: điểm ảnh là nền, điểm ảnh là đối tượng. Khi điểm ảnh là đối tượng, xét các điểm ảnh lân cận. Căn cứ vào các điểm ảnh lân cận mà quyết định gán nhãn cho điểm ảnh là nhãn đã gán hoặc mở nhãn mới. Sơ đồ khối tổng quát của phương pháp thể hiện trong Hình 2.2. Ý tưởng của phương pháp: (a) (b) (c) (d) (e) (f) 83 (g) (h) (i) (k) Hình 2.2. Minh họa thuật toán gán nhãn cho khối Trong đó: (a) Bắt đầu duyệt ảnh từ trái qua phải, từ trên xuống dưới (b) Xác nhận một vùng mới có các lân cận chưa gán nhãn (c) Thiết lập điểm ảnh hiện tại và tăng nhãn lên 1 (d) Kiểm tra các lân cận tiếp theo (e) Gán nhãn cho lân cận bên cạnh (f) Dịch chuyển đến vùng mới bên phải (k) Kết quả gán nhãn Thuật toán SLBBI tương tự như thuật toán gán nhãn vùng trong ảnh, đã có nghiều công trình nghiên cứu cài đặt thử nghiệm. Trong nghiên cứu của luận án không trình bày lại thuật toán này mà chỉ sử dụng kết quả của các nghiên cứu có trước. 2.3.3. Thuật toán trích chọn luồng quang học (EBOF) Mô tả thuật toán: Xây dựng hàm biểu diễn ảnh theo hình kim tự tháp, trong công trình [14], [18] đã xây dựng cách biểu diễn ảnh ở các mức khác nhau, theo hình kim tự tháp. Áp dụng cách biểu diễn này để xây dựng thuật toán Lucas-Kanade, xác định mối liên quan giữa 2 điểm ảnh trên 2 khung hình khác nhau. Cho ảnh I(nx,ny); Đặt I0=I là ảnh mức 0, với ; Biểu diễn truy hồi ảnh mức 1 qua ảnh mức 0, mức 2 qua mức 1,... 84 ( ) ( ( ( ( [ ) ( ) ) ( )) ( ( ) ) ( (2.45) ( ) ) ( )) Để đơn giản trong các ký hiệu, chúng ta có thể viết như sau: ( ( ( ) ) ) ( ( [ ( ( ( ( ) ) ) ) ) ( ( ) (2.46) ) ) ( ) trong đó: , (2.47) , (2.48) Phương pháp luồng quang học, Trần Thanh Việt và cộng sự, năm 2011 [3] thực hiện bằng cách sử dụng các vector có hướng của các đối tượng chuyển động theo thời gian để phát hiện các vùng chuyển động trong một ảnh. Trong [3], đã trình bày nghiên cứu kỹ thuật luồng quang học để ứng dụng thử nghiệm theo vết đối tượng trong camera và dựa trên các hành vi của đối tượng để điều khiển thiết bị máy tính như chuột, lướt web, ra các sự kiện bấm chuột, bấm đúp chuột, phóng to, thu nhỏ. Ý tưởng quan trọng của phương pháp tính luồng quang học dựa trên giả định: Bề ngoài của đối tượng không có nhiều thay đổi (về cường độ sáng) khi xét từ khung hình thứ n sang khung hình n+1. Nghĩa là: (̅ ) (̅ ̅ ) (2.49) 85 Trong đó là hàm trả về cường độ sáng của điểm ảnh tại thời điểm t (khung hình thứ t) là tọa độ của điểm ảnh trên bề mặt (2D), là vector vận tốc, thể hiện sự thay đổi vị trí của điểm ảnh từ khung hình thứ t sang khung hình t+1). Gọi xt = {xm,t; m =1,…,M} là tập các đối tượng tại thời điểm t. Trong đó, M là số đối tượng có trong hệ thống, M có thể thay đổi theo thời gian. Gọi là tập biểu diễn kết quả phát hiện đối tượng của hệ tại thời điểm t tương ứng. Ta có: { } (2.50) D là số đối tượng phát hiện được. Gọi { || || } với ngưỡng cho trước là tập các kết quả phát hiện “cũ”, được hiểu theo nghĩa, nếu một phát hiện trong thời điểm t quá gần với một trạng thái đã có tại thời điểm t-1 thì nó sẽ được xem là trùng với đối tượng đó. Một cách gần đúng, giả định những phát hiện này xuất phát từ đối tượng đã có từ thời điểm t-1 trước đó. Tương tự, ta định nghĩa là tập những phát hiện “mới”, được hiểu là giữa tập các điểm mới và tập các điểm cũ cách nhau một khoảng d. Trích chọn luồng quang học tức là theo dõi cùng một điểm ảnh giữa các khung hình, xem nó có chuyển động hay không. Luồng quang học rất cần thiết cho việc xác định đối tượng chuyển động trong vùng quan sát. Giả sử điểm ảnh tại thời điểm bắt đầu vùng quan sát, sau 1 thời gian t, tiếp cận đến điểm kết thúc của vùng quan sát, điều này có thể kết luận có 1 đối tượng chuyển động. Nội dung thuật toán: Thuật toán theo dõi xe thông qua luồng quang học EBOF Đầu vào: Video (online or offline) Đầu ra: Đặc trưng của véc tơ luồng quang học v Các bước thực hiện: 1) For each foreground frame at time t 2) If mod(t,Tof)=0 then 2.1. f1  BF 86 2.2. Top(BF)  f2 2.3. Lucas-Kanade(f1,f2) 2.4. Feature V Function Lucas-Kanade(I,J) { 1) Image Description ImageLevelFunction(I) ImageLevelFunction(J) [ Init [ ] ] 2) for L=Lm downto 0 with step=-1 [ 2.1. ] 2.2. ( ) ( ) ( ) 2.3. ( ) ( ) ( ) 2.4. ∑ 2.5. ∑ [ [ ( ( ) ) ( ( ) ) ( ( ) ) ] ] 2.6. for k=1 to K with step=1 { 3) 4) v = u + d 5) Return v } Độ phức tạp tính toán trích chọn luồng quang học: O(n2). 2.3.4. Kết quả thực nghiệm. Theo kết quả trong nghiên cứu công bố trong công trình công bố số 3, mức độ hợp khối (dính nhau) của các phương tiện giao thông là số phương tiện trong vùng quan tâm hoàn toàn độc lập, có dính nhau đôi một, có dính nhau nhiều. Khi không có sự dính khối, luồng quang học được xác định rõ ràng hơn, nên kết quả nhận dạng và đếm dễ dàng. Mật độ được gọi là thưa nếu số lượng tại thời 87 điểm xét trong vùng quan tâm chỉ có duy nhất một phương tiện; mật độ được gọi là tương đối thưa, tại thời điểm xét, số phương tiện nhiều hơn 1, nhưng không có sự chồng lấp, che khuất nhau; và mật độ được gọi là dày đặc, nếu số lượng phương tiện lớn hơn 1, nhưng có sự chồng lấp lên nhau và che khuất nhau. Hệ thống thực nghiệm áp dụng GMM thích nghi sự biến đổi ánh sáng kết hợp luồng quang học đếm số lượng xe trong vùng quang tâm. Hệ thống được cài đặt trên môi trường Microsoft Vision Studio 12 và thư viện mã nguồn mở EMGU. Dữ liệu đầu vào được thu thập thực tế tại 5 cung đường: Cao tốc Bắc Thăng Long - Nội bài; Đại lộ Thăng Long; Quốc lộ 1 khu vực cầu Bồ Sơn - Bắc Ninh; Quốc lộ 5 đoạn đi qua cầu vượt Như Quỳnh. Mỗi cung đường bao gồm 7 đoạn video thu thập dưới các điều kiện thời tiết khác nhau. Các ảnh liên tiếp sử dụng trong thực nghiệm được ghi lại bởi một camera màu đặt ở chính giữa làn đường phía trên một cầu vượt. Hướng của camera song song với hướng chuyển động của đối tượng. Bảng 2.3. Dữ liệu thực nghiệm Cung đường Bắc Thăng Long Đại lộ Thăng Long Quốc lộ 1 Quốc lộ 5 Nắng Mây Số lượng video/khung hình thu thập Ngày Buổi Lúc mặt Sương mưa trưa trời lặn mù Mưa ban đêm 1 phút/ 1 phút/ 1 phút/ 1 phút/ 1 phút/ 1 phút/ 1 phút/ 1500frame 1500frame 1500frame 1500frame 1500frame 1500frame 1500frame 1.5 phút/ 1.5 phút/ 1.5 1.5 phút/ 1.5 phút/ 1.5 phút/ 1.5 phút/ 2250frame 2250frame 2250frame 2250frame 2250frame 2250frame 2250frame 1 phút/ 1 phút/ 1 phút/ 1 phút/ 1 phút/ 1 phút/ 1 phút/ 1500frame 1500frame 1500frame 1500frame 1500frame 1500frame 1500frame 1.1 phút/ 1.1 phút/ 1.1 phút/ 1.1 phút/ 1.1 phút/ 1.1 phút/ 1.1 phút/ 1650frame 1650frame 1650frame 1650frame 1650frame 1650frame 1650frame Thực nghiệm so sánh trên 112 đoạn video tại 4 cung đường khác nhau. Thử nghiệm trên máy tính tốc độ xử lý 2.5GHz. Trước hết so sánh mục tiêu ảnh hưởng của mức độ dày đặc của luồng phương tiện (số lượng xe di chuyển trong 1 phút), chất lượng video ảnh hưởng đến mức độ chính xác, tiếp theo sau đó thực hiện thử nghiệm thời gian xử lý của thuật toán. 88 Hình 2.3. Dữ liệu video quay trên đường quốc lộ 5, hướng Hải phòng - Hà Nội a) Đối tượng chuyển động trên quốc lộ 5, hướng từ Hải phòng về Hà Nội. - Ký hiệu: V1[i,j,k] - Buổi sáng, trưa, chiều, tối ứng với i=0,1,2,3 - Trời nắng, trời mưa, ứng với j=0,1 - Số thứ tự video ứng với k=0,1,...,9 b) Đối tượng chuyển động trên đường liên tỉnh, hướng Lương Tài về Quốc lộ 5 - Ký hiệu: V2[i,j,k] - Buổi sáng, trưa, chiều, tối ứng với i=0,1,2,3 - Trời nắng, trời mưa, ứng với j=0,1 - Số thứ tự video ứng với k=0,1,...,9 c) Đối tượng di chuyển chiều Hà Nội đi Lạng Sơn - Ký hiệu: V3[i,j,k] - Buổi sáng, trưa, chiều, tối ứng với i=0,1,2,3 - Trời nắng, trời mưa, ứng với j=0,1 89 - Số thứ tự video ứng với k=0,1,...,9 Hình 2.4 minh họa dữ liệu video đầu vào ở các mức độ mật độ giao thông khác nhau tại một số cung đường cao tốc ở phụ cận Hà Nội. a) Xe trên đường đại lộ Thăng Long. Time: 1m14s; Size: 640x480; Frame rate: 15 frame/s; Mức độ khối: đơn xe b) Xe trên sân bay nội bài Time: 1m06s; Size: 704x480; Frame rate: 7frame/s. Mức độ khối: có dính đôi c) Xe trên cầu Thanh Trì Time: 1m14s; Size: 640x480; Frame rate: 15 frame/s; Mức độ khối: dính nhiều Hình 2.4. Một số hình ảnh từ camera đưa vào thực nghiệm Hình 2.5, minh họa một số giao diện của hệ thống thực nghiệm. Hình bên trái thể hiện vùng quan sát. Hình bên phải trên thể hiện các đốm sáng phát hiện đối tượng chuyển động và đánh dấu luồng quang học. Hình bên phải dưới là mặt nạ nhị phân sau khi thực hiện hiện phép trừ nền. Hình 2.5. Giao diện kết quả thực nghiệm của hệ thống Sau khi tiến hành thử nghiệm và so sánh với các kỹ thuật trừ ảnh và trừ nền về mức độ lỗi trung bình, độ nhiễu và tỷ lệ chính xác khi gặp phải nguồn ảnh hoặc nguồn video chất lượng thấp, hoặc mức độ dày đặc của dòng phương tiện thì phương pháp lồng quang học kết hợp tái chọn mẫu đạt được độ ổn định qua bảng đánh giá sau: 90 Bảng 2.4. Phản ứng với mật độ xe trên các cung đường Số khung hình theo dõi Mức độ dính khối Số lượng thực Số lượng đếm bằng phần mềm Độ chính xác Cầu Như Quỳnh 1450 Tách rời nhau 35 35 100% Đại lộ Thăng Long 1110 Dính nhau từng đôi 115 120 95.83% Sân bay nội bài 462 Dính nhau ba 70 80 87.50% Cầu Thanh Trì 1450 Dính nhau nhiều 170 185 87.17% Cung đường Tại Bảng 2.4, thấy rằng hệ thống phản ứng với mật độ rất rõ nét; khi các xe không chồng lấp lên nhau độ chính xác lên tới 100%; ở mật độ dày tăng lên, các xe có sự chồng lấp hoặc bóng hình làm chồng chấp, thuật toán tách khối chưa được áp dụng, dẫn đến sai số. Số lượng xe đếm được của hệ thống có xu hướng cao hơn số lượng thực, lý do có thể do ngưỡng đặt phân khối ô tô còn bé, hệ thống có thể đếm nhầm sang xe máy. Các vấn đề này có thể khắc phục khi hệ thống được phát triển kết hợp bài toán phân loại và theo dõi các loại đối tượng độc lập (đếm cả đếm xe máy và các phương tiện khác). Bảng 2.5. So sánh thời gian xử lý của thuật toán với mỗi khung hình Phương pháp Tốc độ xử lý ứng với mật độ phương tiện (ms) Thưa Trung bình Dày đặc GMM truyền thống 17.86 17.67 17.06 Phương pháp đề xuất 6.28 9.56 16.09 Từ Bảng 2.5, có thể thấy rằng, trong cảnh với mật độ thưa và trung bình, thời gian xử lý trung bình của phương pháp đề nghị được cải thiện đáng kể; Trong khi mật độ dày đặc, thời gian xử lý trung bình trong kỹ thuật đề nghị đã được cải thiện ít hơn. Lý do chính do sự thay đổi tỷ lệ học α phù hợp với sự thay đổi ánh sáng, nên số bước lặp sẽ giảm xuống, tốc độ phát hiện nền nhanh hơn. 91 Nhận xét về phương pháp: - Lựa chọn mô hình hỗn hợp Gauss, cải tiến việc lựa chọn tham số học để thích nghi với sự thay đổi ánh sáng. - Kết hợp với lưu lượng dòng quang học để phát hiện xe và đếm xe. - Vấn đề chính là lựa chọn ngưỡng để theo dõi đối tượng (độ rộng, độ dài) của khung bao đối tượng. Nếu chọn mức bé thì ảnh hưởng đến tốc độ tính toán, nếu chọn lớn thì ảnh hưởng đến độ chính xác. Với ngưỡng lớn thì những đốm sáng (lưu lượng quang học) của hai phương tiện gần nhau có thể hợp thành một, tạo ra sự phát hiện sai. - Một vấn đề đặt ra, thực hiện theo giải pháp này thì chưa có tính phân loại đối tượng. Giải pháp này mới dừng lại ở việc trả lời cho câu hỏi: có bao nhiêu đối tượng đang chuyển động trong khung hình quan tâm. 2.4. Kết luận chương 2. Chương 2 đã trình bày và đề xuất trích chọn đặc trưng đối tượng chuyển động theo BSM; phân tích đặc điểm từng phương pháp, rút ra để giảm bớt sự ảnh hưởng của ánh sáng trong môi trường ngoài trời của video giao thông cần sử dụng mô hình GMM cải tiến; trình bày phương pháp mô hình nền GMM và cải tiến mô hình nền GMM thích nghi với sự thay đổi ánh sáng. Bao gồm: 1. Trình bày nội dung và đánh giá một số thuật toán phát hiện đối tượng chuyển động bằng phương pháp trừ nền. Bao gồm 5 thuật toán: Thuật toán trừ nền cơ bản; Thuật toán trừ nền trung bình; Thuật toán -; Thuật toán - cải tiến; Thuật toán thống kê khác biệt cơ bản. Cả 5 thuật toán đều có những mặt ưu điểm và hạn chế, tùy theo điều kiện cụ thể mà có thể áp dụng. Tuy nhiên đối với bài toán phát hiện phương tiện chuyển động trong video giao thông, với điều kiện ngoài trời thì cần có sự xem xét đến yếu tố tác động của thay đổi ánh sáng. 2. Đề xuất phương pháp mô hình nền GMM thích nghi với sự thay đổi ánh sáng. Sử dụng mô hình GMM thích nghi với tham số ánh sáng để trích chọn khối đối tượng chuyển động phù hợp với môi trường ngoài trời, trong bài toán xác 92 định mật độ phương tiện giao thông. Việc tính toán tham số α được thực hiện là một hàm thông qua phân tích chế độ ánh sáng , sẽ mang lại sự phản ứng của mô hình tốt hơn về thích nghi nhanh với ánh sáng thay đổi. Hệ số  được tính thông qua công thức (2.33) và (2.34); Hệ số α được tính theo công thức (2.38); Trong đó i là hệ số thể hiện sự thay đổi ánh sáng (đột ngột i=1; dần dần i=0) ở công thức (2.37); Sự thay đổi dần dần, hay đột ngột được tính toán công thức (2.36). 3. Đề xuất phương pháp áp dụng thuật toán GMM thích nghi thay đổi ánh sáng kết hợp luồng quang học để đếm số lượng xe chuyển động trên đường cao tốc. Kết quả thực nghiệm cho thấy hệ thống phản ứng tốt với sự thay đổi ánh sáng, phù hợp với điều kiện thời tiết ngoài trời. Các kết quả được công bố tại công trình công bố số 3. 93 Chương 3. PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO DỰA TRÊN ĐẶC TRƯNG HÌNH DẠNG Chương này trình bày một số phương pháp phân loại phương tiện: Phân loại dựa trên hình dạng; Phân loại dựa trên độ dài dựa trên cơ sở lý thuyết mômen bất biến; Phân tích và biểu diễn đường viền phương tiện trên trường số phức; Phương pháp nhận dạng phương tiện dựa trên biểu diễn đường viền trên trường số phức. 3.1. Phân đoạn khối phương tiện dựa trên kích thước 3.1.1. Phân tích kích thước phương tiện Ảnh thu được từ phép trừ nền, trong đó các phương tiện có thể tạo thành một khối, gây ra việc đếm sai, cần phải theo dõi và phân tách chúng riêng ra. Một trong những cách giải quyết là theo dõi đối tượng chuyển động dựa trên độ dài. (a) ô tô con (b) 2 ô tô dọc (c) 2 ô tô lệch phải (d) 2 ô tô lệch phải (e) 1 xe máy (f) 2 xe máy trước sau (g) 2 xe máy ngang nhau Hình 3.1. Phân tích kích thước khối xe ô tô con Phương pháp phân đoạn và nhận dạng khối ô tô sử dụng chiều dài và chiều rộng để phát hiện và nhận dạng các loại ô tô khác nhau từ các đối tượng trong khối, hoặc đối tượng đơn lẻ. 94 Do chiều dài và rộng của xe thay đổi theo kiểu xe, nên phân loại sơ bộ bằng chiều dài và chiều rộng. Nếu chiều dài của một đối tượng chuyển động là khoảng 15-17m, chiều rộng vào khoảng 3-4m, thì đối tượng đó được phân loại là một ô tô to như xe bus hay xe tải. Nếu chiều dài của đối tượng giữa khoảng 4,5-7,5m, chiều rộng giữa khoảng 1,4-3,0m, đối tượng chuyển động đó được xem như xe nhỏ, ví dụ như VAN, chuyên dùng, sedan, hay xe tải nhỏ1. Sau khi phân loại sơ bộ, phương pháp nhận dạng sẽ phân loại chính xác các xe nhỏ. Mệnh đề 3.1. Tỷ lệ chiều dài/rộng của xe Gọi U={ui, i=1..n} và V={vi, i=1..n} là tập chiều dài và tập chiều rộng của xe (ô tô, xe máy), tương ứng. K={ki=ui/vi, i=1..n} là tập tỷ lệ giữa chiều dài và chiều rộng của xe. Bộ số liệu Z=KV={zj, j=1..nn} có tính chất zizj, với  ij, (i,j  [1..nn]). Bằng thực nghiệm thống kê (Phụ lục 1) hoàn toàn có thể kiểm nghiệm được mệnh đề trên là đúng. Tỷ lệ chiều dài xe/rộng kết hợp với xem xét chiều rộng xe mang lại các bộ số liệu khác nhau, có thể phân loại được loại của phương tiện (O) là xe máy (XM), xe con (XC), xe tải (XT). Kết quả phân tích thống kê trong phụ lục 1. Gọi: d1=[1.44  1.55] ; d2 =[0.8  1.00] ; d3=[1.451.55] ; v1=[0.6750.740] ; v2=[1.4951.910] ; v3=[2.2402.500]. Ta có: ( ) ( ) ( ) ( ) (3.1) ) ( ) ( { Hình 3.11a thể hiện hình ảnh một xe con, hình 3.11g thể hiện hình ảnh của một cặp xe máy dính khối. Trong một số trường hợp khi mà tỷ lệ cao/rộng và chiều rộng của khối có thể nhập nhằng giữa một khối là ô tô với một khối là tập hợp xe máy thì xác định thêm thông số diện tích của đường viền bao quanh khối. Mệnh đề 3.2. [Diện tích đối tượng ảnh] 1 Xem “Các dạng xe” ở phụ lục 2 95 Gọi A và B là ảnh của xe một ô tô và một khối xe máy có cùng kích thước hộp bao C(l, w) có chiều dài l và chiều rộng w, gọi DT(A) và DT(B) là diện tích của A và B trong ảnh, tương ứng, gọi CV(A) và CV(B) là chu vi đường bao của khối ô tô và khối xe máy tương ứng. Ta có: ( ) ( ) ( ) ( ) (3.2) Hình chiếu của khối ô tô lên không gian 2D gần với đa giác lồi hơn so với hình chiếu của khối xe máy, hay nói cách khác khối xe máy trong không gian 2D có hình chiếu gần với đa giác lõm hơn. Do vậy, khi hai khối xe ô tô và xe máy có cùng kích thước chiều dài, chiều rộng, thì tỷ lệ giữa diện tích và chu vi của khối ô tô sẽ lớn hơn tỷ lệ của khối xe máy tương ứng (Theo tính chất của đa giác lồi, đa giác lõm). 3.1.2. Thuật toán phân loại theo kích thước Bắt đầu Khối phương tiện Tính toán tham số khối Được Đúng Lớn hơn khối đôi Tách khối Không được Sai 1 xe máy Sai Khối đôi Không phân loại 1 xe con Đúng 2 xe máy 2 xe con 1 xe tải 2 xe tải Kết thúc Hình 3.2. Sơ đồ tổng quát phân giải theo độ dài 96 Thuật toán phân loại phương tiện dựa trên kích thước (CVIL) Input: Các khối chuyển động (kết quả thuật toán EMB) Output: Loại phương tiện (ô tô con, ô tô tải, xe máy) Nội dung thuật toán: 1. Trích chọn các khối chuyển động //Sử dụng thuật toán EMB => danh sách các khối Block[i] n=DemSoKhoi(FG) For i = 1 to n Block[i] = XacDinhKhoi(FG) 2. Đối với mỗi khối chuyển động Block[i], tính toán tham số khối For i = 1 to n { u= ChieuDai(Block[i]) v= ChieuRong(Block[i]) } 3. Phân giải khối - Tỷ lệ chiều dài/chiều rộng k=u/v - Nếu thuộc khối xe máy if (v v1){ if (k  d1)  XM if (|k - Max{d1}| ≤  )  2XM if (|k =Max{d1}/2| ≤  )  2XM } - Xử lý khi thuộc khối xe con if (v v2) { if (k  d2)  XM if (|k - Max{d2}| ≤  )  2XC if (|k - Max{d2}/2| ≤  )  2XC } - Xử lý khi thuộc khối xe tải if (v v3){ if (k  d3)  XT if (|k - Max{d3}| ≤  )  2XT 97 if (|k =Max{d3}/2| ≤  )  2XT } - Nếu v không thuộc v1,v2,v3 thì: If (vv3) Phân tách khối 4. Phân tách khối If (Phantach(Block) = True)  Quay lại bước 3 else  Stop. Độ phức tạp của thuật toán CVIL: - Độ phức tạp của thuật toán CVIL phụ thuộc chính vào thuật toán EMB, do đó ta có độ phức tạp của thuật toán CVIL là O(NF  n  m). - Sai số cho phép  là giá trị sai khác về kích thước cho phép khi tính toán. Tham số này có thể được chọn qua phương pháp thực nghiệm. - Kỹ thuật phân tách khối liên quan nhiều đến kỹ thuật ghép biên, chia cắt biên, nối liền biên,... được xem như là một thách thức cho bài toán nghiên cứu tiếp tục. Một phương pháp tách khối ô tô được trình bày trong phần 3.3. - Trong một số trường hợp cụ thể có thể dùng phương pháp máy học để nhận dạng và phân loại trực tiếp những khối không rõ ràng này. Vấn đề này được trình bày trong mục 3.4. Kết quả thực nghiệm: Hệ thống thực nghiệm được cài đặt trên môi trường Microsoft Vision Studio 12 và thư viện mã nguồn mở EMGU. Sử dụng kết quả của thực nghiệm ở chương 2 để xác định các khối phương tiện (ô tô). Tham số chiều rộng, chiều dài trung bình một số loại xe của nhà sản xuất trong phụ lục 1. Dữ liệu đầu vào sử dụng bộ dữ liệu như đã sử dụng trong thực nghiệm ở chương 1, được thu thập thực tế tại 4 cung đường: Cao tốc Bắc Thăng Long Nội bài; Đại lộ Thăng Long; Quốc lộ 1 khu vực cầu Bò Sơn - Bắc Ninh. Mỗi cung đường bao gồm 7 đoạn video thu thập dưới các điều kiện thời tiết khác nhau. 98 Bảng 3.1. Kết quả thực nghiệm thuật toán CVIL TT Cung đường 3 Bắc Thăng Long Đại lộ Thăng Long Quốc lộ 1 4 Quốc lộ 5 1 2 Số khung hình theo dõi (Frame) 1500 Thực hiện đếm Xe tải lớn Xe tải nhỏ Xe con Xe tải lớn Xe tải nhỏ Xe con Tỷ lệ chính xác TB (%) 2 3 10 2 5 12 81.11 2250 2 5 14 2 6 16 90.27 1500 4 5 11 4 6 13 89.31 1650 5 8 17 5 10 21 86.98 Trực tiếp bởi người Bằng hệ thống Bảng 3.1 cho thấy khi giao thông đông đúc (số lượng phương tiện tăng lên trong cùng một đơn vị thời gian) các ảnh chứa nhiều khối ô tô chồng lấp nhau liên tiếp, độ chính xác của hệ thống giảm. Thuật toán CVIL chỉ dựa trên hai tham số của xe đó là chiều dài và chiều rộng của các xe đơn, xe dính khối, chưa quan tâm đến vấn đề trọng tâm và vector khoảng cách từ tâm tới đường biên của khối. Một hạn chế nữa CVIL chưa xét đến phân loại xe máy và tập hợp xe máy, một loại phương tiện khá phổ biến ở Việt Nam hiện nay. Trong phần tiếp theo, trình bày thuật toán tương tự nhưng tham khảo thêm các tập huấn luyện tính thêm cả véc tơ khoảng cách để nhận diện thêm các phương tiện xe máy. 3.2. Phân loại phương tiện bằng kết hợp kích thước ảnh và hình chiếu hình dạng khối phương tiện Năm 2012, nhóm nghiên cứu Wei Zhan, Junkai Yang trong công trình nghiên cứu "Thiết kế hệ thống nhận dạng loại xe tự động, thời gian thực và ứng dụng của nó" [25] cũng đã sử dụng kết hợp hình dạng và khoảng cách nhưng các tác giả đã sử dụng kích thước ảnh và véc tơ hình dạng để phân loại và đếm xe. Trên thực tế có thể dùng kích thước tính xấp xỉ để phân loại. Cách tiếp cận được trình bày ở các mục dưới đây. 99 3.2.1. Ý tưởng phương pháp Ảnh đối tượng chuyển động thu được từ BSM tồn tại các khối đối tượng phương tiện chuyển động. Dùng thuật toán loại bỏ nhiễu qua xác định kích thước khối để loại bỏ những khối nhỏ ra khỏi ảnh đối tượng. Dùng thuật toán gán nhãn hoàn toàn có thể tách và đánh số các khối đối tượng này. Với mỗi khối hoàn toàn xác định được độ dài, độ rộng của khối, vector biểu diễn hình dạng của đối tượng. Gọi l, w là chiều dài, chiều rộng của khối; gọi tập {d1, d2,...dn} là vector biểu diễn hình dạng đối tượng theo vector khoảng cách từ tâm khối đến đường biên của khối. Tập thuộc tính của khối được xác định là: (l, w, d1, d2,...,dn). Nếu chỉ dựa trên tập vector khoảng cách {d1, d2,...dn} hoàn toàn có thể phân loại được khối thuộc tập hợp phương tiện gì (xe máy; ô tô; tập hợp xe ô tô, xe máy,...). Tuy nhiên với dựa trên tính chất độ dài, rộng (l,w) của từng khối phương tiện, có thể kết luận nhanh khối đối tượng là khối gì. a.Hình mẫu các dạng khối b.Biểu diễn hình dạng khối CSDL hình dạng 1. Thu nhận Video, Xác định ROI, Trích chọn khung hình, Tìm đối khối, Tìm khối và gán nhãn 2. Tính toán tham số khối 3. Phân giải hình dạng 4.Phân loại Hình 3.3. Sơ đồ tổng quát phân loại theo hình dạng Phương pháp đề nghị phối hợp phân loại dựa trên hình dạng (hình chiếu, trọng tâm và khoảng cách) kết hợp với phân tích độ dài, độ rộng khối đối tượng mang lại sự phân loại nhanh chóng và chính xác, phân loại được đa dạng hơn về chủng loại phương tiện, đặc biệt là ô tô con, xe tải, xe máy, và tập hợp các đối tượng dính khối trong trường hợp đông đúc. - Khối (1), xử lý theo phương pháp đề xuất ở chương 2; 100 - Khối (2), biểu diễn hình dạng theo vector khoảng cách, độ dài, độ rộng. - Khối (3), so khớp độ dài, độ rộng ảnh và so khớp vector khoảng cách theo các chỉ số xác định trước trong CSDL. - Khối (a) và (b), huấn luyện các hình dạng, độ dài, độ rộng đối tượng trước và lưu trữ vào CSDL trong hệ thống. 3.2.2. Giai đoạn chuẩn bị CSDL Các bước tiến hành: Sưu tập hình mẫu; Xác định kích thước chiều dài, chiều rộng; Vector hóa hình chiếu đối tượng; Đánh chỉ số Index cho các Template trong tập mẫu đối sánh; Đưa ra một tập luật để so sánh nhanh theo khoảng cách, kích thước khối. Bước 1. Sưu tập hình mẫu  1 xe máy độc lập: một số loại xe như xe tay ga, xe nam, vespa,...  2,3,4,5 xe máy hợp khối theo các hình dạng khác nhau  1 xe ô tô hợp với 1,2,3,4,5 xe máy  Số mẫu sưu tập gọi là n.  Xác định kiểu hình mẫu: BlockStyle (0,1,2,3,4 tương ứng với: chưa phân loại; 1 xe máy; 1 ô tô con; 1 xe tải; hỗn hợp xe máy và ô tô). Bước 2. Xác định kích thước chiều dài, chiều rộng của khối  Xác định chiều rộng, chiều dài của khối (width, length)  Chuẩn hóa tỉ lệ kích thước tương ứng giữa chiều dài và chiều rộng. Ví dụ, độ rộng của khối là 2, độ dài là 5, chuẩn hóa tỷ lệ là [0.286, 0.714]. Bước 3. Vector hóa hình chiếu đối tượng (đa giác)  Xác định số đỉnh của đa giác: m  Xác định trọng tâm của đa giác (xc, yc)  Xác định độ dài khoảng cách từ tâm tới các đỉnh của đa giác [s1,s2,...,sm]  Chuẩn hóa vector khoảng cách [d1,d2,...,dm] Bước 4. Đánh chỉ số Index cho các Template trong tập mẫu đối sánh  Gọi tập mẫu là Template, cấu trúc của 1 Template thông qua các chỉ số, kiểu khối, độ rộng, độ dài khối và giá trị khoảng cách tương ứng. 101  Template(Index, BlockStyle, width, length, d1,d2,...,dm) o Index: 0,1,..., n; tương ứng với số lượng mẫu. o BlockStyle: 0, 1, 2 Bước 5. Đưa ra một tập luật để so sánh nhanh theo khoảng cách, kích thước khối và loại phương tiện. Bảng số liệu thống kê một số giá trị thực về độ dài, rộng, cao của phương tiện do các nhà sản xuất ô tô, xe máy được thu thập và thống kê trong bảng 1 (phần phụ lục).  Tập luật nhận dạng xe ô tô hay xe máy o 1 Xe máy: Tỷ lệ cao/rộng  [1.441.55], rộng  [0.6750.740] o 1 Xe con: Tỷ lệ cao/rộng  [0.801.00], rộng[1.4951.910] o 1 Xe tải: Tỷ lệ cao/rộng  [1.451.55], rộng [2.2402.500] 3.2.3. Thuật toán phân loại dựa trên độ dài và hình chiếu đối tượng Thuật toán phân loại xe VCALOS Đầu vào: Video Đầu ra: Loại xe/Nhóm loại xe Các bước thực hiện: Bước 1. Nhận dữ liệu khối đối tượng chuyển động từ giai đoạn phát hiện. //Phát hiện khối chuyển động Frames  Trunc(Video) Foreground  EMB (Frames) //Chỉ số hóa/gán nhãn cho các block Block[i]  Foreground Bước 2. Đối với mỗi khối, xác định đặc tính tham số từng khối //Tính toán tham số khối For each Block[i] { - Tính chiều dài Length của Block[i] - Tính chiều rộng Weight của Block - Tính trọng tâm của Block - Tính chiều dài khoảng cách từ tâm tới đường biên của Block d1, d2,..., dm - Cập nhật thuộc tính của Block 102 Properties(i, 0, width, length, d1,d2,...,dm)  Block[i] //BlockStyle, mặc định là 0, vì chưa phân loại } // Cập nhật loại khối (BlockStyle) For each Properties[i] { - Tính tỷ lệ Height/width; - Xác định BlockStyle qua tập luật; Update Properties(i, BlockStyle, width, length, d1,d2,...,dm)} Bước 3. Phân giải khối phương tiện For each Properties[i] { - Nếu width không thuộc v1,v2,v3 thì: If (vv3)  Chuyển bước 4 } Bước 4. So khớp hình dạng For each Properties[i] { For each Template[Index] { Compare Properties[i] ? Template[Index] Loại xe/Nhóm loại xe }} Return Loại xe/Nhóm loại xe Độ phức tạp tính toán: - Theo thuật toán EMB, thì bước 1 và 2 số phép tính ước tính tương đương với O(NFnm), với NF là số khung hình; n là chiều dài, m là chiều rộng của mỗi khung hình. - Tại bước 3, kích thước tối đa của mỗi Block là một khung hình, số điểm ảnh thuộc Block cần duyệt qua tối đa là nm ~ O(n2). - Tại bước 4 và 5, số phép toán < O(n2). - Tổng số phép tính ước tính: O(NFnm) + O(n2) + O(n2) ~ O(NFnm) Kết luận, độ phức tạp ước tính của thuật toán VCALOS là O(NFnm), với NF là số khung hình, n và m là kích thước ảnh từng khung hình. Kết quả thực nghiệm: 103 Phương pháp thực nghiệm tương tự như đã thực hiện đối với thuật toán CVIL. Dữ liệu cũng sử dụng lại bộ dữ liệu thu thập được như với thuật toán CVIL. Tuy nhiên đối với các video ở cung đường Đại lộ Thăng Long, không có phương tiện xe máy tham gia giao thông, nên không thực hiện trong thực nghiệm. Bảng 3.2. Bảng kết quả thực nghiệm thuật toán VCALOS TT Cung đường 2 Bắc Thăng Long Quốc lộ 1 3 Quốc lộ 5 1 Số khung hình theo dõi (Frame) 1500 Thực hiện đếm Xe tải lớn Xe tải nhỏ Xe con Xe máy Xe tải lớn Xe tải nhỏ Xe con Xe máy Tỷ lệ chính xác TB (%) 2 3 10 19 2 5 12 20 84.58 1500 4 5 11 25 4 6 13 27 90.13 1650 5 8 17 24 5 10 21 26 88.31 Trực tiếp bởi người Bằng hệ thống Từ kết quả Bảng 3.2 cho thấy độ chính xác trung bình tăng lên so với thuật toán CVIL. Sự phân loại xe tải lớn về số lượng vẫn chính xác, sự biến động nhiều vẫn nằm nhiều ở xe tải nhỏ và xe con, và đối với xe máy cũng có nhiều sự sai số. 3.3. Phân loại phương tiện dựa trên đường viền biểu diễn bằng số phức Đường viền của đối tượng là một đường khép kín sau khi thực hiện các phương pháp trích chọn và xấp xỉ đường viền. Mô tả hình dạng đường viền bằng VC trên trường số phức, đồng thời áp dụng một số tính chất của vector số phức tương tự như tính chất của mô-men, dẫn đến khả năng so sánh và phân loại đường viền với nhau. Từ kết quả này có thể áp dụng để tiến hành nhận dạng các tập đường viền theo phương pháp máy học. Trước tiên huấn luyện và tạo ra 1 tập CSDL đối sánh tạo trước ở giai đoạn offline, sau đó giai đoạn online trích đường viền ra từ khối chuyển động và so sánh, đưa ra kết luận về số lượng phương tiện. 104 3.3.1. Sơ đồ khái quát Hình 3.4. Sơ đồ khối tổng quát phân loại theo đường viền Phân loại dựa trên đường viền được chia thành 2 pha: Pha huấn luyện và Pha phân loại. Sơ đồ khái quát được minh họa trong Hình 3.4. Các khối tăng cường ảnh, tìm đường viền áp dụng các thuật toán đã có trong xử lý ảnh. Điều quan trọng ở đây là tính toán đặc trưng của đường viền. Tuy nhiên để chuẩn hóa đường viền ở cả pha huấn luyện cũng như pha phân loại cần phải thực hiện phép cân bằng hóa đường viền hay còn gọi là xấp xỉ độ dài đường viền. 3.3.2. Xấp xỉ độ dài đường viền và thuật toán Douglas Peucker  Thuật toán Douglas Peucker Ý tưởng cơ bản của thuật toán Douglas-Peucker [29] là xét xem khoảng cách lớn nhất từ đường cong tới đoạn thẳng nối hai đầu mút đường cong (Hình 3.5) có lớn hơn ngưỡng θ không. Nếu điều này đúng thì điểm xa nhất được giữ lại làm điểm chia đường cong và thuật toán được thực hiện h > θ tương tự với hai đường cong vừa tìm được. Trong trường hợp ngược lại, kết quả của thuật toán đơn giản hoá là hai điểm đầu mút của đường cong. 105 Hình 3.5 Đơn giản hóa đường công theo thuật toán Douglas Peucker Các bước thực hiện thuật toán Douglas-Peucker: • Bước 1: Chọn ngưỡng θ. • Bước 2: Tìm khoảng cách lớn nhất từ đường cong tới đoạn thẳng nối hai đầu đoạn đường cong h. • Bước 3: Nếu h ≤ θ thì dừng. • Bước 4: Nếu h > θ thì giữ lại điểm đạt cực đại này và quay trở lại bước 1. Thuật toán Douglas-Peucker: //Hàm tính đường cao từ dinh đến đoạn thẳng nối hai điểm dau, cuoi float Tinhduongcao (POINT dau, POINT cuoi, POINT dinh) { floot h; || tính đường cao returm h ; } //Hàm đệ quy nhằm đánh dấu loại bỏ các điểm trong đường cong void DPSimple(POINT *pLINE,int dau,int cuoi,BOOL *chiso,float θ) { int i, index = dau; float h, hmax = 0; for(i = dau + 1; i < cuoi; i++) { h= Tinhduongcao(pLINE[dau], pLINE[cuoi]; pLINE[i]); if(h > hmax) { hmax = h; index = i; } } if(hmax ≤ θ) for(i= dau + 1; i < cuoi, i++) chiso[i] = FALSE; else { DPSimple(PLINE, dau, index, chiso, θ); DPSimple(PLINE, index, cuoi, chiso, θ) ; } 106 } //Hàm rút gọn số lượng điểm DouglasPeucker int DouglasPeucker(POINT *pLINE, int n, float θ){ int i, j; BOOL chiso [MAX_PT]; for(i = 0; i < m; i++) //Tất cả các điểm được giữ lại chiso[i] = TRUE; DPSimple(pLINE, 0, n – 1, chiso, θ); for(i = j = 0; i < n; i ++) if (chiso [i] ==TRUE) pLINE[j++] = pLINE[i]; return j; } Theo [29] thì thuật toán DouglasPeucker có độ phức tạp tính toán là O(nlog2(n)) với n là số đỉnh của đường cong cần đơn giản hóa.  Xấp xỉ độ dài đường viền Hình 3.6. Xấp xỉ hóa đường viền Như đã trình bày ở trên về phương pháp CA, cần xác định độ dài của đường viền.Trong một bức ảnh thực, đường viền có độ dài bất kỳ. Do đó việc tìm kiếm và so sánh đường viền, tất cả chúng cần có số đỉnh đồng nhất. Quá trình này gọi là quá trình cân bằng. Đầu tiên sẽ cố định số đỉnh của VC chuẩn (ở pha huấn luyện) sẽ sử dụng trong hệ thống nhận diện, ký hiệu là p. Sau đó với mỗi đường viền A mới được tạo ra, ta tạo một đường viền vector N với độ dài p. Và có thể có 2 biến thể, hoặc đường viền ban đầu có số đỉnh lớn hơn số p hoặc nhỏ hơn số p. Nếu một đường viền ban đầu cần thiết để được sắp xếp bởi EV, ta sẽ quan tâm tới thành phần N như tổng của các EV. Quá trình cân bằng hóa, tương tự như quá trình thực hiện đơn giản hóa đường cong Douglas Peucker [29] (Hình 3.6). 107 Giảm số đỉnh của đường cong: Complex[] newPoint = new Complex[newCount]; for (int i = 0; i < newCount; i++) { double index = 1d * i * Count / newCount; int j = (int)index; double p = index - j; newPoint[i] = this[j] * (1 - p) + this[j + 1] * p; } Vấn đề là cần chọn giá trị p. Độ dài p lớn có nghĩa là tiêu tốn một lượng phí lớn vào việc đánh giá. Còn giá trị p nhỏ cần ít thông tin, độ chính xác của việc nhận dạng cũng giảm và việc nhận dạng nhiễu tăng lên. 3.3.3. Thuật toán CCAVC CCAVC (Classification based on Contour Analysis Vector Complex) Pha huấn luyện. Chuẩn bị cơ sở dữ liệu Template (Thực hiện thủ công). Thuật toán huấn luyện đặc trưng phương tiện Input: Hình ảnh (Image), Ngưỡng đường viền (ThresoldContour), Số đỉnh đường viền (d) Output: Template(i) //Tập mẫu, số lượng mẫu tùy thuộc vào dữ liệu thực tế trong quá trình huấn luyện Nội dung thuật toán: 1. Chuẩn hóa về độ phân giải mong muốn Image  ChuanHoaDoPhanGiai(Image) 2. Tìm các đường viền n  SoDuongVien(Image) Contour(i)  TimDuongVien(Image), i=1..n 3. Chuẩn hóa các đường viền For i=1 to n {//Áp dụng thuật toán đơn giản hóa 108 Contour(i) DonGianHoa(Contour(i), d)} For i=1 to n {//Tính chu vi ChuVi(i)  TinhChuVi(Contour(i))} For i=1 to n {//Loại đường viền quá nhỏ ji if ChuVi(i)> ThresoldContour then { Countour(j)  Countour(i); j++}} m=j; //m là số đường viền sau khi loại bỏ đường viền nhỏ 4. Tìm đặc trưng các đường viền For i=1 to m {//Tính toán tham số đặc trưng CV(i)  Chuvi(Contour(i)) DT(i)DienTich(Contour(i)) for j=1 to d {//Tính góc tại các đỉnh goc(i,j)=TinhGoc(Contour(i),j) } 5. Cập nhật Template For i=1 to m { Template(i)  Template(i) + (i, CV(i), DT(i)) For j=1 to d Template(i)  Template(i)+ goc(i,j) } 6. Retrurn Template (i), i=1..m ______________________________________________________________ Pha phân loại. Nhận dạng trên các tập ảnh thực tế (Thực hiện online – thời gian thực): Thuật toán phân loại phương tiện dựa trên đường viền (CCAVC) Classification based on Contour Analysis Vector Complex Input: Video/Ảnh Output: ImageCountour (Ảnh có chứa đường viền phương tiện) 109 Nội dung thuật toán: 1. Thu nhận và Xử lý sơ bộ ảnh (Làm mịn, lọc nhiễu, tăng độ tương phản) Image  Capture(Video) Image  ChuanHoaAnh(Image) 2. Tìm các đường viền n  SoDuongVien(Image) Contour(i)  TimDuongVien(Image), i=1..n 3. Chuẩn hóa các đường viền For i=1 to n {//Áp dụng thuật toán đơn giản hóa Contour(i) DonGianHoa(Contour(i), d)} For i=1 to n {//Tính chu vi ChuVi(i)  TinhChuVi(Contour(i))} For i=1 to n {//Loại đường viền quá nhỏ ji if ChuVi(i)> ThresoldContour then { Countour(j)  Countour(i); j++}} m=j; //m là số đường viền sau khi loại bỏ đường viền nhỏ 4. Tìm đặc trưng các đường viền For i=1 to m {//Tính toán tham số đặc trưng CV(i)  Chuvi(Contour(i)) DT(i)DienTich(Contour(i)) for j=1 to d {//Tính góc tại các đỉnh goc(i,j)=TinhGoc(Contour(i),j) } 5. So sánh đường viền với Template. For each đường viền phát hiện { Chọn vùng chi vi để đối sánh Chọn vùng diện tích để đối sánh 110 So sánh sự đồng dạng giữa 2 đường viền} 6. Return Độ phức tạp thuật toán: Giả sử bức ảnh đã được nhị phân hóa có kích thước n*n pixels, tìm đường viền bằng cách duyệt qua toàn bộ ảnh 2 chiều, do đó độ phức tạp tương ứng là O(n2). Giả sử p là độ dài đường viền, t là số các đường viền có trong ảnh. Đối với một đường viền, độ dài của nó kiểm tra thông qua phép tích vô hướng chuẩn hóa trong tập huấn luyện và do đó mỗi đường viền chi phí hết p 2 phép so sánh. Thuật toán so sánh đường viền có độ phức tạp ước tính là: O(n 2p2t), với n là kích thước ảnh, t là số đường viền phát hiện được và p là độ dài đường viền. Hạn chế của phương pháp phân tích đường viền: - Hạn chế đầu tiên có liên quan tới vấn đề lựa chọn đường viền trên ảnh. Đường viền được giới hạn với một cấu trúc rời rạc nhất định. Tuy nhiên các đối tượng này được thể hiện trong môi trường thực có thể xảy ra những trường hợp: + Có một số lượng lớn các đường viền liên quan và không liên quan đến đối tượng nhận dạng. + Đối tượng trong ảnh không thể có đường biên rõ ràng, có thể nhận diện dựa trên độ sáng hoặc màu sắc so với nền, có thể bị nhiễu… Tất cả những nhân tố trên dẫn tới việc đường viền không thể được lựa chọn hoặc được chọn không chính xác, không tương đồng với đường bao của đối tượng. - Hạn chế thứ hai, gây phức tạp cho phương pháp CA có liên quan tới các quy tắc của phân tích đường viền. Phương pháp CA giả sử rằng đường viền mô tả khung của các đối tượng và không quan tâm đến các phần phía sau hoặc các phần nhìn thấy không hoàn toàn của đối tượng. Do đó CA có độ ổn định kém trong các trường hợp nhiễu, không hỗ trợ sự giao cắt hoặc các phần nhìn thấy của đối tượng. 111 3.3.4. Kết quả thực nghiệm Hình 3.7. Giao diện hệ thống thực nghiệm thuật toán CCAVC Thực nghiệm được thiết kế trên 2 dự án. Dự án 1, ContourAnalysis, thực hiện các chức năng cơ bản của phân tích đường viền, tạo được viền, TVH của đường viền, cân bằng hóa, đánh giá ICF và ACF, so sánh và tìm kiếm các mẫu. Dự án 2, ContourAnalysisProcessing , chứa các phương pháp để xử lý sơ bộ ảnh, chọn đường viền, lọc và nhận dạng. Đồng thời nó cũng chứa các công cụ để tự động tạo ra các mẫu cho việc nhận dạng các đường viền phương tiện. Dự án sử dụng thư viện OpenCV (EmguCV.NET wrapper) để xử lý. Các tham số trong thực nghiệm: Độ dài đường viền nhỏ nhất (Min contour length) = 30; Diện tích đường viền nhỏ nhất (Min contour area) = 10; Độ phân giải ảnh đầu vào: 640 x 480 (pixel). CSDL mẫu: Thực hiện tạo ra một CSDL tập mẫu các đường viền gồm 30 mẫu đường viền khác nhau từ các hình dạng 1 xe máy, 1 xe ô tô, 2 xe máy, 2 ô tô. Đường viền mẫu của xe máy được tập trung lưu trữ toàn bộ hình dạng đường viền bao quanh xe máy. Thêm một số mẫu về đường viền phần nửa trên người đi xe máy. Đối với ô tô, tập mẫu tạo ra bằng cách lưu trữ khung đường viền của kính trước ô tô. (Hình 3.9). 1. Ô tô đứng độc lập 2. Hai ô tô trước sau thẳng 3. Hai ô tô trước sau lệch trái 112 4. Hai ô tô trước sau lệch phải 5. Hai ô tô ngang nhau 6. Hai ô tô ngang nhau lệch trái 7. Hai ô tô ngang nhau lệch phải 8. Người đi xe máy chụp thẳng 9. Hai người đi xe máy trước sau thẳng hàng 10. Hai người đi xe máy trước sau 11. Hai người đi xe máy trước 12. Hai người đi xe máy lệch trái sau lệch phải ngang thẳng hàng 13. Ba người đi xe máy ngang nhau 14. Ba người đi xe máy lệch trái 15. Xe máy đi trước ô tô Hình 3.8. Giao diện hệ thống thực nghiệm thuật toán CCAVC 113 Trong quá trình nhận dạng, gán nhãn cho đường viền phát hiện được tương ứng là 1xm (một xe máy), 1oto (một ô tô), 2xm (hai xe máy), 2oto (hai ô tô),... Phương pháp đã được thực nghiệm với các ảnh tự nhiên và trong bài toán xác định mật độ phương tiện giao thông, so sánh và nhận dạng ra nhanh một xe máy, 1 ô tô, 2 xe máy dính liền nhau, 2 ô tô dính liền nhau, 1 ô tô và 1 xe máy dính liền nhau trong ảnh (Hình 3.9b). a) một xe máy; b) 2 xe máy; c) một ô tô Hình 3.9. Ví dụ về tập mẫu để so sánh Dữ liệu thực nghiệm sử dụng lại bộ dữ liệu quay trực tiếp tại các điểm cầu vượt đường cao tốc như đã trình bày trong chương 2 (Hình 2.3). Việc kiểm nghiệm phương pháp CA bằng cách kiểm thử cho ra kết quả 80% hình dạng được nhận diện. Và kết quả này chứa một số lượng các ảnh đọc xấu của các phương tiện. Do đó CA xử lý 249 ảnh với các kích thước khác nhau (từ 400*400 tới 1280*960) trong vòng 30 giây. Bên cạnh việc nhận dạng các ảnh khung hình cố định, thực hiện tốc độ cao của CA cho phép xử lý video trong chế độ thời gian thực. Thuật toán hoạt động với tốc độ 10-14Hz trên máy tính Pentium IV, 2.6GHz phù hợp với các ứng dụng thời gian thực. Độ chính xác của thuật toán đã được kiểm nghiệm thông qua việc đối sánh ảnh giao thông chụp tại một số cung đường ở Việt Nam. 114 Hướng phát triển tiếp theo là: 1) loại bỏ nhanh một số lỗi bằng cách xem xét kích thước chiều dài, chiều rộng đối tượng, ngưỡng xấp xỉ hình dạng đường viền mịn hơn, sau đó thử nghiệm giải thuật đối sánh ảnh trong một hệ thống giám sát giao thông thời gian thực; 2) xem xét đến trường hợp một đối tượng có nhiều đường viền để tăng độ chính xác và khả năng nhận dạng đối tượng đa dạng hơn. a) Nhận dạng được 2 đường b) Nhận dạng được 3 xe máy. c) Nhận dạng được một ô tô viền, gán nhãn cho mỗi xe 2 xe theo đường viền toàn bộ, và 1 xe máy đi gần nhau. một nhãn là 1xm. 1 xe theo phần trên xe. Hình 3.10. Ví dụ kết quả nhận dạng xe ô tô và xe máy 3.4. Kết luận chương 3 Trên cơ sở lý thuyết về mô-men bất biến, trong đó có các tính chất bất biến tỷ lệ, bất biến dịch chuyển và bất biến quay áp dụng cho xử lý ảnh và nhận dạng, phân loại đối tượng theo phương pháp hình dạng cho thấy một số đặc trưng về hình dạng cho phép sử dụng để phân loại phương tiện giao thông như: - Kích thước các khối đối tượng (phương tiện) trong ảnh; - Trọng tâm và khoảng cách từ trọng tâm tới đường biên; - Đường viền và phân tích các đặc trưng của đường viền biểu diễn trên trường số phức để nhận dạng và phân loại. Các phương pháp, công thức tính toán trọng tâm đa giác xấp xỉ hình dạng đối tượng, tính độ dài khoảng cách từ tâm tới cạnh đa giác xấp xỉ; Phương pháp đã được triển khai thực nghiệm cho kết quả phân loại được các loại xe con, xe tải (công trình công bố số 1). 115 Đề xuất 3 thuật toán về phân loại phương tiện trong đó có ô tô và xe máy dựa trên kích thước và hình dạng. Bao gồm: - Thuật toán phân loại theo kích thước (thuật toán CVIL); (công bố công trình số 1). - Thuật toán phân loại dựa trên kết hợp độ dài và hình chiếu đối tượng (thuật toán VCALOS). (công bố công trình số 4). - Thuật toán phân loại dựa trên đường viền biểu diễn bằng vector số phức. (công bố công trình số 2) Phương pháp phân loại dựa trên CA, có khả năng ứng dụng vào các bài toán đối sánh ảnh đòi hỏi thời gian thực. Đóng góp chính đưa ra là đề xuất sử dụng thuật toán CA, tìm kiếm độ dài đường viền để thực hiện tìm kiếm và đối sánh hai đường viền. Trong điều kiện giao thông phức tạp, các đối tượng có thể chồng lấp, nối đuôi nhau hoặc sánh ngang nhau, hoặc so le nhau tạo thành những đường viền phức tạp, việc áp dụng phương pháp CA gặp phải những khó khăn. 116 KẾT LUẬN I. Các kết quả chính của luận án Kết quả nghiên cứu của luận án được trình bày trên 121 trang, cấu trúc chia thành 3 chương nội dung chính, phần mở đầu, phần kết luận, tài liệu tham khảo và phụ lục. Về phát hiện phương tiện chuyển động, luận án đã trình bày về 05 thuật toán phát hiện đối tượng chuyển động bằng phương pháp trừ nền; phân tích và đưa ra những ưu khuyết điểm từng phương pháp, phân tích và đưa ra yêu cầu của mô hình hóa nền đối với video giao thông; đề xuất mô hình GMM thích ứng với sự thay đổi ánh sáng; áp dụng mô hình đề xuất trong thực nghiệm hệ thống đếm xe trên đường cao tốc. Về phân loại phương tiện chuyển động, luận án phân tích và đưa ra các đặc trưng quan trọng của hình dạng để áp dụng cho việc phân loại phương tiện giao thông đó là: kích thước đối; các đặc trưng hình dạng như đa giác xấp xỉ phương tiện, trọng tâm và khoảng cách từ tâm đến cạnh đa giác; chu vi đường viền. Luận án đã phân tích và xây dựng thuật toán phát hiện đối tượng chuyển động bằng mô hình GMM thích ứng thay đổi ánh sáng (chương 2); thuật toán phân loại phương tiện dựa trên kích thước và hình dạng, thuật toán phân tích đường viền phục vụ cho nhận dạng (chương 3). Các kết quả phân tích và thực nghiệm một số thuật toán được công bố trong 04 bài báo trên các tạp chí chuyên ngành và hội nghị khoa học về công nghệ thông tin. Nội dung của luận án đề cập và các kết quả được công bố phù hợp và đáp ứng được mục tiêu luận án đề ra. II. Những đóng góp mới Luận án với 03 đóng góp chính:  Cải tiến mô hình GMM thích ứng với sự biến đổi ánh sáng, bằng việc thêm tham số để ứng phó với việc thay đổi ánh sáng trong môi trường 117 thực. Kết hợp mô hình nền GMM thích ứng thay đổi ánh sáng và luồng quang học để giải quyết việc xác định mật độ xe ô tô cải thiện tốc độ tính toán và tăng độ chính xác trong trường hợp giao thông trên các đường cao tốc ở Việt Nam.  Đề xuất phương pháp phân loại kết hợp giữa phân tích hình dạng đối tượng và độ dài của đối tượng. Phương pháp nhận dạng và phân loại nhanh dựa trên cơ sở phân tích và lập chỉ mục theo các tham số đặc trưng loại, độ dài, độ rộng.  Đề xuất phương pháp phân loại dựa trên phân tích đường viền. Trích chọn đặc trưng đường viền, biểu diễn trên trường số phức, tiến hành phân loại dựa trên độ dài và hình dáng đường viền. III. Hướng nghiên cứu tiếp theo Mặc dù, tất cả các đề xuất trong nghiên cứu này có thể làm việc tốt trong một số trường hợp, các mô hình vẫn còn dễ bị lỗi và tốn thời gian. Các nghiên cứu trong tương lai có thể kiểm tra chi tiết cấu trúc không gian của khu vực quan sát; áp dụng trong học máy, được gọi là học cao cấp; xem xét trường hợp nhiều đường viền tích hợp trên một đối tượng. Đây có thể là một hướng đi mới để phát triển các hệ thống giám sát đối tượng chuyển động trên máy tính với độ chính xác cao và tỷ lệ sai số thấp. 118 DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC ĐÃ CÔNG BỐ 1. Nguyễn Văn Căn, Vũ Tuấn (2013), “Giám sát giao thông tự động dựa trên độ dài thị giác”. Tạp chí Khoa học và Công nghệ quân sự. Số 5/2013, trang 69-81. 2. Nguyễn Văn Căn, Nguyễn Đăng Tiến, Phạm Việt Trung (2014), “Phương pháp biểu diễn đường viền trên trường số phức, áp dụng cho bài toán phân loại phương tiện giao thông”. Tạp chí Khoa học và Công nghệ quân sự. Số 10/2014, trang 58-65. 3. Can Nguyen Van, Huy Huynh Van, Tao Ngo Quoc (2014), “Car counting method using Gaussian Mixture Model and Optical Flow”. The 3rd Solid State Systems Symposium-VLSIs and Semiconductor Related Technologies & The 17th International Conference on Analog VLSI Circuits-Analog Signal and Information Processing Applications. Ho Chi Minh City, 10/2014. Proceeding, pages 192-198. 4. Can Nguyen Van, Cuong Nguyen Ngoc (2014), “Vehicle Classification in Video Based on Shape Analysis”. UKSim-AMS 8th European Modelling Symposium on Mathematical Modeling and Computer simulation Proceeding EMS '14 Proceedings of the 2014 European Modelling Symposium. IEEE Computer Society Washington, DC, USA ©2014. ISBN: 978-1-4799-7412-2, pages 151157. (http://dl.acm.org/citation.cfm?id=2706693.2706789). 119 TÀI LIỆU THAM KHẢO Tiếng Việt: [1] Phạm Hồng Quang, Tạ Tuấn Anh (2014), Xây dựng cấu trúc hệ thống giao thông thông minh và các quy chuẩn công nghệ thông tin, truyền thông, điều khiển áp dụng trong hệ thống giao thông thông minh tại Việt Nam. Đề tài KC01.14/11-15. Trung tâm Tin học và Tính Toán, Viện Hàn lâm KHCN Việt Nam. [2] Phạm Hồng Quang (2014), Xây dựng mạng camera với hệ thống xử lý hình ảnh thông minh phục vụ điều khiển giao thông và giám sát an ninh. KC03.DA06/1115. Công ty Cổ phần Phần mềm - Tự động hóa - Điều khiển. [3] Trần Thanh Việt, Trần Công Chiến, Huỳnh Cao Tuấn, Nguyễn Hữu Nam, Đỗ Năng Toàn, Trần Hành (2011), Một kỹ thuật bám đối tượng và ứng dụng. Kỷ yếu hội thảo quốc gia lần thứ XIV, Cần Thơ, 10/2011. Nhà Xuất bản Khoa học và Kỹ thuật. Trang 238-247. Tiếng Anh: [4] Ahmed Elgammal (2010), Computer Vision 3D Model-based recognition. Dept of Computer Science, Rutgers University. [5] Amol A. Ambardekar (2007), Efficient Vehicle Tracking and Classification for an Automated Traffic Surveillance System, A thesis submitted in partial fulfillment of the requirements for the degree of Master of Science in Computer Science. [6] Chee-Way Chong and at al (2004), Translation and scale invariants of Legender moments, Pattern Recognition (Vol 37), pp.119-129. [7] Chung-Cheng Chiu and et al (2010), Automatic Traffic Surveillance System for Vision-Based Vehicle Recognition and Tracking. Department of Electrical and Electronic Engineering, Chung Cheng Institute of Technology National, Defense University Taoyuan, Taiwan. [8] Clement Chun Cheong Pang and at al (2007), A Method for Vehicle Count in the Presence of Multiple-Vehicle Occlusions in Traffic Images, IEEE transactions on intelligent transportation systems, (Vol. 8, No. 3). [9] Collins R. T. (2000), A system for video surveillance and monitoring: VSAM final report, Technical report (CMU-RI-TR-00-12), Robotics Institute, Carnegie Mellon University. [10] Cucchiara R. (2000), Statistic and Knowledge-based Moving Object Detection in Traffic Scenes. D.S.I. University of Modena. [11] George S.K. Fung and at al (2001), Vehicle Shape Approximation from Motion for Visual Traffic Surveillance. IEEE Intelligent Transportation Systems Conference Proceedings, USA. [12] Guohui Zhang and et al (2007), A Video-based Vehicle Detection and Classification System for Real-time Traffic Data Collection Using Uncalibrated 120 Video Cameras, Department of Civil and Environmental Engineering University of Washington. [13] Hu M. K. (1962), Moments and Moment Invariants in Pattern Recognition, IRE Trans. Info. Theory (vol.IT-8), pp.179–187. [14] Jean-Yves Bouguet (2002), Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm, Intel Corporation, Microprocessor Research Labs. [15] Lai A. H. S. (2000), An effective methodology for visual traffic surveillance, Hong Kong University. [16] Lipton A. J. (1999), Moving target classification and tracking from real-time video. In Proc. of Workshop Applications of Computer Vision, pages 129-136. [17] Massimo Piccardi (2004), Background subtraction techniques: a review, Computer Vision Research Group (CVRG), University of Technology, Sydney (UTS). [18] Nilesh J. Uke (2013), Moving Vehicle Detection for Measuring Traffic Count Using OpenCV, Journal of Automation and Control Engineering (Vol.1, No.4). [19] Nikolaos P. (2000), Algorithms for Vehicle Classification, Artificial Intelligence, Robotics and Vision Laboratory, University of Minnesota. [20] Sagar Deb (2005), Video data management and information retrieval. University Southem Queensland, Australia. [21] Shireen Y. Elhabian (2007), Moving Object Detection in Spatial Domain using Background Removal Techniques - State-of-Art, Cairo University, Egypt. [22] Sigari M., Fuzzy Running Average and Fuzzy Background Subtraction: Concepts and Application, International Journal of Computer Science and Network Security, 2008, Volume 8, No. 2, pages 138-143. [23] Stauffer C. (1999), Adaptive background mixture models for real-time tracking, Technical report (CVPR 1999), pages 246-252. [24] Thierry Bouwmans (2013), Recent Advanced Statistical Background Modeling for Foreground Detection - A Systematic Survey, Laboratoire MIA, Université de La Rochelle, France. [25] Wei Zhan, Junkai Yang (2012), Real Time and Automatic Vehicle Type Recognition System Design and Its Application, International Conference on Mechanical Engineering and Automation. [26] Yigithan Dedeoglu (2004), Moving object detection, tracking and classification for smart video surveillance, Univeristy of Bilkent. [27] Xue Mei and at al (2007), Integrated Detection, Tracking and Recognition for IR Video-based Vehicle Classification, Journal of computers (Vol.2, No.6). [28] Yu-Kumg Chen, Tung-Yi Cheng, Shuo-Tsung Chiu (2009), Motion Detection with Using Theory of Entropy. IEEE International Symposium on Industrial Electronics (ISlE 2009). 121 [29] Wu, Shin-Ting and Márquez (2004), Mercedes R. G (2004), A non-selfintersection Douglas-Peucker Algorithm, Proceedings of Sibgrapi. © 2004 IEEE. [30] Jitendra Malik, Serge Belongie, Thomas Leung, Jianbo Shi (2001), Contour and Texture Analysis for Image Segmentation. International Journal of Computer Vision, June 2001, Volume 43, Issue 1, pp 7-27. [31] Rohit Kolar, Akshay Thakar, Muzaffar Shabad (2014), Image Segmentation for Text Recognition using Boundary Analysis. International Journal of Emerging Technology and Advanced Engineering. ISSN 2250-2459, ISO 9001:2008 Certified Journal, Volume 4, Issue 2, February 2014) 294. [32] Corentin Lallier, Emanuelle Reynaud, Lionel Robinault, Laure Tougne (2011), A Testing Framework for Background Subtraction Algorithms Comparison in Intrusion Detection Context. 8th IEEE International Conference on Advanced Video and Signal-Based Surveillance. [33] Andrews Sobral, Antoine Vacavant (2014), A comprehensive review of background subtraction algorithms evaluated with synthetic and real videos. Computer Vision and Image Understanding 122. [34] A. Vacavant, T. Chateau, A. Wilhelm, L. Lequièvre (2012), A benchmark dataset for foreground/background extraction, in: Background Models Challenge (BMC). Asian Conference on Computer Vision (ACCV), LNCS, vol. 7728, Springer, 2012, pp. 291–300. [35] Y. Dhome, N. Tronson, A. Vacavant, T. Chateau, C. Gabard, Y. Goyat, D. Gruyer (2010), A benchmark for background subtraction algorithms in monocular vision: a comparative study. IEEE International Conference on Image Processing Theory, Tools and Applications (IPTA), 2010, pp. 66– 71. [36] A. Sobral (2013), BGSLibrary: an opencv c++ background subtraction library. IX Workshop de Viso Computacional. Rio de Janeiro, Brazil. [37] Jean Dieudonné (1960), Foundations of Modern Analysis, Academic Press. 1 PHỤ LỤC Phụ lục 1. Dữ liệu kích thước các loại xe Nguồn: Internet, Đơn vị tính: mm TT 1 2 3 4 5 6 7 8 9 Xe ô tô Xe con Toyota Camry 2.5Q AT Xe con Chevrolet Spark Van Xe tải Hyundai JAC 1T5 Xe tải Hyundai JAC 1T8 Xe tải Hyundai JAC 1T95 Xe tải HINO - WU422L Xe tải HINO - FC9JJSA 6T2 Xe tải HINO - FG8JPSB 9T2 Xe tải HINO - FL8JTSL 16T TT 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 Xe máy Honda Future Yamaha Sirius DaeHan Exciter GP Honda SH 150i và SH 125i Honda Lead 125cc Fi Suzuki Hayate 125 Suzuki Hayate SS 125 FI Honda Wave 110 S Deluxe Honda SH125 Mode Honda Wave Alpha Honda Air Blade Fi 125cc Honda Vision 110cc Fi Suzuki X-Bike 125 Honda Lead 110cc SYM Attila Elizabeth EFI Yamaha Nouvo SX RC Yamaha Exciter Honda Wave 110 RSX Suzuki Smash Revo 110 Honda SH150i Suzuki X-Bike 125 Honda Future 125 FI Yamaha Luvias GTX125 Fi Honda Super Dream Suzuki Smash Revo HONDA SCR Sym Shark 170cc Yamaha Nozza Dài 4825 3495 5480 5710 5710 7160 8250 9550 11450 Rộng 1825 1495 1940 1865 1910 2240 2400 2500 2500 Cao 1470 1500 2140 2210 2250 3270 3680 3950 3930 Cao/rộng 0.805479 1.003344 1.103093 1.184987 1.17801 1.459821 1.533333 1.58 1.572 Dài 1932 1890 1776 2034 1832 1935 1925 1925 1930 1910 1901 1841 1905 1835 1795 1955 1960 1898 1920 2020 1905 1932 1855 1915 1920 1830 2090 1795 Rộng 711 675 697 740 680 670 660 710 669 700 670 667 715 670 668 705 695 709 655 700 715 711 700 696 655 681 730 685 Cao 1092 1030 1005 1152 1120 1070 1070 1090 1105 1065 1115 1094 1070 1125 1100 1080 1080 1080 1050 1140 1070 1092 1070 1052 1055 1125 1160 1080 Cao/rộng 1.535865 1.525926 1.441894 1.556757 1.647059 1.597015 1.621212 1.535211 1.651719 1.521429 1.664179 1.64018 1.496503 1.679104 1.646707 1.531915 1.553957 1.523272 1.603053 1.628571 1.496503 1.535865 1.528571 1.511494 1.610687 1.651982 1.589041 1.576642 2 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 Honda Click Forward 125i Suzuki UA 125T Fi Honda CBR150R Suzuki GZ150–A 150cc Yamaha Luvias GTX Honda Click 125i Idling Yamaha Cuxi Suzuki Axelo 125 Suzuki Viva 115 Fi Honda Scoopy FI Club Honda Spacy 125 SYM Joyride EFI Piaggio Liberty RST 125 Yamaha Mio Classico Honda Mojet 125 Honda Taranis 110 TQuốc Honda PCX SYM ElegantSR Suzuki EN150-A Honda Scoopy i S12 Kymco Candy 50cc Kymco Candy Hi 110cc Honda Super Cub 110 Honda Giorno 50cc Fi Honda PS150i Suzuki SkyDrive 125 Honda Diamond Blue 125 Nhỏ nhất Lớn nhất Trung bình 1904 1860 1977 2250 1850 1919 1750 1895 1910 1856 1795 1900 1935 1830 1814 1890 1917 1910 2055 1856 1815 1820 1915 1685 1990 1900 1800 689 700 695 900 685 689 635 715 690 694 690 680 760 675 675 680 738 680 730 694 675 680 700 650 700 655 733 1103 1095 1130 1160 1060 1103 1055 1075 1085 1060 1070 1100 1120 1040 1100 1110 1094 1100 1050 1060 1108 1100 1050 1035 1150 1050 1150 1.600871 1.564286 1.625899 1.288889 1.547445 1.600871 1.661417 1.503497 1.572464 1.527378 1.550725 1.617647 1.473684 1.540741 1.62963 1.632353 1.482385 1.617647 1.438356 1.527378 1.641481 1.617647 1.5 1.592308 1.642857 1.603053 1.568895 1685 635 1005 1.288889 2250 900 1160 1.679104 1897.436 695.0182 1088.182 1.568584 3 Phụ lục 2. Một số kiểu xe ô tô (Nguồn thu thập trên Internet) 1. VAN: Van là một loại xe tải nhỏ, khoang chở người và trở hàng chung một không gian kín. Loại xe này có đặc điểm là khi không trở người các hàng ghế sau có thể gập lại thành khoang chứa hàng. Cửa bên thông thường là cửa lùa tạo điều kiện hoạt động trong không gian hẹp. Vì là loại xe có tải trọng thường chỉ từ 500 – 1.000 kg nên công suất không lớn. Ở Việt Nam dòng xe VAN (thực chất là minivan) có khá nhiều, có thể nêu lên một vài loại xe mang tên VAN sau đây: Xe Daihatsu Citivan – có hình dáng mẫu mã rất bắt mắt, kết hợp hài hoà tính năng dòng xe du lịch với xe VAN. Xe Daihatsu Citivan lắp động cơ xăng kiểu HD-C có dung tích công tác 0,6 lít, xi-lanh thẳng hàng, 6 xu- páp bố trí trục cam kiểu SOHC. Mô men xoắn Nm, 5 số tay. Số ghế: 7. Hai cửa lùa bên hông, cửa sau mở lên. Hàng ghế thứ. tháo lắp dễ dàng để tạo khoang chứa hàng hoá. Ngoài Daihatsu Citivan ra, loại xe Devan chở hàng thùng kín, cửa lùa bên hông cũng lắp động cơ HD-C cùng loại với Citivan. Loại xe Toyota Hiace Glass VAN. Đây là dòng xe VAN cao cấp, hàng ghế sau gập lại rất dễ tạo khoang hàng rộng rãi. Hai cửa hông là loại cửa lùa, cửa sau mở bằng khí nén. Xe Hiace Glass VAN dùng động cơ phun xăng điện tử. Hộp số 5 số tay. Hai điều hoà nhiệt độ. Loại xe SUZUKI Super Carry VAN. Đây là loại xe nhỏ nhất hiện đang sử dụng ở nước ta, xe SUZUKI VAN có hai loại: xe khách 7 chỗ Windowvan và xe tải cửa lùa Blindvan. Hai loại xe trên đều dùng động cơ xăng F.0A, xi-lanh thẳng hàng, dung tích công tác 70cm. Mômen xoắn 75Nm. Hộp số 5 số tay. Số ghế 7. Hai hàng ghế sau có thể gập lại để tạo khoang chứa hành lý. 2. SUV 4 SUV được EuroNCAP xếp vào nhóm xe địa hình loại lớn. SUV khá quen thuộc hơn với thị trường Việt Nam với các model như Mitsubishi Pajero, Toyota Land Cruiser, Mercedes-Benz M-Class. SUV là loại xe dẫn động 4 bánh (còn gọi là xe hai cầu) có thể chạy trên nhiều loại địa hình, có hệ thống treo cao. Trọng tâm cao là một điểm bất lợi của loại xe này vì làm cho nó dễ bị lăn khi chẳng may gặp tai nạn. Vì thiết kế lớn hơn nên SUV cũng sử dụng nhiều nhiên liệu hơn. 3. Sedan Sedan là một loại xe khách mà thân xe đại thể chia làm ba khoang: khoang động cơ, khoang hành khách và khoang hành lý. Ở Anh, người ta gọi loại xe này là xe saloon. Khoang hành khách thường gồm hai dãy ghế. Khoang động cơ thường ở phía trước. Còn khoang hành lý thường ở phía sau. Cũng có một số xe sedan mà khoang động cơ lại ở phía sau như Renault Dauphine, Tatra T613, Volkswagen Type 3 và Chevrolet Corvair. Sedan là loại thân xe khách phổ biến nhất. [...]... tích và biểu diễn đặc trưng phù hợp để đề xuất và áp dụng thuật toán phân loại phương tiện chuyển động + Trên cơ sở phân tích tập thuật toán, đề xuất sự cải tiến, kết hợp các thuật toán cho mục đích phát hiện, phân loại phương tiện giao thông trong điều kiện giao thông đông đúc và đa dạng về chủng loại phương tiện 3 Đối tượng và phạm vi nghiên cứu Vấn đề "Nghiên cứu phát triển một số thuật toán phát hiện. .. cải tiến một số thông số kỹ thuật trong thuật toán mang lại lợi ích cho việc phát hiện và phân loại phương tiện giao thông trong bối cảnh Việt Nam là điều cần thiết có ý nghĩa cả về lý thuyết và thực tiễn Bài toán phát hiện và phân loại phương tiện giao thông dựa trên video là xét xem tại một thời điểm, trong vùng quan tâm, có những loại phương tiện gì, số lượng tương ứng Về ứng dụng, bài toán thuộc... bài toán, phương pháp tiếp cận, phạm vi nghiên cứu, những thách thức đặt ra cho bài toán, hướng nghiên cứu, ý nghĩa khoa học, ý nghĩa thực tiễn của bài toán nghiên cứu Chương 1 Tổng quan về bài toán phát hiện và phân loại phương tiện trong video giao thông Đặt vấn đề về bài toán nghiên cứu; trình bày kết quả của một số nghiên cứu liên quan Đề xuất vấn đề nghiên cứu của luận án Chương 2 Trình bày phương. .. nhận dạng, phân loại phương tiện trong ảnh; Áp dụng một số tính chất của đường viền vector để phân loại phương tiện dựa trên độ dài và hình dáng đường viền dựa trên đối sánh ảnh Phần kết luận Trình bày những đóng góp và hướng nghiên cứu phát triển tiếp theo của luận án 8 Chương 1 TỔNG QUAN VỀ PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN GIAO THÔNG TỪ VIDEO Chương này trình bày một số phương pháp, kỹ thuật xử... tập trung vào việc nghiên cứu một số thuật toán phát hiện và phân loại đối tượng chuyển động trong vùng quan tâm; giải quyết vấn đề ô tô, xe máy trong video giao thông mà lưu lượng giao thông đông đúc ("dày đặc") có sự và "dính nhau" trong điều kiện Việt Nam 4 Phương pháp nghiên cứu Thu thập và nghiên cứu tài liệu về các nghiên cứu đã thực hiện trên thế giới và Việt nam về vấn đề giám sát thông minh... Đối tượng nghiên cứu của luận án gồm: Bài toán phát hiện, theo dõi và phân loại đối tượng chuyển động; Các công trình đã và đang nghiên cứu trong và ngoài nước về vấn đề phát hiện, theo dõi và phân loại đối tượng chuyển động; Các thuật toán, phương pháp đã áp dụng trong vấn đề này Các đoạn video quay cảnh giao thông Tổng quát lại, đây là một phạm vi rộng, bao gồm: phát hiện, phân loại và theo dõi đối... rất nhiều khó khăn Nhiều nghiên cứu trên thế giới và Việt Nam đã quan tâm đến vấn đề phát hiện và phân loại phương tiện giao thông, tuy nhiên chưa có nghiên cứu đầy đủ nào quan tâm đến mức độ dày đặc của phương tiện trên đường, cũng như quan tâm đặc biệt đến phương tiện giao thông chủ yếu là xe máy và xe ô tô Việc lựa chọn phương pháp, thuật toán, hay phối kết hợp các thuật toán sử dụng trong hệ thống... hiện và phân loại phương tiện từ dữ liệu video giao thông được thực hiện chủ yếu trên môi 5 trường ngoài trời Dữ liệu video giao thông có thể thu được từ những cung đường khác nhau: từ các cung đường nông thôn (quận, huyện), từ các đường quốc lộ (cao tốc), từ các đường trong đô thị (thành phố) Trong điều kiện ở Việt Nam hiện nay, việc gắn các camera giao thông của các cơ quan quản lý và điều khiển giao. .. ngoài và bên trong phương tiện là những đặc trưng quan trọng trong việc phân loại phương tiện Sử dụng một đặc trưng, hoặc kết hợp 2 hay nhiều đặc trưng và một số kỹ thuật liên quan để phân loại phương tiện là rất hiệu quả Yếu tố ảnh hưởng đến phương pháp tiếp cận: Về màu sắc phương tiện thay đổi liên tục theo thời gian, thêm vào đó có nhiều loại phương tiện có màu sắc tương đồng nhau, do vậy việc phân loại. .. tiêu nghiên cứu của luận án - Mục tiêu chung: Từ dữ liệu video thu được từ các đường quốc lộ, tìm một số thuật toán hợp lý để phân loại và xác định phương tiện chuyển động - Mục tiêu cụ thể: + Lựa chọn và cải tiến phương pháp phát hiện phương tiện chuyển động phù hợp với môi trường ngoài trời, chịu tác động nhiều của sự thay đổi ánh sáng + Trích chọn các đặc trưng của phương tiện chuyển động, phân ... chủng loại phương tiện Đối tượng phạm vi nghiên cứu Vấn đề "Nghiên cứu phát triển số thuật toán phát phân loại phương tiện từ liệu video giao thông thực chủ yếu môi trường trời Dữ liệu video giao. .. GIÁO DỤC VÀ ĐÀO TẠO BỘ QUỐC PHÒNG VIỆN KHOA HỌC VÀ CÔNG NGHỆ QUÂN SỰ NGUYỄN VĂN CĂN NGHIÊN CỨU PHÁT TRIỂN MỘT SỐ THUẬT TOÁN PHÁT HIỆN VÀ PHÂN LOẠI PHƯƠNG TIỆN TỪ DỮ LIỆU VIDEO GIAO THÔNG Chuyên... thuật toán phân loại phương tiện chuyển động + Trên sở phân tích tập thuật toán, đề xuất cải tiến, kết hợp thuật toán cho mục đích phát hiện, phân loại phương tiện giao thông điều kiện giao thông