(Luận văn thạc sĩ) phân loại và đếm lưu lượng xe lưu thông

Tổng quan về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và ngoài nước đã công bố

1.1.1 Tổng quan về lĩnh vực nghiên cứu Ở Việt Nam, với sự phát triển và tốc độ đô thị hóa nhanh, dân cư thành phố không ngừng gia tăng do thu hút các nguồn lực lao động từ các vùng miền khác nhau đổ về các khu công nghiệp lao động và sinh sống Kinh tế phát triển, đời sống con người ngày càng nâng cao, nhu cầu đi lại ngày càng tăng kéo theo số lượng phương tiện xe cá nhân ở thành phố tăng nhanh đột biến Mọi ngã đường đều bị chật cứng, hiện tượng ùn tắc xảy ra liên tục, kéo dài hàng giờ, và những hệ lụy khác như: ô nhiễm môi trường vì khói thải xe hay phải cần đến nhiều lực lượng chuyên trách để điều tiết giao thông

Mật độ giao thông đông đúc dẫn đến tình trạng tai nạn thường xuyên, gây thiệt hại lớn về người và tài sản Việc điều khiển phương tiện trong giờ cao điểm gặp nhiều khó khăn, thường phải nhờ vào cảnh sát giao thông, trong khi số lượng cảnh sát và trang thiết bị còn hạn chế Điều này tạo ra thách thức lớn trong việc kiểm soát giao thông tại Việt Nam Để khắc phục, các hệ thống theo dõi, đặc biệt là camera giao thông, đang được ứng dụng rộng rãi Hệ thống này giúp ghi nhận mật độ phương tiện lưu thông và đưa ra tín hiệu cảnh báo cho tài xế, góp phần cải thiện tình hình giao thông.

HVTH: Thiều Đoàn Quang Huy Trang 2 GVHD: PGS.TS Nguyễn Thanh Hải nhấn mạnh vai trò quan trọng của việc điều tiết giao thông trong bối cảnh tình hình giao thông hiện nay ở Việt Nam.

Hình 1.1: Trung tâm quản lý giao thông ở Washington [1]

Trong những năm gần đây, sự phát triển của công nghệ cảm biến và máy tính đã dẫn đến việc áp dụng kỹ thuật xử lý ảnh để giám sát thông tin giao thông Kỹ thuật này đã tạo điều kiện thuận lợi cho việc triển khai các hệ thống theo dõi tự động thông minh, bao gồm phát hiện và phân loại đối tượng, theo dõi chuyển động, dự đoán hành vi và giám sát tình trạng tắc đường cũng như tai nạn.

Hình 1.2: Hệ thống giám sát giao thông bằng xử lý ảnh [3]

Việc phát hiện đối tượng chuyển động không chỉ hỗ trợ theo dõi mật độ xe trong hệ thống giám sát trực tiếp mà còn mang lại nhiều ứng dụng hữu ích trong cuộc sống hàng ngày Các đối tượng này được nhận diện nhờ những công nghệ tiên tiến.

Trong bài viết này, chúng tôi khám phá nhiều phương pháp và thuật toán khác nhau để giải quyết vấn đề phát hiện đối tượng Một số tác giả đã áp dụng phương pháp phân ngưỡng, mặc dù đây là một thuật toán đơn giản nhưng không mang lại hiệu quả cao Ngoài ra, một số nghiên cứu khác đã sử dụng phương pháp đồng nhất đa lưới vùng quan tâm (ROI) để cải thiện kết quả phát hiện.

Một trong những thuật toán nổi bật trong việc phát hiện đối tượng là thuật toán trừ nền (Background subtraction), tuy nhiên, nó có nhược điểm là không phát hiện được đối tượng tĩnh và cần thường xuyên cập nhật ảnh nền do sự thay đổi của ánh sáng và không gian Thuật toán này sử dụng ảnh tham chiếu khi không có phương tiện làm ảnh gốc và so sánh với ảnh thu được theo thời gian thực; sự khác biệt giữa chúng càng lớn thì mật độ giao thông càng cao Việc lựa chọn phương pháp phát hiện đối tượng phụ thuộc vào tình huống cụ thể, đặc biệt trong trường hợp ảnh nền không thay đổi Có hàng trăm nghiên cứu gần đây phát triển các phương pháp trừ nền, trong đó phương pháp hỗn hợp Gaussian được ưa chuộng vì phù hợp với ứng dụng ngoài trời Tuy nhiên, việc thu nhận ảnh nền mà không có đối tượng chuyển động là thách thức trong môi trường thực tế, nơi mà nền luôn thay đổi do ánh sáng và các đối tượng di chuyển Để khắc phục vấn đề này, nhiều phương pháp mô hình nền đã được phát triển và phân loại thành các loại khác nhau.

Mô hình nền cơ bản sử dụng giá trị trung bình hoặc bình quân, hoặc phân tích lược đồ xám cho toàn thời gian, trong khi mô hình nền mờ áp dụng một giá trị trung bình mờ.

HVTH: Thiều Đoàn Quang Huy Trang 4, GVHD: PGS.TS Nguyễn Thanh Hải Phát hiện tiền cảnh sử dụng tích hợp Sugeno hoặc Choquet, với logic mờ làm phương pháp tham khảo Mô hình nền được xây dựng từ trị trung bình của các hệ số trong mạng nơ ron, được đào tạo trên N khung sạch, nhằm phân loại mỗi điểm ảnh thành nền hoặc tiền cảnh.

Mô hình Gauss hỗn hợp do Stauffer đề xuất nhằm giải quyết các vấn đề liên quan đến ánh sáng thay đổi, hành động lặp lại và sự lộn xộn trong khung cảnh thực tế Nghiên cứu này chứng minh rằng một mô hình nền đơn không thể xử lý hiệu quả các khung hình liên tục trong thời gian dài Phương pháp pha trộn phân tán Gauss được sử dụng để biểu diễn từng điểm ảnh trên mô hình, từ đó tích hợp vào hệ thống giám sát Cách tiếp cận này xem xét giá trị điểm ảnh quan sát thông qua nhiều mô hình Gauss đơn, giúp cải thiện độ chính xác trong việc phân tích hình ảnh.

1.1.2 Một số kết quả nghiên cứu đã công bố

Năm 2012, G SalviAn đã áp dụng phân tích Blob để tính toán số lượng xe tự động trong hệ thống giám sát giao thông Phương pháp này bao gồm việc trừ nền, phát hiện Blob, và sử dụng k-means clustering để phân tích Blob, theo dõi chuyển động của chúng và đếm số phương tiện Hệ thống này đạt được độ chính xác cao và hoạt động trong thời gian thực Tuy nhiên, một hạn chế của nó là không phân loại được các loại xe như xe máy, xe tải, và ô tô di chuyển trên đường.

Năm 2012, Pejman Niksaz đã nghiên cứu và phát triển hệ thống ước lượng mật độ phương tiện trên đường cao tốc thông qua xử lý ảnh Phương pháp này chuyển đổi ảnh RGB thành ảnh xám, kết hợp tăng cường ảnh và xử lý hình thái, được thực hiện trên phần mềm Matlab với chi phí thấp và cho kết quả chính xác ở tốc độ cao Ưu điểm nổi bật của phương pháp là không cần sử dụng cảm biến, tuy nhiên, nhược điểm lớn nhất là độ nhạy cao với ánh sáng.

HVTH: Thiều Đoàn Quang Huy Trang 5 GVHD: PGS.TS Nguyễn Thanh Hải

Năm 2015, bà Muth Sebastian, Anisha Ann Sam và các cộng sự đã nghiên cứu phương pháp giảm tần suất tai nạn trên các đoạn đường quanh co bằng cách hiển thị số lượng và tốc độ xe trên màn hình Phương pháp này sử dụng mô hình Gaussian hỗn hợp (GMM), kết hợp với lọc nhiễu, phát hiện và phân tích Blob để tính toán số lượng phương tiện và tốc độ di chuyển Tốc độ được giám sát thông qua việc xác định vị trí xe và điểm tham chiếu, sau đó so sánh với số khung đã biết.

Năm 2013, Dolley Shukla và cộng sự đã nghiên cứu và phát triển hệ thống xác định tốc độ di chuyển của xe bằng thuật toán Lucas-Kanade Phương pháp này ước tính tốc độ từ các khung hình video, cho phép phát hiện và theo dõi xe trong tất cả các khung hình Dựa vào quỹ tâm của xe, khoảng cách di chuyển được xác định, từ đó tính toán tốc độ trung bình của xe dựa trên các khung hình trước đó.

Năm 2015, Jyotsna Tripathi cùng các cộng sự đã phát triển hệ thống tự động đếm và phân loại phương tiện giao thông trên các tuyến đường và đường cao tốc, góp phần quan trọng vào việc quản lý và theo dõi giao thông Hệ thống áp dụng các phương pháp phân đoạn, bộ lọc, hình thái học và phát hiện blob để thực hiện việc đếm và phân loại xe Số lượng xe được ghi nhận và phân loại theo từng ngày Hệ thống sử dụng cảm biến để cảnh báo, tuy nhiên, hiệu quả của cảm biến có thể bị ảnh hưởng bởi điều kiện thời tiết.

Mục tiêu của luận văn

Mục tiêu của luận văn là phát triển một hệ thống đếm xe lưu thông và phân loại xe thành xe nhỏ và xe lớn dựa trên kích thước Hệ thống sử dụng xử lý ảnh để phân tích video, từ đó thực hiện việc đếm xe thông qua phương pháp dán nhãn Đồng thời, phương pháp đánh dấu xe được áp dụng để phân loại các loại xe Tốc độ của xe được ước lượng dựa trên vị trí của xe trong từng khung hình.

Nhiệm vụ và giới hạn của luận văn

- Áp dụng các thuật toán trừ nền cơ bản, xây dựng mô hình Gaussian hỗn hợp để tách các xe di chuyển ra khỏi nền đường

Xây dựng các phương pháp xử lý ảnh hình thái, bao gồm bộ lọc trung bình và bộ lọc trung vị, nhằm lọc nhiễu cho xe Đồng thời, áp dụng các thao tác lấp đầy khoảng trống cho các đối tượng đã được phát hiện.

- Áp dụng phương pháp phân vùng ảnh để phát hiện xe và theo dõi xe

Áp dụng phương pháp dán nhãn giúp đếm số lượng xe trong từng khung hình và tổng số xe ghi nhận từ camera giao thông Bằng cách tính toán giá trị pixel của xe, chúng ta có thể tách biệt các xe chạy chồng lấp nhau trong quá trình đếm.

- Áp dụng phương pháp đánh dấu xe để phân loại xe lớn và xe nhỏ

Áp dụng phương pháp dịch chuyển tọa độ quỹ tâm của đối tượng giúp xác định khoảng cách di chuyển của xe qua các khung hình liên tiếp, từ đó tính toán được tốc độ của xe.

- Áp dụng phương pháp tăng cường các loại nhiễu muối tiêu, nhiễu trắng, nhiễu đốm vào các video để đánh giá thuật toán

- Viết chương trình cho việc phân loại và đếm lưu lượng xe lớn và xe nhỏ lưu thông

- Chạy mô phỏng và đánh giá kết quả

- Xử lý video không trực tuyến

- Không xác định được hướng của xe

Phương pháp nghiên cứu

Phương pháp nghiên cứu tài liệu bao gồm việc thu thập thông tin từ sách báo điện tử liên quan đến lĩnh vực nghiên cứu Quá trình này cũng bao gồm việc xử lý thông tin, kết hợp với quan sát và thực hiện mô phỏng trên phần mềm Matlab để đạt được kết quả chính xác.

Tóm tắt các chương

Chương I: Tổng Quan Về Đề Tài

Nghiên cứu trong lĩnh vực này đã đạt được nhiều kết quả đáng chú ý cả trong và ngoài nước, phản ánh sự phát triển và đổi mới trong phương pháp nghiên cứu Mục tiêu của đề tài là xác định rõ các vấn đề cần giải quyết, đồng thời đặt ra nhiệm vụ cụ thể để hướng tới Phương pháp nghiên cứu được lựa chọn sẽ đảm bảo tính hiệu quả và độ tin cậy của kết quả Tuy nhiên, đề tài cũng có những giới hạn nhất định cần được lưu ý trong quá trình thực hiện.

Chương II: Cơ Sở Lý Thuyết Ứng dụng kỹ thuật xử lý ảnh trong giải quyết bài toán giao thông, chương này sẽ cung cấp các phương pháp, áp dụng để phát hiện, theo dõi, lọc nhiễu, đếm, phân loại và ước lượng tốc độ của đối tượng

Chương III: Phương Pháp Trừ Nền, Xử Lý Hình Thái, Bộ Lọc Trung Bình Và Trung Vị Lọc Ảnh

Chương này phân tích phương pháp Gaussian hỗn hợp nhằm phát hiện nền và tách đối tượng khỏi nền Nó cũng xem xét các phương pháp hình thái, cùng với việc sử dụng bộ lọc trung bình và trung vị để giảm nhiễu ảnh, đồng thời lấp đầy khoảng trống của các đối tượng đã được phát hiện.

Chương IV: Phương Pháp Blob Nhận Diện, Phân Loại, Đếm Và Ước Lượng Tốc Độ Của Đối Tượng

Phương pháp Blob được sử dụng để phát hiện và theo dõi đối tượng, đồng thời áp dụng cạnh dưới của hộp đánh dấu (Bbox) để đếm số lượng đối tượng Kích thước của hộp đánh dấu bao quanh đối tượng được tính toán nhằm phân loại chúng Tốc độ của đối tượng được ước lượng dựa trên vị trí của nó trong từng khung hình.

Chương V: Kết Quả Và Thảo Luận

Chương này biểu diễn kết quả các thuật toán, trong quá trình chạy mô phỏng trên phần mềm Matlab

Chương VI: Kết Luận Và Hướng Phát Triển

Trình bày những đóng góp và hướng nghiên cứu tiếp theo của luận văn

Xử lý ảnh

Con người tiếp nhận thông tin chủ yếu qua các giác quan, trong đó thị giác là quan trọng nhất Gần đây, sự phát triển mạnh mẽ của phần cứng máy tính đã thúc đẩy lĩnh vực xử lý ảnh, mở ra nhiều ứng dụng trong đời sống Xử lý ảnh không chỉ cải thiện chất lượng hình ảnh mà còn cho phép phân tích hình ảnh phục vụ các nhiệm vụ cụ thể, đặc biệt trong tương tác giữa con người và máy móc.

Hiện nay, nghiên cứu ứng dụng xử lý ảnh đang trở thành xu hướng quan trọng trong nhiều lĩnh vực trên thế giới Công nghệ xử lý ảnh ngày càng được ứng dụng rộng rãi trong các thiết bị điều khiển, cho thấy rõ ưu điểm vượt trội của nó Quá trình xử lý ảnh được định nghĩa là thao tác trên ảnh đầu vào để đạt được kết quả mong muốn, có thể là một hình ảnh được cải thiện hoặc một kết luận cụ thể Hình 2.1 minh họa các bước cơ bản trong quá trình xử lý ảnh.

Thu nhận ảnh Tiền Xử Lý Phân Đoạn Ảnh

Hình 2.1: Các giai đoạn xử lý ảnh

Các giai đoạn xử lý ảnh

2.2.1 Thu nhận ảnh Ảnh được thu từ nhiều nguồn khác nhau mô tả như trong hình 2.2: máy ảnh, máy quay phim, máy quét, ảnh vệ tinh v.v… Sau đó ảnh thu được được biến đổi về các cấu trúc được lưu trữ trong máy tính, có thể hiển thị ra các thiết bị ngoại vi như là máy in, màn hình…

Hình 2.2: Qúa trình thu nhận và số hóa ảnh thực [17]

Quá trình thu nhận ảnh chuyển đổi thông tin của đối tượng từ dạng quang năng sang dạng điện năng, sau đó số hóa thành ma trận chứa thông tin hình ảnh.

Tiền xử lý ảnh là quá trình áp dụng các kỹ thuật xử lý ảnh nhằm cải thiện chất lượng hình ảnh theo mục đích sử dụng Mục tiêu chính của tiền xử lý ảnh là giảm thiểu nhiễu và loại bỏ các đối tượng không mong muốn, đồng thời điều chỉnh độ sáng giữa nền và đối tượng, cũng như thay đổi kích thước, màu sắc và hình dạng của ảnh.

Quá trình phân chia nội dung các đối tượng cần khảo sát ra khỏi ảnh là việc tách biệt các đối tượng tiếp giáp hoặc phân tách các đối tượng riêng biệt thành các đối tượng con Hình 2.3 minh họa quá trình phân mảnh đối tượng quan tâm.

(a) Ảnh gốc video (b) Ảnh sau khi phân đoạn Hình 2.3: Qúa trình phân đoạn khung ảnh từ video

2.2.4 Biểu diễn ảnh Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính [17] Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng, gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong phạm vi ảnh nhận được Ví dụ, trong nhận dạng ký tự trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác

2.2.5 Nhận dạng và nội suy ảnh

Nhận dạng ảnh là quá trình xác định và phân tích hình ảnh bằng cách so sánh với các mẫu chuẩn đã được học trước đó Nội suy trong nhận dạng ảnh là việc phán đoán ý nghĩa từ hình ảnh, chẳng hạn như việc chuyển đổi các chữ số và nét gạch ngang trên phong bì thành mã điện thoại Có nhiều phương pháp phân loại ảnh khác nhau, và theo lý thuyết nhận dạng, các mô hình toán học về ảnh được chia thành hai loại cơ bản trong nhận dạng ảnh.

- Nhận dạng theo tham số

- Nhận dạng theo cấu trúc

2.2.6 Cơ sở trí thức Ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu Trong nhiều khâu xử lý và phân tích ảnh ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người

xử lý video và hiển thị đồ họa

Người dùng có khả năng đọc và ghi từ các định dạng video phổ biến, đồng thời áp dụng các thuật toán xử lý video như xóa nhòe và chroma-resampling, hiển thị kết quả dưới dạng văn bản và đồ họa trong video Xử lý video trong MATLAB sử dụng hệ thống đối tượng, giúp tiết kiệm bộ nhớ bằng cách truyền dữ liệu cho quá trình xử lý từng khung hình một.

Hình 2.4: Xóa nhòe video trong matlab

Computer Vision Toolbox hỗ trợ đọc và ghi nhiều định dạng file đa phương tiện như AVI, MPEG và WMV Người dùng có khả năng ghi video từ các nguồn MMS trên Internet hoặc mạng nội bộ Ngoài ra, người dùng còn có thể thu video trực tiếp từ web-camera, khung grabbers và DCAM-camera.

HVTH: Thiều Đoàn Quang Huy Trang 13 GVHD: PGS.TS Nguyễn Thanh Hải Người dùng Simulink có thể tận dụng môi trường Matlab để thu thập và hiển thị video, sử dụng các thiết bị hình ảnh thông qua Image Acquisition Toolbox, như mô tả trong hình 2.5.

 Hiển thị video là bộ công cụ bao gồm một trình xem video cho phép người dùng:

- Xem video in-the-loop như các dữ liệu đang được xử lý

- Xem bất kỳ tín hiệu video trong sơ đồ mã hoặc khối

- Sử dụng nhiều người xem video cùng một lú

- Đóng băng màn hình và đánh giá khung hiện tại

- Thông tin điểm ảnh hiển thị cho một khu vực trong khung

- Bắt đầu, dừng, tạm dừng và bước qua mô phỏng Simulink từng khung hình tại một thời gian

Hình 2.5: Qúa trình hiển thị video khi xử lý

Một số ứng dụng phổ biến của xử lý ảnh trong giao thông

2.4.1 Nhận dạng biển số xe

Quá trình xử lý ảnh nhằm nhận dạng biển số xe, như mô tả trong hình 2.6, giúp phát hiện nhanh chóng biển đăng ký của người sử dụng, từ đó nâng cao hiệu quả quản lý.

HVTH: Thiều Đoàn Quang Huy Trang 14, GVHD: PGS.TS Nguyễn Thanh Hải, đề cập đến việc quản lý kho bãi và kiểm soát ra vào, cũng như kiểm tra tính hợp lệ của phương tiện giao thông để đảm bảo an toàn.

Hình 2.6: Ứng dụng xử lý ảnh trong nhận diện bản số xe [19]

2.4.2 Phát hiện, cảnh báo biển báo và đèn tín hiệu

Việc ứng dụng công nghệ xử lý ảnh để phát hiện biển báo giao thông và đèn giao thông đóng vai trò quan trọng trong việc phát triển xe tự hành Hệ thống camera gắn trên xe tự hành hoạt động như giác quan, giúp phương tiện di chuyển chính xác và đảm bảo an toàn cho người sử dụng Tuy nhiên, hiện tại các phương tiện này vẫn đang trong giai đoạn thử nghiệm và có khả năng được áp dụng trong tương lai, nếu hệ thống biển báo và đèn tín hiệu được cải thiện phù hợp.

Hình 2.7: Ứng dụng xử lý ảnh phát hiện biển báo giao thông [20]

2.4.3 Phát hiện, cảnh báo vật cản và dự báo tắt đèn

Việc ứng dụng công nghệ xử lý ảnh để phát hiện vật cản tương tự như trong bài toán nhận diện biển báo giao thông và đèn giao thông, đóng vai trò quan trọng trong việc phát triển công nghệ xe tự lái và các phương tiện tự hành Nhờ vào hệ thống này, người ngồi trên xe có thể không cần cầm lái mà vẫn đảm bảo an toàn khi di chuyển.

Camera gắn trên phương tiện không chỉ giúp phát hiện và tránh vật cản mà còn hỗ trợ trong việc dự báo tình trạng tắc đường, như được minh họa trong hình 2.8.

Hình 2.8: Ứng dụng xử lý ảnh dự báo tắt đường [21]

Thuật toán ứng dụng để phát hiện và theo dõi đối tượng

Thuật toán phát hiện xe được phát triển từ thuật toán phát hiện vật thể, cho phép xác định sự hiện diện của xe trong hình ảnh từ camera hoặc video (avi, mp4) Khi nhận được khung hình, thuật toán sẽ xác định xem có xe trong ảnh hay không và chỉ rõ vị trí cũng như phạm vi của xe đó Đây là bước quan trọng trong các ứng dụng phân tích vật thể, đặc biệt là trong lĩnh vực giao thông.

Trong ứng dụng giám sát video, mô hình nền là yếu tố đầu tiên cần thiết, tiếp theo là phát hiện các đối tượng chuyển động Việc đếm số lượng phương tiện giao thông trên đường mang lại nhiều ứng dụng hữu ích, đặc biệt trong giám sát giao thông Nghiên cứu sử dụng phương pháp mô hình trừ nền giúp phát hiện các đối tượng chuyển động (foreground) và xác định các cảnh vật không thay đổi, từ đó tiến hành xử lý trên tập dữ liệu đã phát hiện.

Gần đây, nhiều nghiên cứu đã được thực hiện để phát triển phương pháp trừ nền, với phương pháp hỗn hợp Gaussian là một trong những hướng tiếp cận phổ biến nhất nhờ vào khả năng ứng dụng hiệu quả trong môi trường ngoài trời Mặc dù cách tốt nhất để thu nhận nền là lưu trữ ảnh khi không có đối tượng chuyển động, nhưng điều này khó xảy ra trong thực tế do nền thường xuyên thay đổi, chẳng hạn như sự biến động của ánh sáng và sự xuất hiện hoặc biến mất của các đối tượng trong khung hình Để giải quyết vấn đề này, nhiều phương pháp mô hình nền đã được phát triển và được phân loại thành nhiều loại khác nhau.

Mô hình nền cơ bản sử dụng giá trị trung bình hoặc phân tích lược đồ xám trong toàn thời gian, trong khi mô hình nền mờ áp dụng giá trị trung bình mờ hoặc hỗn hợp mờ loại 2 của Gauss Phát hiện tiền cảnh được thực hiện thông qua tích hợp Sugeno hoặc Choquet và có thể áp dụng logic mờ Đối với phân cụm nền, mỗi điểm ảnh trong khung hình được phân cụm theo thời gian xuất hiện, với các điểm ảnh được phân loại và nhóm lại theo tiêu chí đã định Phương pháp phân cụm có thể sử dụng thuật toán K-mean hoặc Codebook.

Mô hình nền mạng nơ ron được xây dựng dựa trên trị trung bình của các hệ số từ một mạng nơ ron đã được đào tạo trên N khung hình sạch, nhằm phân loại mỗi điểm ảnh thành nền hoặc tiền cảnh Trong khi đó, mô hình nền Wavelet được định nghĩa trong vùng thời gian, sử dụng hệ số biến đổi wavelet rời rạc (DWT) Để ước tính nền, người ta sử dụng các bộ lọc như lọc Wiener, lọc Kalman hoặc lọc Tchebychev, trong đó mỗi điểm ảnh của ảnh hiện tại sẽ bị coi là nổi trên nền nếu nó lệch đáng kể so với giá trị dự đoán.

Mô hình Gauss hỗn hợp, được Stauffer [11] giới thiệu, là một phương pháp hiệu quả để xử lý các vấn đề liên quan đến ánh sáng thay đổi, hành động lặp lại và sự lộn xộn trong video Phương pháp này kết hợp nhiều mô hình nền nhằm cải thiện độ chính xác trong việc phát hiện và phân tích chuyển động.

Mục đích của nghiên cứu là chứng minh rằng mô hình nền đơn không đủ khả năng xử lý các khung hình liên tục trong thời gian dài Để thực hiện điều này, phương pháp pha trộn phân tán Gauss được sử dụng để biểu diễn mỗi điểm ảnh trên mô hình Nghiên cứu tích hợp phương pháp này vào hệ thống giám sát, đồng thời xem xét giá trị điểm ảnh quan sát với một số mô hình Gauss đơn.

2.5.2 Mô hình hỗn hợp Gaussian trong xử lý ảnh

2.5.2.1 Khái niệm mô hình trừ nền hỗn hợp

Mô hình hỗn hợp Gaussian (GMM) là một hàm mật độ xác suất được xây dựng từ tổng trọng số của các mật độ Gaussian thành phần GMM thường được áp dụng như một mô hình tham số để mô tả phân phối xác suất của các phép đo liên tục hoặc các tính năng trong hệ thống sinh trắc học Cấu trúc của mô hình GMM bao gồm m thành phần mật độ, được định nghĩa bởi một công thức toán học cụ thể.

Trong đó: m là số vùng, số thành phần,  i : Trọng số với: 

2.5.2.2 Mô hình trừ nền hỗn hợp đối với ảnh số

Khi mỗi điểm ảnh được hình thành từ mặt phẳng dưới ánh sáng, một Gaussian đơn có thể mô hình hóa giá trị điểm ảnh trong quá trình tính toán nhiễu Tuy nhiên, trong thực tế, sự xuất hiện của nhiều mặt phẳng trong các khối cụt của một điểm ảnh và sự thay đổi ánh sáng theo thời gian đòi hỏi phải sử dụng Gaussian đa tương thích Do đó, việc áp dụng một hỗn hợp Gaussian tương thích là cần thiết để xấp xỉ tiến trình này.

2.5.3 Phương pháp xử lý hình thái, bộ lọc trung bình và bộ lọc trung vị để lọc ảnh

Quá trình phân mảnh nền thường gặp phải nhiễu không mong muốn, do đó, việc áp dụng các phương pháp xử lý hình thái như bộ lọc trung bình và bộ lọc trung vị là cần thiết để loại bỏ nhiễu và lấp đầy các khoảng trống trong các đối tượng được phát hiện Một số bộ lọc nhiễu thông dụng có thể được sử dụng để cải thiện chất lượng hình ảnh.

- Lọc với toán tử hình thái

- Xóa nhòe và lọc sát nét ảnh

- Loại bỏ nhiễu với các bộ lọc trung bình, trung vị, hoặc lọc thích nghi

- Thể hiện biểu đồ cân bằng

- Hiệu chỉnh giá trị gamma

- Hiệu chỉnh độ tương phản

Phép mở ảnh là quá trình kết hợp giữa phép co ảnh và phép dãn ảnh Cụ thể, đầu tiên áp dụng phép co ảnh E lên ảnh I, sau đó thực hiện phép dãn ảnh D trên kết quả thu được Công thức tổng quát cho phép mở ảnh có thể được diễn đạt như sau: I → E → D.

Phép mở ảnh D(E(I)) (2.2) được áp dụng để loại bỏ các đốm trắng nhiễu không mong muốn, đồng thời xóa bỏ các phần dư thừa và cầu nối, nhưng vẫn giữ nguyên cấu trúc và kích thước của vùng ảnh.

Phép đóng ảnh là thực hiện thao tác dãn ảnh được thực hiện trước, sau đó mới đến thao tác co ảnh với kết quả trước:

Phép đóng ảnh, được biểu diễn qua công thức Close (I) = E(D(I)), giúp lấp đầy khoảng trống trong đối tượng, loại bỏ các đốm trắng không mong muốn, dãn nỡ đối tượng và làm mượt các đường viền của đối tượng trong ảnh.

Trong bài viết này, chúng ta định nghĩa ảnh nhị phân ngõ vào là A và phần tử cấu trúc là B Phép giãn nhị phân của ảnh A với phần tử B được ký hiệu là A ⊕ B Chúng ta có thể biểu diễn phép toán giãn ảnh qua công thức cụ thể.

Phép tổng trực tiếp A và B liên quan đến việc A là đối tượng ảnh được thao tác, trong khi B là phần tử cấu trúc Mục tiêu của phép giãn ảnh là mở rộng vùng ảnh, lấp đầy khoảng trống, giảm thiểu nhiễu và làm cho ảnh trở nên mượt mà hơn, giảm bớt độ gồ ghề.

Đếm đối tượng

Để xác định số lượng đối tượng, tác giả sử dụng cạnh dưới của hộp đánh dấu (Bbox) bao quanh đối tượng Khi cạnh dưới của hộp đánh dấu vượt qua một khoảng điểm nhất định, nó sẽ được tính là một đối tượng.

2.6.1 Phương pháp tách các xe chạy bị chồng lấp lên nhau trong quá trình đếm xe

Dựa vào giá trị pixel của xe, chúng ta xác định vị trí và tọa độ của hộp đánh dấu (Bbox) bao quanh các xe bị chồng lấp trong từng khung hình Từ tọa độ này, ta có thể tính toán giá trị pixel chiều rộng của hộp đánh dấu bao quanh hai xe Sự thay đổi rõ rệt về giá trị pixel chiều rộng của hộp đánh dấu trước và sau khi chồng lấp cho phép chúng ta tách biệt các xe bị chồng lấp trong từng khung hình.

Phân loại đối tượng

Để phân loại phương tiện giao thông thành xe lớn và xe nhỏ, cần tính toán kích thước của hộp đánh dấu (Bbox) bao quanh từng loại xe, từ đó giúp phân biệt và nhận diện rõ ràng các loại xe khác nhau.

Bảng 2.1: Phân loại xe lớn và xe nhỏ

Ước Lượng chuyển động

Ước lượng chuyển động là quá trình xác định sự di chuyển của các khối giữa các khung hình video liên tiếp Các thuật toán như dòng quang học, đối chiếu khối và khớp mẫu được sử dụng trong bộ công cụ ước lượng chuyển động Tốc độ của xe trong mỗi khung hình được tính dựa trên vị trí của xe, thông qua việc xác định hộp giới hạn bao quanh đối tượng và quỹ tâm Quỹ tâm đóng vai trò quan trọng trong việc xác định khoảng cách di chuyển của xe giữa các khung hình, và khi tốc độ khung hình được biết, việc tính toán tốc độ trở nên khả thi.

Xe Lớn Xe 4 bánh trở lên (xe ô tô, xe bus, xe tải, container)

Xe nhỏ Xe 3 bánh trở lại (xe máy, xe đạp, xe xích lô)

Theo dõi đối tượng

Hệ thống giám sát giao thông đóng vai trò quan trọng trong việc quản lý và sử dụng hiệu quả hạ tầng giao thông Các thông số về trạng thái giao thông không chỉ giúp kiểm soát tình hình hiện tại mà còn là yếu tố then chốt trong việc phát triển hệ thống giao thông thông minh trong tương lai.

2.9.1 Thành phần trong xây dựng hệ thống theo dõi đối tượng

Trong hệ thống theo dõi đối tượng, mọi thông tin hình ảnh thu được từ camera sẽ được truyền về trung tâm, như mô tả trong hình 2.9.

Hình 2.9: Trung tâm điều hành giao thông tại TPHCM

Hệ thống camera lớn bao gồm nhiều camera được lắp đặt tại các khu vực quan trọng cần giám sát, như bãi đỗ xe, sảnh và cầu thang trong tòa nhà Trong khi một hệ thống nhỏ có thể chỉ cần một camera, hệ thống lớn yêu cầu sự phân bổ hợp lý để đảm bảo an ninh toàn diện.

Màn hình theo dõi hoặc hệ thống màn hình cho phép hiển thị hình ảnh từ nhiều camera khác nhau Trên một màn hình, người dùng có thể kết nối tương ứng với một camera hoặc chia sẻ chế độ hiển thị với các phân vùng, tương ứng với số lượng camera cần theo dõi.

- Đầu ghi hình DVR độc lập hoặc card DVR cắm máy tính

Phòng điều khiển giám sát là nơi đặt màn hình theo dõi hệ thống, nơi có nhân viên phụ trách quản lý và điều hành hoạt động của hệ thống một cách hiệu quả.

Hiển thị và đồ họa

Người dùng có thể đọc và ghi từ các định dạng video phổ biến, hiển thị kết quả bằng văn bản và đồ họa vào video

Bộ công cụ bao gồm một trình xem video như hình 2.16 cho phép người dùng:

- Xem video in-the-loop như các dữ liệu đang được xử lý

- Xem bất kỳ tín hiệu video trong sơ đồ mã hoặc khối

- Sử dụng nhiều người xem video cùng một lúc

- Đóng băng màn hình và đánh giá khung hiện tại

- Thông tin điểm ảnh hiển thị cho một khu vực trong khung

- Di chuyển và phóng to để kiểm tra gần khi mô phỏng đang chạy

- Bắt đầu, dừng, tạm dừng và bước qua mô phỏng Simulink từng khung hình tại một thời gian

Hình 2.10: Qúa trình hiển thị video khi xử lý

Việc thêm hình ảnh vào video mô tả giúp người xem dễ dàng hình dung thông tin một cách chính xác hơn Người dùng có thể chèn văn bản để hiển thị số lượng đối tượng hoặc theo dõi các thông tin quan trọng khác Ngoài ra, người dùng có thể thêm hình ảnh như đánh dấu, đường và đa giác để làm nổi bật các tính năng phát hiện và phân định đối tượng Bộ công cụ văn bản và đồ họa cho phép người dùng tích hợp trực tiếp vào hình ảnh hoặc video của mình mà không cần duy trì một lớp riêng biệt Cuối cùng, người dùng có thể kết hợp hai nguồn video để làm nổi bật đối tượng hoặc khu vực trọng điểm.

Hình 2.11: Qúa trình thêm đồ họa vào video khi xử lý

Phương pháp phân vùng ảnh để phát hiện và theo dõi đối tượng

Trong luận văn này, chúng tôi áp dụng phương pháp phân vùng ảnh trong thị giác máy tính để nhận diện, phân loại và đếm lưu lượng xe lưu thông Phương pháp này cho phép theo dõi đối tượng và tìm kiếm các vùng liên kết tương ứng với một đối tượng di chuyển, được thực hiện qua ba bước: thu nhận ảnh, phân đoạn ảnh và trích xuất đặc trưng ảnh.

- Qúa trình thu nhận ảnh: Ảnh sẽ được thu từ camera hoặc máy ảnh đặt trên đường

Phân đoạn ảnh là quá trình tách biệt các đối tượng cần khảo sát trong ảnh, giúp phân chia các đối tượng tiếp giáp và tạo ra các đối tượng con riêng biệt Việc này được thực hiện thông qua các công cụ và hoạt động tiền xử lý như phân ngưỡng, nhằm nâng cao độ chính xác trong việc phân tích hình ảnh.

Trích xuất đặc trưng là quá trình xác định các tính năng quan trọng như diện tích, được tính bằng số lượng pixel, cũng như hướng của các đốm màu trong hình ảnh.

Phương pháp phân vùng ảnh tính toán từng vùng kết nối trong ảnh nhị phân, giúp phân tích đốm màu và trả về các giá trị mà người dùng quan tâm Các đối tượng có vùng liên kết lớn hơn 350 pixel sẽ được giữ lại, trong khi những đối tượng nhỏ hơn sẽ bị loại bỏ, đảm bảo đáp ứng các điều kiện về thuộc tính và giá trị.

Thuật toán đếm và phân loại xe

Thực hiện xử lý các đốm được lọc ra là các phương tiện với các tham số tọa độ

Để đếm số lượng đối tượng, tác giả sử dụng cạnh dưới của hộp đánh dấu khi nó đi qua một khoảng điểm nhất định, được tính là 1 đối tượng Phương pháp này cũng giúp phân loại các loại phương tiện giao thông bằng cách tính toán kích thước của hộp đánh dấu bao quanh đối tượng, từ đó phân biệt được các phương tiện lớn và nhỏ.

Sử dụng thuật toán dán nhãn để xác định số thành phần liên kết trong ảnh nhị phân, nhằm tìm ra số phần tử có thể liên kết Các thành phần liên kết được phân chia thành hai loại: liên kết 4 và liên kết 8, như minh họa trong hình 4.2.

Bốn pixel sẽ kết nối với các pixel ở các cạnh của chúng, cho thấy rằng một cặp pixel liền nhau thuộc cùng một đối tượng nếu cả hai đều có giá trị 1 và được kết nối theo chiều ngang hoặc dọc Trong trường hợp liên kết 8, các pixel sẽ được coi là kết nối nếu các cạnh hoặc góc của chúng tiếp xúc, nghĩa là hai pixel liền nhau có giá trị 1 sẽ cùng thuộc một đối tượng, bất kể chúng có được kết nối theo chiều ngang, dọc hay chéo.

Hình 4.1: Ảnh minh họa Liên kết 4 và liên kết 8

Thuật toán dán nhãn các thành phần liên kết với số liên kết là 8 được thực hiện bằng cách quét ảnh ngõ vào từ trái sang phải và từ trên xuống dưới cho đến khi gặp điểm ảnh X, với X = 1 trong trường hợp ảnh nhị phân Sau đó, kiểm tra 4 điểm lân cận của X, bao gồm điểm bên trái, phía trên trái, điểm ở trên và điểm góc trên phải, tương ứng với các điểm A, B, C, D như mô tả trong hình 4.2.

Việc dán nhãn cho điểm X sẽ được thực hiện dựa vào các điểm lân cận xung quanh Cụ thể, nếu tất cả bốn điểm lân cận của X đều có giá trị bằng 0, thì sẽ gán nhãn mới cho X Ngược lại, nếu chỉ có một trong bốn điểm lân cận có giá trị là 1, thì X sẽ được dán nhãn theo giá trị đó.

X, ngược lại nếu có nhiều hơn 1 điểm lân cận của X có giá trị là 1 thì dán nhãn đó cho

X và ghi chú thích nhãn tương đương

Hình 4.2: Ảnh minh họa 4 điểm lân cận của X

Thao tác lần 2: Quét đầu vào theo thứ tự hàng từ trên xuống dưới như thao tác lần

Gán lại nhãn cho điểm ảnh theo nhãn của lớp tương đương là một bước quan trọng trong quá trình ghi nhãn thành phần kết nối, nhằm tránh nhầm lẫn với sự phân chia Phương pháp này được sử dụng trong thị giác máy tính để phát hiện các khu vực kết nối trong ảnh số nhị phân, và cũng có thể áp dụng cho dữ liệu màu sắc và chiều cao khi tích hợp vào hệ thống nhận dạng hình ảnh hoặc giao diện tương tác giữa con người và máy tính Ghi nhãn thành phần kết nối có khả năng hoạt động trên sự biến đổi thông tin Khai thác đốm màu thường được thực hiện trên ảnh nhị phân sau khi tạo ngưỡng, cho phép tính toán, lọc và theo dõi các đốm màu Mặc dù khai thác đốm màu liên quan đến nhận dạng đốm màu, nhưng chúng là hai quá trình khác biệt.

Phương pháp "Một thành phần tại một thời điểm" là một kỹ thuật đơn giản và nhanh chóng, dựa trên lý thuyết đồ thị Khi tìm thấy các điểm ảnh đầu tiên của một thành phần kết nối, tất cả các điểm ảnh kết nối sẽ được dán nhãn trước khi tiếp tục xử lý các điểm ảnh khác trong hình ảnh.

Thuật toán two-pass là một phương pháp đơn giản và dễ hiểu, hoạt động bằng cách lặp lại qua dữ liệu hai chiều và nhị phân Các thuật toán này thường được áp dụng để xử lý ảnh, thực hiện qua hai lần quét để đạt được kết quả chính xác.

HVTH: Thiều Đoàn Quang Huy Trang 48 GVHD: PGS.TS Nguyễn Thanh Hải đã đề xuất quy trình gán nhãn tạm thời và thu thập các nhãn tương đương Quá trình này bao gồm việc thay thế mỗi nhãn tạm thời bằng các nhãn nhỏ nhất trong lớp tương đương của nó Dữ liệu đầu vào có thể được chỉnh sửa tại chỗ, tuy nhiên điều này tiềm ẩn nguy cơ mất dữ liệu; do đó, việc ghi nhãn thông tin nên được duy trì trong một cấu trúc dữ liệu bổ sung để đảm bảo tính toàn vẹn.

Sau khi hoàn tất việc dán nhãn cho xe, quá trình đếm xe sẽ được thực hiện bằng cách sử dụng cạnh dưới của hộp đánh dấu xung quanh xe Khi cạnh dưới này đi qua khu vực đếm đã được xác định trước, số lượng xe sẽ được ghi nhận tương ứng Quá trình đếm xe sẽ tiếp tục cho đến khi video kết thúc.

Tổng xe = 0 Vehicle = 0 Pixel_up = 180 Pixel_down = 190 Tọa độ = 0 Count_frame = 0

Vehicle = 1 Tổng xe = tổng xe+1

Tọa độ > Pixel_up và Toạ độ <

Tọa độ = bbox(k,2) +bbox(k,4) Sai Đúng Sai

Hình 4.3: Thuật toán đếm xe

Ngõ vào: Các giá trị khởi tạo

Ngõ ra: Tổng số xe đếm được trong tất cả các khung ảnh

Nếu (tọa độ > pixel_up) và (tọa độ < pixel_down) thì

Ngược lại isVehicle = 0; kết thúc kết thúc

4.2.1.1 Phương pháp tách các xe chạy bị chồng lấp lên nhau trong quá trình đếm

Phương pháp này sử dụng tính toán giá trị pixel để xác định vị trí các xe bị chồng lấp trong mỗi khung hình Qua việc xác định tọa độ của hộp đánh dấu (Bbox) bao quanh các xe tại thời điểm bị chồng lấp, ta có thể tính toán giá trị pixel chiều rộng của Bbox Sự thay đổi rõ rệt về giá trị pixel chiều rộng giữa các xe bị chồng lấp và các xe tách rời cho phép phân tách các xe trong từng khung hình một cách hiệu quả.

Tọa độ = 0 Pixel_up = 280 Pixel_down = 290 Count_frame = 0 Td_trx1 = 223 Td_trx2 = 224 Tổng xe = 0

Tọa độ > Pixel_up và Tọa độ Td_rx1 và Width_bbox < = Td_rx2

Vehicle = 0 Tổng xe = Tổng xe + 1 Đúng

Tổng xe = Tổng xe + 2 lane_1 = lane_1 + 1 Lane_2 = lane_2 + 1

Hình 4.4: Lưu đồ tính toán tách 2 xe bị chồng lấp

- Thuật toán tách các xe bị chồng lấp lên nhau:

Ngõ vào: Các khung ảnh và các giá trị khởi tạo

Ngõ ra: Tổng số xe đếm được như mong muốn, sau khi tách các xe bị chồng lấp

Nếu (tọa độ > pixel_up và tọa độ < pixel_down) thì

Nếu (Chiều rộng hộp bbox > Td_rx1 và Chiều rộng hộp bbox

Tiêu đề	Phân Loại Và Đếm Lưu Lượng Xe Lưu Thông
Tác giả	Thiều Đoàn Quang Huy
Người hướng dẫn	PGS.TS Nguyễn Thanh Hải
Trường học	Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
Chuyên ngành	Kỹ Thuật Điện Tử
Thể loại	luận văn thạc sĩ
Năm xuất bản	2020
Thành phố	Tp. Hồ Chí Minh

Định dạng
Số trang	124
Dung lượng	6,02 MB