Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không Ứng dụng công nghệ xử lý ảnh trong việc phát hiện vật thể ngoại lai (FOD) trong ngành hàng không
TỔNG QUAN
Tổng quan chung
Ngày nay, sự phát triển vượt bậc của khoa học kỹ thuật đã mang lại nhiều thành tựu công nghệ quan trọng, ảnh hưởng sâu rộng đến đời sống xã hội Sự tiến bộ này gắn liền với quá trình toàn cầu hóa, khi mà hàng hóa và con người trên toàn thế giới ngày càng được kết nối chặt chẽ, đặc biệt thông qua các hình thức vận chuyển hàng không.
Trong vận chuyển hàng không, an toàn là ưu tiên hàng đầu, đặc biệt là vấn đề FOD (Foreign Objects Debris) đang được chú trọng toàn cầu Nhiều chuyên gia đã nghiên cứu và áp dụng các kỹ thuật để giảm thiểu nguy cơ này, trong đó có việc phát triển radar sóng ngắn để phát hiện vật thể ngoại lai Phương pháp này đã được thử nghiệm ở một số quốc gia, nhưng cũng tồn tại những hạn chế như ảnh hưởng đến sức khỏe do bức xạ sóng tín hiệu trong khu vực có người sinh hoạt Hơn nữa, việc thiết kế hệ thống radar chuyên dụng cho đường lăn đòi hỏi chi phí cao và công nghệ tiên tiến, điều này có thể là thách thức đối với các quốc gia đang phát triển như Việt Nam.
Thứ ba là việc bức xạ sóng Radar trong môi trường sân bay sẽ tăng mối đe dọa đến việc truyền nhận tín hiệu vô tuyến
Bảo trì thiết bị công nghệ tiên tiến là một vấn đề quan trọng, vì chi phí cho việc bảo trì thường rất cao.
Mảnh vỡ của vật thể lạ (FOD) gây thiệt hại nghiêm trọng cho máy bay và thiết bị, đe dọa an toàn hàng không và tốn kém hàng triệu đô la cho các hãng hàng không mỗi năm do tổn thất trực tiếp và gián tiếp từ việc máy bay không thể hoạt động Để giảm thiểu rủi ro này, các công nghệ cảm biến radar mới đã được triển khai tại một số sân bay, bổ sung cho các quan sát trực quan của nhân viên từ đường băng và tháp điều khiển, nhằm nâng cao độ chính xác trong việc phát hiện FOD.
Một hướng nghiên cứu mới đã được hình thành nhằm phát hiện vật thể ngoại lai FOD bằng cách sử dụng phương pháp xử lý ảnh kết hợp với thuật toán trừ nền Phương pháp này mang lại lợi ích vượt trội, khắc phục những nhược điểm của các phương pháp radar truyền thống.
Mục tiêu đề tài
Xây dựng mô hình mô phỏng kết hợp bộ lọc ảnh và thuật toán trừ nền với khả năng cập nhật ảnh nền, nhằm phát triển hệ thống phát hiện và cảnh báo FOD tại sân bay với chi phí hợp lý và độ tin cậy cao.
Phạm vi nghiên cứu
Đề xuất phát triển phương pháp phát hiện vật thể FOD (Foreign Object Debris) thông qua thuật toán trừ nền, kết hợp với các kỹ thuật tăng cường ảnh, kỹ thuật dò biên và chọn ngưỡng Phương pháp này nhằm phát hiện đối tượng dựa trên hình ảnh hoặc video của khu vực đường băng cần giám sát.
Nền tảng phương pháp phát hiện dựa trên phân tích hình ảnh có thể gặp khó khăn trong việc nhận diện các vật thể có màu sắc tương đồng với nền đường băng Nghiên cứu hiện tại chỉ được thực hiện trong điều kiện ánh sáng khả kiến và chủ yếu giải quyết vấn đề trong thời gian ban ngày.
Phương pháp nghiên cứu
Trong quá trình nghiên cứu, chúng tôi áp dụng phương pháp chủ yếu là phân tích các tài liệu khoa học, tài liệu liên quan đến xử lý ảnh số, tiêu chuẩn ICAO có sẵn trên Internet, cùng với các sách vở bằng tiếng Việt.
3 cũng được xây dựng từ kinh nghiệm thực tiễn của các chuyên gia, các Thầy đã nghiên cứu, những bài báo khoa học đã công bố quốc tế.
Đối tượng nghiên cứu
Bài viết này khám phá các phép biến đổi ảnh, bộ lọc ảnh, phương pháp lấy ngưỡng và dò biên, với trọng tâm là nghiên cứu phương pháp phát hiện vật thể dựa trên thuật toán trừ nền Phương pháp này có ưu điểm nổi bật như cập nhật ảnh nền thường xuyên, chọn ngưỡng linh hoạt và dễ dàng kết hợp với các kỹ thuật tăng cường ảnh trong quá trình xử lý Đặc biệt, trong môi trường sân bay, việc sử dụng phương pháp không cần sóng vô tuyến là rất quý giá, giúp giảm thiểu lo ngại về an toàn hàng không.
Các kết quả nghiên cứu đã công bố
Nghiên cứu của các tác giả GUO Xiao-jing, Yang Xue-you, Yu Zhi-jing về việc phát hiện vật thể ngoại lai trên đường băng, đăng trên Trans Tech Publications năm 2013, đã áp dụng phương pháp wavelet để nâng cao hiệu quả và độ chính xác trong việc phát hiện mảnh vỡ vật liệu Hệ thống xử lý hình ảnh cho phép quan sát nhanh chóng và tiết kiệm chi phí, đồng thời đảm bảo an toàn cho hành khách Luận án phân tích các đặc tính của chuyển đổi wavelet và ứng dụng lý thuyết này trong xử lý hình ảnh dưới điều kiện thị giác kém, nhằm xác định hình dạng FOD và đánh dấu các điểm đặc trưng trên đường băng thông qua lập trình MATLAB Nghiên cứu cũng mang lại ý nghĩa quan trọng cho việc phát hiện FOD trong thời gian thực và kiểm tra tính khả thi cũng như hiệu quả của hệ thống.
Researcher Haoyuan Lin from the University of Iowa conducted a study titled "Foreign Object Detection (FOD) Using Multi-Class Classifier with Single Camera vs Distance Map with Stereo Configuration" in 2015.
Phát hiện các đối tượng quan tâm là một yếu tố quan trọng trong tầm nhìn máy tính Phát hiện vật thể ngoại lai (FOD) liên quan đến việc xác định các đối tượng không thuộc về một khu vực nhất định Để thực hiện nhiệm vụ này, trước tiên cần xác định vị trí của các vật lạ và tính toán khoảng cách đến chúng, nhằm đánh giá xem các vật thể có nằm trong khu vực cần quan sát hay không.
Nghiên cứu này tập trung vào việc phát hiện các vật thể ngoại lai một cách tích hợp và hiệu quả, giải quyết ba nguồn gốc khó khăn chính: số lượng lớn các loại vật thể ngoại lai, tính toán khoảng cách bằng máy ảnh, và hiệu suất của hệ thống thời gian thực Các máy dò hiện đại thường chỉ tập trung vào một loại đối tượng, dẫn đến việc thiếu một giải pháp toàn diện cho việc phát hiện đa dạng vật thể ngoại lai Để cải thiện hiệu quả, nghiên cứu đề xuất thiết kế một máy dò đa lớp sử dụng chiến lược thô-to-fine, phân chia không gian phức tạp thành các không gian nhỏ hơn Thuật toán phân cụm dựa trên dữ liệu được áp dụng để thu thập các mẫu vật thể tương tự, trong khi thuật toán tăng cường vector mở rộng giúp tách biệt vật thể ngoại lai khỏi nền Đối với việc ước tính khoảng cách, nghiên cứu thiết kế bảng tra cứu dựa trên diện tích vật thể và sử dụng âm thanh stereo kết hợp với mô hình máy ảnh để tính toán khoảng cách chính xác hơn Phương pháp lấp lũ và ức chế tiếng ồn được áp dụng để tăng độ tin cậy cho các vùng có khoảng cách nhỏ hơn bản đồ khoảng cách ban đầu Hệ thống mẫu nguyên mẫu đã được thử nghiệm và cho thấy hiệu quả cao trong các kịch bản thực tế.
Tác giả Li Ang từ Đại học Khoa học Kỹ thuật Nanjing, Trung Quốc đã công bố nghiên cứu mang tên "Nghiên cứu và Thiết kế Hệ thống Phát hiện Vật thể Ngoại lai (FOD) trên Đường băng Sân bay Dựa trên Mạng Cảm biến Không dây (WSN)" vào năm 2013 Các mảnh vỡ từ vật thể ngoại lai (FOD) có thể gây ra thiệt hại nghiêm trọng khi xuất hiện trên đường băng sân bay, do đó, việc phát triển hệ thống phát hiện hiệu quả là rất cần thiết để đảm bảo an toàn cho hoạt động hàng không.
Giám sát FOD là yếu tố quan trọng đảm bảo an toàn cho máy bay Bài viết này trình bày phương pháp thiết kế hệ thống phát hiện FOD trên đường băng sân bay sử dụng mạng cảm biến không dây (WSN) Nó phân tích chức năng của các bộ cảm biến thu nhận hình ảnh khác nhau và giới thiệu thuật toán phân tích hình ảnh FOD Cuối cùng, công nghệ tổng hợp dữ liệu WSN được áp dụng để phân tích hình ảnh FOD một cách hiệu quả.
Nhóm tác giả Satish Kumar V., Sudesh K Kashyap, và N Shantha Kumar tại phòng thí nghiệm không gian quốc gia Ấn Độ đã nghiên cứu về việc phát hiện các mối nguy FOD trong bài viết “Detection of runway and obstacles using Electro-optical and Infrared Sensors before Landing”, đăng trên tạp chí khoa học quốc phòng năm 2014 Việc phát hiện các vật thể lạ trên đường băng, đặc biệt trong quá trình hạ cánh và cất cánh, là rất quan trọng để đảm bảo an toàn cho các hoạt động của máy bay.
Kỹ thuật phát hiện vật thể xa trên đường băng giúp phi công có đủ thời gian phản ứng Bài viết này trình bày các phương pháp sử dụng máy ảnh màu quang học và cảm biến hồng ngoại dạng sóng trung bình để phát hiện vật thể lạ khi tiếp cận hạ cánh Quá trình phát hiện bao gồm việc xác định chân trời nhằm giảm không gian tìm kiếm và sau đó phát hiện đường băng cùng chướng ngại vật Thông tin được cung cấp cho phi công để nhận biết tình hình Hiệu suất của các kỹ thuật này được đánh giá qua mô phỏng bay với hình ảnh từ cảm biến quang điện và hồng ngoại trong điều kiện ngày, đêm và tầm nhìn thấp Kết quả thống kê về phát hiện đường băng, dò lỗi và báo động sai đã được cung cấp và thảo luận trong các nghiên cứu điển hình.
Tóm tắt đề tài
Hiện nay, an toàn đường băng và việc phát hiện vật thể lạ trên đường băng (FOD) đang thu hút sự chú ý của nhiều nhà nghiên cứu và nhà khai thác Các thiết bị radar hiện đang được sử dụng để phát hiện FOD, bên cạnh đó, việc áp dụng công nghệ xử lý ảnh cũng đang được nghiên cứu tích cực Nếu phương pháp xử lý ảnh thành công, nó có thể mang lại giải pháp hiệu quả cho vấn đề này.
Báo cáo này trình bày phương pháp xử lý ảnh để phát hiện các mảnh vụn của vật ngoại lai (FOD) tại các sân bay, nhằm nâng cao an toàn cho ngành công nghiệp hàng không Việc sử dụng hình ảnh thu thập để xử lý sẽ bổ sung cho công nghệ RADAR sóng ngắn, giúp cải thiện khả năng phát hiện trong tương lai.
MỐI NGUY HIỂM FOD TRONG NGÀNH HÀNG KHÔNG
Giới thiệu tình hình phát hiện FOD trên thế giới
Các vật thể ngoại lai (FOD) là những vật lạ không thuộc về đường băng hoặc đoạn đường nối, có thể gây ra thiệt hại nghiêm trọng cho máy bay và dẫn đến tai nạn nguy hiểm Những FOD điển hình bao gồm các bộ phận máy bay, mẩu lốp, dụng cụ của thợ cơ khí, bộ phận hành lý, đá, động vật, thậm chí cả con người xâm nhập vào khu vực này.
Các nhà khai thác sân bay áp dụng nhiều phương pháp khác nhau để phát hiện và loại bỏ FOD, bao gồm kiểm tra bằng mắt và sử dụng máy quét dọn FAA và Massachusetts Port Authority (Massport) đã triển khai hệ thống tự động hóa đầu tiên tại Hoa Kỳ để phát hiện mảnh vụn trên đường băng Hệ thống này bao gồm toàn bộ đường băng tại sân bay Boston Logan.
Hệ thống tự động này gửi thông báo ngay lập tức về các mảnh vụn, kèm theo hình ảnh video của FOD, nhằm hỗ trợ các trung tâm hoạt động sân bay trong việc quyết định có nên loại bỏ hay không.
Hình 2.1: FOD tại sân bay Vancouver
FOD tự động cung cấp giám sát liên tục và phát hiện chính xác vị trí của hệ thống phát hiện FOD Hệ thống này cũng có khả năng cảnh báo bằng âm thanh, giúp người dùng nhận biết ngay lập tức các tình huống cần thiết.
Báo cáo hàng năm
Các vật thể ngoại lai (FOD) tại sân bay có thể gây ra những rủi ro nghiêm trọng, thậm chí những mảnh vụn nhỏ cũng có thể ảnh hưởng lớn đến an toàn hoạt động Mặc dù đã có các biện pháp giám sát và loại bỏ FOD, nhưng thiệt hại liên quan đến vấn đề này vẫn được ghi nhận hàng năm.
Nghiên cứu này giới thiệu một hệ thống mô phỏng giúp phát hiện và định vị FOD, ước tính số lượng FOD và phân biệt chúng với máy bay, từ đó đưa ra cảnh báo âm thanh phù hợp Khi triển khai thực tế, hệ thống này sẽ nâng cao an toàn hoạt động sân bay và duy trì hiệu quả trong vận chuyển không lưu Hệ thống mô phỏng cũng tạo cơ sở cho các nghiên cứu và ứng dụng trong tương lai, góp phần tăng tính nội địa và giảm chi phí so với các hệ thống hiện tại.
Tình hình chung
Sự hiện diện của FOD (Foreign Object Debris) tại sân bay gây ra nguy cơ lớn đối với an toàn bay, có thể gây hư hỏng máy bay trong các giai đoạn quan trọng và dẫn đến thiệt hại nghiêm trọng về tính mạng cũng như khung máy bay, đồng thời làm tăng chi phí bảo trì và vận hành Tuy nhiên, nguy cơ này có thể được giảm thiểu thông qua việc triển khai chương trình quản lý FOD hiệu quả và sử dụng thiết bị phát hiện, loại bỏ FOD một cách hợp lý.
2.4 Nguy cơ tiềm ẩn của FOD
FOD (Foreign Object Debris) có thể gây ra những tổn thương nghiêm trọng cho nhân viên sân bay và người chuyên chở hàng không, cũng như làm hỏng thiết bị Thiệt hại có thể xảy ra khi lốp máy bay bị hút vào động cơ hoặc mắc kẹt trong các cơ chế, ảnh hưởng đến hoạt động bay.
2.5 Nguyên nhân xuất hiện FOD
FOD (Foreign Object Debris) xuất phát từ nhiều nguồn khác nhau, gây khó khăn cho việc duy trì an toàn tại sân bay Các yếu tố tạo ra FOD bao gồm nhân viên làm việc tại sân bay, cơ sở hạ tầng như vỉa hè, đèn và biển báo, cũng như các yếu tố môi trường như động vật hoang dã, tuyết, băng và vật liệu Ngoài ra, các thiết bị hoạt động trên sân bay như máy bay, xe cộ, thiết bị bảo trì và thiết bị phục vụ máy bay cũng góp phần tạo ra FOD.
FOD có thể được thu thập từ cả trên và dưới mặt đất, đặc biệt trong khu vực tiếp cận của sân bay, nơi thiết bị hỗ trợ mặt đất có thể lưu trữ hoặc được chiếu Máy bay phản lực có thể thổi FOD lên nhân viên hoặc máy bay trong quá trình khởi động động cơ, gây ra sự xuất hiện của FOD trên đường băng khi chuyển từ đường băng rộng sang đường cao tốc nhỏ hơn Động cơ bên ngoài cũng có thể thổi bụi bẩn và vật liệu từ khu vực tiếp giáp vào đường băng, trong khi máy bay bốn động cơ có khả năng thổi các mảnh vỡ từ cạnh đường băng trở lại trung tâm FOD thường gia tăng trong các hoạt động xây dựng tại sân bay và trong điều kiện mùa đông do ảnh hưởng của thời tiết lên cơ sở hạ tầng mặt đường lão hóa Gió có thể mang theo các mảnh vụn như cát hoặc túi nhựa vào khu vực bay, trong khi nước mưa và hệ thống thoát nước có thể đưa bùn, sỏi và vật nhỏ khác dọc theo đường băng Nhận thức về các nguồn FOD liên quan đến thời tiết giúp các kỹ sư xây dựng thiết kế các rào cản và cấu trúc hợp lý hơn.
Phân loại FOD
FOD có thể là bất kỳ vật liệu nào với nhiều màu sắc và kích cỡ khác nhau Theo một nghiên cứu kéo dài một năm về sân bay, hơn 60% FOD được xác định là kim loại, trong khi 18% là cao su Đặc biệt, các mặt hàng có màu tối chiếm gần 50% tổng lượng FOD thu được Những vật liệu này thường gây ảnh hưởng lớn đến hoạt động sân bay và an toàn bay.
- Chốt máy bay và động cơ (đai ốc, bu lông, vòng đệm, dây an toàn )
- Các bộ phận máy bay (nắp thùng nhiên liệu, miếng bánh đáp, gậy dầu, tấm kim loại, lốp xe)
- Các hạng mục chuyến bay (bút mực, bút chì, nhãn hành lý, lon soda )
Hình 2.2: Mối nguy hại của FOD
- Các mặt hàng ăn mòn (giấy và mảnh vụn nhựa từ đồ ăn và kệ hàng, bộ phận hành lý, và mảnh vụn từ thiết bị)
- Vật liệu xây dựng đường (các khối bê tông và nhựa đường, vật liệu cao su, và các mảnh vụn sơn)
- Các mảnh vụn xây dựng (miếng gỗ, đá, ốc vít và các vật kim loại)
- Vật liệu bằng nhựa và / hoặc polyethylene
- Vật liệu tự nhiên (các mảnh thực vật, động vật hoang dã và tro núi lửa) và chất gây ô nhiễm từ điều kiện thời tiết mùa đông (tuyết, băng).
Hệ thống phát hiện FOD hiện có
Hệ thống phát hiện FOD đã được triển khai tại một số sân bay lớn, trong đó nổi bật là giải pháp "FODetect" tại Sân bay Quốc tế Logan Boston (BOS) Được phát triển bởi XSight, công nghệ này sử dụng camera và cảm biến gắn trên thiết bị chiếu sáng sân bay để phát hiện mảnh vụn "FODetect" kết hợp khả năng quét cảm biến với phần mềm để quét, phát hiện, cảnh báo và phân tích các chướng ngại vật trên đường băng Hệ thống bao gồm 68 cảm biến quang điện và radar được lắp đặt cách nhau 200 feet song song với đường băng, quét trong vòng 60 giây và có khả năng phát hiện các mảnh vỡ nhỏ như đinh tán máy bay.
Hình 2.3: Mô hình lắp đặt hệ thống phát hiện FOD thực tế
Khi cảm biến phát hiện vật thể, nó sẽ gửi thông báo cảnh báo và video đến nhà khai thác, giúp đội hỗ trợ mặt đất loại bỏ các vật lạ như mảnh vỡ và chim Nghiên cứu của FAA cho thấy hệ thống này hiệu quả trong việc phát hiện các vật thể với kích thước, hình dạng và vật liệu khác nhau trên bề mặt đường, hoạt động tốt cả vào ban ngày lẫn ban đêm, trong các điều kiện thời tiết như mưa, sương mù và tuyết.
Hình 2.4: Xsight-FOD tại Boston Logan Airport
Hệ thống phát hiện Thiết bị Thông tin tóm lược
Hệ thống cảm biến quang học tích hợp độc đáo với độ sáng NIR và công nghệ cảm biến radar milimet được sử dụng trong các đơn vị phát hiện bề mặt (SUDs) dọc theo đường băng, nhằm nâng cao khả năng phát hiện và giám sát.
Tarsier Radar Millimeter wave radar
Radar sóng milimet được sử dụng để cung cấp phủ sóng liên tục của đường băng, trong
Camera độ phân giải cao được lắp đặt trên các tháp cứng, giúp xác định đối tượng một cách chính xác Hệ thống camera hoạt động cả ban ngày và ban đêm, tự động kích hoạt khi phát hiện đối tượng.
Camera cung cấp cảnh quay trực tiếp khi FOD đã được xác định để tạo điều kiện phân loại và loại bỏ nó iFerret
Hệ thống phát hiện FOD dựa trên thị giác thông minh cung cấp thời gian thực, tự động phát hiện, vị trí, phân loại và ghi âm
Millimeter wave radar Multi-axis infrared camera/video sensor tracking ball mounted on roof of vehicles or fixed to any flat surface
Radar sóng vô tuyến cố định và di động được sử dụng để định vị FOD trong một lần quét với đường kính lên đến 600 feet, giúp bao phủ toàn bộ bề rộng của đường băng, vai và các tuyến đường gần hoặc đường cao tốc.
Bảng 2.1: Hệ thống phát hiện FOD đang có trên thế giới
Hệ thống Xsight tại sân bay BOS có chi phí lắp đặt 1,7 triệu USD, trong đó 900.000 USD được bảo hiểm bởi FAA Chi phí lắp đặt có thể thay đổi tùy thuộc vào chiều dài đường băng FAA ước tính hàng năm có khoảng 4 tỷ USD chi phí sửa chữa thiệt hại do FOD Đặc biệt tại các sân bay bận rộn, việc đầu tư vào các hệ thống này dường như là một giải pháp hợp lý để giảm thiểu tổn thất kinh tế do mảnh vỡ gây ra.
CƠ SỞ LÝ THUYẾT
Xử lý ảnh là gì?
Xử lý ảnh là quá trình tác động vào ảnh gốc để tạo ra ảnh mới theo mong muốn, với các thuật toán khác nhau tùy thuộc vào mục đích sử dụng Một pixel là thành phần của bức ảnh tại tọa độ (x, y), có giá trị mức xám tương ứng với một màu sắc nhất định.
Giá trị mức xám của một pixel thể hiện độ sáng của nó qua một giá trị số cụ thể Ảnh số được cấu thành từ nhiều pixel với các giá trị mức xám phù hợp, nhằm tái hiện hình ảnh gần nhất với thực tế.
3.1.1 Phân loại ảnh Ảnh xám/ảnh trắng đen: Giá trị của mỗi pixel nằm trong khoảng 0-255, có nghĩa là người ta đã sử dụng 8 bit hay 1 byte để biểu diễn giá trị 1 pixel Ảnh nhị phân: Ảnh chỉ có 2 màu trắng và đen, được biểu thị bằng 2 giá trị nhị phân tương ứng là 1 và 0 Ảnh màu: Ảnh màu sử dụng 3 byte để biểu diễn giá trị mức xám tương ứng của 3 màu đỏ, xanh lục và xanh lam
3.1.2 Cơ bản về xử lý ảnh Đối với một bức ảnh trắng đen thì giá trị điểm ảnh được biểu diễn dưới dạng hàm toán học 2-D f(x, y) mà giá trị hàm tỉ lệ với độ sáng điểm ảnh
Hình 3.1: Biểu diễn một ảnh bằng hàm f(x,y)
Hình ảnh thu được có thể bị biến dạng do thiết bị quang học hoặc điện tử Để khắc phục vấn đề này, người ta thường sử dụng một bản đồ với tập hợp các điểm điều khiển.
Hình 3.2: Ảnh nhận được và ảnh mong muốn
• Nhiều hệ thống: nhiễu có quy luật
• Nhiễu ngẫu nhiên: nhiễu không giải thích được loại bỏ bằng cách lọc.
Histogram và phương pháp cân bằng Histogram
Histogram là một loại đồ thị thể hiện tần số xuất hiện của dữ liệu Nó sử dụng các thanh để đại diện cho tần số của từng giá trị, giúp người xem dễ dàng nhận biết và phân tích sự phân bố của dữ liệu.
Histogram là công cụ hiển thị sự phân bố tần số của một tập dữ liệu, bao gồm hai trục: trục x và trục y Trục x biểu thị các điểm phân bố tần số, trong khi trục y thể hiện tần số Các độ cao khác nhau của các thanh trong Histogram phản ánh tần số xuất hiện khác nhau của dữ liệu Histogram được ứng dụng rộng rãi trong phân tích hình ảnh, giúp cân bằng hình ảnh và tạo ngưỡng cho ảnh, đồng thời cho phép dự đoán về một hình ảnh chỉ bằng cách quan sát biểu đồ của nó.
Histogram equalization là một phương pháp phổ biến được dùng để tăng chất lượng của ảnh, cụ thể là tăng độ tương phản
Xem xét một hàm moment liên tục, ta đặt biến r đại diện cho mức xám của ảnh cần nâng cao chất lượng, với r được chuẩn hóa trong khoảng [0,1], trong đó 𝑟 = 0 tương ứng với màu đen và 𝑟 = 1 là màu trắng Tiếp theo, ta chuyển sang công thức rời rạc cho phép giá trị pixel nằm trong khoảng [0, 𝐿 − 1] Đối với bất kỳ giá trị r nào thỏa mãn điều kiện trên, chúng ta sẽ tập trung vào sự biến đổi của dạng.
𝑠 = 𝑇(𝑟) 0 ≤ 𝑟 ≤ 1 (3.1) Điều này tạo ra một mức 𝑠 cho mọi giá trị pixel 𝑟 trong ảnh gốc Giả sử rằng hàm chuyển đổi T(r) thỏa mãn các điều kiện dưới đây:
(a) 𝑻(𝒓) là giá trị đơn và đồng biến tăng trong khoảng 𝟎 ≤ 𝒓 ≤ 𝟏; và (b) 𝟎 ≤ 𝑻(𝒓) ≤ 𝟏 với 𝟎 ≤ 𝒓 ≤ 𝟏
Yêu cầu rằng 𝑇(𝑟) là giá trị đơn là cần thiết để đảm bảo sự tồn tại của biến đổi ngược, trong khi điều kiện đồng biến đảm bảo sự chuyển đổi mượt mà từ đen sang trắng trong ảnh đầu ra Một hàm biến đổi không đồng biến có thể gây ra sự đảo ngược trong một phần của khoảng độ sáng, dẫn đến hiện tượng mức xám bị đảo ngược trong ảnh đầu ra Mặc dù điều này có thể được xem là mong muốn trong một số trường hợp đặc biệt, nhưng không được đề cập ở đây Cuối cùng, điều kiện thứ hai đảm bảo rằng các mức xám đầu ra sẽ nằm trong cùng một khoảng với các mức đầu vào Hình 5.1 minh họa một hàm chuyển đổi đáp ứng cả hai điều kiện này Biến đổi ngược từ s trở về r được định nghĩa như sau:
Hình 3.3: Một hàm chuyển đổi mức xám mà có giá trị đơn và đồng biến tăng
Mức xám trong ảnh được coi là các biến ngẫu nhiên trong khoảng [0,1] Hàm mật độ xác suất (PDF) là một trong những mô tả cơ bản nhất của những biến ngẫu nhiên này Gọi 𝑝 𝑟 (𝑟) và 𝑝 𝑠 (𝑠) lần lượt là các hàm mật độ xác suất của các biến ngẫu nhiên r và s, trong đó chỉ số p được sử dụng để định nghĩa 𝑝 𝑟 và 𝑝 𝑠.
𝑝 𝑠 là hai ham fkhasc nhau Một kết quả cơ bản từ một lý thuyết xác suất sơ cấp là nếu
Biến đổi xác suất 𝑝 𝑟 (𝑟) và 𝑇(𝑟) đã được biết trước, cùng với điều kiện 𝑇 −1 (𝑠) thỏa mãn điều kiện (a) Do đó, hàm mật độ xác suất 𝑝 𝑠 (𝑠) của biến được chuyển đổi s có thể được xác định thông qua công thức sau:
Hàm mạ độ xác suất của biến 𝑠 được xác định dựa trên hàm mật độ xác suất mức xám của ảnh đầu vào và hàm biến đổi đã cho.
Một hàm chuyển đổi quan trọng trong xử lí ảnh có dạng:
Trong phương trình (2.4), biến giả w đại diện cho tích phân, và vế phải được nhận diện là hàm phân bố tích lũy của biến ngẫu nhiên 𝑟 Do các hàm mật độ xác suất luôn dương, và tích phân của một hàm biểu thị diện tích dưới hàm, điều này dẫn đến hàm chuyển đổi có giá trị đơn và đồng biến tăng, từ đó thỏa mãn điều kiện (a).
Tương tự, tích phân của hàm mật độ xác suất đối với các biến trong khoảng [0, 1] cũng
18 nằm trong khoảng [0,1] nên điều kiện (b) cũng thỏa mãn Cho hàm chuyển đổi 𝑇(𝑟), tìm ra 𝑝𝑠(𝑠) bằng cách áp dụng phương trình (3.3) Biết được từ phép tính cơ bản
(Leibiniz’s rule) rằng vi phân của một tích phân hữu hạn theo giới hạn trên là tích phân được tính ở giới hạn đó Cụ thể là:
𝑑𝑟= 𝑑𝑇(𝑟) 𝑑𝑟 = 𝑑𝑟 𝑑 [∫ 𝑝𝑟(𝑤) 0 𝑟 ] = 𝑝𝑟(𝑟) (3.5) Thay kết quả này cho 𝑑𝑟/𝑑𝑠 vào phương trình (5.3), và lưu ý rằng tất cả các giá trị là dương, thu được:
Hàm mật độ xác suất 𝑝 𝑠 (𝑠) phải bằng 0 bên ngoài khoảng [0,1] để đảm bảo tích phân của nó trên tất cả giá trị của s bằng 1 Dạng của 𝑝 𝑠 (𝑠) trong phương trình (3.6) được nhận diện là hàm mật độ xác suất đồng bộ Chúng ta đã chứng minh rằng việc thực hiện hàm chuyển đổi trong phương trình (3.4) tạo ra một biến ngẫu nhiên s với hàm mật độ xác suất đồng bộ Một điểm quan trọng từ phương trình (3.4) là 𝑇(𝑟) phụ thuộc vào
Trong phương trình (3.4), xác suất 𝑝 𝑠 (𝑠) luôn được tính toán đồng bộ và độc lập với 𝑝 𝑟 (𝑟) Đối với các giá trị rời rạc, chúng ta xử lý xác suất và tổng hợp thay vì sử dụng hàm mật độ xác suất và tích phân Xác suất xảy ra của mức xám 𝑟 𝑘 trong một ảnh được xấp xỉ bởi một phương pháp cụ thể.
Trong bài viết này, 𝑛 đại diện cho số pixel của ảnh, 𝑛 𝑘 là số pixel có mức xám 𝑟 𝑘, và 𝐿 là số mức xám của ảnh Hàm biến đổi rời rạc của phương trình (2.4) được trình bày rõ ràng.
Một ảnh đã được xử lý thông qua việc ánh xạ các pixel từ mức 𝑟 𝑘 trong ảnh đầu vào tới mức 𝑠 𝑘 tương ứng trong ảnh đầu ra theo phương trình (2.8) Sự biểu diễn 𝑟 𝑘 này được gọi là histogram Quá trình ánh xạ được mô tả trong phương trình (2.8) được gọi là cân bằng histogram (histogram equalization hay histogram linearization).
Biến đổi rời rạc tạo ra sự tương đương rời rạc của hàm mật độ xác suất, được gọi là histogram đồng dạng Việc áp dụng phương trình (5.8) thường dẫn đến việc trải histogram của ảnh đầu vào, giúp các mức của ảnh được cân bằng histogram phân bố đều hơn trên khoảng mức xám.
Việc sử dụng các mức xám bao phủ toàn bộ miền giá trị mang lại nhiều lợi ích, trong đó có khả năng tự động hóa quy trình Cụ thể, quá trình cân bằng histogram cho một bức ảnh được thực hiện dựa trên thông tin có sẵn trong ảnh mà không cần thêm dữ liệu nào khác Sự đơn giản trong cách tính toán cũng là yếu tố giúp kỹ thuật này được áp dụng rộng rãi.
Biến đổi ngược từ s trở về r được định nghĩa bởi:
Phương pháp 𝑟 𝑘 = 𝑇 −1 (𝑠 𝑘 ) thường được sử dụng để tăng độ tương phản toàn cục của nhiều ảnh, đặc biệt khi dữ liệu ảnh có các giá trị tương phản gần nhau Qua việc điều chỉnh này, độ sáng trên histogram có thể được cải thiện, cho phép các khu vực có độ tương phản cục bộ thấp hơn đạt được mức độ tương phản cao hơn Cân bằng histogram thực hiện điều này bằng cách trải đều các giá trị độ sáng có tần suất xuất hiện cao nhất.
Kỹ thuật hình vị học (Morphology)
Lọc hình vị có chức năng loại bỏ các vùng nhỏ do nhiễu gây ra, lấp đầy khoảng trống không cần thiết, làm mịn các ranh giới và trích xuất các cạnh, cho phép xử lý ở cấp độ điểm ảnh.
Khái niệm morphology trong xử lý ảnh có nguồn gốc từ sinh học, nghiên cứu hình thể và cấu trúc của động thực vật Đây là công cụ hữu ích để rút trích các thành phần trong ảnh nhị phân, cho phép biểu diễn và mô tả chúng dưới dạng các vùng, đường biên, xương và bao lồi Ngoài ra, kỹ thuật morphology cũng được áp dụng cho ảnh xám trong các quy trình tiền và hậu xử lý ảnh.
Các phép toán đầu tiên trong Morphology được phát triển vào năm 1964 bởi Georges Matheron và Jean Serra tại trường đại học Ecole des Mines de Paris, Pháp Matheron, với vai trò là tiến sĩ hướng dẫn của Jean, đã cùng nhau tìm cách xác định số lượng đặc tính của khoáng sản thông qua phương pháp "thin cross section" Công trình này không chỉ mang lại một phương pháp tiếp cận mới mà còn góp phần vào sự tiến bộ trong hình học tích phân và tô pô.
Từ năm 1970 trở đi, Morphology đã tập trung vào việc xử lý ảnh nhị phân, phát triển các phép toán và kỹ thuật quan trọng như Hit-or-miss, dilation, erosion, opening và closing.
Từ giữa những năm 1970 đến giữa thập kỷ 1980, Morphology đã mở rộng khả năng xử lý ảnh xám, mang lại nhiều kết quả tích cực và phát triển các phép toán mới như Morphology Gradient.
Số hóa ảnh từ không gian thực 2D là quá trình lấy mẫu mặt phẳng 2D trên một lưới 2 chiều với tọa độ x và y là các số nguyên trong tập ℤ Quá trình này tạo ra một ánh xạ hàm ảnh 𝑓(𝑥, 𝑦), liên kết giá trị độ sáng của điểm ảnh với tọa độ (𝑥, 𝑦) Khi giá trị độ sáng của ảnh là số nguyên, chúng ta có thể định nghĩa một hàm ảnh với tọa độ và giá trị độ sáng đều là số nguyên.
Cho A là một tập hợp con trong ℤ 2 Nếu 𝑎 = (𝑎 1 , 𝑎 2 ) là phần tử của A thì ta viết
Tập hợp mà không có phần tử nào là tập hợp rỗng kí hiệu ∅
Hợp của hai tập hợp A và B là tập hợp 𝐶 = 𝐴 ∪ 𝐵, tương tự giao của hai tập hợp
A và B là tập hợp 𝐶 = 𝐴 ∩ 𝐵 Hai tập hợp là rời nhau nếu 𝐴 ∩ 𝐵 = ∅
Phần bù của tập hợp A là những phần tử không thuộc A kí hiệu bởi:
Hiệu giữa tập hợp A và B là những phần tử thuộc A nhưng không thuộc B, kí hiệu:
Hình 3.4: Minh họa các phép toán trên tập hợp
Phản xạ của tập hợp B kí hiệu là 𝐵̂ = {𝑤|𝑤 = −𝑏, ∀𝑏 ∈ 𝐵}
Tịnh tiến của tập A theo điểm 𝑧 = (𝑧 1 , 𝑧 2 ) kí hiệu là 𝐴 𝑧 = {𝑐|𝑐 = 𝑎 + 𝑧, ∀𝑎 ∈ 𝐴}
Hình 3.5: Minh họa phép tịnh tiến và phản xạ
Toán tử Biểu thức Matlab
Bảng 3.1: Bảng liệt kê các toán tử trong Matlab
Các toán tử logic trong ảnh nhị phân (NOT, AND, XOR, OR)
Hình 3.6: Minh họa các phép toán luận lí 3.3.1 Nhân tạo hình (Structuring Element)
Theo Georges Matheron, một tập hợp nhỏ được sử dụng để dò tìm hoặc tương tác với hình ảnh được cho, với đặc điểm của đối tượng phụ thuộc vào cách chúng ta nhận diện nó Việc chọn lựa ảnh nhân tạo sẽ dựa vào mục đích của từng thuật toán Morphology Hai yếu tố quan trọng cần lưu ý khi chọn ảnh nhân tạo là đặc điểm của đối tượng và mục tiêu của thuật toán.
Hình dạng của nó: tròn, vuông, chữ nhật…
Hình 3.7: Minh họa về nhân tạo ảnh 3.3.2 Phép toán dilation
Phép toán dilation là thao tác giãn nở/phình to các đối tượng ảnh đơn sắc
Trong toán học, 𝐴 và 𝐵 là hai tập hợp con trong ℤ, thực hiện phép toán dilation, ký hiệu là 𝐴 ⊕ 𝐵 Phép toán này được định nghĩa là 𝐴 ⊕ 𝐵 = {𝑧 | 𝐵̂ 𝑧 ∩ 𝐴 ≠ ∅} Một ví dụ minh họa cho phép toán này là hình ảnh nhị phân đơn giản A, trong đó chứa một đối tượng hình chữ nhật, sử dụng các phần tử cấu trúc vuông.
Phép toán xói mòn (erosion) là quá trình làm co hẹp các đối tượng trong ảnh đơn sắc Khi thực hiện phép toán này, ta có hai tập hợp con 𝐴 và 𝐵 trong không gian ℤ2 Phép toán xói mòn giữa 𝐴 và 𝐵 được ký hiệu là 𝐴 ⊖ 𝐵.
𝐵 và được xác định như sau: 𝐴 ⊖ 𝐵 = {𝑝|𝐵 𝑝 ⊆ 𝐴} Sử dụng ma trận vuông 3 * 3 làm yếu tố cấu trúc được cho theo sau
Kỹ thuật lấy ngưỡng
Kỹ thuật lấy ngưỡng là phương pháp phân đoạn đơn giản nhất
Các điểm ảnh được phân chia phụ thuộc vào giá trị cường độ của chúng
Ngưỡng toàn cục, sử dụng ngưỡng thích hợp T:
Ngưỡng tham số, nếu T có thể thay đổi qua hình ảnh
Ngưỡng cục bộ hoặc ngưỡng vùng, nếu T phụ thuộc vào vùng lân cận của (x, y) Ngưỡng thích nghi nếu T là một hàm của (x, y) Đa ngưỡng:
Đỉnh và thung lũng của biểu đồ hình ảnh đóng vai trò quan trọng trong việc xác định giá trị ngưỡng (s) phù hợp Một số yếu tố ảnh hưởng đến tính chính xác của histogram trong việc lựa chọn ngưỡng bao gồm sự tách biệt giữa các đỉnh, mức độ nhiễu trong hình ảnh, kích thước tương đối của các đối tượng so với nền, cũng như sự đồng đều của ánh sáng và phản xạ.
Hình 3.8: Kỹ thuật đa ngưỡng
Hình 3.9: Minh họa kỹ thuật đa ngưỡng bằng histogram
Hình 3.10: Minh họa kỹ thuật đa ngưỡng bằng việc nhân chập
Một thuật toán đơn giản: Ước lượng ban đầu của T Phân khúc sử dụng T:
G1 là những điểm ảnh sáng hơn T;
G2 là những điểm ảnh tối hơn (hoặc bằng) T
Tính các cường độ trung bình m1 và m2 của G1 và G2
(3.14) Nếu |𝑇 − 𝑇 𝑛𝑒𝑤 | > ∆𝑇, quay trở lại bước 2 nếu không thì dừng lại
Hình 3.11: Ví dụ về lấy ngưỡng toàn cục
Phương pháp Otsu được thiết kế để xác định ngưỡng toàn cục tối ưu, nhằm tối đa hóa sự phân chia giữa các biến.
Biểu đồ Histogram ảnh M x N Có L mức độ cường độ [0,…,L-1] ni là cường độ của điểm ảnh thức i
Sử dụng biến k, 0 < k < L-1, với ngưỡng T = k:
C1 ( các điểm ảnh trong [0, k] và C2 ( các điểm ảnh trong [k+1, L-1]
P1 = P(C1) = ∑ 𝑘 𝑖=0 𝑝 𝑖 Là xác suất lớp C1 P2 = P(C2) = ∑ 𝐿−1 𝑖=𝑘+1 𝑝 𝑖 = 1 − 𝑃1 Là xác suất lớp C2 M1 là giá trị trung bình cường độ điểm ảnh tại lớp C1
Khi Tương tự, gọi m2 là cường độ trung bình của điểm ảnh tại C2
(3.19) Gọi mg là cường độ trung bình toàn cục :
(3.20) trong khi cường độ trung bình lên đến mức k :
(3.23) Phương sai giữa các lớp có thể được xác định như sau :
(3.24) Lựa chọn tốt nhất T=k có thể được ước lượng theo tỷ lệ 𝜂 :
Số lượng yêu cầu cho việc tính toán của η, có thể được lấy từ biểu đồ Histogram Với mỗi giá trị của k, 𝜂(𝑘) có thể được tính :
(3.27) Giá trị ngưỡng tối ưu k* thỏa mãn :
(3.28) Phương pháp Otsu có thể hoạt động không hiệu quả khi ảnh có nhiễu
Cần phải loại bỏ, lọc nhiễu và làm trơn ảnh trước khi sử dụng các phương pháp lấy ngưỡng
Hình 3.12: Lọc nhiễu và làm trơn ảnh
Kỹ thuật dò biên
Phát hiện biên hình ảnh giúp giảm lượng dữ liệu cần xử lý mà vẫn giữ lại thông tin quan trọng về hình dạng của các đối tượng Khi kết hợp với nhiều thuật toán nhận diện đối tượng, việc phân tích hình ảnh trở nên dễ dàng hơn Hiệu suất của kỹ thuật phát hiện biên phụ thuộc vào từng ứng dụng cụ thể Đây là công cụ cơ bản để phân chia hình ảnh, biến đổi hình ảnh ban đầu thành hình ảnh có tách biên Trong lĩnh vực xử lý hình ảnh và thị giác máy tính, phát hiện biên đóng vai trò quan trọng trong việc nhận diện các thuộc tính vật lý và hình học của các đối tượng trong cảnh.
Phát hiện biên là một quá trình cơ bản trong việc xác định và phân tích đối tượng cũng như ranh giới giữa các đối tượng và nền trong hình ảnh Phương pháp này tập trung vào việc phát hiện sự gián đoạn trong các giá trị cường độ, với các biên thường xuất hiện tại ranh giới giữa hai vùng khác nhau Chức năng chính của phát hiện biên là phục vụ cho phân tích hình ảnh, được áp dụng trong nhiều thuật toán thị giác máy tính tiên tiến Nó có vai trò quan trọng trong các ứng dụng như xử lý hình ảnh y sinh và sinh trắc học, đồng thời thúc đẩy nghiên cứu về phân tích hình ảnh cấp cao hơn Có ba loại không liên tục ở cấp độ màu xám: điểm, đường kẻ và cạnh, và mặt nạ không gian có thể được sử dụng để phát hiện cả ba loại này trong hình ảnh.
Trong lĩnh vực phân đoạn hình ảnh, có nhiều kỹ thuật phát hiện biên hiệu quả, trong đó các phương pháp phổ biến nhất bao gồm phát hiện Roberts, Sobel, Prewitt, Kirsh, dò tìm biên Robinson, Marr-Hildreth, LoG và Canny Những kỹ thuật này giúp xác định các đường biên liên tục và gián đoạn trong tài liệu, đóng vai trò quan trọng trong việc nâng cao chất lượng phân đoạn hình ảnh.
3.5.1 Tách biên bằng bộ lọc Roberts Đối với kỹ thuật tách biên dùng bộ lọc Roberts, đây là phương pháp được giới thiệu bởi Lawrence Roberts (1965) Phương pháp này khá đơn giản, nhanh chóng tính toán, đo độ dốc không gian 2 chiều trên một hình ảnh Phương pháp này nhấn mạnh các
31 vùng có tần số không gian cao thường tương ứng với các cạnh Ảnh đầu vào và đầu ra đều là ảnh mức xám
3.5.2 Tách biên bằng bộ lọc Sobel
Phương pháp phát hiện cạnh Sobel, được giới thiệu bởi Sobel vào năm 1970, là một kỹ thuật dùng để dò biên trong hình ảnh Phương pháp này áp dụng xấp xỉ Sobel với đạo hàm để phân chia hình ảnh, thực hiện gradient dải không gian 2 chiều nhằm làm nổi bật những vùng có tần số không gian cao, tương ứng với các cạnh Sobel chủ yếu được sử dụng để xác định độ lớn gradient tuyệt đối tại mỗi điểm trong hình ảnh mức xám đầu vào.
3.5.3 Tách biên bằng bộ lọc Prewitt
Kỹ thuật phát hiện biên Prewitt, được giới thiệu bởi Prewitt vào năm 1970, là một phương pháp chính xác để ước lượng độ lớn và định hướng của các cạnh trong hình ảnh Tương tự như phương pháp Sobel, Prewitt tính gần đúng đạo hàm bậc nhất và giúp tách biệt các đường viền tại những điểm có sự thay đổi cường độ cực đại trong ảnh f(x,y) Phương pháp này có đáp ứng xung 2D theo hai phương x và y.
3.5.4 Tách biên bằng bộ lọc Kirsch
Phương pháp xác định biên Kirsch, được phát minh bởi Kirsch vào năm 1971, sử dụng tám mặt nạ tương ứng với các hướng la chính: Bắc (N), Tây Bắc (NW), Tây (W), Tây Nam (SW), Nam (S), Đông Nam (SE), Đông (E) và Đông Bắc (NE) Độ lớn biên được xác định là giá trị cực đại từ phép chập giữa mỗi mặt nạ và hình ảnh, trong khi hướng được xác định bởi mặt nạ tạo ra cường độ cực đại Ví dụ, mặt nạ k0 tương ứng với cạnh thẳng đứng, còn mặt nạ k5 tương ứng với đường chéo Lưu ý rằng bốn mặt nạ cuối cùng tương tự như bốn mặt nạ đầu tiên nhưng có sự đối xứng tâm.
3.5.5 Tách biên bằng bộ lọc Robinson
Phương pháp Robinson là một kỹ thuật đơn giản hơn so với mặt nạ Kirsch, vì nó chỉ sử dụng các hệ số 0, 1 và 2 Các mặt nạ này có đặc điểm đối xứng qua trục định hướng với giá trị 0.
Độ lớn của độ dốc được xác định là giá trị tối đa từ việc áp dụng tất cả tám mặt nạ vào vùng điểm ảnh Ngoài ra, góc của độ dốc có thể được xấp xỉ bằng góc của đường 0 trong mặt nạ, mang lại đáp ứng tối đa.
3.5.6 Tách biên bằng bộ lọc Marr-Hildreth
Kỹ thuật Marr-Hildreth là một phương pháp hiệu quả để phát hiện biên trong hình ảnh kỹ thuật số, đặc biệt là ở những khu vực có sự biến đổi nhanh về độ sáng Phương pháp này sử dụng phép nhân chập hình ảnh với các hàm LoG hoặc so sánh với DoGs để xác định các cạnh Sau khi lọc kết quả, các điểm có giá trị 0 sẽ được phát hiện để tìm ra các biên Đôi khi, phương pháp LoG còn được gọi là wavelet mũ Mexico do hình dạng đặc trưng của nó.
Thuật toán cho phương pháp tìm biên Marr-Hildreth là:
Làm mịn hình ảnh bằng cách sử dụng bộ lọc Gaussian và sau đó áp dụng Laplacian hai chiều để phát hiện các thay đổi dấu hiệu Nếu có sự thay đổi dấu hiệu cùng với độ dốc lớn hơn một ngưỡng nhất định, các điểm này sẽ được đánh dấu là cạnh.
3.5.7 Tách biên bằng bộ lọc LoG
Laplacian Gaussian (LoG) [13] đã được đề xuất bởi Marr (1982) LoG của một hình ảnh f (x, y) là một đạo hàm bậc hai được định nghĩa là:
Nó có hai tác dụng, làm mịn hình ảnh và nó tính toán Laplacian, mang lại một hình ảnh double Xét một hàm Gauss: h(r) = -𝑒 2𝜎2 𝑟2 (3.30)
Trong đó, r² = x² + y² và 𝜎 đại diện cho độ lệch chuẩn Hàm này có tác dụng làm phẳng ảnh, dẫn đến hiện tượng mờ ảnh Mức độ mờ của ảnh phụ thuộc vào giá trị của độ lệch chuẩn Laplace của hàm này được biểu diễn như sau: [13].
Cú pháp hàm : [g, t] = edge(f, ‘log’,T,sigma) Trong đó sigma là độ lệch chuẩn
3.5.8 Tách biên bằng bộ lọc Canny
Phương pháp dò biên Canny [13] là một phương pháp rất tốt và thường được sử dụng Để thực hiện phương pháp này, ta trải qua 4 bước :
Dùng bộ lọc Gauss làm phẳng ảnh
Tính hướng và biên độ của độ dốc cục bộ
Sử dụng kỹ thuật nonmaximal suppression để xác định điểm ảnh có biên độ lớn nhất Các điểm ảnh đỉnh được phân loại thành hai ngưỡng T1 và T2, với T1 < T2 Những điểm ảnh có giá trị lớn hơn T2 được gọi là điểm ảnh mạnh (strong), trong khi những điểm ảnh nằm trong khoảng giữa T1 và T2 được gọi là điểm ảnh yếu (weak).
Liên kết các điểm ảnh weak có 8 kết nối đến điểm ảnh strong [13]
Cú pháp : [g,t] = edge(f, ‘canny’, T, sigma).
Kỹ thuật đệ quy
Kỹ thuật đệ quy duy trì một mô hình nền duy nhất, được cập nhật với mỗi khung hình mới, giúp tối ưu hóa hiệu suất Những phương pháp này không chỉ hiệu quả về mặt tính toán mà còn yêu cầu bộ nhớ tối thiểu, làm cho chúng trở thành lựa chọn lý tưởng trong nhiều ứng dụng.
Kỹ thuật đệ quy không lưu trữ một bộ đệm cố định các khung trình tự trước đó, mà ước tính mô hình nền dựa trên sự biến đổi theo thời gian của từng điểm ảnh trong bộ đệm Trong khi đó, các kỹ thuật đệ quy và cập nhật đệ quy lại tập trung vào việc xây dựng một mô hình nền đơn lẻ dựa trên từng khung hình đầu vào.
Hàm tối ưu cho bộ lọc trung vị đệ quy:
𝑉 𝑡 (𝑡) (𝑛) = 𝑚𝑒𝑑𝑖𝑎𝑛 [𝑉 𝑖 (𝑡−1) (𝑛 − 𝑁), … , 𝑏 𝑖 (𝑛), 𝑉 𝑖 (𝑡−1) (𝑛 + 𝑁) (3.32) Với t là chỉ số lặp lại, và 𝑉 𝑖 (0) (𝑛) = 𝑏 𝑖 (𝑛)
Tín hiệu rời rạc M-cấp độ {𝑎(𝑛)} có ngưỡng được cho bởi[6]:
0 𝑛ế𝑢 𝑎(𝑛) < 𝑖 Với 𝑖 ≤ 𝑀 (3.33) để tạo ra các chuỗi nhị phân M - 1, thì đầu ra của bộ lọc y đệ quy y (n) = trung vị [y (n - N), , y (n - l), a (n), , a (n + N)] [6] tương đương với :
Để tính giá trị trung bình của một chuỗi số liệu, ta sử dụng công thức 𝑦 𝑖 (𝑛) = 𝑚𝑒𝑑𝑖𝑎𝑛 [𝑦 𝑖 (𝑛 − 𝑁), … , 𝑦 𝑖 (𝑛 − 1), 𝑎 𝑖 (𝑛), … , 𝑎 𝑖 (𝑛 − 𝑁)] Để đơn giản hóa quá trình phân tích và tránh nhầm lẫn với các ký hiệu, bộ lọc trung vị đệ quy được áp dụng tuần tự cho từng điểm dữ liệu Mỗi điểm sẽ được thay thế bằng giá trị đầu ra của bộ lọc trung vị tại vị trí đó trước khi chuyển sang xử lý điểm tiếp theo.
𝑦 𝑖 (𝑛) = 𝑚𝑒𝑑𝑖𝑎𝑛 [𝑎(𝑛 − 𝑁), … , 𝑎(𝑛), … , 𝑎(𝑛 + 𝑁) (3.36) Được hiểu rằng a (n - N) , , a (n - 1) là đầu ra của bộ lọc đệ quy được áp dụng đến những điểm đó
3.6.1 Tham số với phi tham số
Các mô hình tham số thường gắn liền với các giả định cơ sở, không phải lúc nào cũng phản ánh chính xác dữ liệu thực tế, dẫn đến việc lựa chọn tham số có thể trở nên phức tạp và giảm khả năng tự động thích nghi Ngược lại, các mô hình phi-tham số linh hoạt hơn nhưng lại phụ thuộc nhiều vào lượng dữ liệu có sẵn.
Các mô hình tham số giả định một tập hợp hữu hạn các tham số 𝜃 Trong trường hợp dự đoán tương lai, biến x được coi là độc lập với dữ liệu quan sát D.
Do đó, 𝜃 có khả năng nắm bắt toàn bộ thông tin từ dữ liệu, dẫn đến việc sự phức tạp của mô hình bị giới hạn, ngay cả khi số lượng dữ liệu không bị hạn chế Điều này khiến cho các mô hình trở nên kém linh hoạt.
Các mô hình phi tham số không yêu cầu định nghĩa phân bố dữ liệu qua một tập hợp tham số hữu hạn, mà thường được xác định bởi một giả định về chiều dài vô hạn 𝜃, thường là một hàm Sự linh hoạt của các mô hình này đến từ khả năng 𝜃 nắm bắt thông tin về dữ liệu D, có thể tăng lên khi số lượng dữ liệu gia tăng.
Các phương pháp dựa trên vùng tập trung vào việc sử dụng mối quan hệ giữa các điểm ảnh để phân chia hình ảnh thành các vùng cụ thể Điều này giúp cải thiện quá trình phân loại và tinh chỉnh kết quả phân loại ở cấp độ thấp, từ đó nâng cao độ chính xác trong việc nhận diện và phân tích hình ảnh.
Phương pháp dựa trên điểm ảnh sử dụng 36 điểm ảnh để thực hiện các chuỗi thời gian quan sát độc lập tại mỗi điểm Cách tiếp cận này áp dụng phương pháp trừ điểm ảnh nhằm cải thiện độ chính xác Đồng thời, phương pháp phát triển vùng cũng được áp dụng cho hệ thống theo dõi, giúp nâng cao hiệu quả trong việc phân tích dữ liệu.
Kỹ thuật phát hiện chuyển động
Quá trình luồng quang học được sử dụng để tính toán luồng hình ảnh và quản lý xử lý phân cụm theo sự phân bố của tính chất luồng quang học Nó giúp cải thiện độ chính xác và gần gũi với nền hình ảnh Tuy nhiên, do không phù hợp với hiệu suất chống nhiễu và độ nhạy nhiễu, quá trình này vẫn đáp ứng tốt nhu cầu phát hiện trong thời gian thực.
Các trọng số cục bộ bình phương nhỏ nhất được áp dụng khi giả sử luồng quang học f là không đổi trong một khu vực lân cận Dựa trên giả định này, lưu lượng quang học được ước tính một cách chính xác.
𝑓 = arg min ||𝑒|| 2 2 , ||𝑒|| 2 2 = ∫ −∞ +∞ 𝑤(𝑥 − 𝑥 ′ )[(∇𝑔) 𝑇 𝑓 + 𝑔 𝑡 ] 2 𝑑𝑥 ′ (3.38) Trong phương pháp này, trọng số của hàm w(x) được xác định dựa trên kích thước các lân cận Trong thực tế, trọng số thường được thực hiện bằng cách làm phẳng trọng tâm Gaussian Hơn nữa, w có thể được tính toán cho mỗi điểm ảnh theo nhiều cách khác nhau, chẳng hạn như dựa trên độ lớn của gradient Cách tiếp cận này giúp ngăn chặn việc lan truyền lỗi đã biết vào trong tính toán luồng quang học.
Trừ cảnh nền là một kỹ thuật quan trọng trong việc tách biệt các vật thể trong hình ảnh và video, bằng cách phát hiện các vùng có vật thể thông qua việc trừ điểm ảnh từ một hình nền đã được thiết lập Kỹ thuật này yêu cầu căn chỉnh nhiều hình ảnh từ đầu, nhằm xác định rõ ràng nền cần thiết Mục tiêu chính của phép trừ nền là phát hiện các vật thể xuất hiện trong nền đã định trước, thông qua việc thiết lập một nền ban đầu và sau đó so sánh với khung hình hiện tại để nhận diện các vật chuyển động hoặc vật thể mới xuất hiện.
Khung ảnh nền Khung ảnh hiện tại Phát hiện vật thể
Bảng 3.2: Bảng chân trị của trừ cảnh nền
Quá trình này hoạt động đơn giản, hỗ trợ chính xác trong việc thu thập các tính năng của dữ liệu mục tiêu Tuy nhiên, nó có sự sai lệch với những thay đổi nhỏ từ môi trường bên ngoài Vì vậy, phương pháp này phù hợp nhất trong các tình huống mà nền tảng có thể được dự đoán hoặc đã được biết đến trước.
Hình 3.13: Trừ bối cảnh nền
Phương pháp phát hiện là quá trình nhận diện vật thể trong khu vực giám sát, sử dụng hai hình ảnh có kích thước giống nhau từ video Một hình ảnh được xem như hình nền, không có đối tượng, trong khi hình ảnh còn lại là hình ảnh hiện tại Mỗi hình ảnh sẽ có hai mô hình: mô hình nền trước và mô hình nền hiện tại Hệ thống này được minh họa qua hình vẽ biểu đồ khối.
Hình 3.14: Sơ đồ khối hệ thống phát hiện chuyển động
Mô hình đối tượng và mô hình nền là hai khái niệm quan trọng trong phát hiện đối tượng, trong đó mô hình đối tượng có sự hiện diện của đối tượng, còn mô hình nền không có Quá trình phát hiện đối tượng bắt đầu với việc khởi tạo hình ảnh, trong đó hình nền được thiết lập thông qua việc tóm tắt các giả thuyết từ nhiều khung hình trong video Việc khởi tạo nền là bước tiền xử lý cần thiết để phát hiện vật thể dựa vào chuyển động, giúp loại bỏ nhiễu từ hình ảnh Sau khi hoàn tất quá trình tiền xử lý, các khung hình sẽ được đưa vào thuật toán trừ nền, và hình ảnh sau khi trừ đi sẽ được phân đoạn bằng phương pháp ngưỡng.
Các mô hình Gauss
Khi phân tích ảnh nền tĩnh, nguyên nhân chính gây ra sự biến đổi màu sắc của điểm ảnh là do nhiễu từ máy ảnh Thường thì, nhiễu này có dạng Gaussian, dẫn đến việc mỗi điểm ảnh trong mô hình nền được mô tả bằng một phân bố Gaussian.
Phương pháp chạy Gaussian trung bình tập trung vào ba vấn đề chính: xây dựng mô hình nền, cải thiện hiệu suất trong việc trừ bối cảnh nền và phân loại các cảnh, đồng thời cập nhật mô hình nền một cách hiệu quả.
Xây dựng mô hình nền: Ảnh nền được mô hình hóa bằng việc phân chia trong các không gian màu (R,G,B)
Hướng tiếp cận này nhằm thỏa mãn hàm mật độ xác suất Gaussian trên n giá trị cuối cùng của mỗi điểm ảnh, dẫn đến việc tạo ra hai hình ảnh giữ độ lệch chuẩn cho mỗi kênh Phương pháp xây dựng hình nền trong giai đoạn khởi tạo và chỉ cập nhật các thông số, giúp tăng tốc độ và độ chính xác mà không cần thiết lập lại hàm mật độ xác suất cho mỗi khung thời gian mới Trong giai đoạn này, phương pháp sử dụng chuỗi thời gian từ một camera tĩnh không có vật chuyển động, trong đó giá trị trung bình cho mỗi pixel được ước tính từ khung khởi tạo.
Với x là giá trị điểm ảnh tại khung ảnh t Sau khi tính được giá trị điểm ảnh trung bình, độ lệch chuẩn có thể được ước lượng như sau:
Với N là số khung ảnh khởi tạo, xt là giá trị điểm ảnh tại khung ảnh t và 𝜇 là giá trị trung bình
Khung hiện tại sẽ được trừ khỏi hình ảnh trung bình ước tính trước đó, tạo ra hình ảnh khác nhau cho mỗi kênh Mỗi hình ảnh này cho thấy sự thay đổi giá trị của khung hiện tại so với hình ảnh trung bình trong kênh tương ứng Giả sử máy ảnh không cung cấp hình ảnh hoàn hảo và nhiễu tuân theo phân phối Gaussian, bước chuẩn hóa cho mỗi kênh sẽ sử dụng hai ngưỡng, là bội số của độ lệch tiêu chuẩn của mô hình nền Điều này giúp phân chia khoảng không giá trị điểm ảnh thành hai khoảng: một khoảng có thể phân loại riêng biệt và một khoảng cần phân tích thêm Kết quả của bước chuẩn hóa này là phân loại mỗi điểm ảnh là vật thể Nếu giá trị sự khác biệt dưới ngưỡng m𝜎, điểm ảnh được coi là thuộc về nền với độ tin cậy (C) là 0% Ngược lại, nếu giá trị sự khác biệt trên ngưỡng M𝜎, điều này cho thấy có sự hiện diện của vật thể.
D là giá trị sai biệt (Difference)
Cập nhật mô hình nền :
Trong quá trình thiết lập mô hình, biến α được xác định là tốc độ học Đối với các điểm ảnh được phân loại là vật thể, cần chọn giá trị α thấp để ngăn chặn sự tích hợp của đối tượng di chuyển vào mô hình nền Ngược lại, đối với các điểm ảnh phân loại là nền, giá trị α cao hơn nên được chọn để đảm bảo sự ổn định cần thiết.
40 cập nhật nhanh (giá trị cao hơn) Tại mỗi điểm ảnh, trị trung bình được tính cho mỗi khung mới như sau:
Giá trị trung bình 𝜇 𝑡 tại khung ảnh t được tính dựa trên tốc độ học 𝛼 của mô hình và giá trị điểm ảnh xt Nó được xác định như một trọng số trung bình của tất cả các điểm ảnh trước đó kết hợp với giá trị điểm ảnh hiện tại Dựa trên giá trị trung bình này, độ lệch chuẩn được tính theo công thức cụ thể.
3.8.2 Gaussian hỗn hợp Để mô hình hóa các nền đa dạng, Stauffer và Grimson [9] đã đề xuất mô hình hoá mỗi kênh của một điểm ảnh như là một hỗn hợp của K Gaussians Nó hạn chế không cho xử lý chính thức các GMMs (các mô hình hỗn hợp của Gaussian) do hạn chế về không gian và bởi vì các GMM đã được khám phá kỹ lưỡng trong tài liệu Việc thực hiện sử dụng phương trình cập nhật được đề xuất bởi Powers and Schooners
Trong mô hình hỗn hợp Gaussian, mỗi điểm ảnh trong khung hình được mô phỏng bằng phân bố Gaussian, với việc phân chia dựa trên mật độ không gian màu RGB, bất kể điểm ảnh đó thuộc về vật thể hay nền.
Với 𝑋 𝑡 là điểm ảnh trong khung ảnh t
K là số lượng phân bố trong hỗn hợp, trong khi ω i,t đại diện cho trọng số của phân bố thứ k trong khung ảnh t Đồng thời, μ i,t là giá trị trung bình của phân bố thứ k trong khung ảnh t.
∑ i,t là độ lệch chuẩn của phân bố thứ k th trong khung ảnh t Tại 𝜂(𝑋 𝑡 , μ i,t , ∑ ) i,t thì hàm mật độ xác suất là:
Ma trận hiệp phương sai:
Các phân bố Gaussian lớn hơn ngưỡng sẽ được xác định là nền, trong khi những phân bố không thuộc các loại này sẽ được phân loại là vật thể.
Nếu một điểm ảnh tương ứng với K Gaussian, các giá trị ω, σ, μ được cập nhật
Trong khi đó, nếu có một trường hợp mà tất cả K Gaussian không khớp, thì chỉ có
Nếu tất cả các tham số đều tìm thấy, hiệu suất tìm vật thể sẽ nâng cao hơn.
Lọc và khử nhiễu
Bộ lọc trung vị áp dụng cho từng kênh của điểm ảnh trong mô hình nền, sử dụng giá trị trung bình từ bộ đệm khung hình video Kỹ thuật này là một cải tiến nhỏ từ phương pháp của Calder, được mở rộng để phù hợp với ảnh màu Thuật toán hoạt động như sau:
Sắp xếp một bộ đệm mở rộng để các giá trị theo thứ tự tăng dần
𝐸 𝑐 (𝑥, 𝑦) = (𝐿 𝑐 1 (𝑥, 𝑦), 𝐿 𝑐 2 (𝑥, 𝑦), … , 𝐿 𝑐 𝑛 (𝑥, 𝑦), 𝐵 𝑡−1 𝑐 (𝑥, 𝑦)) (3.52) Đặt mô hình nền cho trung vị của bộ đệm mở rộng này:
𝑐 (𝑥, 𝑦) (3.53) Ước tính một phép đo sự khác biệt:
42 trong đó k là một tham số được xác định bởi người dùng
Mở rộng bộ đệm để bao gồm giá trị mô hình nền cuối cùng giúp thuật toán xử lý nhiễu hiệu quả hơn, đặc biệt khi kích thước bộ đệm nhỏ Lọc trung vị là một phương pháp phi tuyến nổi bật trong việc loại bỏ nhiễu từ hình ảnh, được ưa chuộng nhờ khả năng bảo vệ các cạnh trong khi vẫn loại bỏ nhiễu hiệu quả, đặc biệt là loại nhiễu 'muối và hạt tiêu' Phương pháp này hoạt động bằng cách thay thế mỗi giá trị điểm ảnh bằng giá trị trung bình của các điểm ảnh lân cận, trong một "cửa sổ" xác định Trung vị được tính bằng cách sắp xếp các giá trị điểm ảnh trong cửa sổ và thay thế điểm ảnh đang xem xét bằng giá trị trung bình ở giữa.
Hình 3.15: Bộ lọc trung vị 3.9.2 Khử nhiễu
Nhiễu máy ảnh và các hạn chế của mô hình nền thường chứa nhiều "nhiễu" khối nhỏ, có thể được loại bỏ bằng cách áp dụng thuật toán lọc nhiễu cho mặt nạ mặt trước Việc loại bỏ các khối sai sớm là cần thiết để tránh can thiệp vào các giai đoạn hậu xử lý sau đó Trong ảnh mức xám, giá trị 0 đại diện cho màu đen và 255 cho màu trắng; độ nhiễu được đo bằng độ lệch tiêu chuẩn σ (n), từ đó có thể xác định tỷ lệ tín hiệu trên nhiễu (SNR).
Trong đó 𝜎(𝑢) được xác định là độ lệch chuẩn thực nghiệm của u, 𝜎(𝑢) = ( |𝐼| 1 ∑ (𝑢(𝑖) − 𝑢̅ 𝑖∈𝐼 ) 2 ) 1 2 (3.56)
Giá trị trung bình mức xám được tính bằng công thức 𝑢̅ = |𝐼| 1 ∑ 𝑖∈𝐼 𝑢(𝑖) Độ lệch chuẩn của nhiễu có thể được xác định từ các phép đo thực nghiệm hoặc tính toán dựa trên các mô hình nhiễu và tham số đã biết Một bức ảnh có chất lượng tốt thường có độ lệch chuẩn khoảng 60.
Cách tốt nhất để kiểm tra ảnh hưởng của nhiễu trên một hình ảnh kỹ thuật số tiêu chuẩn là thêm nhiễu trắng gaussian
Hầu hết các ứng dụng sử dụng phương pháp trừ cảnh nền đều chú trọng vào việc xác định các đối tượng nền, trong đó việc dán nhãn thành phần kết nối là cần thiết để nhận diện các đốm màu ở cấp độ đối tượng Nghiên cứu so sánh cho thấy rằng việc kiểm tra các vùng lấy ngưỡng có thể cải thiện sự xác định các đốm màu trong mặt nạ mặt trước Bố trí hình thái được áp dụng để lấp các lỗ hổng bên trong và khoảng trống nhỏ, trong khi ngưỡng khu vực giúp loại bỏ những đốm màu không cần thiết.
Có hai phương pháp khác nhau để cập nhật mô hình nền: cập nhật không điều kiện và cập nhật có điều kiện Trong cập nhật không điều kiện, mọi điểm ảnh trong mô hình nền đều được cập nhật, trong khi cập nhật có điều kiện chỉ cập nhật những điểm ảnh được xác định là từ nền, giúp loại bỏ vấn đề bóng ảnh Tuy nhiên, cập nhật có điều kiện có thể dẫn đến việc phân loại sai các điểm ảnh đối tượng nếu chúng không chính xác, vì mô hình nền sẽ không điều chỉnh để thích ứng Do đó, khi áp dụng cập nhật có điều kiện, cần thực hiện các thử nghiệm cụ thể để đảm bảo rằng các đối tượng nền vẫn được duy trì trong mô hình trong một khoảng thời gian dài.
Nghiên cứu so sánh này tập trung vào việc sử dụng nâng cấp có điều kiện cho đối tượng Cụ thể, nó thực hiện cập nhật có điều kiện thông qua mặt nạ đối tượng được tạo ra ở giai đoạn cuối của chuỗi xử lý, nhằm loại bỏ các đốm không mong muốn, vốn có khả năng cao là từ các đối tượng nền thực tế.
