Khái quát về xử lý ảnh
Xử lý ảnh đóng vai trò quan trọng trong kỹ thuật thị giác máy tính, là nền tảng cho nhiều nghiên cứu trong lĩnh vực này Hai nhiệm vụ chính của xử lý ảnh bao gồm nâng cao chất lượng thông tin hình ảnh và cung cấp dữ liệu cho các ứng dụng khác, bao gồm cả việc ứng dụng thị giác vào điều khiển.
Quá trình bắt đầu bằng việc thu nhận ảnh từ các thiết bị số hoặc tương tự và gửi đến máy tính Dữ liệu ảnh được lưu trữ ở định dạng phù hợp cho xử lý Lập trình viên áp dụng các thuật toán để thay đổi cấu trúc ảnh, giúp ảnh phù hợp với nhiều ứng dụng khác nhau.
- Chuyển ảnh màu thành ảnh xám
- Lược đồ xám của ảnh (Histogram)
- Các bộ lọc không gian
Khái niệm về nhận dạng biển số xe
Khái niệm & ứng dụng
Ứng dụng nhận dạng biển số xe là công nghệ tiên tiến có khả năng phân tích hình ảnh để xác định biển số xe từ các bức ảnh được chụp bởi các thiết bị ghi hình.
Nguồn hình ảnh cho ứng dụng rất phong phú, bao gồm cả hình ảnh thu nhận trực tiếp từ camera Trong báo cáo tốt nghiệp của em, em chỉ tập trung vào việc xác định biển số xe, cụ thể là nhận diện các chữ cái từ những bức ảnh.
Có nhiều phương pháp để phân loại ứng dụng nhận dạng biển số xe, trong đó một cách đơn giản là dựa vào mục đích sử dụng Ứng dụng nhận dạng biển số xe có thể được chia thành hai loại chính.
Ảnh thu trực tiếp từ các thiết bị ghi nhận ảnh kỹ thuật số thường chỉ tập trung vào khu vực có biển số xe.
Nguyên lý hoạt động của các hệ thống nhận dạng biển số xe yêu cầu phương tiện giao thông di chuyển với tốc độ chậm để máy có thể ghi nhận hình ảnh rõ ràng Những ứng dụng này thường được triển khai tại các trạm kiểm soát, trạm thu phí, bãi gửi xe tự động và các trạm gác cổng.
Ảnh đầu vào cho quá trình nhận dạng biển số xe có thể được thu thập từ các thiết bị ghi hình tự động mà không phụ thuộc vào góc độ hay các đối tượng xung quanh Những bức ảnh này không nhất thiết chỉ chứa vùng biển số xe, mà có thể là ảnh tổng hợp với các yếu tố như người, cây cối, hoặc đường phố, miễn là vùng biển số xe đủ rõ để nhận diện các ký tự trong đó.
Nguyên lý hoạt động của hệ thống nhận dạng biển số xe dựa vào khả năng thu nhận hình ảnh từ các thiết bị ghi hình như camera hay máy ảnh, cho phép xác định chính xác vùng biển số trong ảnh Quá trình này bao gồm việc dò tìm, tách vùng và nhận dạng biển số, sau đó kết quả có thể được lưu trữ hoặc truyền đi tùy theo nhu cầu người dùng Ứng dụng của công nghệ này rất đa dạng, không bị giới hạn bởi vị trí, có thể được triển khai tại các điểm điều tiết giao thông, ngã ba, ngã tư và các khu vực nhạy cảm để kiểm soát và phát hiện vi phạm an toàn giao thông.
Trong quá trình phát triển ứng dụng, tôi tập trung vào việc xây dựng ứng dụng loại 2, với mục tiêu chính là nhận dạng và lọc ra các ký tự số và chữ Hệ thống nhận dạng biển số xe sẽ được áp dụng để cải thiện hiệu quả trong việc xử lý thông tin từ biển số, giúp tự động hóa và nâng cao độ chính xác trong các ứng dụng liên quan.
Hệ thống nhận dạng biển số xe được phát triển để giám sát và kiểm soát các phương tiện giao thông Dưới đây là một số ứng dụng phổ biến của hệ thống này trong việc quản lý và bảo đảm an toàn giao thông.
Phân loại biển số xe
Trước tiên là quy định biển số của 64 tỉnh thành (Biển trắng chữ đen):
50 đến 59 - TP Hồ Chí Minh
80 - Các đơn vị kinh tế thuộc TW (hàng không)
*) Những quy định về màu sắc và chữ số đặc biệt:
1 Màu xanh chữ trắng là biển xe của các cơ quan hành chính sự nghiệp:
- Trực thuộc chính phủ thì là biển xanh 80
- Các tỉnh thành thì theo số tương ứng
2 Màu đỏ chữ trắng là biển xe trong quân đội:
AD: Quân Đoàn 4 , Binh đoàn cửu long
BC: Binh chủng Công Binh
BH: Binh chủng hoá học
BS: Binh đoàn Trường Sơn
BT: Binh chủng thông tin liên lạc
BP: Bộ tư lệnh biên phòng
HB: Học viện lục quân
QH: Quân chủng hải quân
QK, QP: Quân chủng phòng không không quân
TC: Tổng cục chính trị
TH: Tổng cục hậu cần
TK: Tổng cục công nghiệp quốc phòng
TT:Tổng cục kỹ thuật
TM: Bộ tổng tham mưu
3 Màu trắng 2 chữ, 5 số là biển dành cho người nước ngoài:
- NG là xe ngoại giao
- NN là xe của các tổ chức, cá nhân nước ngoài: Trong đó 3 số ở giữa là mã quốc gia, 2 số tiếp theo là số thứ tự
* Xe số 80 NG xxx-yy là biển cấp cho các đại sứ quán, thêm gạch đỏ ở giữa và 2 số cuối là 01 là biển xe của tổng lãnh sự
4 Những xe mang biển 80 gồm có :
- Các Ban của Trung ương Đảng
- Văn phòng Chủ tịch nước
- Xe phục vụ các đồng chí uỷ viên Trung ương Đảng công tác tại Hà Nội và các thành viên Chính phủ
- Viện kiểm soát nhân dân tối cao
- Toà án nhân dân tối cao
- Đài truyền hình Việt Nam
- Đài tiếng nói Việt Nam
- Thông tấn xã Việt Nam
- Học viện Chính trị quốc gia
- Ban quản lý Lăng, Bảo tàng, khu Di tích lịch sử Hồ Chí Minh;
- Trung tâm lưu trữ quốc gia
- Uỷ ban Dân số kế hoạch hoá gia đình
- Tổng công ty Dầu khí Việt Nam
- Các đại sứ quán, tổ chức quốc tế và nhân viên người nước ngoài
- Uỷ ban Chứng khoán Nhà nước
- Cục Hàng không dân dụng Việt Nam
Xe của Công An - Cảnh Sát tương ứng với các tỉnh ví dụ: 31A = xe của Công An - Cảnh Sát thành phố Hà Nội
Một số hướng giải quyết bài toán nhận dạng biển số xe
Hướng tiếp cận phát triển vùng
Nhóm tác giả Nigel Whyte và Adrien Kiernan đã giới thiệu một phương pháp nhận diện biển số xe dựa trên đặc điểm màu sắc đồng nhất, thường là màu trắng, và kích thước nhất định của biển số Phương pháp này sử dụng kỹ thuật phát triển vùng hoặc khung chữ nhật di chuyển để xác định khu vực có đặc điểm phù hợp với biển số xe Ưu điểm của phương pháp này là tính đơn giản và khả năng xử lý nhanh chóng, đặc biệt hiệu quả với những hình ảnh chỉ chứa vùng biển số xe.
Nhược điểm của phương pháp này là khi bức ảnh chứa nhiều đối tượng không liên quan đến vùng biển, như xe cộ hay cảnh vật xung quanh, thì hiệu quả sẽ giảm sút Tuy nhiên, phương pháp này vẫn rất hiệu quả cho các hệ thống như trạm thu phí, trạm gác cổng và bãi gửi xe tự động.
Hướng tiếp cận dò biên và biến đổi Hough
Nhóm tác giả Michael Lidenbaum, Rosen Alexander, Vichik Sergey và Sandler Roman đã phát triển một phương pháp nhận diện biển số xe hiệu quả Phương pháp này bắt đầu bằng việc xác định biên của biển số xe, sau đó áp dụng phép biến đổi Hough để trích xuất các đoạn thẳng dọc và ngang trong hình ảnh Giao điểm của những đoạn thẳng này sẽ xác định vùng chứa biển số xe, từ đó tiến hành nhận diện các ký tự trong từng vùng con Ưu điểm của phương pháp này là độ chính xác cao, và hầu hết các hệ thống nhận diện hiện nay đều dựa trên cách tiếp cận này.
Nhược điểm của phương pháp này là độ phức tạp trong tính toán khá cao, đặc biệt khi ảnh chứa nhiều đối tượng khác nhau, dẫn đến khối lượng tính toán tăng đáng kể Mục tiêu chính là xác định chính xác vùng con chứa biển số xe.
Ngoài hai phương pháp đã đề cập, còn nhiều cách khác để xác định vùng chứa biển số xe và thực hiện nhận dạng ký tự Mỗi phương pháp đều có ưu và nhược điểm riêng Hầu hết các ứng dụng hiện nay sử dụng phương pháp biến đổi Hough Trong báo cáo của tôi, tôi sẽ trình bày chi tiết về cách tiếp cận Hough.
PHÁT HIỆN VÙNG CHỨA BIỂN SỐ XE
Một số khái niệm cơ bản
2.1.1 Tổng quan về ảnh a Ảnh và điểm ảnh: Ảnh là mảng số thực hai chiều I m , n , có kích thước (MxN), trong đó mỗi giá trị I m , n (tại một điểm ảnh), biểu thị mức xám của ảnh tại vị trí m, n tương ứng
Một ảnh là ảnh nhị phân nếu giá trị I m , n bằng 0 hoặc 1 b Mức xám:
Mức xám là kết quả của việc mã hóa cường độ sáng của mỗi điểm ảnh thành giá trị số thông qua quá trình lượng hóa Các phương pháp mã hóa phổ biến thường sử dụng 16, 32 hoặc 64 mức, nhưng mã hóa 256 mức là phổ biến nhất do lý do kỹ thuật Với 256 mức, mỗi pixel được mã hóa bằng 8 bit, vì 2^8 = 256.
Trong phần này, chúng ta chỉ tập trung vào ảnh nhị phân, vì mọi ảnh nhị phân có thể chuyển đổi về dạng này thông qua các kỹ thuật phân ngưỡng Chúng ta ký hiệu E là tập hợp các điểm thuộc vùng (điểm đen) và E là tập hợp các điểm nền (điểm trắng) Hai điểm Is và Ie n
I m , nằm trong E (hoặc E ) được gọi là 4 liên thông (8 liên thông) nếu tồn tại một dãy các điểm gọi là đường đi:
0 , j i i 1 , j 1 … i n , j n mà i k , j k E với mọi k= 0,1…,n k k j i , là 4 láng giếng (8 láng giếng) của i k 1 , j k 1 với mọi k= 1, 2,
…,n d 4- Láng giềng và 8- láng giềng:
Nếu m, n là một điểm ảnh, thì 4 láng giềng của nó là các điểm ở ngay bên trên, dưới, phải, và trái Ta ký hiệu N 4 là tập 4 láng giềng của điểm m, n
Tương tự ta có tập 8- láng giềng N 8
N 8 N 4 m 1 , n 1 , m 1 , n 1 , m 1 , n 1 , m 1 , n 1 e Chu tuyến của ảnh: Định nghĩa chu tuyến:
Chu tuyến của một đối tượng ảnh I m, n được định nghĩa là dãy các điểm p0, p1, , pn, trong đó mỗi điểm pi có 8 láng giềng p'i và 4 láng giềng p' của nó Độ dài hoặc chu vi của chu tuyến được xác định bởi n, với điều kiện rằng p0 và pn là hai điểm đầu và cuối của chu tuyến.
Hai chu tuyến C= và C’= được xem là hai chu tuyến đối ngẫu nếu và chỉ nếu tồn tại một chỉ số j sao cho các điểm Pi và Qj là các láng giềng của nhau.
Các điểm Pi là ảnh thì Qj là nền và ngược lại
Chu tuyến C được gọi là chu tuyến trong nếu và chỉ nếu:
Chu tuyến đối ngẫu C’ của nó là chu tuyến của các điểm nến Độ dài của chu tuyến C’ nhỏ hơn độ dài của chu tuyến C
Chu tuyến C được gọi là chu tuyến ngoài nếu và chỉ nếu:
Chu tuyến đối ngẫu C’ của C là chu tuyến các điểm nền Độ dài của chu tuyến C’ lớn hơn độ dài của chu tuyến C
Từ định nghĩa, ta thấy chu tuyến ngoài của một đối tượng là một đa giác có độ dày bằng một bao quanh đối tượng
2.1.2 Phương pháp tách dò ngưỡng tự động g h : là tổng số mức xám g
Trong đó: P – Số điểm ảnh được xét= m*n
G – Số mức xám được xét
0 là giá trị trung bình cấp xám g
Vậy suy ra là ngưỡng của ảnh
Biên và các phương pháp phát hiện biên
Biên đóng vai trò quan trọng trong phân tích ảnh, vì các kỹ thuật phân đoạn chủ yếu dựa vào việc xác định biên Một điểm ảnh được coi là điểm biên khi có sự thay đổi đột ngột về mức xám, với giá trị khác biệt so với các điểm xung quanh Tập hợp các điểm biên sẽ hình thành nên biên hay đường bao của ảnh.
*) Các phương pháp phát hiện biên:
Phương pháp tiếp cận cổ điển trong phát hiện biên dựa vào sự biến thiên giá trị độ sáng của điểm ảnh Kỹ thuật chủ yếu sử dụng đạo hàm, trong đó đạo hàm bậc nhất cho phương pháp Gradient và đạo hàm bậc hai cho kỹ thuật Laplace Cả hai phương pháp này được gọi là phương pháp dò biên cục bộ.
Gradient là một vectơ thể hiện tốc độ thay đổi giá trị của điểm ảnh theo hai hướng x và y, được xác định thông qua đạo hàm Các thành phần của gradient được tính bằng công thức liên quan đến đạo hàm riêng của hàm số f tại các tọa độ x và y Để chuyển đổi sang tọa độ cực, ta sử dụng công thức rcos(θ) cho trục x và rsin(θ) cho trục y.
Suy ra: sin cos y f x f r f cos ) sin
Khoảng cách giữa các điểm theo hướng x được ký hiệu là dx, trong khi khoảng cách theo hướng y được ký hiệu là dy Thông thường, trong thực tế, người ta sử dụng giá trị dx và dy bằng 1.
Gradient của một ảnh liên tục f(x, y) cho phép xác định vị trí cục bộ theo hướng của biên Cụ thể, gradient dọc theo r với góc được định nghĩa bằng công thức: dr/dy = f_y và dr/dx = f_x, từ đó ta có df = f_x cos + f_y sin.
Khi thực hiện việc lấy đạo hàm của ảnh, cần lưu ý rằng đây thực chất chỉ là mô phỏng và xấp xỉ đạo hàm thông qua các kỹ thuật nhân chập Vì ảnh số là tín hiệu rời rạc, nên khái niệm đạo hàm trong trường hợp này không tồn tại.
Kỹ thuật Gradient áp dụng một cặp mặt nạ H1 và H2 vuông góc, tương ứng với hai hướng khác nhau Để tính biên độ của gradient tại điểm (m,n), ta định nghĩa g1 và g2 là gradient theo hai hướng x và y, và biên độ gradient được ký hiệu là g.
Chú ý: để giảm tính toán, công thức (1) được tính gần đúng bởi:
Các toán tử đạo hàm được áp dụng là khá nhiều, ở đây, ta chỉ xét một số toán tử tiêu biểu: toán tử Robert, Solbel…
Với mỗi điểm ảnh I(x,y) của I, đạo hàm theo x, theo y được ký hiệu tương ứng bởi g x , gy được tính:
) , ( ) , 1 ( y x I y x I g y x I y x I g y x Điều này tương đương với việc chập ảnh với 2 mặt nạ H1 và H2:
Quá trình tính toán được thực hiện qua các bước sau:
Từ ma trận I x 2 I 2 y chọn ra các điểm cao thứ 2, hoặc thứ 3 chiếm đa số
Kỹ thuật này sử dụng hai mặt nạ H1 và H2:
Quá trình tính toán được thực hiện qua 2 bước:
Tương tự như kỹ thuật PreWitt, kỹ thuật Sobel sử dụng 2 ma trận mặt nạ nhân chập là:
Các phương pháp đánh giá Gradient hoạt động hiệu quả khi độ sáng thay đổi rõ rệt Tuy nhiên, khi mức xám thay đổi chậm và miền chuyển tiếp rộng, phương pháp Laplace (đạo hàm bậc hai) tỏ ra hiệu quả hơn Toán tử Laplace được định nghĩa như sau:
Vậy suy ra ta có: y x f y x f y x f y x x f y x f y x f x f x x f 1 , , 1 , , , 1 ,
Toán tử Laplace dùng nhiều kiểu mặt nạ khác nhau để xấp xỉ rời rạc đạo hàm bậc 2 Dưới đây là 3 kiểu mặt nạ hay dùng:
Quá trình tính toán được thực hiện qua các bước sau:
Bước 3: Tách ngưỡng Ý nghĩa hình học:
Phát hiện vùng chứa biển số xe
Sơ đồ các bước trong quá trình xử lý ảnh bắt đầu với ảnh đầu vào có 256 mức xám, được chuyển đổi thành ảnh nhị phân nhằm làm nổi bật vùng biển số xe Sau khi tách biên, vùng bao quanh biển số xe sẽ rõ ràng hơn Tiếp theo, phương pháp phát hiện biên được áp dụng để xác định các cạnh dọc và ngang của ảnh, tạo ra một ảnh nhị phân chỉ chứa các cạnh này Cuối cùng, biến đổi Hough được thực hiện trên các đoạn biên để xác định các đoạn thẳng đi qua các điểm biên, từ đó giao của những đoạn thẳng này sẽ tạo ra vùng con I c.
2.3.1 Nhị phân hóa ảnh Ảnh ban đầu được sử dụng là ảnh 256 mức xám Việc sử dụng ảnh 256 mữc xám không làm giảm đi tính đa năng của ứng dụng Trên thực tế, ảnh 256 mức xám vẫn được sử dụng nhiều, và nhiều thiết bị ghi hình cũng có khả năng tự chuyển ảnh màu thành ảnh 256 mức xám Tuy nhiên, nếu để ảnh 256 mức xám thì việc phát hiện biên không hiệu quả, vì sự thay đổi liên tục của các mức xám làm cho việc xác định biên không phải dễ dàng, và việc tìm ra các vùng liên tục của biên khá hạn chế Vì vậy, chúng ta thực hiện chuyển ảnh về dạng nhị phân để thực hiện việc lấy biên nhanh hơn Ảnh đầu vào
Hình 2.1: Sơ đồ giải quyết void Binarize// Nhị phân hóa ảnh
// Ảnh đầu vào: ảnh 256 mức xám
// Đầu ra là ảnh nhị phân
P: là tổng số điểm ảnh được xét (m,n) g(j,j) tương ứng là mức xám của điểm ảnh I(i,j)
: là ngưỡng của ảnh được xác định theo phương pháp ở trên for(int i= 0; i< m; i++) for(int j= 0; j< n; j++) if(g(i, j)