ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRẦN TIẾN HUY NHẬN DẠNG CHỮ VIẾT TAY TIẾNG VIỆT Chuyên ngành: Kỹ thuật điện tử Mã số: 7140379 LUẬN VĂN THẠC SĨ TP.HỒ CHÍ MINH, tháng năm 2018 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG –HCM Cán hướng dẫn khoa học : TS Trương Quang Vinh (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Bùi Trọng Tú (Ghi rõ họ, tên, học hàm, học vị chữ ký) Cán chấm nhận xét : TS Nguyễn Minh Sơn (Ghi rõ họ, tên, học hàm, học vị chữ ký) Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày 13 tháng 07 năm 2018 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ tịch: TS Lê Chí Thơng Thư ký: TS Trần Hoàng Linh Phản biện 1: TS Bùi Trọng Tú Phản biện 2: TS Nguyễn Minh Sơn Ủy viên: PGS TS Hoàng Trang Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA………… ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập - Tự - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Tiến Huy MSHV:7140379 Ngày, tháng, năm sinh: 27/09/1991 Nơi sinh: TP.HCM Chuyên ngành: Kỹ thuật điện tử Mã số : 60520203 I TÊN ĐỀ TÀI: Nhận Dạng Chữ Viết Tay Tiếng Việt II NHIỆM VỤ VÀ NỘI DUNG: Đưa phương pháp nhận dạng chữ viết tay tiếng Việt hoa thường có dấu số cách áp dụng phương pháp trích đặc trưng HOG phương pháp máy học KNN nhằm đưa kết nhận dạng tối ưu III NGÀY GIAO NHIỆM VỤ : 04/09/2017 IV NGÀY HOÀN THÀNH NHIỆM VỤ: 03/12/2017 V CÁN BỘ HƯỚNG DẪN: Tiến sĩ Trương Quang Vinh Tp HCM, ngày tháng năm 2018 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA….……… (Họ tên chữ ký) LỜI CÁM ƠN Được phân công nhà trường, khoa điện – điện tử đồng ý giảng viên hướng dẫn TS Trương Quang Vinh, em thực luận văn thạc sĩ chuyên ngành kỹ thuật điện tử với đề tài “Nhận Dạng Chữ Viết Tay Tiếng Việt” Qua trang viết em xin gửi lời cảm ơn tới người giúp đỡ em thời gian học tập, nghiên cứu luận văn thời gian qua Trước hết, em xin tỏ lòng biết ơn gửi làm cảm ơn chân thành đến TS Trương Quang Vinh Thầy người trực tiếp hướng dẫn tận tình bảo cơng việc nghiên cứu, tìm kiếm tài liệu, xử lý phân tích vấn đề luận văn Nhờ thầy mà em hồn thành luận văn cao học Ngoài ra, em xin chân thành cảm ơn q đồng nghiệp, gia đình bạn bè khóa động viên hỗ trợ em suốt q trình nghiên cứu hồn thành luận văn TÁC GIẢ Trần Tiến Huy TÓM TẮT Nhận dạng chữ viết tay lĩnh vực nghiên cứu tích cực đầy thử thách lĩnh vực xử lý hình ảnh nhận dạng mẫu Nó có nhiều ứng dụng bao gồm: đọc trợ giúp cho người mù, ngân phiếu ngân hàng chuyển đổi tài liệu văn tay thành dạng cấu trúc văn hay số hóa Trong nghiên cứu này, tác giả nỗ lực thực nhận biết ký tự viết tay cho bảng chữ tiếng Việt Mỗi liệu chứa bảng chữ 29 ký tự (chữ hoa chữ thường có dấu) Nhiều liệu ký tự khác sử dụng để đào tạo kiểm tra kết ABSTRACTS Handwriting recognition has been one of the active and challenging research areas in the field of image processing and pattern recognition It has numerous applications which include, reading aid for blind, bank cheques and conversion of any hand written document into structural text form In this research, my attempt is made to recognize handwritten characters for Vietnamese alphabets Each character data set contains 29 alphabets (upper case and lower case with accent) Many character data sets are used for training and testing LỜI CAM ĐOAN Tác giả xin cam đoan cơng trình nghiên cứu riêng tác giả Các số liệu, kết đề tài trung thực chưa cơng bố hình thức trước Tất tham khảo kế thừa cho việc thực luận văn cảm ơn thơng tin trích dẫn luận văn rõ nguồn gốc rõ ràng phép công bố TP.HCM, ngày tháng năm 2018 Học viên thực Trần Tiến Huy Mục lục Tổng quan: 12 1.1 Giới thiệu đề tài: .12 1.2 Mục tiêu, nhiệm vụ phạm vi đề tài: 13 1.2.1 Mục tiêu đề tài: .13 1.2.2 Nhiệm vụ đề tài: .14 1.2.3 Phạm vi đề tài: 14 1.3 Tổ chức luận văn: 14 Tình hình nghiên cứu ngồi nước: .15 2.1 Tình hình nghiên cứu nước: .15 2.2 Tình hình nghiên cứu nước: 16 Cơ Sở Lý Thuyết 18 3.1 Median blur 18 3.2 Gaussian blur 19 3.3 Canny 20 3.4 Thresholding 21 3.5 Contour 22 3.6 HOG 23 3.7 KNN 24 3.8 Bộ thư viện hỗ trợ 26 Thiết kết giải thuật: 27 4.1 Lưu đồ huấn luyện: .27 4.2 Lưu đồ thực nghiệm: .28 4.3 Data base: 29 Kết thực nghiệm: 36 5.1 Môi trường thực nghiệm công cụ: 36 5.2 Kết quả: 40 5.3 Đánh giá: .48 5.4 Hướng phát triển đề tài: 51 TÀI LIỆU THAM KHẢO 52 DANH MỤC CÁC CHỮ VIẾT TẮT STT Chữ viết tắt Ý nghĩa HOG Histogram of Oriented Gradients KNN K-Nearest Neighbors HCR Handwriting character recognition USPS United State Postal Service MNIST SVM Support Vector Machine NN Neural Network ME Maximum Entropy GSC Gradient, Structural, and Concavity 10 OWA Ordered Weighted Aggregating National Institute of Standard and Technology of the United States DANH MỤC HÌNH Hình 2.2.1 Giao diện thử nghiệm phần mềm (Nguồng[8]) 16 Hình 3.1.1 Hình mơ tả Median Blur (Nguồn [11]) 18 Hình 3.2.1 Hình mơ tả Gaussian Blur (Nguồn [12]) 19 Hình 3.3.1 Hình mơ tả Canny (Nguồn [13]) 20 Hình 3.4.1 Hình mô tả Thresholding (Nguồn [14]) 21 Hình 3.5.1 Hình mơ tả Contour (Nguồn [15]) 22 Hình 3.6.1 Hình mơ tả HOG (Nguồn [16]) 23 Hình 3.7.1 Hình mơ tả cho KNN (Nguồn [17]) 24 Hình 3.7.2 Hình mơ tả KNN tác giả tạo vòng tròn (Nguồn [17]) 24 Hình 4.1.1 Lưu đồ huấn luyện 27 Hình 4.2.1 Lưu đồ thực nghiệm 28 Hình 4.3.1 Hình mơ tả lấy mẫu để huấn luyện ban đầu 28 Hình 4.3.2 Hình mơ tả lấy mẫu huấn luyện kiểu khác 29 Hình 4.3.3 Hình lấy giấy che 29 Hình 4.3.4 Hình kết lấy giấy che 30 Hình 4.3.5 Hình kết lấy giấy che với Ể 30 Hình 4.3.6 Hình kết lấy giấy che với Đ 30 Hình 4.3.7 Hình huấn luyện với a 31 Hình 4.3.8 Hình huấn luyện với ă 31 Hình 4.3.9 Hình file kết sau huấn luyện 32 Hình 4.3.10 Hình mẫu cho thực nghiệm 33 Hình 4.3.11 Hình mẫu cho thực nghiệm với Nhuần 34 Hình 5.1.1 Hình mơ tả biểu tượng eclipse 35 Hình 5.1.2 Hình mô tả giao diện eclipse 36 Hình 5.1.3 Hình mơ tả bước Build all 36 Hình 5.1.4 Hình mơ tả q trình Build all 37 Hình 5.1.5 Hình file kết sau build 37 Hình 5.1.6 Hình file kết sau huấn luyện 37 Hình 5.1.7 Hình mơ tả cài đặt OpenCV 38 Hình 5.1.8 Hình mơ tả cài đặt thêm thư viên OpenCV 39 Hình 5.1.9 Hình mơ tả sử dung hàm OpenCV 39 Hình 5.2.1 Hình mẫu thực nghiệm với sáng 40 Hình 5.2.2 Hình kết thực nghiệm với sáng 40 Hình 5.2.3 Hình mẫu thực nghiệm với TÊN 41 Hình 5.2.4 Hình kết thực nghiệm với TÊN 41 Hình 5.2.5 Hình mẫu thực nghiệm với Khánh 42 Hình 5.2.6 Hình kết thực nghiệm với Khánh 43 Hình 5.2.7 Hình mẫu thực nghiệm với Tiến Huy 44 Hình 5.2.8 Hình kết thực nghiệm với Tiến Huy 44 Hình 5.2.9 Hình mẫu thực nghiệm với Nhuần 45 Hình 5.2.10 Hình kết thực nghiệm với Nhuần 45 Hình 5.2.11 Hình mẫu thực nghiệm với 12846 46 Hình 5.2.12 Hình kết thực nghiệm với 12846 46 Hình 5.3.1 Hình mơ tả mẫu thực nghiệm 47 Hình 5.3.2 Hình mơ tả mẫu thực nghiệm khác 47 10 Hình 5.1.7 Hình mơ tả cài đặt OpenCV Sau vào phần GCC C++ Linker, Library search path thêm đường dẫn thư viện OpenCV ví dụ /usr/lib/x86_64-linux-gnu/ Trong phần Libraries thêm loại thư viện sau: opencv_core, opencv_objdetect, opencv_highgui 39 Hình 5.1.8 Hình mơ tả cài đặt thêm thư viên OpenCV Sau cài đặt hồn tất, tác giả sử dụng thư viện Opencv eclipse ví dụ resize, medianBlur… Hình 5.1.9 Hình mơ tả sử dung hàm OpenCV 5.2 Kết quả:  Kết thực nghiệm với chữ viết thường: 40 Đây kết mô chữ người có database huấn luyện Chiều cao chữ 0.5 đến 0.8 cm không kể dấu khơng dính nét Chữ “sáng” mơ tác giả nhận kết “sáng” Hình 5.2.1 Hình mẫu thực nghiệm với sáng Hình 5.2.2 Hình kết thực nghiệm với sáng 41  Kết thực nghiệm với chữ viết hoa: Đây kết mô chữ hoa người có database huấn luyện Chữ nhận dạng xác với chữ có dấu phụ “Ê” Hình 5.2.3 Hình mẫu thực nghiệm với TÊN Hình 5.2.4 Hình kết thực nghiệm với TÊN 42  Kết thực nghiệm với chữ viết hoa thường: Đây kết mô chữ hoa thường người có database huấn luyện Hình nhận dạng sai nhiều độ sáng chưa đủ có bóng đồ vật Trong hình nhận dạng chữ “Khánh” Hình 5.2.5 Hình mẫu thực nghiệm với Khánh 43 Hình 5.2.6 Hình kết thực nghiệm với Khánh  Kết thực nghiệm với nhiều chữ: Đây kết mô nhiều chữ người có database huấn luyện Khi nhận dạng với nhiều chữ kết giảm xác độ focus giảm nhiều chữ Trong hình chữ “Tiến Huy” 44 Hình 5.2.7 Hình mẫu thực nghiệm với Tiến Huy Hình 5.2.8 Hình kết thực nghiệm với Tiến Huy  Kết thực nghiệm với chữ người database huấn luyện: Đây kết mơ chữ người có ngồi database huấn luyện Tác giả thấy với chữ người ngồi data base kết thực nghiệm 45 giảm Vì để tăng độ xác tác giả phải tăng số lượng mẫu huấn luyện Trong hình chữ “Nhuần” Hình 5.2.9 Hình mẫu thực nghiệm với Nhuần Hình 5.2.10 Hình kết thực nghiệm với Nhuần  Kết thực nghiệm với số: 46 Đây kết mô số người có ngồi database huấn luyện Trong hình dãy số “12846” Khi thử nghiệm số tác giả kết xác Hình 5.2.11 Hình mẫu thực nghiệm với 12846 Hình 5.2.12 Hình kết thực nghiệm với 12846 47 5.3 Đánh giá: Để đánh giá có hiệu cao, tác giả phải thu thập mẫu thực nghiệm người tùy ý 20 chữ, tổng cộng 100 chữ thống kê bên Chiều cao chữ 0.5 đến 0.8 cm không kể dấu không dính nét Lưu ý chữ nên tách để dễ dàng chụp lấy nét Hình 5.3.1 Hình mơ tả mẫu thực nghiệm 48 Hình 5.3.2 Hình mơ tả mẫu thực nghiệm khác Sau thống kê số lượng loại chữ thực nghiệm 100 mẫu sau: Kiểu mẫu Tổng số lượng mẫu Số chữ nhận dạng sai Chữ hoa 23 Chữ thường 40 Chữ hoa thường 28 Số Chữ không dấu 27 Chữ dấu sắc 15 49 Chữ dấu huyền 19 Chữ dấu hỏi 17 Chữ dấu ngã 11 Chữ dấu nặng 11 Chữ có dấu phụ 37 Chữ khơng có dấu phụ 63 Trên chữ Một chữ 92 14 Bảng 5.3.1 Thống kê số lượng kiểu mẫu thực nghiệm Kết đạt lên tới xác 84%, đặc biệt trường hợp tác giả huấn luyện mẫu với nhiều người nhiều lần độ xác cao Trong nghiên cứu này, tác giả đóng góp mặt học thuật việc thiết kế lập trình giải thuật tách chữ (contour tracing), thiết lập database chuẩn cho việc huấn luyện thực nghiệm, chuyển đổi ma trận thành vector xử lý ngược lại, chuyển đổi chuỗi thành số interger để xử lý ngược lại, thiết kế giải thuật nhận dạng, phân biệt chữ hoa thường với ký tự khó c,C,vV,o,O,x,X … Theo thực nghiệm cho thấy, thời gian để huấn luyện với data huấn luyện có sẵn 200 từ/một Quá trình huấn luyện thực hiên tay Về thời gian thực nghiệm mẫu, tác giả đo giây với tốc độ xử lý chương trình 10000 database (10 người x mẫu x 200 ký tự) có sẵn Giới hạn việc đo lường thời gian thực nghiệm chưa thiết kết công cụ chuyên dụng cho việc Nếu so sánh với nghiên cứu khác nhận dạng Tiếng việt, tác giả có bước tiến quan trọng nhận dạng nhiều ký tự, chữ, chí nhiều chữ phân biệt khoảng cách chữ kết hợp với phân biệt chữ hoa thường 50 với ký tự khó c,C,vV,o,O,x,X … Trong nghiên cứu khác, dừng ký tự có dấu Việc nhận dạng chữ viết tay vấn đề quan trọng thực tế Đặc biệt vấn đề số hóa chữ viết tương lai Phương pháp phân tích có ưu điểm sau: giải thuật đơn giản, áp dụng trực tiếp cho hình ảnh thực tế giấy, độ xác tỷ lệ với số lượng mẫu Tuy nhiên, thuật tốn có khuyết điểm như: phụ thuộc nhiều vào mơi trường (góc chụp, chất lượng ảnh, ánh sáng), cách viết người, màu mực hay màu giấy, khoảng cách, kích thước chữ làm ảnh hưởng đến nhận dạng 5.4 Hướng phát triển đề tài: Hiện tại, để nhận dạng chữ viết tác giả chưa có liệu chuẩn nhiều để phục vụ huấn luyện Trong tương lai, thu thập tạo thật nhiều mẫu để tăng độ xác nhận dạng database thử nghiệm training kết hợp thêm thư viện ngữ nghĩa tiếng viết tác giả nhận dạng nhiều chữ, nhiều câu, nhiều hàng, nhiều văn tương lai Những nghiên cứu sau phát triển độ xác với mơi trường chụp ảnh khó khăn với nhiều dòng chữ để phục vụ nhận dạng chữ viết cho người Việt Nam Việc phân tích nhận dạng chữ tiếng Việt đưa luận văn tạo cảm hứng cho nhiều ứng dụng tương lai Ví dụ như: số hóa văn bản, chứng từ, sổ sách chữ viết, đầu vào trí thơng minh nhân tạo, bảo mật chữ viết, ứng dụng cảm ứng… 51 TÀI LIỆU THAM KHẢO [1] Phạm Anh Phương, “Một số phương pháp trích chọn đặc trưng hiệu cho toán nhận dạng chữ viết tay rời rạc”, Tạp chí khoa học Đại học Huế, số 53, 2009 [2] Phạm Anh Phương, “Nhận dạng chữ viết tay hạn chế với mơ hình SVM”, Tạp chí khoa học Đại học Huế, số 42,2007 [3] Phạm Anh Phương, Ngô Quốc Tạo, Lương Chi Mai, “Trích chọn đặc trưng wavelet Haar kết hợp với SVM cho việc nhận dạng chữ viết tay tiếng Việt”, Tạp chí Cơng nghệ Thơng tin Truyền thông, kỳ 3, số 20, 2008 [4] Le Anh Cuong, Ngo Tien Dat, Nguyen Viet Ha, “Isolated Handwritten Vietnamese Character Recognition with Feature Extraction and Classifier Combination”, VNU Journal of Science, Mathematics - Physics 26, pp 123-139, 2010 [5] Phạm Anh Phương, “Nghiên cứu ứng dụng phương pháp máy vécto tựa nhận dạng chữ Việt viết tay rời rạc”, Luận văn tiến sĩ, 2010 [6] Nafiz Arica, Fatos Yarman-Vural, “An Overview of Character Recognition Focused on Offline Handwriting”, IEEE Trans Systems, Man and Cybernetics, Part C Applications and Reviews, vol.31, no.2, pp.216-232, 2001 [7] Rajib Lochan Das, Binod Kumar Prasad, Goutác giảm Sanyal, “HMM based Offline Handwritten Writer Independent English Character Recognition using Global and Local Feature Extraction”, International Journal of Computer Applications, vol 46, no 10, 2012 [8] James A Pittman, “Handwriting Recognition: Tác giảblet PC Text Input “, IEEE Journals & Magazines 2007 [9] Shun Nishide; Hiroshi G Okuno; Tetsuya Ogatác giả; Jun Tác giảni, “Handwriting prediction based character recognition using recurrent neural network”, 2011 IEEE International Conference on Systems, Man, and Cybernetics [10] Windu Antác giảra Kesiman, Sophea Prum, Jean-Christophe Burie, Jean-Marc Ogier “Study on feature extraction methods for character recognition of Balinese script on palm leaf manuscript images” IEEE Trans, Systems Pattern Recognition (ICPR), 2016 23rd International Conference [11] code.tutsplus.com/tutorials/image-filtering-in-python cms-29202 [12] eric-yuan.me/bilateral-filtering/ [13] shahsparx.me/edge-detection-opencv-python-video-image/ 52 [14] docs.opencv.org/3.4/d7/d4d/tutorial_py_thresholding [15] docs.opencv.org/3.4/d4/d73/tutorial_py_contours_begin.html [16] learnopencv.com/histogram-of-oriented-gradients/ [17] medium.com/@adi.bronshtein/a-quick-introduction-to-k-nearest-neighborsalgorithm-62214cea29c7 53 ... Neural Networks RNN) để nhận dạng chữ chữ viết tay tiếng Nhật thử nghiệm nhận dạng 10 chữ tiếng Nhật với độ xác đạt 90% vào năm 2011 Mơ hình nhận dạng hình ảnh chụp chữ viết tay từ hình máy tính... nhận dạng Trong nghiên cứu, kết nhận dạng cao gần 85% cho phương pháp trích xuất HoG KNN với chữ viết tay Bali chữ khó nhận dạng Vì tác giả áp dụng phương pháp vào nhận dạng chữ viết tiếng Việt. .. rộng rãi đa dạng, máy đọc nhận dạng ký tự viết tay canh trạnh với khả đọc người độ xác mong muốn Các ứng dụng nhận dạng chữ viết tay có nhiều đóng góp vào đời sống Nhận dạng chữ viết tay phục vụ