ĐẠI HỌC BÁCH KHOA HÀ NỘI LUẬN VĂN THẠC SĨ Nghiên cứu cải tiến số mơ hình học máy nhận dạng đối tượng ảnh viễn thám HỒ TRỌNG ÁNH Anh.HT211306M@sis.hust.edu.vn Chuyên ngành : Toán Tin Giảng viên hướng dẫn Bộ môn : TS Trần Ngọc Thăng : Viện : Chữ ký GVHD Toán Tin Toán Ứng Dụng Và Tin Học Hà Nội, 3-2023 Lời cảm ơn Kính gửi thầy cơ, gia đình, đồng nghiệp, bạn bè Em xin tỏ lòng biết ơn sâu sắc tới tất người giúp đỡ hỗ trợ em q trình nghiên cứu hồn thành luận văn thạc sĩ Đầu tiên, em xin gửi lời cảm ơn đến thầy hướng dẫn giảng viên Tiến Sĩ Trần Ngọc Thăng Những lời dẫn, gợi ý hướng dẫn quý báu thầy giúp em vượt qua khó khăn q trình nghiên cứu hồn thành luận văn em cách tốt Em muốn gửi lời cảm ơn tới gia đình Những lời động viên, quan tâm hỗ trợ giúp em vượt qua thời điểm trở ngại trình nghiên cứu đối mặt với khó khăn Em xin gửi lời cảm ơn tới đồng nghiệp bạn bè Sự hỗ trợ chia sẻ kinh nghiệm bạn giúp có nhiều ý tưởng thơng tin bổ ích Và cuối lời cảm ơn đến Nhà trường cung cấp cho em môi trường học tập nghiên cứu chuyên nghiệp Các giảng viên nhân viên Nhà trường hỗ trợ em nhiều trình thực luận văn Trân trọng, Hồ Trọng Ánh i Giảng viên hướng dẫn : TS Trần Ngọc Thăng Hồ Trọng Ánh Tóm tắt luận văn Luận văn “Nghiên cứu cải tiến số mơ hình học máy nhận dạng đối tượng ảnh viễn thám” tập trung vào việc nghiên cứu cải tiến số mô hình học máy để cải thiện độ xác việc nhận dạng đối tượng ảnh viễn thám Trong luận văn, sử dụng phương pháp tiền xử lý liệu để cải thiện chất lượng liệu ảnh Sau đó, chúng tơi tiến hành nghiên cứu đánh giá mơ hình học máy Mạng nơ ron tích chập (CNN), Unet, U2-Net, Mask R-CNN, tập liệu ảnh viễn thám Sau đánh giá so sánh hiệu mơ hình, chúng tơi đề xuất số cải tiến để tăng độ xác mơ hình nhận dạng đối tượng Chúng đề xuất sử dụng kết hợp đa mơ hình (Multi-Model) để cải thiện kết trích xuất móng nhà, kết cơng bố tạp chí hội nghị ICISN 2022 [2] Tiếp theo, luận văn này, có thêm đề xuất sử dụng mơ hình tăng cường độ phân giải kết hợp với học đa nhiệm (Multi-Task Learning) để áp dụng cho vùng liệu móng nhà khó ảnh có chất lượng độ phân giải quy hoạch chưa tốt cộng với mật độ dày đặc khu nhà ổ chuột Từ kết đó, chúng tơi hướng đến mục tiêu mở rộng để áp dụng cho toán khác tốn phát ranh giới nơng trang ảnh độ phân giải thấp (Sentinel 10m) cách chỉnh sửa, cải tiến mơ hình tăng cường độ phân giải Real-ESRGAN từ lần (4X) lên đến lần (8X) Để chứng minh cho tính hiệu đề xuất trên, chúng tơi thực thí nghiệm để kiểm chứng thấy cải tiến đưa cải thiện đáng kể độ xác mơ hình giúp nâng cao khả nhận dạng đối tượng ảnh viễn thám giúp mở hướng giúp ứng dụng hiệu nguồn liệu mở thường có chất lượng liệu thấp cho toán thực tế ii Mục lục Tóm tắt Danh sách hình ảnh ii v Danh sách bảng vii Giới thiệu chung toán nhận dạng đối tượng ảnh viễn thám 1.1 Các lớp toán thường gặp nhận dạng đối tượng ảnh viễn thám 1.1.1 Bài toán phân đoạn ảnh 1.1.2 Bài toán phân loại ảnh 1.1.3 Bài toán nhận dạng cạnh 1.1.4 Bài toán nhận diện đối tượng 1.2 Một số toán đề cập nghiên cứu 1.2.1 Bài tốn trích xuất móng nhà 1.2.2 Bài tốn trích xuất ranh giới nơng trang Cơ sở lý thuyết 10 2.1 Mạng nơ ron 2.1.1 Nơ ron 2.1.2 Lớp tích chập 2.1.3 Hàm kích hoạt 2.1.4 Pooling 2.1.5 Các số đánh giá 2.1.6 Hàm mát 2.1.7 Lan truyền ngược 2.1.8 Các thuật tốn tối ưu hóa 2.1.9 Chuẩn hóa theo lơ 2.1.10 2.2 10 12 14 17 19 20 23 24 25 28 Tăng cường liệu 29 Viễn Thám 30 iii 2.2.1 Ảnh vệ tinh 2.2.2 Ảnh hàng không 2.2.3 Các số quang phổ 2.2.4 Cấu trúc liệu ảnh viễn thám shapefile 2.2.5 Tính liên kết hình học hệ thống thông tin địa lý Một số mơ hình học máy q trình nghiên cứu Mơ hình U-Net 3.1.1 Thông tin mơ hình 3.1.2 Hàm mát tiêu chí đánh giá 3.1.3 Xử lý liệu vào 3.1.4 Huấn luyện mơ hình 3.1.5 Đánh giá ưu, nhược điểm 3.2 Mơ hình U2-net 3.2.1 Thông tin mơ hình 3.2.2 Hàm mát tiêu chí đánh giá 3.2.3 Đánh giá ưu, nhược điểm 3.3 Mơ hình Mask-RCNN 3.3.1 Thơng tin mơ hình 3.3.2 Hàm mát tiêu chí đánh giá 3.3.3 Xử lý liệu vào 3.3.4 Đánh giá ưu, nhược điểm 3.4 Mơ hình Real-ESRGAN 3.4.1 Ý tưởng cho việc tăng cường độ phân giải ảnh 3.4.2 Thông tin mơ hình 3.4.3 Hàm mát tiêu chí đánh giá Nghiên cứu đề xuất số phương pháp giúp nâng cao kết nhận diện 30 31 32 33 35 37 3.1 37 37 40 40 43 43 44 44 46 47 47 47 50 51 52 53 53 54 56 ảnh viễn thám 4.1 Phát biểu toán 4.2 Phương pháp kết hợp đa mơ hình 4.2.1 Giới thiệu đa mơ hình 4.2.2 Các vùng liệu 4.2.3 Tiêu chí đánh giá 4.2.4 Kết đạt 4.2.5 Đánh giá ưu nhược điểm kết hợp đa mơ hình 4.3 Phương pháp học đa nhiệm 4.3.1 Giới thiệu học đa nhiệm 59 59 60 60 61 62 62 64 65 65 iv 4.3.2 Ứng dụng học đa nhiệm cho tốn trích xuất móng nhà 4.3.3 Mơ hình mạng phân đoạn đa nhiệm 4.3.4 Mơ hình Frame Field Learning 4.3.5 Triển khai mơ hình Frame Field Learning 4.3.6 Kết thử nghiệm Frame Field Learning 4.4 Ứng dụng cải tiến mơ hình Real-ESRGAN giúp nâng cao chất lượng liệu 4.4.1 Thử nghiệm mơ hình Real-ESRGAN 4X 4.4.2 Nâng cấp mơ hình Real-ESRGAN lên 8X 4.4.3 Triển khai huấn luyện mơ hình REAL-ESRGAN 8X 4.4.4 Ứng dụng nâng cao hiệu sử dụng nguồn liệu mở 4.5 Mơ hình tổng hợp sử dụng cho nhận dạng ảnh chất lượng thấp mật độ đối tượng dày đặc 4.5.1 Nguồn liệu 4.5.2 Triển khai thử nghiệm 4.5.3 Kết thử nghiệm Kết luận 66 66 67 69 69 Tài liệu tham khảo 94 v 72 72 78 79 81 85 86 86 88 91 Danh sách hình vẽ 2.1.1 2.1.2 2.1.3 2.1.4 2.1.5 2.1.6 2.1.7 2.1.8 2.2.1 3.1.1 Nơ ron sinh học nhân tạo Multilayer perceptron (MLP) Tích chập N tích chập Padding and stride Dilation Tích chập chuyển vị Max pooling Phép chiếu từ ảnh viễn thám Kiến trúc mơ hình U-Net 12 13 15 15 16 17 17 20 34 39 3.1.2 3.1.3 3.2.1 3.2.2 3.3.1 3.3.2 3.4.1 3.4.2 3.4.3 4.2.1 Hình ảnh tạo mask từ shapefile Phép trượt trình xử lý ảnh viễn thám Kiến trúc mơ hình U-2net Cấu tạo khối RSU Kiến trúc mơ hình Mask-RCNN ROI Align Mạng sinh mơ hình Real-ESRGAN Mạng phân biệt U-Net Real-ESRGAN Q trình hạ cấp mơ hình Real-ESRGAN Kết hợp đa mơ hình 41 42 45 46 48 49 55 55 56 61 4.2.2 Kết số đa mơ hình 4.2.3 So sánh kết móng nhà sử dụng đa mơ hình 4.3.1 Sơ đồ ứng dụng mơ hình mạng phân đoạn đa nhiệm giúp cải thiện kết nắn chỉnh [13] 4.3.2 Cấu trúc mô hình Frame Field Learning 4.3.3 Đồ thị số đánh giá mơ hình Frame Fields Learning 4.3.4 Ảnh kết mơ hình Frame Fields Learning Tập VN UAV 63 64 vi 67 68 70 71 4.4.1 4.4.2 4.4.3 4.4.4 4.4.5 4.4.6 4.4.7 4.4.8 4.4.9 4.4.10 4.4.11 4.4.12 4.5.1 4.5.2 4.5.3 4.5.4 4.5.5 Hình ảnh số ảnh mức độ phân giải khác Tạo ảnh đa tỉ lệ File index chứa tất đường dẫn đến ảnh thư mục Hình ảnh lúc khởi tạo training mơ hình Real-ESRGAN Một số kết tăng cường độ phân giải Mơ hình 4X để tăng độ phân giải ảnh sentinel Hình ảnh summary input output mơ hình Real-ESRGAN 8X Tham số hạ cấp liệu Kết mơ hình 8X để tăng độ phân giải ảnh sentinel Quy trình trích xuất liệu ranh giới nông trang Trích xuất nơng trang ảnh Sentinel Đối chiếu kết trích xuất nơng trang ảnh Sentinel Google Maps Dữ liệu ảnh có chất lượng thấp mật độ cao Dữ liệu ảnh vùng ổ chuột Mumbai Ví dụ tăng độ phân giải cho Mumbai Đồ thị đánh giá mơ hình tổng hợp Kết trích xuất mơ hình tổng hợp cho ảnh Mumbai vii 73 74 74 75 76 77 78 78 80 82 83 84 85 86 87 89 90 Danh sách bảng 2.2.1 Thông tin ảnh Sentinel 4.2.1 Kết đa mơ hình 31 62 4.3.1 Kết số mơ hình Frame Fields Learning 4.5.1 Kết mơ hình tổng hợp 69 88 viii Chương Giới thiệu chung toán nhận dạng đối tượng ảnh viễn thám Viễn thám (Remote sensing) hiểu việc thu thập thông tin đối tượng, khu vực tượng thông qua việc phân tích tư liệu thu nhận phương tiện mà không tiếp xúc trực tiếp với đối tượng, khu vực tượng nghiên cứu Phương tiện thường sử dụng sóng điện từ để chuyển tải thơng tin từ vật cần nghiên cứu tới thiết bị thu nhận thông tin Cụ thể hơn, viễn thám việc nghiên cứu đối tượng giải đốn tách lọc thơng tin từ liệu ảnh chụp từ xa, chẳng hạn ảnh hàng không ảnh vệ tinh Viễn thám sử dụng nhiều lĩnh vực, bao gồm địa lý, khảo sát đất đai hầu hết ngành Khoa học Trái đất Thuật ngữ viễn thám (Remote sensing) - điều tra từ xa, xuất từ năm 1960 nhà địa lý người Mỹ E.Pruit đặt (Thomas, 1999) Ngày kỹ thuật viễn thám phát triển ứng dụng nhanh hiệu nhiều lĩnh vực Như viễn thám thông qua kỹ thuật đại không tiếp cận với đối tượng mà xác định qua thơng tin ảnh chụp từ xa khơng Để sử dụng liệu viễn thám ta phải có khả tách thơng tin có ý nghĩa từ ảnh Đó nhiệm vụ việc xử lý ảnh viễn thám Nói cách khác phải diễn giải phân tích ảnh viễn thám Phân tích ảnh viễn thám thực nhận biết, đo đối tượng khác ảnh để tách thơng tin hữu ích chúng Xử lý ảnh số viễn thám thực loạt thủ tục bao gồm lập khuôn mẫu, hiệu chỉnh liệu, nâng cao chất lượng để dễ dàng giải đoán hay phân lớp tự động đối tượng máy tính Để xử lý số