Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.Nghiên cứu cải tiến thuật toán xếp hạng đa tạp trong tra cứu ảnh.
BỘ CƠNG THƯƠNG TRƯỜNG ĐẠI HỌC ĐIỆN LỰC HỒNG VĂN QUÝ NGHIÊN CỨU CẢI TIẾN THUẬT TOÁN XẾP HẠNG ĐA TẠP TRONG TRA CỨU ẢNH LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN Hà Nội, năm 2023 BỘ CÔNG THƯƠNG TRƯỜNG ĐẠI HỌC ĐIỆN LỰC HOÀNG VĂN QUÝ NGHIÊN CỨU CẢI TIẾN THUẬT TOÁN XẾP HẠNG ĐA TẠP TRONG TRA CỨU ẢNH Ngành: Công nghệ thông tin Mã số: 9480201 LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGƠ HỒNG HUY TS NGUYỄN THẾ CƯỜNG Hà Nội, năm 2023 i LỜI CAM ĐOAN Tôi xin cam đoan luận án tiến sĩ kết nghiên cứu khoa học hướng dẫn TS Ngơ Hồng Huy TS Nguyễn Thế Cường Các kết nghiên cứu trình bày luận án trung thực, khách quan chưa tác giả khác công bố Tôi xin cam đoan giúp đỡ cho việc thực luận án cám ơn, thơng tin trích dẫn luận án rõ nguồn gốc Hà Nội, ngày tháng 11 năm 2023 Tập thể hướng dẫn Người hướng dẫn Người hướng dẫn Tác giả luận án TS Ngơ Hồng Huy TS Nguyễn Thế Cường Hồng Văn Q LỜI CẢM ƠN Với tình cảm chân thành lịng biết ơn sâu sắc, tơi xin trân trọng gửi lời cảm ơn tới Ban Lãnh đạo Đại học Điện lực thầy cô giáo tham gia giảng dạy cung cấp kiến thức bản, chuyên môn sâu giúp đỡ q trình học tập nghiên cứu Đặc biệt tơi xin bày tỏ lòng biết ơn sâu sắc đến TS Ngơ Hồng Huy TS Nguyễn Thế Cường người hướng dẫn khoa học tận tâm giúp đỡ dẫn cho kiến thức phương pháp luận suốt thời gian hướng dẫn nghiên cứu, hoàn thành luận án Xin cảm ơn Ban Giám hiệu Trường Đại học Hồng Đức, đồng nghiệp Khoa Công nghệ thông tin truyền thông - Trường Đại học Hồng Đức động viên giúp đỡ cơng tác để tơi có thời gian tập trung nghiên cứu thực luận án Đặc biệt xin bày tỏ lòng biết ơn sâu sắc tới Cha, Mẹ, Vợ, Con anh, chị em gia đình, người ln dành cho tơi tình cảm nồng ấm sẻ chia lúc khó khăn sống, động viên giúp đỡ trình nghiên cứu Luận án q tinh thần mà trân trọng gửi tặng đến thành viên Gia đình Tơi xin trân trọng cảm ơn! MỤC LỤC LỜI CAM ĐOAN i LỜI CẢM ƠN ii MỤC LỤC .iii DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU vi DANH MỤC CÁC BẢNG viii DANH MỤC HÌNH VẼ ix MỞ ĐẦU 1 Tính cấp thiết đề tài .1 Mục tiêu luận án Đối tượng nghiên cứu luận án .5 Phạm vi nghiên cứu 5 Các đóng góp luận án Bố cục luận án .6 Chương TRA CỨU ẢNH DỰA VÀO NỘI DUNG VÀ XẾP HẠNG ĐA TẠP TRONG CBIR 1.1 Giới thiệu tra cứu ảnh dựa vào nội dung 1.2 Đặc trưng ảnh .10 1.2.1 Đặc trưng mức thấp ảnh 11 1.2.2 Đặc trưng mức cao ảnh 15 1.3 Dữ liệu đa tạp .17 1.3.1 Các khái niệm đa tạp 17 1.3.2 Dữ liệu đa tạp .20 1.4 Xếp hạng đa tạp (MR - Manifold ranking) 21 1.4.1 Xếp hạng đa tạp 22 1.4.2 Xếp hạng đa tạp hiệu (EMR-Efficient Manifold Ranking) 26 1.5 Tra cứu ảnh với xếp hạng đa tạp 29 1.6 Độ đo tương tự tìm kiếm xấp xỉ láng giềng gần 31 1.6.1 Độ đo tương tự 31 1.6.2 Tìm kiếm xấp xỉ láng giềng gần (ANN- Approximate Nearest Neighbor)… 32 1.7 Phương pháp đánh giá hiệu CBIR .33 1.8 Một số CSDL thực nghiệm cho tra cứu ảnh 34 1.9 Kết luận chương 37 Chương PHƯƠNG PHÁP TRA CỨU ẢNH SỬ DỤNG THUẬT TOÁN XẾP HẠNG ĐA TẠP CẢI TIẾN 39 2.1 Giới thiệu 39 2.2 Kiến trúc CBIR đề xuất 41 2.3 Phương pháp tìm điểm neo thuật toán cải tiến FCM 42 2.3.1 Thuật toán phân cụm mờ (Fuzzy C-means - FCM) 42 2.3.2 Tìm điểm neo thuật toán lvdc-FCM 45 2.3 Xây dựng đồ thị neo 49 2.3.1 Xây dựng ma trận kề 49 2.3.2 Kỹ thuật xếp hạng 53 2.4 Thuật toán EMR với lvdc-FCM CBIR .54 2.5 Thực nghiệm đánh giá kết 57 2.5.1 Đánh giá hiệu của thuật toán lvdc-FCM đề xuất 57 2.5.2 Đánh giá hiệu tra cứu ảnh với EMR-(lvdc-FCM) .61 2.6 Kết luận chương 69 Chương NÂNG CAO HIỆU QUẢ TRA CỨU ẢNH THEO TIẾP CẬN KẾT HỢP ĐẶC TRƯNG MỨC THẤP VÀ ĐẶC TRƯNG MỨC CAO .71 3.1 Giới thiệu 71 3.2 Hệ thống CBIR đề xuất 72 3.3 Trích rút đặc trưng sử dụng mạng học sâu 72 3.3.1 Trích rút đặc trưng mức cao ảnh sử dụng CNN 72 3.3.2 Mạng EfficientNet 74 3.4 Kỹ thuật đề xuất tinh chỉnh mạng efficientNetB7 .76 3.4.1 Kỹ thuật transfer learning 76 3.4.2 Sử dụng mơ hình sở EfficientNetB7 .77 3.4.3 Cải tiến mơ hình sở EfficientNetB7 78 3.5 Kết hợp đặc trưng .80 3.6 Kỹ thuật xây dựng đồ thị xếp hạng EMR dựa vào GPU-platform .82 3.6.1 Tính tốn song song dựa CUDA-GPU .83 3.6.2 Tối ưu hóa thuật tốn tìm điểm neo dựa GPU-platform .84 3.6.3 Thuật toán LDM-FCM .88 3.7 CBIR với HD-EMR 90 3.7.1 Xây dựng đồ thị HD-EMR với đặc trưng chiều cao .91 3.7.2 Thuật toán HD-EMR 95 3.8 Thực nghiệm kết 97 3.8.1 Môi trường thực nghiệm huấn luyện mạng EfficientNetB7+ .97 3.8.2 Các tham số kết thực nghiệm hệ thống đề xuất HD-EMR 101 3.9 Kết luận chương 106 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 108 DANH MỤC CÁC CƠNG TRÌNH KHOA HỌC CĨ LIÊN QUAN ĐẾN LUẬN ÁN 110 TÀI LIỆU THAM KHẢO 111 PHỤ LỤC 122 DANH MỤC CÁC TỪ VIẾT TẮT VÀ KÝ HIỆU Từ viết tắt Tên đầy đủ (và tạm dịch) ANN Approximate Nearest Neighbor (Xấp xỉ láng giềng gần nhất) ARP Độ xác trung bình (Averge Retrieval Precision) CBIR Tra cứu ảnh dựa nội dung CSDL Cơ sở liệu CUDA Compute Unified Device Architecture (kiến trúc thiết bị tính tốn hợp nhất) FCM Fuzzy C-mean (Thuật toán phân cụm mờ C-mean) GPGPU General Purpose computing on Graphics Processing Unit (sử dụng khối xử lý đồ họa cho mục đích tính tốn thơng thường) GPU Graphics Processing Unit K-means K-means (Thuật toán phân cụm K-means) K-NN K-Nearest Neighbor (K- láng giềng gần nhất) Precision Độ xác Recall Độ triệu hồi RF Relevant feedback (Phản hồi liên quan) Ký hiệu Ký hiệu Tên đầy đủ i FEnorm Đặc trưng chuẩn hoá ảnh thứ i norm FEt,i Đặc trưng thuộc t, ảnh thứ i chuẩn hoá norm LEt,i Đặc trưng mức thấp thuộc t, ảnh thứ i chuẩn hóa LF _ Qt norm Dữ liệu thuộc t, chuẩn hoá ảnh truy vấn t ,c,i Giá trị độ thuộc phần tử đặc trưng i t so với tâm c, p hệ số FCM t ,c,i i,j,c Độ lệch chuẩn thành phần j đặc trưng t theo cụm c Giá trị độ thuộc cụm thứ c điểm ảnh (i, j), đầu thủ tục phân cụm FCM At,c,j Tâm cụm c thành phần đặc trưng j đặc trưng t (theo FCM) C Số cụm thuật toán FCM (số Anchor point) CFE Đặc trưng kết nối CFQ Đặc trưng kết nối ảnh truy vấn d Số chiều vector đặc trưng d(Ei, Al) Khoảng cách vector A B có số chiều DFE Đặc trưng nhúng E CSDL ảnh F Không gian đặc trưng FE Đặc trưng ảnh FEi Đặc trưng thô mức thấp ảnh thứ i FEt,i Đặc trưng thô mức thấp thuộc t ảnh thứ i HF Đặc trưng mức cao ảnh (Hight-level Feature) HFQ Đặc trưng mức cao ảnh ảnh truy vấn I Ảnh đa kênh nói chung LF Đặc trưng mức thấp ảnh (Low-level Feature) LF_Qt Vector đặc trưng mức thấp thuộc t ảnh truy vấn Q LFQ Đặc trưng mức thấp ảnh ảnh truy vấn n Số lượng ảnh sở liệu ảnh E Q Ảnh truy vấn DANH MỤC CÁC BẢNG Bảng 1.1 Bảng mô tả kí hiệu đặc tính đặc trưng mức thấp (LF- Low level features) sử dụng thực nghiệm LA 14 Bảng 1.2 Một số độ đo khoảng cách công thức .32 Bảng 1.3 Các tập liệu ảnh 37 Bảng 2.1 Kết số đánh giá tập liệu nhân tạo 20D 59 Bảng 2.2 Chỉ số Xie-Beni index số IFVIndex tập liệu 20D với 3000 điểm, số cụm 30, số vòng lặp 150 60 Bảng 2.3 Chỉ số Xie-Beni index số IFVIndex tập liệu LF809 tập liệu Corel30K số cụm 5000 số vòng lặp 100 60 Bảng 2.4 Bảng kết tra cứu ảnh tập liệu với tập điểm neo lớn độ xác trung bình cho điểm neo 68 Bảng 2.5 Thời gian thực thi tra cứu truy vấn (điểm neo 5000, ảnh trả 20) tập Corel30K .69 Bảng 3.1 Môi trường thực nghiệm Google Colab 98 Bảng 3.2 Môi trường thực nghiệm máy tính cá nhân 99 Bảng 3.3 Các tham số thực nghiệm 99 Bảng 3.4 Kết transfer learning với mạng EfficientNetB7+ tập liệu Bảng 3.5 Bảng đặc trưng sử dụng thực nghiệm 100 Bảng 3.6 Bảng kết tra cứu tập liệu với số ảnh trả 20 102 99