HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG ANH MINH NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY TRONG XÂY DỰNG HỆ GỢI Ý ÂM NHẠC LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) HÀ NỘI - 2016 HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG - HOÀNG ANH MINH NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY TRONG XÂY DỰNG HỆ GỢI Ý ÂM NHẠC CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN MÃ SỐ: LUẬN VĂN THẠC SĨ KỸ THUẬT (Theo định hướng ứng dụng) NGƯỜI HƯỚNG DẪN KHOA HỌC: TS NGUYỄN DUY PHƯƠNG HÀ NỘI - 2016 i LỜI CAM ĐOAN Tơi cam đoan cơng trình nghiên cứu riêng Các số liệu, kết nêu luận văn trung thực chưa cơng bố cơng trình TÁC GIẢ Hồng Anh Minh ii LỜI CÁM ƠN Tơi xin bày tỏ lời cảm ơn sâu sắc đến người hướng dẫn Tiến sỹ Nguyễn Duy Phương tận tình giúp đỡ tơi hồn thành luận văn Cảm ơn thành viên phịng cơng nghệ thơng tin công ty iMicrosoft Việt Nam cung cấp máy chủ để triển khai ứng dụng phục vụ cho luân văn Cảm ơn tồn thể nhân viên cơng ty iMicrosoft Việt Nam hỗ trợ thử nghiệm hệ thống để hoàn thiện ứng dụng cho luận văn Trân trọng cám ơn Tác giả iii MỤC LỤC MỞ ĐẦU Lý chọn đề tài Tổng quan vấn đề nghiên cứu Mục đích nghiên cứu: Đối tượng phạm vi nghiên cứu Phương pháp nghiên cứu CHƯƠNG TỔNG QUAN VỀ HỌC MÁY TRONG HỆ GỢI Ý 1.1 Hệ gợi ý (Recommender Systems) 1.1.1 Học máy lọc cộng tác 1.1.2 Học máy lọc theo nội dung 1.2 Hệ gợi ý âm nhạc 1.2.1 Các nghiên cứu trước 1.2.2 Tập liệu Last.fm 1.3 Kết luận chương 11 CHƯƠNG PHƯƠNG PHÁP GỢI Ý KẾT HỢP GIỮA LỌC CỘNG TÁC VÀ LỌC NỘI DUNG 12 2.1 Phương pháp luận 12 2.1.1 Các thẻ đánh dấu nhạc người dùng cung cấp 12 2.1.2 Trích chọn đặc trưng âm từ nhạc 13 2.2 Các giá trị để tìm tương quan nhạc 15 2.2.1 Giá trị so sánh tính thẻ đánh dấu âm nhạc 15 2.2.2 Giá trị so sánh tính tín hiệu âm 20 2.2.3 Kết hợp thẻ đánh dấu đặc trưng âm 28 2.3 Kết luận chương 32 CHƯƠNG XÂY DỰNG HỆ THỐNG GỢI Ý CHO WEBSITE NGHE NHẠC TRỰC TUYẾN 34 3.1 Giới thiệu toán 34 3.1.1 Thiết kế hệ thống 34 3.1.2 Ứng dụng Web 36 3.2 Thử nghiệm hệ thống 39 3.3 Kết thực nghiệm giải thích kết 39 3.4 Kết luận chương 41 iv KẾT LUẬN 42 Kết đạt hạn chế 42 Hướng phát triển 43 TÀI LIỆU THAM KHẢO 44 v DANH MỤC CÁC BẢNG BIỂU Bảng 2.1 Thẻ đánh dấu cho Blue Train Ornithology 17 Bảng 2.2 Chuẩn hóa số đếm thẻ trọng số 17 Bảng 2.3 Thẻ đánh dấu cho Blue Train Freak Out 18 Bảng 2.4 Chuẩn hóa số đếm thẻ trọng số Blue Train Freak Out 19 Bảng 2.5 Trung bình phương sai 20 MFCC (a) Beautiful Disaster (b) Freak Out 23 Bảng 2.6 (a) Ma trận độ lệch (b) Ma trận hiệp phương sai nghịch đảo 24 Bảng 2.7 (a) Chuyển vị ma trận (b) Tích ma trận 24 Bảng 2.8 Trung bình phương sai 20 MFCC (a) Beautiful Disaster (b) Ornithology 26 Bảng 2.9 (a) Ma trận độ lệch (b) Ma trận hiệp phương sai nghịch đảo 27 Bảng 2.10.(a) Chuyển vị ma trận (b) Tích ma trận 27 Bảng 2.11 Chuẩn hóa khoảng cách Ornithology Blue Train 29 Bảng 2.12 Các giá trị khoảng cách nhỏ Ornithology Blue Train 30 Bảng 2.13 Chuẩn hóa khoảng cách Ornithology Beautiful Disaster .31 Bảng 2.14 Các giá trị khoảng cách nhỏ Ornithology Beautiful Disaster 32 Bảng 3.1 Các công việc cần thực 35 Bảng 3.2 ví dụ rút từ thực nghiệm 40 vi DANH MỤC CÁC HÌNH VẼ Hình 1.1: Stream nhạc từ Youtube Last.fm 10 Hình 1.2: Gợi ý nghệ sỹ Last.fm 11 Hình 2.1: Tính tốn MFCC Sonic Visualisation 14 Hình 2.2: Thiết lập cấu hình mặc định 14 Hình 2.3: Dữ liệu MFCC 15 Hình 2.4: Thể 20 MFCC (a) Beautiful Disaster (b) Freak Out 22 Hình 2.5: Thể 20 MFCC (a) Beautiful Disaster (b) Ornithology 25 Hình 3.1: Luồng liệu hệ thống 34 Hình 3.2: Các bảng quan hệ sở liệu 36 Hình 3.3: Trang chủ ứng dụng 37 Hình 3.4: Trang gợi ý ứng dụng 38 Hình 3.5: Kết đánh giá hệ thống 39 MỞ ĐẦU Lý chọn đề tài Trong đời sống nay, nhu cầu giải trí người Việt Nam ngày cao Sự bùng nổ Internet kéo theo phát triển ứng dụng giải trí trực tuyến Chỉ tính riêng Việt Nam, website với ứng dụng game, xem phim, nghe nhạc trực tuyến xuất ngày nhiều vài năm trở lại Trong trình sử dụng ứng dụng giải trí trực tuyến nghe nhạc, có lúc người dùng muốn nghe nhạc họ chưa nghe lại khơng biết tìm nhạc phù hợp Nắm bắt nhu cầu website nghe nhạc trực tuyến đưa công cụ nhằm gợi ý cho người nghe nhạc mà họ cho người dùng thích dựa phương pháp học máy Các diễn đàn trao đổi phương pháp học máy để gợi ý nhạc tổ chức hàng năm đề nâng cao chất lượng cho hệ thống gợi ý Với mục đích đưa cho người sử dụng gợi ý gần nhất, tiện lợi cho người dùng, qua nâng cao chất lượng phục vụ website nghe nhạc trực tuyến Đề tài “Nghiên cứu phương pháp học máy ứng dụng xây dựng hệ gợi ý âm nhạc”, nhằm cung cấp nhìn phương pháp học máy gợi ý âm nhạc, phân tích, so sánh phương pháp lựa chọn phương pháp để xây dựng hệ thống gợi ý cho website nghe nhạc trực tuyến Tổng quan vấn đề nghiên cứu Hiện nay, thị trường Việt Nam nói riêng có website phổ biến với người dùng internet mp3.zing.vn nhaccuatui.com Hai website có số lượng người dùng đông đảo với số lượng đồ sộ nhạc có quyền Người sử dụng dễ dàng tìm hát cần website Tuy website có ứng dụng gợi ý nhạc cho người dùng user sử dụng tính nhạc gợi ý chưa thật hợp lý Bài toán đặt phương pháp sử dụng website chưa hiệu sử dụng phương pháp đạt hiệu tốt Chúng tìm cách phần giải điều phạm vi luận văn Mục đích nghiên cứu: Nghiên cứu phương pháp xây dựng hệ gợi ý nhạc phù hợp với sở thích người sử dụng Xây dựng hệ thống gơi ý nhạc phù hợp với nhu cầu người dùng nâng cao chất lượng website nghe nhạc trực tuyến Đối tượng phạm vi nghiên cứu Đối tượng nghiên cứu bao gồm kỹ thuật, phương pháp học máy sử dụng để gợi ý liệu Các phương pháp học máy tìm hiểu phạm vi liệu nhạc, xử lý nhạc Phương pháp nghiên cứu Nghiên cứu lý thuyết: tìm hiểu phương pháp học máy phân tích siêu liệu để xử lý nhạc, yêu cầu cầu người dùng Nghiên cứu phương pháp học máy dự đoán yêu cầu người dùng Nghiên cứu thực nghiệm: xây dựng liệu thực nghiệm Phân tích, thử nghiệm phương pháp gợi ý cho người dùng Cấu trúc luận văn Nội dung luận văn trình bày ba phần sau: Phần mở đầu Phần nội dung: bao gồm ba chương Chương 1: Tổng quan Học máy Hệ gợi ý Chương 2: Phương pháp gợi ý kết hợp lọc cộng tác lọc nội dung Chương 3: Xây dựng hệ thống gợi ý cho website nghe nhạc trực tuyến Phần kết luận