BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN NGỌC THẠCH PHÂN TÍCH QUAN ĐIỂM DỰA THEO KHÍA CẠNH VÀ ỨNG DỤNG XÁC ĐỊNH SỞ THÍCH CỦA DU KHÁCH VỀ SẢN PHẨM DU LỊCH LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH Bình Định - Năm 2020 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC QUY NHƠN NGUYỄN NGỌC THẠCH PHÂN TÍCH QUAN ĐIỂM DỰA THEO KHÍA CẠNH VÀ ỨNG DỤNG XÁC ĐỊNH SỞ THÍCH CỦA DU KHÁCH VỀ SẢN PHẨM DU LỊCH Chuyên ngành : KHOA HỌC MÁY TÍNH Mã số : 08 48 01 01 Người hướng dẫn : TS LÊ QUANG HÙNG Lời cam đoan Tôi xin cam đoan luận văn kết nghiên cứu tôi, thực hướng dẫn TS Lê Quang Hùng Các nội dung trích dẫn từ nghiên cứu tác giả khác mà tơi trình bày luận văn ghi rõ nguồn phần tài liệu tham khảo i Lời cảm ơn Trong trình nghiên cứu hoàn thành Luận văn, học viên nhận định hướng, giúp đỡ, ý kiến đóng góp quý báu lời động viên thầy giáo, đồng nghiệp gia đình Trước hết, tơi xin chân thành bày tỏ lời cảm ơn tới thầy TS Lê Quang Hùng, cô Lê Thị Xinh tận tình hướng dẫn giúp đỡ trình nghiên cứu Tơi xin chân thành cảm ơn Phịng sau đại học, quý thầy cô giáo Khoa Công nghệ thông tin tạo kiện thuận lợi để tơi hồn thành nhiệm vụ nghiên cứu Cuối cùng, xin bày tỏ lời cảm ơn tới đồng nghiệp, gia đình, bạn bè động viên, chia sẻ, ủng hộ giúp đỡ để tơi vượt qua khó khăn để đạt kết nghiên cứu Luận văn ii Tóm tắt Phân tích quan điểm (sentiment analysis) q trình phân tích, đánh giá quan điểm (hoặc số) người đối tượng (quan điểm mang tính tích cực, tiêu cực hay trung lập) Bài tốn phân tích quan điểm ứng dụng nhiều thực tế, đặc biệt hoạt động quảng bá kinh doanh Việc phân tích đánh giá người dùng sản phẩm xem họ đánh giá tiêu cực, tích cực đánh giá mặt hạn chế sản phẩm giúp công ty nâng cao chất lượng sản phẩm/dịch vụ tăng cường hình ảnh công ty, đặc biệt sản phẩm lĩnh vực du lịch cụ thể nhà hàng, khách sạn Các cách tiếp cận để giải tốn chia làm ba loại: (i) sử dụng tập luật (rule-based), (ii) sử dụng học máy (machine learning) (iii) kết hợp (i) với (ii) Phân tích quan điểm cho tồn văn tốn phân tích quan điểm Việc phân tích quan điểm theo loại tốn thường mức tài liệu không quan tâm tới vấn đề chi tiết người đánh giá sản phẩm thích hay khơng thích khía cạnh sản phẩm Như vậy, đánh giá quan điểm cho toàn văn không đủ chi tiết cho ứng dụng thực tế Tức là, văn đánh giá tích cực đối tượng cụ thể khơng có nghĩa người dùng có ý kiến tích cực khía cạnh đối tượng Tương tự, văn đánh giá tiêu cực cho đối tượng khơng có nghĩa người dùng khơng thích tất khía cạnh đối tượng Để phân tích quan điểm phù hợp với nhu cầu sử dụng thực tế, cần phải nghiên cứu sâu quan điểm mức khía cạnh (aspect-based sentiment analysis) Phân tích quan điểm theo khía cạnh bao gồm ba tốn điển sau: Rút trích khía cạnh; Phân loại quan điểm theo khía cạnh; Xếp hạng khía cạnh Trong luận văn này, chúng tơi tập trung giải ba tốn ứng dụng xác định sở thích du khách sản phẩm du lịch, cụ thể sau: ❼ Thứ nhất, tốn rút trích khía cạnh, chúng tơi xác định từ thể khía cạnh văn Từ tập khía cạnh, câu văn đánh giá chưa gán nhãn, cần dự đốn nhãn khía cạnh thích hợp cho ❼ Thứ hai, với toán phân loại quan điểm theo khía cạnh, chúng tơi sử dụng kỹ thuật học máy có giám sát để phân lớp quan điểm cho văn ❼ Thứ ba, toán xếp hạng khía cạnh, từ tập văn đánh giá người dùng, chúng tơi xếp hạng (hay tính điểm) theo mức độ đánh giá quan điểm theo khía cạnh người dùng thảo luận văn Thực nghiệm cài đặt miền liệu du lịch (từ nhận xét khách sạn AVANI (https://www.tripadvisor.com) cho thấy kết khả quan Từ khóa: phân tích quan điểm, phân tích quan điểm theo khía cạnh, khai phá quan điểm iv Mục lục Lời cam đoan i Lời cảm ơn ii Tóm tắt iii Danh mục chữ viết tắt vii Danh mục hình vẽ viii Danh mục bảng ix Mở đầu 1 Tổng quan 1.1 Phân tích quan điểm 1.1.1 Giới thiệu 1.1.2 Một số khái niệm 1.1.3 Một số tốn phân tích quan điểm 1.1.3.1 Tổng quan hệ thống phân tích quan điểm 1.1.3.2 Phân lớp quan điểm 1.1.3.3 Phân tích tổng hợp quan điểm dựa đặc trưng 1.1.3.4 Phân tích quan điểm so sánh 1.1.4 Ứng dụng phân tích quan điểm 1.1.5 Những khó khăn lĩnh vực phân tích quan điểm 1.1.6 Hướng tiếp cận phân tích quan điểm 1.2 Phân tích quan điểm theo khía cạnh 1.2.1 Bài tốn phân tích quan điểm theo khía cạnh 1.2.2 Cách tiếp cận giải toán 1.2.3 Nghiên cứu liên quan v 3 6 8 10 12 13 13 14 16 1.3 Tổng kết chương 17 Xác định sở thích du khách sản phẩm du lịch phân tích quan điểm theo khía cạnh 2.1 Phát biểu toán 2.2 Xác định sở thích du khách sản phẩm du lịch 2.2.1 Tiền xử lí liệu 2.2.2 Rút trích khía cạnh 2.2.3 Phân lớp quan điểm dựa khía cạnh 2.2.4 Dự đốn xếp hạng theo khía cạnh 2.3 Tổng kết chương Thực nghiệm 3.1 Cài đặt thực nghiệm 3.1.1 Dữ liệu thực nghiệm 3.1.2 Công cụ thực nghiệm 3.1.3 Các bước tiến hành 3.1.4 Độ đo 3.2 Kết thực nghiệm 3.3 Đánh giá Kết luận dựa 18 18 21 21 22 22 25 25 26 26 26 26 28 31 32 33 35 vi Danh mục chữ viết tắt NLP Natural Language Processing (Xử lý ngôn ngữ tự nhiên) POS Part Of Speech (Nhãn từ loại) SVM Support Vector Machine (Máy véc-tơ hỗ trợ) TF-IDF Term Frequency Inverse Document Frequency (Tần số nghịch đảo từ) PMI Pointwise Mutual Information (Độ đo thông tin tương hỗ) SO Semantic Orientation (Hướng ngữ nghĩa) vii Danh sách hình vẽ 1.1 1.2 1.3 1.4 Minh họa nhận xét người dùng Kiến trúc tổng quan hệ thống phân tích quan điểm theo hướng tiếp cận học máy Đánh giá khách sạn Avani Quy Nhơn trang Tripadvisor.com.vn Các hướng tiếp cận phân tích quan điểm 12 2.1 2.2 2.3 Quy trình phân tích quan điểm theo khía cạnh 21 Quy trình phân lớp quan điểm dựa khía cạnh 23 Mơ tả thuật tốn SVM 24 3.1 3.2 3.3 Định dạng liệu công cụ SV M light 30 Biểu đồ so sánh mức độ yêu thích người dùng theo khía cạnh 32 Biểu đồ so sánh điểm xếp hạng theo dự đoán điểm xếp hạng theo liệu đánh giá 33 viii vnTokenizer viết Java Phần mềm yêu cầu cần phải cài đặt Java Runtime Environment 1.6+ Phần mềm sử dụng từ dịng lệnh lập trình thơng qua giao diện lập trình ứng dụng API (Application Programming Interface) Để chạy vnTokenizer, với hệ điều hành MS Windows dùng vnTokenizer.bat, hệ điều hành Unix, Linux, MacOS X dùng /vnTokenizer.sh Tập tin đầu vào phải tập văn túy mã hóa UTF-8 Kết lưu đến tập văn túy tập XML đơn giản ln mã hóa UTF-8 Để tách từ tập tin, hệ điều hành Windows, sử dụng cú pháp sau: vnTokenizer.bat –I -o [options] Các lựa chọn (options) là: ❼ -xo (đầu xml) – Ghi kết vào tệp XML đơn giản thay định dạng văn mặc định ❼ -nu (khơng có gạch dưới) – Không nối âm tiết từ ký tự gạch mà thay vào khoảng trắng ❼ -sd (nhận dạng câu) – nhận dạng câu trước tách từ Nếu lựa chọn sử dụng, đầu tiên, vnTokenizer nhận dạng câu tập tin sau tách câu nhận dạng Theo mặc định, vnTokenizer xử lý toàn văn mà không chia tách thành câu SV M light SV M light [14] công cụ thực thi thuật toán SVM C Vapnik cho vấn đề nhận dạng mẫu, hồi quy học xếp loại Phần mềm cung cấp phương pháp đánh giá hiệu suất cách hiệu Các đặc trưng chương trình sau: ❼ Thuật tốn tối hóa nhanh; ❼ Giải vấn đề phân lớp hồi quy; ❼ Giải vấn đề xếp hạng (ví dụ: học chức thu hồi cơng cụ tìm kiếm Striver); http://svmlight.joachims.org 27 ❼ Tính tốn, ước lượng tỉ lệ lỗi, độ xác độ bao phủ; ❼ Xử lý hàng nghìn vector hỗ trợ; ❼ Xử lý hàng trăm nghìn ví dụ huấn luyện SV M light bao gồm module học (svm-learn) module phân loại (svmclassify) Modun phân loại sử dụng để áp dụng mơ hình học cho ví dụ Tệp đầu vào chứa liệu huấn luyện vector hóa Dịng câu nhận xét bị bỏ qua chúng bắt đầu dấu = Mỗi dòng vector đại diện cho liệu huấn luyện có định dạng sau: = :: : Chúng cài đặt thuật tốn: ❼ Rút trích khía cạnh, phân hoạch tập D thành k tập ❼ vector hóa tập theo định dạng thuật tốn SVM ❼ Tính điểm xếp hạng sở thích du khách dựa theo khía cạnh 3.1.3 Các bước tiến hành ❼ Bước 1: Tiền xử lý liệu: Đầu vào câu nhận xét, tiến hành loại bỏ từ dừng, kí hiệu đặc biệt tiến hành tách từ văn cơng cụ vnTokenize ❼ Bước 2: Xác định khía cạnh thực thể, xác định tập từ lõi tập từ chủ đề cho khía cạnh Tập từ lõi tập từ chủ đề theo khía cạnh sản phẩm khách sạn liệt kê Bảng 3.1 Ngoài tập từ lõi tập từ chủ để tương ứng với khía cạnh, chúng tơi cịn xác định từ phủ định mức độ quan điểm sau: Từ phủ định mức độ: "Khơng", "chưa", "kém", "ít", "thiếu", "rất", "vừa", "cực", "cực kì", "siêu" 28 Bảng 3.1: Tập từ lõi từ chủ đề theo khía cạnh Khía cạnh Giá phịng Vị trí Phịng Dịch vụ Nhân viên Từ lõi Giá Vị trí, view, cảnh quan, khuôn viên Từ chủ đề Đắt, rẻ, phù hợp, hợp lý, chát, mềm Đẹp, lành,thích hợp,gần, xa, dễ dàng,thuận tiện, tiện lợi, xanh, hỗn độn, thuận lợi Phòng, villa, nội thất, Đẹp, sạch, sẽ, rộng, rộng rãi, thiết bị, tiện nghi, thiết kế thoáng mát, nhẹ nhàng, dễ chịu, đầy đủ, đáng nhớ, tiện nghi, trang nhã, bình thường, cũ, đơn giản, ấm cúng, hồn hảo, bẩn, thư giãn, dơ, yên tĩnh, ấn tượng, hợp lý, lớn, dễ thương, xinh đẹp, mới, chất lượng, tinh tế, đại, gọn gàng, hỏng, nhỏ, nóng, ẩm ướt, thảm họa, đẳng cấp, hôi, lung linh Đồ ăn, thức uống, wifi, Phong phú, ngon, tươi, tuyệt, tuyệt vời, internet, hồ bơi, spa, thoải mái, đa dạng, ok, rẻ, thú vị, thích, ổn, xe điện xứng đáng, hứng thú, chất lượng, tệ, qua loa, nghèo nàn, đặc sắc, tối tân, miễn phí, tồi, hấp dẫn, xuất sắc, đáng sợ, lạ, bình dân Nhân viên, lễ tân, bảo vệ, Thân thiện, vui vẻ, nhiệt tình, lịch sự, hài lịng, phục vụ, quản lý chuyên nghiệp, nhanh chóng, quan tâm, chu đáo, ấm áp, cởi mở, niềm nở,phiền hà, tận tình, tế nhị, đơ, khó chịu, dễ chịu, yếu,chậm chạp, kịp thời, ngoan, lễ phép, coi thường, hịa nhã, đáng u, lơi thôi, duyên dáng, tốt bụng, chân thành ❼ Bước 3: Rút trích khía cạnh ak câu có chứa từ lõi thuộc khía cạnh ak Nhóm câu có khía cạnh lại thành tập Kết có tập câu nhận xét tương ứng với khía cạnh Kết sau tách tập D thành tập khía cạnh: Bảng 3.2: Kết rút trích khía cạnh Khía cạnh Giá phịng Vị trí Phịng Dịch vụ Nhân viên Số lượng câu 188 357 648 573 426 29 ❼ Bước Tiến hành vector hóa tập theo định dạng thuật tốn SVM = :: : Ví dụ: "Nhân viên thân thiện nhiệt tình, đặc biệt quản lý chu đáo, quan tâm tới khách hàng" Câu vector hóa dựa tập từ chủ đề tập từ phủ định, mức độ sau: 1:1 2:0 3:1 4:0 5:0 6:0 7:0 8:1 9:1 10:0 11:0 12:0 13:0 14:0 15:0 16:0 17:0 18:0 19:0 20:0 21:0 22:0 23:0 24:0 25:0 26:0 27:0 28:0 29:0 30:0 31:0 32:0 33:0 34:0 35:0 36:0 37:0 38:0 39:0 Với nhãn quan điểm gán câu thuộc quan điểm tích cực (Gán nhãn quan điểm -1 câu thuộc quan điểm tiêu cực) Hình 3.1: Định dạng liệu công cụ SV M light ❼ Bước Với tập chia ngẫu nhiên thành hai phần liệu huấn luyện kiểm tra theo tỉ lệ 7:3 (7 phần liệu dùng để làm tập liệu huấn luyện, phần liệu dùng để làm tập liệu đánh giá) Với tập huấn luyện tiến hành học phân lớp quan điểm Ta có mơ hình phân lớp 30 ❼ Bước Tiến hành phân lớp quan điểm tập liệu kiểm tra ❼ Bước 7: Tính điểm xếp hạng cho khía cạnh 3.1.4 Độ đo Chúng sử dụng tập liệu đánh giá (tập liệu gán nhãn thủ công) đưa vào phân lớp xây dựng tập huấn luyện Sau tính tốn giá trị: độ xác(precision – P ), độ bao phủ(recall – R) độ đo F1 (Tiêu chuẩn đánh giá) dùng để đánh giá chất lượng thuật toán phân lớp Trong giá trị: P , R, F1 tính sau: P = truepositive truepositive + f alsepositive (3.1) R= truepositive truepositive + f alsenegative (3.2) 2∗P ∗R P +R (3.3) F1 = Trong đó: ❼ truepositive : Số câu phân loại vào lớp tích cực ❼ f alsepositive : Số câu phân loại sai vào lớp tích cực ❼ f alsenegative : Số câu phân loại sai vào lớp tiêu cực Ví dụ, phân lớp nhận dạng 10 câu thuộc phân lớp tích cực liệu đánh giá gồm 12 câu thuộc phân lớp tích cực lại câu thuộc phân lớp tiêu cực Nếu 10 câu phân lớp nhận dạng thuộc phân lớp tích cực có câu câu nhận dạng sai ta có: ❼ P = 9/10 = 90% ❼ R = 9/12 = 75% ❼ F1 = (2 ∗ 90 ∗ 75)/(90 + 75) = 83% 31 3.2 Kết thực nghiệm Bảng 3.3 trình bày kết dự đốn xếp hạng cho khía cạnh xếp theo mức độ yêu thích người dùng Bảng 3.3: Kết xếp hạng theo khía cạnh Khía cạnh Phịng Nhân viên Vị trí Giá phòng Dịch vụ Xếp hạng theo liệu đánh giá Xếp hạng theo dự đoán scorepositive scorenegative scorepositive scorenegative 80% 20% 86% 14% 72% 28% 76% 24% 72% 28% 74% 26% 70% 30% 77% 23% 68% 32% 66% 34% Các khía cạnh xếp giảm dần dựa điểm xếp hạng theo dự đốn Khía cạnh phịng người dùng thích nhiều có tỉ lệ 86%, tiếp đến khía cạnh nhân viên có tỉ lệ 76% Khía cạnh có mức độ u thích thấp dịch vụ với tỉ lệ 66% Hình 3.2 thể so sánh mức độ yêu thích người dùng theo khía cạnh dựa điểm xếp hạng theo dự đoán Để so sánh điểm xếp hạng theo dự đoán điểm xếp hạng theo liệu đánh giá, chúng tơi thể Hình 3.3 Hình 3.2: Biểu đồ so sánh mức độ yêu thích người dùng theo khía cạnh 32 Hình 3.3: Biểu đồ so sánh điểm xếp hạng theo dự đoán điểm xếp hạng theo liệu đánh giá Bảng 3.4: Đánh giá phân lớp SVM Khía cạnh Giá phịng Ví trí Phịng Dịch vụ Nhân viên 3.3 Độ xác (P ) Độ bao phủ (R) Độ đo F1 91,6% 89,4% 90,5% 94,7% 92,4% 93,5% 94,0% 91,6% 92,8% 96,3% 90,2% 93,2% 93,6% 91,8% 92,7% Đánh giá Kết xếp hạng theo khía cạnh trình bày bảng 3.3 Với điểm xếp hạng theo quan điểm tích cực, thấy, điểm xếp hạng theo dự đoán điểm xếp hạng theo liệu đánh giá tương ứng với khía cạnh chênh lệch từ 2% đến 7% Trong đó, khía cạnh giá phịng cho độ chênh lệch cao 7%, khía cạnh vị trí khía cạnh dịch vụ cho độ chênh lệch thấp 2% Bảng 3.4 trình bày đánh giá phân lớp quan điểm SVM theo khía cạnh thơng qua ba độ đo: Độ xác (P ), độ bao phủ (R) độ đo F1 Chúng ta thấy, kết phân lớp khía cạnh giá phịng, vị trí, phịng, dịch vụ, nhân viên tính theo độ xác từ 91% trở lên Các kết gần xấp xỉ với kết tính theo độ bao phủ Điều cho thấy, phân lớp 33 tương đối ổn định đánh giá theo độ xác độ bao phủ, kết độ đo F1 theo khía cạnh xấp xỉ 34 KẾT LUẬN Trong phần này, chúng tơi tóm lược lại kết luận văn Ngồi ra, chúng tơi trình bày hướng phát triển cho nghiên cứu tương lai Tóm lược kết luận văn Luận văn chúng tơi tập trung nghiên cứu phân tích quan điểm dựa khía cạnh ứng dụng xác định sở thích du khách sản phẩm du lịch Nội dung kết nghiên cứu trình bày Chương 1-3 Các kết luận văn tóm tắt sau: ❼ Thứ nhất, chúng tơi trình bày kiến thức tổng quan tốn phân tích quan điểm, phân tích quan điểm theo khía cạnh cách tiếp cận để giải tốn ❼ Thứ hai, chúng tơi phát biểu tốn xác định sở thích du khách sản phẩm du lịch dựa theo khía cạnh, phạm vi đề tài, lựa chọn sản phẩm du lịch khách sạn để đánh giá; trình bày chi tiết quy trình phân tích quan điểm theo khía cạnh ❼ Thứ ba, chúng tơi thực nghiệm liệu đánh giá khách sạn theo quy trình trình bày Chương 2, kết qủa thực nghiệm đánh giá với độ xác 90% Hướng phát triển luận văn Chúng tơi nghiên cứu phân tích quan điểm dựa khía cạnh ứng dụng xác định sở thích du khách sản phẩm du lịch Chúng hy vọng rằng, bước khởi đầu cho nghiên cứu phân tích quan điểm dựa khía cạnh ứng dụng Trong tương lai phát triển luận văn theo hướng sau: ❼ Thứ nhất, tiếp tục xây dựng liệu cho tốn phân tích quan điểm miền du lịch 35 ❼ Thứ hai, mở rộng tốn phân tích quan điểm theo khía cạnh cho sản phẩm khác miền du lịch ❼ Thứ ba, giai đoạn phân lớp quan điểm dựa khía cạnh, cài đặt thực nghiệm nhiều thuật tốn (ví dụ: k − N N , Naive Bayes, ) Từ đó, so sánh, đánh giá lựa chọn thuật toán tốt cho cho toán ❼ Thứ tư, xây dựng ứng dụng phân tích quan điểm miền du lịch 36 Tài liệu tham khảo [1] Bengio, Y., Courville, A., and Vincent, P (2013) Representation learning: A review and new perspectives IEEE transactions on pattern analysis and machine intelligence, 35(8):1798–1828 [2] Bennett, J., Lanning, S., et al (2007) The netflix prize In Proceedings of KDD cup and workshop, volume 2007, page 35 New York [3] Brody, S and Elhadad, N (2010) An unsupervised aspect-sentiment model for online reviews In Human language technologies: The 2010 annual conference of the North American chapter of the association for computational linguistics, pages 804–812 [4] Carenini, G., Cheung, J C K., and Pauls, A (2013) Multi-document summarization of evaluative text Computational Intelligence, 29(4):545–576 [5] Cilibrasi, R L and Vitanyi, P M (2007) The google similarity distance IEEE Transactions on knowledge and data engineering, 19(3):370–383 [6] Cortes, C and Vapnik, V (1995) Support vector machine Machine learning, 20(3):273–297 [7] Ding, X., Liu, B., and Yu, P S (2008) A holistic lexicon-based approach to opinion mining In Proceedings of the 2008 international conference on web search and data mining, pages 231–240 [8] Ganu, G., Elhadad, N., and Marian, A (2009) Beyond the stars: improving rating predictions using review text content In WebDB, volume 9, pages 1–6 Citeseer [9] Hinton, G E and Salakhutdinov, R R (2006) Reducing the dimensionality of data with neural networks science, 313(5786):504–507 37 [10] Hu, M and Liu, B (2004) Mining and summarizing customer reviews In Proceedings of the tenth ACM SIGKDD international conference on Knowledge discovery and data mining, pages 168177 [11] Hyvăarinen, A and Oja, E (2000) Independent component analysis: algorithms and applications Neural networks, 13(4-5):411–430 [12] Jindal, N and Liu, B (2007) Review spam detection In Proceedings of the 16th international conference on World Wide Web, pages 1189–1190 [13] Jindal, N and Liu, B (2008) Opinion spam and analysis In Proceedings of the 2008 international conference on web search and data mining, pages 219– 230 [14] Joachims, T (1999) Svmlight: Support vector machine SVM-Light Support Vector Machine http://svmlight joachims org/, University of Dortmund, 19(4) [15] Kim, S.-M and Hovy, E (2004) Determining the sentiment of opinions In COLING 2004: Proceedings of the 20th International Conference on Computational Linguistics, pages 1367–1373 [16] Kramer, J and Gordon, C (2014) Improvement of a naive bayes sentiment classifier using mrs-based features In Proceedings of the Third Joint Conference on Lexical and Computational Semantics (* SEM 2014), pages 22–29 [17] Lim, E.-P., Nguyen, V.-A., Jindal, N., Liu, B., and Lauw, H W (2010) Detecting product review spammers using rating behaviors In Proceedings of the 19th ACM international conference on Information and knowledge management, pages 939–948 [18] Liu, B (2012) Sentiment analysis and opinion mining Synthesis lectures on human language technologies, 5(1):1–167 [19] Long, C., Zhang, J., and Zhu, X (2010) A review selection approach for accurate feature rating estimation In Coling 2010: Posters, pages 766–774 [20] Mai, L and Le, B (2018) Aspect-based sentiment analysis of vietnamese texts with deep learning In Asian Conference on Intelligent Information and Database Systems, pages 149–158 Springer [21] Moghaddam, S and Ester, M (2010) Opinion digger: an unsupervised opinion miner from unstructured product reviews In Proceedings of the 19th ACM 38 international conference on Information and knowledge management, pages 1825–1828 [22] Narayanan, V., Arora, I., and Bhatia, A (2013) Fast and accurate sentiment classification using an enhanced naive bayes model In International Conference on Intelligent Data Engineering and Automated Learning, pages 194–201 Springer [23] Pang, B and Lee, L (2008) Opinion mining and sentiment analysis foundations and trends in information retrieval vol [24] Pang, B., Lee, L., and Vaithyanathan, S (2002) Thumbs up? sentiment classification using machine learning techniques arXiv preprint cs/0205070 [25] Pavlopoulos, J and Androutsopoulos, I (2014) Aspect term extraction for sentiment analysis: New datasets, new evaluation measures and an improved unsupervised method In Proceedings of the 5th Workshop on Language Analysis for Social Media (LASM), pages 44–52 [26] Pham, D.-H and Le, A.-C (2018) Exploiting multiple word embeddings and one-hot character vectors for aspect-based sentiment analysis International Journal of Approximate Reasoning, 103:1–10 [27] Popescu, A.-M and Etzioni, O (2007) Extracting product features and opinions from reviews In Natural language processing and text mining, pages 9–28 Springer [28] Poria, S., Cambria, E., and Gelbukh, A (2016) Aspect extraction for opinion mining with a deep convolutional neural network Knowledge-Based Systems, 108:42–49 [29] Ravi, K and Ravi, V (2015) A survey on opinion mining and sentiment analysis: tasks, approaches and applications Knowledge-Based Systems, 89:14– 46 [30] Sauper, C and Barzilay, R (2013) Automatic aggregation by joint modeling of aspects and values Journal of Artificial Intelligence Research, 46:89–127 [31] Taboada, M., Brooke, J., Tofiloski, M., Voll, K., and Stede, M (2011) Lexicon-based methods for sentiment analysis 37(2):267–307 39 Computational linguistics, [32] Tang, D., Qin, B., and Liu, T (2016) Aspect level sentiment classification with deep memory network arXiv preprint arXiv:1605.08900 [33] Thắng, Đ Q., Phương, L H., Huyền, N T M., Tú, N C., Rossignol, M., and Lương, V X Word segmentation of vietnamese texts: a comparison of approaches [34] Turney, P D (2002) Thumbs up or thumbs down? semantic orientation applied to unsupervised classification of reviews arXiv preprint cs/0212032 [35] Van Thin, D., Nguye, V D., Van Nguyen, K., and Nguyen, N L.-T (2018) Deep learning for aspect detection on vietnamese reviews In 2018 5th NAFOSTED Conference on Information and Computer Science (NICS), pages 104–109 IEEE [36] Vo, Q.-H., Nguyen, H.-T., Le, B., and Nguyen, M.-L (2017) Multi-channel lstm-cnn model for vietnamese sentiment analysis In 2017 9th international conference on knowledge and systems engineering (KSE), pages 24–29 IEEE [37] Wang, H., Lu, Y., and Zhai, C (2011) Latent aspect rating analysis without aspect keyword supervision In Proceedings of the 17th ACM SIGKDD international conference on Knowledge discovery and data mining, pages 618–626 [38] Wang, Y., Huang, M., Zhu, X., and Zhao, L (2016) Attention-based lstm for aspect-level sentiment classification In Proceedings of the 2016 conference on empirical methods in natural language processing, pages 606–615 [39] Weimer, M., Karatzoglou, A., Le, Q V., and Smola, A J (2008) Cofi rankmaximum margin matrix factorization for collaborative ranking In Advances in neural information processing systems, pages 1593–1600 [40] Wogenstein, F., Drescher, J., Reinel, D., Rill, S., and Scheidt, J (2013) Evaluation of an algorithm for aspect-based opinion mining using a lexicon-based approach In Proceedings of the Second International Workshop on Issues of Sentiment Discovery and Opinion Mining, pages 1–8 [41] Xinh, L T (2017) Khai phá quan điểm dựa kỹ thuật học có giám sát [42] Zhu, J., Wang, H., Tsou, B K., and Zhu, M (2009) Multi-aspect opinion polling from textual reviews In Proceedings of the 18th ACM conference on Information and knowledge management, pages 1799–1802 40 [43] Zhuang, L., Jing, F., and Zhu, X.-Y (2006) Movie review mining and summarization In Proceedings of the 15th ACM international conference on Information and knowledge management, pages 43–50 41 ... ứng dụng xác định sở thích du khách miền du lịch quy trình phân tích quan điểm theo khía cạnh tốn 17 Chương Xác định sở thích du khách sản phẩm du lịch dựa phân tích quan điểm theo khía cạnh Trong... hiểu sở lý thuyết phân tích quan điểm, phân tích quan điểm theo khía cạnh ❼ Thứ hai, ứng dụng phân tích quan điểm theo khía cạnh vào việc xác định sở thích du khách sản phẩm du lịch Phạm vi nghiên... bao gồm: phân tích quan điểm, phân tích quan điểm theo khía cạnh ❼ Chương Trình bày ứng dụng phân tích quan điểm theo khía cạnh vào việc xác định sở thích du khách sản phẩm du lịch ❼ Chương Trình