Khai phá liệu (Datamining) Trần Thanh Hùng LOGO 25/03/2020 Nội dung môn học Chương 1: Tổng quan khai phá liệu 3/25/2020 Chương 2: Luật kết hợp Chương 3: Phân lớp liệu Chương 4: Gom cụm liệu Chương 5: Học máy www.lhu.edu.vn Chương Tổng quan Nội dung Các khái niệm Các giai đoạn khai phá tri thức Ứng dụng khai phá liệu Các kỹ thuật khai phá Chương Tổng quan Các khái niệm ▪ Dữ liệu (Data): xem chuỗi bit, số, ký tự…mà tập hợp hàng ngày công việc ▪ Thông tin (Information): tập hợp mảnh liệu chắt lọc dùng mơ tả, giải thích đặc tính đối tượng ▪ Tri thức (Knowledge): tập hợp thơng tin có liên hệ với nhau, xem tri thức kết tinh từ liệu Tri thức thể tư người vấn đề 3/25/2020 www.lhu.edu.vn Chương Tổng quan Các khái niệm ▪ Khám phá tri thức từ sở liệu: (Knowledge Discovery in Databases – KDD) ▪ “KDD is the automatic extraction of non-obvious, hidden knowledge from large volumes of data.” Fayyad, Platetsky-Shapiro, Smyth (1996) ▪ “Khám phá tri thức từ sở liệu quy trình bao gồm nhiều cơng đoạn như: xác định vấn đề, tập hợp chọn lọc liệu, khai thác liệu, đánh giá kết quả, giải thích liệu, áp dụng tri thức vào thực tế ▪ http://www.kdnuggets.com/ 3/25/2020 www.lhu.edu.vn Chương Tổng quan Tại phải khai phá liệu ? ▪ Nhà bác học tiếng Karan Sing nói “Chúng ta ngập chìm biển thơng tin lại khát tri thức” ▪ Dữ liệu thu thập hàng ngày lớn ▪ Các CSDL khổng lồ ▪ Dữ liệu từ Internet ▪ Theo báo cáo IBM, có 80% liệu khai thác, 20% lại ẩn Database tri thức quý giá 3/25/2020 www.lhu.edu.vn Chương Tổng quan Khai phá liệu gì? ▪ Khai phá liệu (Datamining) bước quy trình khám phá tri thức, nhằm: ▪ Rút trích thơng tin hữu ích, chưa biết, tiềm ẩn khối liệu lớn ▪ Phân tích liệu bán tự động ▪ Giải thích liệu tập liệu lớn 3/25/2020 www.lhu.edu.vn Chương Tổng quan Lợi ích khai phá liệu Giá trị EDP MIS DSS Số lượng 3/25/2020 EDP: Electronic Data Processing MIS: Management Information Systems DSS: Decision Support Systems www.lhu.edu.vn Chương Tổng quan Quy trình khai phá liệu Nghiên cứu lĩnh vực Nghiên Tạo tập liệu đầu vào Tiền xử lý/ làm sạch, mã hóa Rút gọn / chiều Chọn tác vụ Khai thác liệu 3/25/2020 www.lhu.edu.vn Chương Tổng quan Quy trình khai phá liệu Chọn thuật giải KTDL KTDL: Tìm kiếm tri thức Đánh giá mẫu tìm Biểu diễn tri thức Sử dụng tri thức vừa khám phá 3/25/2020 www.lhu.edu.vn Chương Tổng quan Quy trình khai phá liệu Increasing potential to support business decisions Making Decisions End User Data Presentation Visualization Techniques Business Analyst Data Mining Information Discovery Data Analyst Data Exploration Statistical Analysis, Querying and Reporting Data Warehouses / Data Marts OLAP, MDA DBA Data Sources Paper, Files, Information Providers, Database Systems, OLTP 3/25/2020 www.lhu.edu.vn Chương Tổng quan Từ liệu đến định Quyết định • Promote product A in region Z Tri thức • Mail ads to families of profile P • Cross-sell service B to clients C • A quantity Y of product A is used in region Z • Customers of class Y use x% of C during period D Thơng tin • X lives in Z Dữ liệu • Customer data • S is Y years old • X and S moved • W has money in Z • Store data • Demographical Data • Geographical data 3/25/2020 www.lhu.edu.vn Chương Tổng quan Các ứng dụng Sản xuất Kinh doanh - Phân tích liệu bán hàng tiếp thị - Phân tích đầu tư - Chứng khốn - Xác định gian lận Khoa học 3/25/2020 - Không gian Sinh học Địa lý etc - Điều khiển lập lịch - Quản trị mạng lưới - Phân tích kết thử nghiệm Y học - Bệnh lý - Sinh học www.lhu.edu.vn Chương Tổng quan Các kỹ thuật sử dụng Tìm đặc trưng lớp đối tượng sử dụng để phân lớp liệu Gom cụm Phân lớp ? Dữ đoán liệu tương lai dựa liệu khứ Dự đoán Mẫu 3/25/2020 Xác định cụm tiềm ẩn tập đối tượng chưa xếp lớp Tìm mẫu phổ biến từ liệu mối quan hệ đối tượng liệu Luật kết hợp Khám phá mẫu tín hiệu phổ biến từ liệu kiện Xác định trật tự liệu, cấu trúc lưu trữ phù hợp với tác vụ khai phá Nhà kho- OLAP www.lhu.edu.vn Một số ví dụ 3/25/2020 www.lhu.edu.vn 3/25/2020 www.lhu.edu.vn 3/25/2020 www.lhu.edu.vn 3/25/2020 www.lhu.edu.vn 3/25/2020 www.lhu.edu.vn 3/25/2020 www.lhu.edu.vn 3/25/2020 www.lhu.edu.vn 3/25/2020 www.lhu.edu.vn Chương Tổng quan Kết luận ▪ KPDL: tiến trình khám phá bán tự động thơng tin, mẫu có ích từ CSDL lớn ▪ Các bước KDD ▪ Tiền xử lý ▪ KTDL( data mining tasks) ▪ Hậu xử lý ▪ Các quan niệm, khía cạnh … ▪ ▪ ▪ ▪ 3/25/2020 CSDL (quan hệ, hướng đối tượng, không gian, WWW, …) Tri thức (đặc trưng, gom cụm, kết hợp, …) Kỹ thuật (máy học, thống kê, trực quan hóa, …) Ứng dụng (bán lẻ, điện thoại, khai thác Web …) www.lhu.edu.vn 3/25/2020 www.lhu.edu.vn