ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA ———————————– TRẦN LONG HOÀI PHÁT HIỆN BẤT THƯỜNG TRÊN CHUỖI THỜI GIAN DỰA VÀO MẠNG NƠ-RON HỌC SÂU LSTM Chuyên ngành: Khoa Học Máy Tính Mã số: 8.48.01.01 LUẬN VĂN THẠC SĨ TP HỒ CHÍ MINH, tháng năm 2021 CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA ĐHQG-HCM Cán hướng dẫn khoa học : PGS.TS Dương Tuấn Anh Cán chấm nhận xét : PGS.TS Nguyễn Thanh Hiên Cán chấm nhận xét : TS Lê Văn Quốc Anh Luận văn thạc sĩ bảo vệ Trường Đại học Bách Khoa, ĐHQG Tp HCM ngày tháng năm 2021 (Trực tuyến) Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị Hội đồng chấm bảo vệ luận văn thạc sĩ) Chủ Tịch: PGS.TS Huỳnh Tường Nguyên Thư Ký: TS Nguyễn Tiến Thịnh Phản Biện 1: TS Lê Văn Quốc Anh Phản Biện 2: PGS.TS Nguyễn Thanh Hiên Ủy Viên: PGS.TS Dương Tuấn Anh Xác nhận Chủ tịch Hội đồng đánh giá LV Trưởng Khoa quản lý chuyên ngành sau luận văn sửa chữa (nếu có) CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự Do - Hạnh Phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trần Long Hoài MSHV: 1970122 Ngày, tháng năm sinh: 26/04/1993 Nơi sinh: Hà Tĩnh Ngành: Khoa học Máy Tính Mã số: 8.48.01.01 I TÊN ĐỀ TÀI: Phát bất thường chuỗi thời gian dựa vào mạng nơ-ron học sâu LSTM NHIỆM VỤ VÀ NỘI DUNG : - Tìm hiểu tốn phát bất thường liệu chuỗi thời gian - Tìm hiều mạng nơ-ron học sâu LSTM - Ứng dụng mạng nơ-ron học sâu LSTM để phát bất thường liệu chuỗi thời gian - Hiện thực thử nghiệm chương trình dùng mạng nơ-ron để phát bất thường chuỗi thời gian - So sánh hiệu mạng nơ-ron học sâu LSTM giải thuật HOT SAX phát bất thường chuỗi thời gian II NGÀY GIAO NHIỆM VỤ: 20/01/2021 III NGÀY HOÀN THÀNH NHIỆM VỤ: 20/06/2021 IV CÁN BỘ HƯỚNG DẪN: PGS.TS Dương Tuấn Anh Tp HCM, ngày tháng năm 2021 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên chữ ký) (Họ tên chữ ký) TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH (Họ tên chữ ký) Lời cảm ơn Lời đầu tiên, muốn gửi lời cảm ơn chân thành đến thầy PGS.TS Dương Tuấn Anh, thời gian qua, hướng dẫn giúp đỡ tơi q trình thực luận văn tốt nghiệp Những lời nhận xét, góp ý hướng dẫn Thầy giúp tơi có hướng trình thực đề tài, giúp thấy thuận lợi hạn chế phương pháp tiếp cận khác bước khắc phục để ngày tốt Đồng thời muốn gửi lời cảm ơn sâu sắc đến gia đình bạn bè động viên, cổ vũ tinh thần góp ý suốt q trình học tập thực đề tài, đặc biệt gia đình chăm lo hy sinh nhiều để tơi chun tâm học tập Sau cùng, tơi xin kính chúc q Thầy Cơ khoa Khoa Học Kĩ Thuật Máy Tính thật dồi sức khỏe, niềm tin để tiếp tục thực sứ mệnh cao đẹp truyền đạt kiến thức cho hệ mai sau Thành phố Hồ Chí Minh, 06/2021 Trần Long Hồi i Tóm tắt Bài tốn phát bất thường phương pháp dự báo toán toán nhiều nhà nghiên cứu cộng đồng phát bất thường quan tâm Bởi cách tiếp cận mới, tận dụng bùng nổ mạng nơ-ron học sâu Phương pháp gồm hai cơng tác dự báo liệu phát bất thường Các liệu dùng để phát bất thường liệu nhà nghiên cứu sử dụng nhiều công tác phát bất thường, liệu chuỗi thời gian, có tương quan với Để dự báo xác với liệu chuỗi thời gian có tương quan với nhau, nghiên cứu đề xuất mơ hình sử dụng mạng nơ-ron học sâu LSTM xếp chồng Ngoài để nâng cao khả dự báo, áp dụng kỹ thuật dự báo nhiều bước cho mơ hình đề xuất Sai số dự báo sử dụng cho công tác phát bất thường Để đánh giá mơ hình, chúng tơi so sánh với giải thuật HOTSAX kết phát bất thường thời gian thực thi Kết thực nghiệm 07 liệu cho thấy mơ hình đề xuất khắc phục hạn chế việc dựa vào kích thước cửa sổ trượt giải thuật HOTSAX, đồng thời khẳng định tiềm phương pháp phát bất thường dự báo ii Abstract Anomaly detection algorithm with prediction-based technique is the problem in which many researchers in anomaly detection community have been interested Because this is a new approach, taking advantage of the explosion of deep learning neural networks This method consists of two main tasks: data prediction and anomaly detection The data sets used for anomaly detection are the data sets that are widely used by researchers in anomaly detection, these data sets are time series, which are correlated with each other To be able to accurately predict with correlated time series data, this thesis proposes a model using a stacked LSTM network In addition to improving the forecasting ability, we also apply multi-step-ahead prediction for this model Forecast error may be used for anomaly detection To evaluate the model, we make a comparison with the HOTSAX algorithm on the anomaly detection results and execution time Experimental results on 07 data sets show that our proposed model has overcome the limitation when relying on sliding window size in the HOTSAX algorithm, and also confirms the potential of anomaly detection algorithm with prediction-based technique iii Lời cam đoan Tôi Trần Long Hoài học viên cao học khoa Khoa Học Kĩ Thuật Máy Tính, Đại học Bách Khoa TP HCM, MSHV 1970122 Tôi xin cam đoan luận văn thạc sĩ "Phát Hiện Bất Thường Trên Chuỗi Thời gian Dựa Vào Mạng Nơ-Ron Học Sâu LSTM" kết tìm hiểu, nghiên cứu độc lập thân Tôi xin cam đoan: Luận văn thực cho mục đích tìm hiểu nghiên cứu bậc cao học Các cơng trình, báo tham khảo để xây dựng nên luận văn trích dẫn, tham khảo Tất tài liệu trích dẫn có tính kế thừa từ tạp chí cơng trình nghiên cứu cơng bố Những cơng cụ, phần mềm cho q trình thực luận văn phần mềm mã nguồn mở Hình ảnh số liệu trích dẫn nguồn tham khảo rõ ràng Kết nghiên cứu trình bày trung thực dựa số liệu thực tế chạy chương trình TP Hồ Chí Minh, Ngày Tháng Năm 2021 Học viên Trần Long Hoài iv Mục lục Giới thiệu đề tài 1.1 Đặt vấn đề 1.2 Mục tiêu nghiên cứu 1.3 Ý nghĩa đề tài 1.4 Kết đạt 1.5 Cấu trúc luận văn Cơ sở lý thuyết 2.1 Chuỗi thời gian dự báo chuỗi thời gian 2.2 Chuỗi chuỗi bất thường 2.2.1 Chuỗi 2.2.2 Chuỗi bất thường 2.3 Phương pháp xấp xỉ gộp đoạn 2.4 Phương pháp xấp xỉ gộp ký hiệu hóa 2.5 Mạng nơ-ron nhân tạo (Artiticial Neural Networks - ANN) 2.6 Mạng nơ-ron hồi quy (Recurrent Neural Network – RNN) 2.6.1 Kiến trúc cách thức hoạt động 2.6.2 Vấn đề RNN 2.7 Mạng nơ-ron học sâu Long Short-Term Memory (LSTM) 2.8 Mạng nơ-ron học sâu LSTM xếp chồng (Stacked LSTM Network) 1 7 9 11 11 11 12 12 14 18 18 19 20 22 Những nghiên cứu liên quan 3.1 Dự báo nhiều bước liệu chuỗi thời gian (multi-step ahead predictions) 3.1.1 Chiến lược hồi quy (Recursive Strategy) 3.1.2 Chiến lược trực tiếp (Direct Strategy) 3.1.3 Kết hợp chiến lược hồi quy chiến lược trực tiếp (DirREC Strategy) 3.1.4 Chiến lược nhiều đầu vào – nhiều đầu (MIMO Strategy) 3.1.5 Kết hợp chiến lược trực tiếp chiến lược nhiều đầu vào - nhiều đầu (DirMO Strategy) 3.2 Giải thuật HOT SAX v 24 24 25 25 26 27 28 29 MỤC LỤC 3.3 3.4 3.5 3.6 3.7 3.8 3.9 Mạng LSTM xếp chồng phát chuỗi bất thường Kết hợp mạng nơ-ron học sâu mơ hình xác suất truyền thống Dự báo liệu chỉnh sửa bất thường dựa mạng LSTM Phát bất thường LSTM so sánh dự báo với giải thuật AMIRA Phát bất thường LSTM sử dụng Kernel Quantile Estimator Khảo sát kỹ thuật phát bất thường sử dụng mạng LSTM 3.8.1 Phân loại bất thường 3.8.2 Phát bất thường sử dụng mạng LSTM Kết luận Phương pháp giải vấn đề 4.1 Các liệu 4.1.1 Bộ liệu điện tâm đồ ECG 4.1.2 Bộ liệu nhiệt độ máy Numenta 4.1.3 Bộ liệu power_demand 4.1.4 Bộ liệu TEK16 4.1.5 Bộ liệu chứng khoán stock_20_0 4.1.6 Bộ liệu memory 4.1.7 Bộ liệu ann_gun_CentroidA 4.2 Đề xuất mô hình 4.3 Phương pháp phát bất thường 4.3.1 Dự báo liệu 4.3.2 Phát bất thường 4.3.3 Các giả định 4.3.4 Các bước giải thuật Kết thực nghiệm 5.1 Tiêu chí đánh giá 5.2 Thực nghiệm 5.2.1 Giải thuật HOTSAX 5.2.2 Mơ hình đề xuất 5.2.3 Duy trì trạng thái LSTM Keras (State 5.3 Kết thực nghiệm 5.3.1 Bộ liệu điện tâm đồ ECG 5.3.2 Bộ liệu nhiệt độ máy Numenta 5.3.3 Bộ liệu power_demand 5.3.4 Bộ liệu TEK16 5.3.5 Bộ liệu chứng khoán stock_20_0 5.3.6 Bộ liệu memory 5.3.7 Bộ liệu ann_gun_CentroidA 5.4 Kết luận vi Maintenance) 30 32 34 36 38 40 40 40 42 43 43 44 45 46 47 47 48 48 49 50 51 52 52 53 55 55 58 58 59 62 62 62 65 67 69 71 73 75 79 MỤC LỤC Kết Luận 6.1 Kết đạt 6.2 Hướng nghiên cứu 82 82 84 Tài liệu tham khảo 85 A Bảng đối chiếu thuật ngữ Anh - Việt A1 vii CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.18: Phát bất thường liệu ann_gun_CentroidA kênh Y HOTSAX Mơ hình đề xuất Giải thuật HOTSAX Kênh X 1m7s 17s Kênh Y 51s 15s Bảng 5.8: Thời gian thực thi liệu ann_gun_CentroidA Kết phát bất thường mơ hình đề xuất thể hình 5.15 hình 5.16, với biểu đồ bên thể liệu gốc, liệu dự báo sai số dự báo, vùng bóng mờ thể bất thường phát Biểu đồ bên thể diện giá trị logPD giá trị ngưỡng Các điểm liệu có giá trị logPD thấp giá trị ngưỡng biểu đồ bên dưới, phủ mờ tương ứng với biểu đồ bên Kết phát bất thường giải thuật HOTSAX thể hình 5.17 hình 5.18 Đối với liệu kênh X, hai phương pháp phát chuỗi bất thường Nhưng mô hình đề xuất phát bắt đầu có bất thường hầu hết phần lại chuỗi bất thường Đối với giải thuật HOTSAX, hạn chế kích thước cửa sổ trượt, nên giải thuật phát phần chuỗi bất thường Mặc dù thử kích thước cửa sổ trượt lớn hơn, kết ổn định Đối với liệu kênh Y, nhận thấy hai phương pháp phát có bắt đầu có bất thường Do hạn chế kích thước cửa sổ trượt, nên giải thuật HOTSAX phát phần đầu chuỗi bất thường Nhờ vào khơng có phụ thuộc vào kích thước cửa sổ trượt, nên mơ hình đề xuất phát hầu hết phần lại chuỗi bất 78 CHƯƠNG KẾT QUẢ THỰC NGHIỆM thường Xét thời gian thực thi bảng 5.8, mơ hình đề xuất cần nhiều thời gian thực thi giải thuật HOTSAX hai liệu Điều chứng tỏ mơ hình đề xuất cần nhiều thời gian để huấn luyện liệu Một điều khác, mơ hình đề xuất cần nhiều thời gian để huấn luyện liệu kênh X, nên thời gian thực thi liệu X lớn thời gian thực thi liệu Y 5.4 Kết luận Nhìn chung, giải thuật HOTSAX mơ hình đề xuất phát chuỗi bất thường liệu Với ưu dựa vào dự báo phát bất thường sai số dự báo, mơ hình đề xuất phát điểm bất thường chuỗi bất thường, đồng thời tránh hạn chế việc dựa vào kích thước cửa sổ trượt Nhưng điều gây cảnh báo sai, sai số dự báo lớn Đặc biệt liệu có liệu huấn luyện Đối với giải thuật HOTSAX, nhờ ưu định dựa vào kích thước cửa sổ trượt, giải thuật hoạt động ổn định liệu, khơng có cảnh báo sai chuỗi bất thường Trong giải thuật HOTSAX, chuỗi xác định cửa sổ trượt Bằng cách tính tốn khoảng cách chuỗi để tìm chuỗi bất thường Điều gặp vấn đề liệu chứa hai hay nhiều chuỗi bất thường giống nhau, kết phát bất thường khơng cịn xác (vấn đề gọi vấn đề twin freak – bất thường sinh đôi) Đối với mô hình đề xuất, vấn đề khắc phục nhờ vào phương pháp phát bất thường dựa vào dự báo Sai số dự báo dùng để xác định chuỗi bất thường Do đó, cho dù liệu chứa hai hay nhiều chuỗi bất thường giống nhau, mơ hình đề xuất phát Chúng thực nghiệm điều cách nhân liệu ECG lên lần thực phát bất thường liệu giải thuật HOTSAX mơ hình đề xuất 79 CHƯƠNG KẾT QUẢ THỰC NGHIỆM Hình 5.19: Phát bất thường liệu ECG nhân mơ hình đề xuất Hình 5.20: Phát bất thường liệu ECG nhân HOTSAX Kết phát bất thường mô hình đề xuất thể hình 5.19 kết giải thuật HOTSAX hình 5.20 Dễ dàng nhận thấy, giải thuật HOTSAX phát sai chuỗi bất thường có phiên giống chuỗi bất thường Đây nhược điểm cách tiếp cận dựa vào kích thước sổ trượt khoảng cách chuỗi mà đề cập Khác với giải thuật HOTSAX, mơ hình đề xuất phát chuỗi bất thường dựa vào sai số dự báo Vì mơ hình đề xuất học xu hướng liệu, có thêm phiên chuỗi 80 CHƯƠNG KẾT QUẢ THỰC NGHIỆM bất thường, mơ hình phát nhờ sai số dự báo điểm bất thường Điều có ý nghĩa quan trọng thực tế, mà liệu ln có nhiều chuỗi bất thường Xét thời gian thực thi, khó đưa so sánh xác thời gian thực thi mơ hình đề xuất giải thuật HOTSAX, phương pháp có cách thức hoạt động khác Với mơ hình đề xuất, thời gian thực thi phụ thuộc vào thời gian gian huấn luyện mơ hình Q trình phụ thuộc vào nhiều yếu tố độ lớn tập liệu, kích thước đầu vào, độ phức tạp mơ hình Đối với giải thuật HOTSAX, thời gian thực thi phụ thuộc phần lớn vào kích thước cửa sổ trượt, kích thước liệu Qua kết thu thời gian thực thi hai phương pháp, phần lớn giải thuật HOTSAX có thời gian thực thi nhỏ mơ hình đề xuất Chỉ có liệu power_demand với kích thước liệu cửa sổ trượt lớn, giải thuật HOTSAX có thời gian thực thi lớn giải thuật đề xuất Với phát triển phần cứng giải thuật, chúng tơi tin thời gian huấn luyện mơ hình mạng nơ-ron học sâu cải thiện, phương pháp phát bất thường dự báo cải thiện tương lai 81 Chương Kết Luận 6.1 Kết đạt Qua nghiên cứu này, chúng tơi khẳng định với khả lưu nhớ khứ khả học đặc trưng liệu, mạng nơ-ron học sâu LSTM thể khả dự báo liệu chuỗi thời gian Và việc ứng dụng khả dự báo mạng nơ-ron học sâu LSTM vào phát bất thường Từ đó, chúng tơi đề xuất mơ hình LSTM xếp chồng với kỹ thuật dự báo nhiều bước vào toán dự báo việc phát bất thường phương pháp dự báo Đối với toán phát bất thường, chúng tơi thực mơ hình hoá sai số dự báo để xác định giá trị ngưỡng thực phát bất thường dựa giá trị ngưỡng Luận văn khảo sát khai phá liệu chuỗi thời gian, nghiên cứu đề xuất phương pháp giải toán phát chuỗi bất thường liệu chuỗi thời gian, bao gồm: • Hiện thực giải thuật HOTSAX • Đề xuất giải thuật phát chuỗi bất thường dự báo dựa vào mạng LSTM • So sánh giải thuật đề xuất với giải thuật HOTSAX Luận văn tiến hành thực giải thuật phát chuỗi bất thường đề xuất, bao gồm bước sau: 82 CHƯƠNG KẾT LUẬN • Tiền xử lý liệu • Huấn luyện mơ hình • Tính tốn sai số dự báo mơ hình hố sai số dự báo • Xác định giá trị ngưỡng • Phát bất thường Luận văn cài đặt giải thuật đề xuất giải thuật HOTSAX để tiến hành kịch thực nghiệm, so sánh đánh giá kết thực nghiệm Các kết thực nghiệm 07 liệu thuộc lĩnh vực khác Nhìn chung, hai phương pháp phát chuỗi bất thường đánh dấu liệu Nhờ hướng tiếp cận dự báo, mơ hình đề xuất khắc phục hạn chế dựa vào kích thước cửa sổ trượt giải thuật HOTSAX Xét thời gian thực thi giải thuật đề xuất giải thuật HOTSAX, hai phương pháp có hai cách thức hoạt động khác Nhưng nhận thấy, thời gian thực thi giải thuật HOTSAX phụ thuộc vào kích thước cửa sổ trượt kích thước liệu Đối với giải thuật đề xuất, dựa vào phương pháp dự báo, nên phần lớn thời gian thực thi dành cho trình huấn luyện, dẫn đến thời gian thực thi giải thuật đề xuất dựa phụ thuộc vào q trình huấn luyện, nói cách khác phụ thuộc vào trình huấn luyện mạng nơ-ron học sâu LSTM liệu Mặt khác, kế thừa sức mạnh mạng nơ-ron học sâu LSTM, giải thuật đề xuất có khả phát bất thường liệu đa biến [31], giải thuật HOTSAX giới hạn liệu đơn biến Một lần cho thấy tiềm hướng tiếp cận phát bất thường theo phương pháp dự báo Nhưng giới hạn luận văn, thực so sánh liệu đơn biến Bên cạnh đó, mơ hình đề xuất lại gặp khó khăn liệu có liệu huấn luyện, dẫn đến khả dự báo mơ hình đề xuất khơng tốt có nhiều cảnh báo sai chặng phát bất thường Đây hạn chế mạng nơ-ron học sâu thiếu liệu huấn luyện 83 CHƯƠNG KẾT LUẬN 6.2 Hướng nghiên cứu • Khảo sát phân tích đặc điểm tập liệu thực nghiệm tiến hành thực nghiệm nhiều tập liệu có đặc tính khác để rút nhiều kết luận giải thuật đề xuất • Nghiên cứu nhiều độ đo sai số khác cải tiến giải thuật đề xuất để tăng độ xác cho cơng tác dự báo • Xây dựng mơ hình dự báo dựa vào mạng LSTM bao gồm phát bất thường, khử bất thường dự báo để đem lại hiệu dự báo tốt liệu có chứa yếu tố bất thường • Mở rộng mơ hình phát bất thường dựa vào mạng LSTM để phát bất thường chuỗi thời gian đa biến (multivariate time series) 84 Tài liệu tham khảo [1] E Keogh, J Lin, and A Fu, “Hot sax: efficiently finding the most unusual time series subsequence,” in Fifth IEEE International Conference on Data Mining (ICDM’05), 2005, pp 8–9 [2] N H An and D T Anh, “Comparison of strategies for multi-step-ahead prediction of time series using neural network,” in 2015 International Conference on Advanced Computing and Applications (ACOMP), 2015, pp 142–149 [3] P Malhotra, L Vig, G Shroff, and P Agarwal, “Long short term memory networks for anomaly detection in time series,” in 23rd European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning, 2015, pp 89–94 [4] T Buda, B Caglayan, and H Assem, “Deepad: A generic framework based on deep learning for time series anomaly detection,” in Pacific-Asia Conference on Knowledge Discovery and Data Mining, 2018, pp 577–588 [5] L Zhang, L Yang, C Gu, and D Li, “Lstm-based short-term electrical load forecasting and anomaly correction,” E3S Web of Conferences, vol 182, p 01004, Jan 2020 [6] Q Yang and X Wu, “10 challenging problems in data mining research,” International Journal of Information Technology Decision Making (IJITDM), vol 05, pp 597–604, Dec 2006 [7] S Chauhan and L Vig, “Anomaly detection in ecg time signals via deep long short-term memory networks,” in 2015 IEEE International Conference on Data Science and Advanced Analytics (DSAA), 2015, pp 1–7 85 TÀI LIỆU THAM KHẢO [8] S Das, L Li, A Srivastava, and R Hansman, “Comparison of algorithms for anomaly detection in flight recorder data of airline operations,” in AIAA Aviation Technology, Integration, and Operations Conference, 2012, pp 5593– 5597 [9] W Zhou, J Wen, Q Qu, J Zeng, and T Cheng, “Shilling attack detection for recommender systems based on credibility of group users and rating time series,” PLOS ONE, vol 13, no 5, pp 1–17, May 2018 [Online] Available: https://doi.org/10.1371/journal.pone.0196533 [10] Y S Abu-Mostafa and A F Atiya, “Introduction to financial forecasting,” Applied Intelligence, vol 6, p 205–213, 1996, n/a [11] G E P Box and G Jenkins, Time Series Analysis, Forecasting and Control USA: Holden-Day, Inc., 1990 [12] Z Tang and P Fishwick, “Feedforward neural nets as models for time series forecasting,” INFORMS Journal on Computing, vol 5, pp 374–385, Nov 1993 [13] J.-H Wang and J.-Y Leu, “Stock market trend prediction using arima-based neural networks,” Proceedings of International Conference on Neural Networks (ICNN’96), vol 4, pp 2160–2165, 1996 [14] J Adamowski, H Fung Chan, S O Prasher, B Ozga-Zielinski, and A Sliusarieva, “Comparison of multiple linear and nonlinear regression, autoregressive integrated moving average, artificial neural network, and wavelet artificial neural network methods for urban water demand forecasting in montreal, canada,” Water Resources Research, vol 48, no 1, 2012 [Online] Available: https://agupubs.onlinelibrary.wiley.com/doi/abs/ 10.1029/2010WR009945 [15] Y LeCun, Y Bengio, and G Hinton, “Deep learning,” Nature, vol 521, pp 436–44, May 2015 [16] L C Jain and L R Medsker, Recurrent Neural Networks: Design and Applications, 1st ed USA: CRC Press, Inc., 1999 86 TÀI LIỆU THAM KHẢO [17] T Mikolov, M Karafiát, L Burget, J Cernocký, and S Khudanpur, “Recurrent neural network based language model,” vol 2, Jan 2010, pp 1045– 1048 [18] S Hochreiter and J Schmidhuber, “Long short-term memory,” Neural Comput., vol 9, no 8, p 1735–1780, Nov 1997 [Online] Available: https://doi.org/10.1162/neco.1997.9.8.1735 [19] Y Bu, O Leung, A Fu, E Keogh, J Pei, and S Meshkin, “Wat: Finding top- k discords in time series database,” in Proceedings of the 2007 SIAM International Conference on Data Mining, 2007, pp 449–454 [20] A Patcha and J.-M J Park, “An overview of anomaly detection techniques: Existing solutions and latest technological trends,” Computer Networks, vol 51, pp 3448–3470, Aug 2007 [21] E Keogh, K Chakrabarti, M Pazzani, and S Mehrotra, “Dimensionality reduction for fast similarity search in large time series databases,” Knowledge and Information Systems, vol 3, Jan 2002 [22] J Lin, E Keogh, S Lonardi, and B Chiu, “A symbolic representation of time series, with implications for streaming algorithms,” Proceedings of the 8th ACM SIGMOD Workshop on Research Issues in Data Mining and Knowledge Discovery, DMKD ’03, pp 2–11, Jan 2003 [23] Y Bengio, P Simard, and P Frasconi, “Learning long-term dependencies with gradient descent is difficult,” IEEE Transactions on Neural Networks, vol 5, no 2, pp 157–166, 1994 [24] M Hermans and B Schrauwen, “Training and analysing deep recurrent neural networks,” in Advances in Neural Information Processing Systems, C J C Burges, L Bottou, M Welling, Z Ghahramani, and K Q Weinberger, Eds., vol 26 Curran Associates, Inc., 2013 [Online] Available: https://proceedings.neurips.cc/paper/2013/file/ 1ff8a7b5dc7a7d1f0ed65aaa29c04b1e-Paper.pdf 87 TÀI LIỆU THAM KHẢO [25] R Pascanu, C Gulcehre, K Cho, and Y Bengio, “How to construct deep recurrent neural networks,” in Proceedings of the 2nd International Conference on Learning Representations, 2014, pp 1–13 [26] N Kalchbrenner, I Danihelka, and A Graves, “Grid long short-term memory,” CoRR, vol abs/1507.01526, 2015 [27] E Keogh, K Chakrabarti, M Pazzani, and S Mehrotra, “Dimensionality reduction for fast similarity search in large time series databases,” Knowledge and Information Systems, vol 3, Jan 2002 [28] S Parsai and S Mahajan, “Anomaly detection using long short-term memory,” in 2020 International Conference on Electronics and Sustainable Communication Systems (ICESC), 2020, pp 333–337 [29] K P Tran, H D Nguyen, and S Thomassey, “Anomaly detection using long short term memory networks and its applications in supply chain management,” IFAC-PapersOnLine, vol 52, no 13, pp 2408–2412, 2019 [Online] Available: https://www.sciencedirect.com/science/article/ pii/S240589631931554X [30] B Lindemann, B Maschler, N Sahlab, and M Weyrich, “A survey on anomaly detection for technical systems using lstm networks,” Computers in Industry, vol 131, p 103498, Oct 2021 [Online] Available: http://dx.doi.org/10.1016/j.compind.2021.103498 [31] P Malhotra, A Ramakrishnan, G Anand, L Vig, P Agarwal, and G Shroff, “Lstm-based encoder-decoder for multi-sensor anomaly detection,” CoRR, vol abs/1607.00148, 2016 [32] M Jones, D Nikovski, M Imamura, and T Hirata, “Anomaly detection in real-valued multidimensional time series,” in International Conference on Bigdata/Socialcom/Cybersecurity Stanford University, ASE, 2014 [Online] Available: http://www.merl.com/publications/docs/TR2014-042.pdf [33] M C Chuah and F Fu, “Ecg anomaly detection via time series analysis,” in International Symposium on Parallel and Distributed Processing and Applications, 2007, pp 123–135 88 TÀI LIỆU THAM KHẢO [34] A Lavin and S Ahmad, “Evaluating real-time anomaly detection algorithms – the numenta anomaly benchmark,” 2015 IEEE 14th International Conference on Machine Learning and Applications (ICMLA), Dec 2015 [Online] Available: http://dx.doi.org/10.1109/ICMLA.2015.141 [35] N V Hiền, “Xây dựng giải thuật phát bất thường liệu chuỗi thời gian dựa vào quy hoạch động,” Luận Văn Đại Học, Đại Học Bách Khoa TP.HCM, Việt Nam, 2019 89 Phụ lục A Bảng đối chiếu thuật ngữ Anh - Việt Viết Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Time Series Chuỗi thời gian Time Series Forecasting Dự báo chuỗi thời gian Univariate Time Series Chuỗi thời gian đơn biến Mutivariate Time Series Chuỗi thời gian đa biến Artificial Neural Network Mạng nơ-ron nhân tạo ANN Recurrent Neural Network Mạng nơ-ron hồi quy RNN tắt Long Short-time Memory LSTM Cell State Trạng thái khối Forget Gate Cổng bỏ thông tin Input Gate Cổng đầu vào Output Gate Cổng đầu Vanishing Gradient Triệt tiêu gradient Anomaly Detection Phát bất thường Anomaly Detection Based On Prediction Phát bất thường dựa dự báo Exploding Gradient Bùng nổ gradient Chaos Theory Lý thuyết hỗn loạn Time Delay Thời gian trễ Mean Absolute Error Sai số tuyệt đối trung bình MAE Continued on next page A1 PHỤ LỤC A BẢNG ĐỐI CHIẾU THUẬT NGỮ ANH - VIỆT Viết Thuật ngữ tiếng Anh Thuật ngữ tiếng Việt Mean Square Error Sai số bình phương trung bình Training Set Tập huấn luyện Validation Set Tập kiểm định Testing Set Tập thử Multistep Ahead Prediction Dự báo nhiều bước Back Propagation Lan truyền ngược Forward Propagation Lan truyền thuận Multi Step Ahead Prediction Dự báo nhiều bước Piecewise Aggregate Approximation Xấp xỉ gộp đoạn PAA Symbolic Aggregate approXimation Xấp xỉ gộp ký hiệu hoá SAX A2 tắt MSE Lý Lịch Trích Ngang Họ tên: Trần Long Hoài Ngày sinh: 26/04/1993 Nơi sinh: Hà Tĩnh Địa liên lạc: Căn hộ 2207 Block A4, chung cư Era Town Đức Khải, phường Phú Mỹ, quận 7, thành phố Hồ Chí Minh Q Trình Đào Tạo Thời gian Trường đào tạo Chuyên ngành Trình độ đào tạo Đại Học Bách Khoa 2011-2016 Kỹ thuật máy tính Kỹ sư Tp Hồ Chí Minh Đại Học Bách Khoa 2019-2021 Khoa học máy tính Thạc sĩ Tp Hồ Chí Minh Quá Trình Cơng Tác Thời gian Đơn vị cơng tác Vị trí 3/2016 - 5/2018 Renesas Design Vietnam Kỹ sư phần mềm 9/2018 - Nay DEK Technologies Vietnam Kỹ sư phần mềm ... liệu chuỗi thời gian - Tìm hiều mạng nơ- ron học sâu LSTM - Ứng dụng mạng nơ- ron học sâu LSTM để phát bất thường liệu chuỗi thời gian - Hiện thực thử nghiệm chương trình dùng mạng nơ- ron để phát bất. .. sửa bất thường dựa mạng LSTM Năm 2020, với bùng nổ mạng nơ- ron học sâu, đặc biệt mạng nơ- ron học sâu LSTM Ngoài việc sử mạng nơ- ron học sâu LSTM công tác dự báo, Lei Zhang cộng ứng dụng vào công... dụng phương pháp học sâu vào toán phát bất thường liệu chuỗi thời gian • Mở hướng phát bất thường dự báo dựa bùng nổ phương pháp học sâu mạng nơ- ron học sâu LSTM 1.4 Kết đạt Trong nghiên cứu này,