BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ĐỒ ÁN TỐT NGHIỆP NGÀNH CÔNG NGHỆ THÔNG TIN ỨNG DỤNG HỌC SÂU TRONG XÂY DỰNG CHATBOT GVHD: TS TRẦN NHẬT QUANG SVTH : NGUYỄN ĐỨC TRÍ SKL010684 Tp Hồ Chí Minh, tháng 6/2023 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH KHOA ĐÀO TẠO CHẤT LƯỢNG CAO -  - BÁO CÁO KHÓA LUẬN TỐT NGHIỆP ỨNG DỤNG HỌC SÂU TRONG XÂY DỰNG CHATBOT GIẢNG VIÊN HƯỚNG DẪN: TS TRẦN NHẬT QUANG SINH VIÊN THỰC HIỆN: NGUYỄN ĐỨC TRÍ – 19110302 KHĨA: 2019 NGÀNH: CƠNG NGHỆ THƠNG TIN TP HỒ CHÍ MINH, THÁNG NĂM 2023 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ****************** NHIỆM VỤ THỰC HIỆN Họ tên Sinh viên: Nguyễn Đức Trí MSSV: 19110302 Ngành: Công nghệ Thông tin Khoa: Đào tạo chất lượng cao Tên đề tài: Ứng dụng học sâu xây dựng chatbot Họ tên Giáo viên hướng dẫn: TS Trần Nhật Quang Nội dung: Lý thuyết: - Tìm hiểu phân tích mơ hình GPT, Whisper, Tacotron2 WaveGlow - Tìm hiểu kỹ thuật tiền xử lý liệu văn âm - Tìm hiểu thư viện PyTorch - Tìm hiểu thư viện Django Angular để đưa mơ hình lên ứng dụng Thực nghiệm: Xây dựng, huấn luyện đưa mơ hình lên ứng dụng Thời gian thực hiện: 20/02/2023 – 29/05/2023 Tp Hồ Chí Minh, ngày tháng năm TRƯỞNG KHOA GIẢNG VIÊN HƯỚNG DẪN (ký ghi rõ họ tên) (ký ghi rõ họ tên) CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ****************** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN Họ tên Sinh viên: Nguyễn Đức Trí MSSV: 19110302 Ngành: Công nghệ Thông tin Khoa: Đào tạo chất lượng cao Tên đề tài: Ứng dụng học sâu xây dựng chatbot Họ tên Giáo viên hướng dẫn: TS Trần Nhật Quang Nhận xét: Về nội dung tài khối lượng thực hiện: ……………………………………………………………………………………… ……………………………………………………………………………………… Ưu điểm: ……………………………………………………………………………………… ……………………………………………………………………………………… Khuyết điểm: ……………………………………………………………………………………… ……………………………………………………………………………………… Đề nghị cho bảo vệ hay không? ………………………………………………… Đánh giá loại: …………………………………………………………………… Điểm: …………………………………………………………………………… Tp Hồ Chí Minh, ngày tháng năm Giáo viên hướng dẫn (Ký & ghi rõ họ tên) Trần Nhật Quang CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc lập – Tự – Hạnh phúc ****************** PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN Họ tên Sinh viên: Nguyễn Đức Trí MSSV: 19110302 Ngành: Công nghệ Thông tin Khoa: Đào tạo chất lượng cao Tên đề tài: Ứng dụng học sâu xây dựng chatbot Họ tên Giáo viên phản biện: ThS Nguyễn Trần Thi Văn Nhận xét: Về nội dung tài khối lượng thực hiện: ……………………………………………………………………………………… ……………………………………………………………………………………… Ưu điểm: ……………………………………………………………………………………… ……………………………………………………………………………………… Khuyết điểm: ……………………………………………………………………………………… ……………………………………………………………………………………… Đề nghị cho bảo vệ hay không? ………………………………………………… Đánh giá loại: …………………………………………………………………… Điểm: …………………………………………………………………………… Tp Hồ Chí Minh, ngày tháng năm Giáo viên phản biện (Ký & ghi rõ họ tên) Nguyễn Trần Thi Văn KHÓA LUẬN TỐT NGHIỆP LỜI CẢM ƠN Lời đầu tiên, em xin phép cảm ơn chân thành đến khoa Đào Tạo Chất Lượng Cao – Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh tạo điều kiện cho em học hỏi, trau dồi phát triển kiến thức để thực đề tài Bên cạnh đó, em xin gửi đến thầy Trần Nhật Quang lời cảm ơn chân thành sâu sắc thầy hỗ trợ, giúp đỡ em tận tình suốt trình thực đề tài, thầy cho em lời khuyên, kinh nghiệm kiến thức hữu ích khơng cho đề tài mà cho đường phát triển tương lai em Nhờ kiến thức mà em tích lũy suốt q trình học cộng thêm kiến thức thực tiễn, học thuật kinh nghiệm có q trình nghiên cứu báo nước ngồi thực tập cơng ty mà em bước khỏi vùng an toàn thân để tự tin thực đề tài lần em tin kinh nghiệm quý báu tiền đề quan trọng để em tiếp tục phát triển thân sau Do kiến thức em cịn hạn chế nhiên kiến thức lại vơ hạn, q trình thực chắn khơng tránh khỏi sai sót em cố gắng suốt trình Những sai sót q trình thực em hi vọng đóng góp tận tình từ phía thầy (cơ) để em ngày hồn thiện kỹ thân tự tin đường phát triển sau Em xin phép chân thành cảm ơn! Sinh viên thực Nguyễn Đức Trí – 19110302 KHĨA LUẬN TỐT NGHIỆP Mục Lục MỞ ĐẦU 1 Tính cấp thiết đề tài Đối tượng nghiên cứu .1 Phạm vi nghiên cứu Mục tiêu đề tài Ý nghĩa khoa học nghiên cứu NỘI DUNG CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1.4 Mạng Neutron Hồi Quy (Recurrent Neutron Network) 1.5 Mơ hình sinh liệu mơ hình sinh liệu theo luồng (Generative Model and Flow – Based Generative Model) .11 1.6 Mô hình mã hóa – giải mã (Encoder – Decoder Model) 16 1.7 Cơ chế tập trung (Attention Mechanism) Mơ hình Transformer 16 1.8 Mơ hình Generative Pre – Trained Transformer (GPT) 31 1.9 Mơ hình Whisper .33 1.10 Mơ hình Tacotron2 36 1.11 Mơ hình WaveGlow 42 1.12 Tiền xử lý liệu văn 44 1.13 Tiền xử lý liệu âm 47 CHƯƠNG 2: THIẾT KẾ MƠ HÌNH 50 2.1 Mơ hình GPT 50 2.2 Mơ hình Whisper .63 2.3 Mô hình Tacotron2 72 2.4 Mơ hình WaveGlow 88 CHƯƠNG 3: HUẤN LUYỆN MƠ HÌNH 95 3.1 Huấn luyện mơ hình GPT 95 3.2 Huấn luyện mơ hình Whisper 97 3.3 Huấn luyện mơ hình Tacotron2 .99 3.4 Huấn luyện mơ hình WaveGlow .101 CHƯƠNG 4: ỨNG DỤNG .104 4.1 Giới thiệu ứng dụng 104 KHÓA LUẬN TỐT NGHIỆP 4.1 Ứng dụng chatbot sử dụng mơ hình GPT .104 4.2 Ứng dụng chuyển giọng nói thành văn sử dụng mơ hình Whisper 106 4.3 Ứng dụng chuyển văn thành âm sử dụng mơ hình Tacotron2 WaveGlow 108 4.4 Ứng dụng voicebot sử dụng mơ hình GPT, Whisper, Tacotron2 WaveGlow 109 KẾT LUẬN 112 Kết đạt 112 Ưu điểm 113 Nhược điểm 113 Hướng phát triển 113 TÀI LIỆU THAM KHẢO 115 PHỤ LỤC 117 KHÓA LUẬN TỐT NGHIỆP DANH MỤC CÁC TỪ VIẾT TẮT STT Tên đầy đủ Ký hiệu chữ viết tắt AI Artificial Intelligence IoT Internet of Thing SOTA State – Of – The – Art NLP Natural Language Processing CBow Continuous Bag – Of – Words Word2Vec Word to Vector Seq2Seq Sequence to Sequence ffn Feed Forward Networks d_ff Dimension of Feed Forward Networks 10 d_model Dimension of Model Word Vector 11 CNN Convolutional Neutron Network 12 RNN Recurrent Neutron Network 13 LSTM Long Short – Term Memory 14 GRU Gated Recurrent Unit 12 GPU Graphic Processing Unit 15 TPU Tensor Processing Unit 16 BERT Bidirectional Encoder Representation from Transform 17 DIET Dual Intent and Entity Transformer 18 eps Epsilon 19 GPT Generative Pre – trained Transformer KHÓA LUẬN TỐT NGHIỆP DANH MỤC HÌNH ẢNH Hình 1: Mơ hình ba lớp Deep Learning Hình 2: Mơ tả xử lý ngơn ngữ tự nhiên đời sống [2] .7 Hình 3: Logo Pytorch [4] Hình 4: Bảng so sánh tỉ lệ số lượng báo khoa học sử dùng PyTorch Tensorflow [5] Hình 5: Luồng xử lý RNN biến thể [6] Hình 6: Kiến trúc RNN [7] Hình 7: Kiến trúc LSTM [7] 10 Hình 8: Luồng thực thi mơ hình flow – based model [8] 13 Hình 9: Mơ hình Encoder – Decoder [9] .16 Hình 10: Cơ chế ánh xạ ngữ cảnh trình tập trung [11] 19 Hình 11: Mơ hình Multi – Head Attention [12] 19 Hình 12: Luồng thực thi Scaled – dot Product Attention [13] 20 Hình 13: Mơ hình Transformer [13] 21 Hình 14: Mơ hình Position wise Feed Forward Networks 25 Hình 15: Thành phần Residual Connection [13] 25 Hình 16: Luồng thực thi Residual Connection 26 Hình 17: Mơ hình Generative Pre – trained Transformer (GPT) [14] 31 Hình 18: Các thành phần bên Text and Postion Embed 32 Hình 19: Mơ hình Decoder Layer mơ hình GPT [14] 32 Hình 20: Thành phần sinh văn GPT [14] 33 Hình 21: Mơ hình Whisper [15] 33 Hình 22: Dữ liệu đầu vào khối Encoder lớp Mel Extractor mơ hình Whisper [15] 34 Hình 23: Luồng thực thi lớp Mel Extractor 34 Hình 24: Sinusoidal Positional Encoding [15] 35 Hình 25: Learned Positional Encoding [15] 35 Hình 26: Khối Encoder mơ hình Whisper [15] .35 Hình 27: Khối Decoder mơ hình Whisper [15] 36 Hình 28: Mơ hình Tacotron2 [16] 37 Hình 29: Thành phần Encoder mơ hình Tacotron2 [16] 37