Khóa luận tốt nghiệp hệ hỗ trợ chia sẻ và đánh giá thông tin du lịch

TỔNG QUAN

Giải quyết vấn đề

Bố cục của khóa luận:

CƠ SỞ LÝ THUYẾT

Hệ phân tích và dự báo nhu cầu du lịch (SFTIS) [5]

Bố cục của khóa luận:

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

CHƯƠNG 3: THIẾT KẾ HỆ THỐNG

CHƯƠNG 4: MÔ HÌNH ĐÁNH GIÁ THÔNG TIN DU LỊCH CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ

CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

1.1 Các nghiên cứu liên quan

Các tác giả Nguyễn Thị Tú Trinh, Nguyễn Hồng Đào và Khưu Ngọc Huyền đã tiến hành nghiên cứu về nhu cầu du lịch trải nghiệm của người dân thành phố Cần Thơ Nghiên cứu sử dụng phương pháp thu thập và phân tích dữ liệu để đưa ra các đề xuất cho các công ty lữ hành nhằm đáp ứng nhu cầu này Họ giới thiệu phương pháp tóm tắt trích rút văn bản sử dụng BERT, trong đó các câu được biểu diễn dưới dạng vector đặc trưng và phân lớp để chọn ra những câu quan trọng Phương pháp đã được thử nghiệm trên ba tập dữ liệu với hai ngôn ngữ (Tiếng Anh và Tiếng Việt) Nghiên cứu cũng chỉ ra các hoạt động mà khách hàng mong muốn trải nghiệm trong tour du lịch, từ đó đề xuất khuyến nghị cho các công ty lữ hành nhằm nâng cao chất lượng dịch vụ du lịch trải nghiệm tại Cần Thơ trong tương lai.

Nhóm tác giả Đỗ Thị Thu Trang, Trịnh Thị Nhị, và Ngô Thanh Huyền từ Trường Đại học Sư phạm Kỹ thuật Hưng Yên đã nghiên cứu tóm tắt văn bản tự động bằng cách áp dụng xử lý ngôn ngữ tự nhiên (NLP) Họ chỉ ra rằng các mô hình biến đổi (transformers) đã mở ra hướng tiếp cận mới cho bài toán tóm tắt văn bản, đặc biệt là mô hình tóm tắt trích chọn câu dựa trên BERT (Bidirectional Encoder Representations from Transformers) Mô hình này tận dụng sức mạnh của BERT được huấn luyện trên tập dữ liệu lớn, áp dụng cho tóm tắt văn bản và so sánh kết quả với các phương pháp khác Kết quả cho thấy mô hình tóm tắt dựa trên BERT mang lại hiệu quả khả quan.

Các tác giả Guixiang Zhua, Zhiang Wu, Youquan Wang, Shanshan Cao và Jie Cao đã nghiên cứu dự đoán mua hàng trong lĩnh vực du lịch điện tử, một ứng dụng quan trọng trong thương mại điện tử Họ giới thiệu bộ dữ liệu du lịch điện tử thực tế và xây dựng các biến dựa trên thông tin nhấp chuột hiện tại và lịch sử Nghiên cứu của họ khảo sát hai luồng chính: mô hình hóa hành vi du lịch và phân tích, dự đoán mua hàng trực tuyến Kết quả cho thấy việc thiết kế mô hình dự đoán mua hàng bằng các kỹ thuật máy học tiên tiến sẽ nâng cao độ chính xác Họ trình bày một mô hình mới sử dụng học nửa giám sát và học đa quan điểm, phù hợp hơn cho nhiệm vụ dự đoán mua hàng Nghiên cứu nhấn mạnh tầm quan trọng của việc hiểu hành vi mua sắm trực tuyến của khách hàng trong bối cảnh phát triển nhanh chóng của ngành du lịch điện tử, nhằm đưa ra các chiến lược dự đoán hiệu quả cho các nhà quyết định.

Nhóm tác giả C Petropoulos, A Patelis, K Metaxiotis, K Nikolopoulos và V Assimakopoulos đã nghiên cứu về việc dự đoán nhu cầu du lịch, điều này rất quan trọng cho quá trình ra quyết định trong các tổ chức tư nhân và nhà nước Họ giới thiệu một mô hình cải tiến cho Phân tích và Dự báo Nhu cầu Du lịch (DTAF) và thảo luận về sự phát triển của Hệ thống Hỗ trợ Quyết định sáng tạo (SFTIS).

Trong 30 năm qua, sự phát triển của ngành du lịch toàn cầu đã thu hút sự chú ý của cả cộng đồng học thuật và doanh nghiệp đối với việc mô hình hóa và dự báo nhu cầu du lịch Các tài liệu hiện có cung cấp nhiều phương pháp khác nhau để giải quyết vấn đề này, cho phép đánh giá dự báo nhu cầu du lịch thông qua các phương pháp chuỗi thời gian phổ biến Một trong những phương pháp đáng chú ý là mô hình hai giai đoạn, mang lại cái nhìn sâu sắc về xu hướng và biến động trong ngành du lịch.

Hệ thống hỗ trợ quyết định đã được phát triển thành công, cung cấp dự báo chính xác về nhu cầu du lịch cho sản phẩm du lịch Hy Lạp Các đề xuất được đưa ra nhằm tối ưu hóa trải nghiệm du khách và nâng cao hiệu quả kinh doanh trong ngành du lịch.

Chúng tôi đang nâng cấp hệ thống du lịch Quốc gia Hy Lạp bằng cách áp dụng các kỹ thuật dự báo tiên tiến như mô hình Theta và các phương pháp phán đoán Việc triển khai hệ thống thông tin cung cấp dịch vụ web (dự báo điện tử) sẽ giúp cải thiện hiệu quả Kết quả đánh giá và kiến trúc linh hoạt làm cho hệ thống hỗ trợ quyết định (DSS) trở nên hấp dẫn và có giá trị mở rộng.

Nhóm tác giả Haiyan Song và Gang Li đã đánh giá các nghiên cứu về mô hình hóa và dự báo nhu cầu du lịch từ năm 2000, chỉ ra rằng phương pháp phân tích đã trở nên đa dạng hơn so với trước đây Họ nhận thấy rằng bên cạnh các mô hình chuỗi thời gian và kinh tế lượng, nhiều kỹ thuật mới đã được áp dụng Tuy nhiên, nghiên cứu cũng cho thấy không có mô hình nào luôn hoạt động tốt hơn trong mọi tình huống Hơn nữa, họ đề xuất một số hướng nghiên cứu mới, như nâng cao độ chính xác của dự báo qua việc kết hợp các phương pháp định tính và định lượng, phân tích chu kỳ du lịch, đánh giá tác động của sự kiện và dự báo rủi ro.

Nhu cầu du lịch khác biệt rõ ràng so với nhu cầu của khách du lịch, vì nhu cầu du lịch không phải là nhu cầu cơ bản và chỉ được đáp ứng trong những điều kiện kinh tế, kỹ thuật và xã hội nhất định Trong khi đó, nhu cầu của khách du lịch bao gồm những mong muốn cụ thể trong một chuyến đi, được phân thành nhu cầu thiết yếu, nhu cầu đặc trưng và nhu cầu bổ sung Ngoài ra, nghiên cứu về xử lý ngôn ngữ tự nhiên trong mô hình du lịch nội địa vẫn còn hạn chế, điều này đòi hỏi sự chính xác cao trong các nghiên cứu trong lĩnh vực này.

Việc áp dụng khai phá dữ liệu trong việc đánh giá hành vi khách hàng và dự đoán nhu cầu về các địa điểm du lịch giúp cá nhân và tổ chức khai thác hiệu quả dữ liệu công khai Điều này không chỉ biến dữ liệu thành sức mạnh kinh doanh mà còn nâng cao khả năng thành công cho các chiến dịch quảng cáo du lịch.

Chương 2 CƠ SỞ LÝ THUYẾT

Nhu cầu là đặc tính cơ bản của cơ thể sống, phản ánh trạng thái thiếu hụt và phân biệt cá thể với môi trường xung quanh Những nhu cầu tối thiểu, hay nhu yếu tuyệt đối, đã được hình thành qua quá trình tiến hóa lâu dài Nhu cầu không chỉ là thuộc tính tâm lý mà còn là điều kiện cần thiết cho sự tồn tại và phát triển của con người Mỗi cá nhân có những nhu cầu riêng, bao gồm cả nhu cầu bẩm sinh và nhu cầu hình thành qua trải nghiệm Nhiều nghiên cứu đã chỉ ra tầm quan trọng của nhu cầu và động cơ con người, giúp các nhà quản trị hiểu rõ tâm lý và thị hiếu khách hàng Trong đó, thuyết cấp bậc nhu cầu của Maslow (1943) nổi bật với việc phân loại nhu cầu thành 5 bậc: nhu cầu sinh học, nhu cầu an toàn, nhu cầu xã hội, nhu cầu được tôn trọng, và nhu cầu tự thể hiện.

Nhu cầu du lịch, theo Nguyễn Văn Đính và Trần Thị Minh Hòa (2009), là mong muốn của con người khám phá những địa điểm mới, nhằm trải nghiệm cảm xúc và hiểu biết mới Du lịch không chỉ giúp phục hồi sức khỏe mà còn tạo cơ hội phát triển mối quan hệ xã hội và mang lại sự thoải mái về tinh thần.

Nhu cầu du lịch khác biệt với nhu cầu của khách du lịch Nhu cầu du lịch không phải là nhu cầu cơ bản và chỉ được thỏa mãn trong những điều kiện nhất định như kinh tế, kỹ thuật và xã hội Trong khi đó, nhu cầu của khách du lịch bao gồm những mong muốn cụ thể trong một chuyến đi, được phân loại thành nhu cầu thiết yếu, nhu cầu đặc trưng và nhu cầu bổ sung.

Như vậy, nghiên cứu xoay quanh việc tìm hiểu nhu cầu du lịch trải nghiệm khách hàng khi thực hiện chuyến du lịch trải nghiệm

2.2 Hệ hỗ trợ ra quyết định (DSS)

Hệ hỗ trợ ra quyết định (DSS) là một chương trình máy tính hóa giúp tổ chức và doanh nghiệp trong việc đưa ra quyết định và phán đoán DSS có khả năng sàng lọc và phân tích khối lượng lớn dữ liệu, từ đó tổng hợp thông tin toàn diện nhằm giải quyết các vấn đề và hỗ trợ quá trình ra quyết định hiệu quả.

Hệ hỗ trợ ra quyết định giúp bộ phận quản lý quy trình và lập kế hoạch trong tổ chức tổng hợp thông tin và dữ liệu thành thông tin tình báo có thể hành động Những hệ thống này chủ yếu phục vụ cho cấp quản lý trung và cao.

2.3 Hệ phân tích và dự báo nhu cầu du lịch (SFTIS) [5]

Kỹ thuật khai thác tri thức và khai phá dữ liệu

2.4.1 Khái niệm phá dữ liệu [3]

Khai phá dữ liệu (data-mining) là khái niệm xuất hiện vào cuối thập kỷ 80, bao gồm các kỹ thuật nhằm phát hiện thông tin giá trị tiềm ẩn trong các tập dữ liệu lớn KPDL tập trung vào việc phân tích dữ liệu và áp dụng các phương pháp để nhận diện các mẫu hình có tính chính quy trong kho dữ liệu.

Khai phá dữ liệu là quá trình sử dụng các công cụ phân tích để phát hiện các mẫu và mối quan hệ giữa các dữ liệu trong cơ sở dữ liệu (CSDL) Mục tiêu của khai phá dữ liệu là xác định và rút trích các mẫu, mô hình, thông tin và tri thức ẩn khuất bên trong CSDL.

2.4.2 Quy trình khai thác tri thức trong CSDL [7]

Tổng quan về quy trình khai thác tri thức được thể hiện như hình 2.3

Hình 2.1 Tổng quan về các bước tạo quy trình khai thác tri thức (Nguồn: From Data

Mining to Knowledge Discovery in Databases [7])

12 Đầu tiên là làm sạch dữ liệu (Data cleaning & preprocesing): Loại bỏ dữ liệu nhiễu và các dữ liệu không cần thiết

Data integration is the process of consolidating data into data warehouses and data marts after it has been cleaned and pre-processed.

Thứ ba là quá trình chọn dữ liệu, trong đó người dùng lựa chọn dữ liệu từ các kho dữ liệu và chuyển đổi chúng về định dạng phù hợp cho khai thác tri thức Quá trình này cũng bao gồm việc xử lý các vấn đề như dữ liệu nhiễu và dữ liệu không đầy đủ.

Thứ tư là chuyển đổi dữ liệu sang các kiểu dữ liệu phù hợp cho quá trình xử lý

Thứ năm là quá trình khai phá dữ liệu, một bước quan trọng trong việc sử dụng các phương pháp thông minh để rút ra những mẫu dữ liệu giá trị.

Thứ sáu là ước lượng mẫu (Knowledge evaluation), quá trình này đánh giá các kết quả tìm được thông qua các phương pháp đo nào đó

Cuói cùng là biểu diễn kiến thức (Knowledge presentation), quá trình này sử dụng các kỹ thuật để biểu diễn và thể hiện trực quan cho người dùng

2.5 Mô hình ngôn ngữ BERT [8]

BERT, which stands for Bidirectional Encoder Representations from Transformers, is a model that utilizes Transformer techniques to represent words in a bidirectional manner It is specifically designed for pre-training word embeddings, allowing it to balance contextual understanding from both the left and right sides.

Cơ chế attention của Transformer cho phép truyền toàn bộ các từ trong câu vào mô hình đồng thời, không cần chú ý đến chiều của câu Điều này khiến Transformer được coi là huấn luyện hai chiều (bidirectional), mặc dù thực tế nó chính xác hơn là huấn luyện không chiều (non-directional) Đặc điểm này giúp mô hình nắm bắt bối cảnh của từ dựa trên tất cả các từ xung quanh, bao gồm cả từ bên trái và bên phải.

Mô hình ngôn ngữ BERT [8]

2.5.1 Fine-tuning trong mô hình BERT

BERT có một đặc điểm nổi bật so với các mô hình embedding trước đây, đó là khả năng fine-tuning kết quả huấn luyện Điều này được thực hiện bằng cách thêm một lớp đầu ra vào kiến trúc mô hình, cho phép tùy chỉnh theo từng tác vụ huấn luyện cụ thể.

Hình 2.2 Toàn bộ tiến trình pre-training và fine-tuning của BERT

Hình 2.4 mô tả quy trình tổng quan của pre-training và fine-tuning trong BERT, với kiến trúc tương tự áp dụng cho cả hai mô hình Chúng ta khởi tạo mô hình cho các tác vụ downstream khác nhau bằng cùng một tham số pretrain Trong quá trình fine-tuning, tất cả các tham số của các lớp học chuyển giao sẽ được điều chỉnh Đối với các tác vụ yêu cầu đầu vào là cặp chuỗi, như câu hỏi và trả lời, ta sẽ thêm token khởi tạo [CLS] ở đầu câu và token [SEP] ở giữa để phân tách hai câu.

Tiến trình áp dụng fine-tuning sẽ như sau:

Step 1: Embed all tokens of the sentence pair using embedding vectors from a pre-trained model The token embeddings include both the [CLS] and [SEP] tokens to indicate the starting position.

14 của câu hỏi và vị trí ngăn cách giữa 2 câu 2 token này sẽ được dự báo ở output để xác định các phần Start/End Spand của câu output

In Step 2, the embedding vectors are passed into a multi-head attention architecture consisting of multiple code blocks, typically 6, 12, or 24, depending on the BERT architecture This process generates an output vector in the encoder.

To forecast the probability distribution for each output position in the decoder, we input the encoder's output vector and the decoder's embedding input vector at each time step This process involves calculating the encoder-decoder attention, followed by a projection through a linear layer and softmax to obtain the corresponding probability distribution for the output at time step t.

Bước 4: Trong kết quả đầu ra của transformer, chúng ta sẽ cố định kết quả của câu hỏi (Question) sao cho khớp với câu hỏi ở đầu vào Các vị trí còn lại sẽ được sử dụng để xác định các thành phần mở rộng Start/End Span tương ứng với câu trả lời tìm được từ câu đầu vào.

Masked ML là một kỹ thuật cho phép fine-tuning các biểu diễn từ dữ liệu văn bản không có nhãn Kỹ thuật này có thể áp dụng cho nhiều ngôn ngữ khác nhau để tạo ra các biểu diễn embedding hiệu quả Các bộ dữ liệu tiếng Anh có kích thước từ vài trăm đến vài nghìn GB đã được huấn luyện trên BERT, mang lại những kết quả ấn tượng trong việc cải thiện chất lượng biểu diễn ngôn ngữ.

Bên dưới là sơ đồ huấn luyện BERT theo tác vụ Masked ML

Hình 2.3 Sơ đồ kiến trúc BERT cho tác vụ Masked ML (Nguồn: BERT: Pre-training of deep bidirectional transformers for language understanding [8])

Khoảng 15% các token trong câu input sẽ được thay thế bằng token [MASK] để đại diện cho những từ bị che dấu Mô hình sẽ dựa vào các từ không bị che dấu xung quanh token [MASK] cùng với bối cảnh để dự đoán giá trị gốc của từ bị che dấu Tỷ lệ từ bị che dấu được giữ ở mức thấp (15%) nhằm đảm bảo rằng bối cảnh chiếm ưu thế hơn (85%).

Kiến trúc BERT là một mô hình seq2seq bao gồm hai giai đoạn: encoder để nhúng các từ đầu vào và decoder để xác định phân phối xác suất của các từ đầu ra Trong tác vụ Masked, kiến trúc Transformer encoder được duy trì.

ML Sau khi thực hiện self-attention và feed forward ta sẽ thu được các vec-tơ embedding ở output là O1, O2, …, O5

To calculate the probability distribution for the output word, a fully connected layer is added immediately after the Transformer Encoder The softmax function is utilized to compute this probability distribution The number of units in the fully connected layer must match the size of the vocabulary.

Cuối cùng, vec-tơ nhúng cho mỗi từ tại vị trí MASK sẽ được tạo ra bằng cách giảm chiều của vec-tơ Oi sau khi trải qua lớp fully connected, như được mô tả trong hình vẽ bên phải.

Hàm loss function của BERT chỉ tính toán mất mát cho các từ bị che dấu, bỏ qua những từ không bị che dấu, dẫn đến việc mô hình hội tụ chậm hơn Tuy nhiên, điều này giúp tăng cường khả năng hiểu bối cảnh Việc ngẫu nhiên che dấu 15% số từ trong mỗi câu tạo ra nhiều kịch bản đầu vào khác nhau, khiến cho mô hình cần thời gian huấn luyện dài để nắm vững toàn bộ các khả năng.

2.5.3 Dự đoán câu tiếp theo (NSP) Đây là một bài toán phân loại học có giám sát với 2 nhãn (hay còn gọi là phân loại nhị phân) Input đầu vào của mô hình là một cặp câu (pair-sequence) sao cho 50% câu thứ hai được lựa chọn là câu tiếp theo của câu thứ nhất và 50% được lựa chọn một cách ngẫu nhiên từ bộ văn bản mà không có mối liên hệ gì với câu thứ nhất Nhãn của mô hình sẽ tương ứng với IsNext khi cặp câu là liên tiếp hoặc NotNext nếu cặp câu không liên tiếp

Giống như mô hình Hỏi và Đáp, chúng ta cần sử dụng token [CLS] để đánh dấu vị trí bắt đầu của câu đầu tiên và token [SEP] để đánh dấu vị trí kết thúc của câu Các token này giúp xác định rõ ràng vị trí bắt đầu và kết thúc của từng câu trong quá trình xử lý.

Hình 2.4 Sơ đồ kiến trúc BERT cho tác vụ NSP (Nguồn: BERT: Pre-training of deep bidirectional transformers for language understanding [8])

Thông tin input được preprocessing trước khi đưa vào mô hình huấn luyện bao gồm:

 Ngữ nghĩa của từ (token embeddings): Thông qua các embedding vec-tơ cho từng từ Các vec-tơ được khởi tạo từ pretrain model

Ngoài embedding biểu diễn từ của các từ trong câu, mô hình còn embedding thêm một số thông tin:

 Loại câu (segment embeddings): Gồm hai vec-tơ là EA nếu từ thuộc câu thứ nhất và EB nếu từ thuộc câu thứ hai

 Vị trí của từ trong câu (position embedding): là các vec-tơ E0, …, E10 Tương tự như positional embedding trong transformer

Vec-tơ input sẽ bằng tổng của cả ba thành phần embedding theo từ, câu và vị trí

Mô hình Transformer

Transformer là một mô hình học sâu được giới thiệu năm 2017, được dùng chủ yếu ở lĩnh vực xử lý ngôn ngữ tự nhiên (NLP)

Giống như mạng thần kinh hồi quy (RNN), Transformer được thiết kế để xử lý dữ liệu tuần tự như ngôn ngữ tự nhiên cho các tác vụ như dịch máy và tóm tắt tự động Tuy nhiên, khác với RNN, Transformer không yêu cầu dữ liệu phải được xử lý theo thứ tự, cho phép xử lý toàn bộ câu một cách đồng thời Tính năng này giúp Transformer thực hiện nhiều phép toán song song, từ đó giảm thời gian huấn luyện.

Mô hình transformer bao gồm hai thành phần chính: encoder và decoder Encoder có nhiệm vụ học vector biểu diễn của câu, nhằm đảm bảo rằng vector này chứa đầy đủ thông tin của câu Trong khi đó, decoder chuyển đổi vector này thành ngôn ngữ đích.

In the example below, the encoder of the transformer model processes an English sentence and encodes it into a vector representing the meaning of the phrase "little sun." Subsequently, the decoder utilizes this vector to translate it into the Vietnamese sentence "mặt trời bé nhỏ."

Hình 2.5 So sánh cách hoạt động của encoder và decoder của mô hình Transformer với LSTM

Một trong những ưu điểm nổi bật của mô hình transformer là khả năng xử lý song song cho các từ, nhờ vào cấu trúc encoder dạng feedforward neural nets Mỗi encoder layer trong transformer có khả năng xử lý đồng thời các từ, trong khi mô hình LSTM yêu cầu xử lý tuần tự Bên cạnh đó, transformer còn có khả năng xử lý câu đầu vào theo hai hướng mà không cần thêm một lớp LSTM như trong kiến trúc Bidirectional LSTM.

Hình 2.6 Quy trình hoạt động của encoder và decoder

2.6.2 Phương pháp đề xuất sinusoidal position encoding

Vị trí của các từ được mã hóa bằng một vector có kích thước bằng word embedding và được cộng trực tiếp vào word embedding

Hình 2.7 Đầu vào của các encoder

Tại vị trí chẵn, sử dụng hàm sin, và hàm cos với vị trí lẻ để tính giá trị tại chiều đó

Hình dưới đây minh họa cách tính toán position encoding với word embedding 6 chiều, trong đó position encoding cũng có 6 chiều tương ứng Mỗi dòng biểu thị cho một từ, và giá trị của các vector tại mỗi vị trí được tính theo công thức được trình bày trong hình.

Hình 2.8 Minh họa cho cách tính position encoding

The encoder of a transformer model consists of multiple identical encoder layers Each encoder layer features two main components: multi-head attention and a feedforward network, along with skip connections and normalization layers.

Hình 2.9 Quy trình encoder

Encoder đầu tiên tiếp nhận ma trận biểu diễn từ vựng kết hợp với thông tin vị trí thông qua kỹ thuật positional encoding Tiếp theo, ma trận này được xử lý bằng phương pháp Multi Head Attention.

Mô hình sử dụng cơ chế attention có khả năng nhận diện ngữ cảnh của từ trong các phần liên quan, bất kể khoảng cách giữa chúng trong câu Nhờ vào thông tin này, mô hình có thể hiểu rõ ý nghĩa và vai trò của từ trong ngữ cảnh câu.

Chúng ta cần mô hình học nhiều kiểu mối quan hệ giữa các từ bằng cách sử dụng nhiều self-attention Mỗi self-attention giúp chúng ta nhận diện một kiểu mẫu, do đó, để mở rộng khả năng này, chúng ta chỉ cần thêm nhiều self-attention, tức là cần nhiều ma trận query, key và value Kết quả là ma trận trọng số key, query và value sẽ có thêm một chiều depth.

Hình 2.10 Biểu diễn Multi Head Attention

Multi head attention cho phép mô hình chú ý đến đồng thời những pattern dễ quan sát được như sau:

 Chú ý đến từ kế trước của một từ

 Chú ý đến từ kế sau của một từ

 Chú ý đến những từ liên quan của một từ

2.6.5 Residuals Connection và Normalization Layer

Trong kiến trúc mô hình transformer, việc sử dụng kết nối residual và lớp chuẩn hóa là rất quan trọng, giúp tăng tốc độ hội tụ trong quá trình huấn luyện Hai kỹ thuật này không chỉ cải thiện hiệu suất mà còn bảo vệ thông tin quan trọng, chẳng hạn như thông tin về vị trí của các từ được mã hóa, tránh mất mát dữ liệu trong quá trình huấn luyện.

Decoder có nhiệm vụ giải mã các vec-tơ từ câu nguồn thành câu đích, nhận thông tin từ encoder thông qua hai vec-tơ key và value Kiến trúc của decoder rất quan trọng trong quá trình này.

Mô hình này tương tự như encoder, nhưng có thêm một cơ chế multi-head attention ở giữa, giúp học mối liên hệ giữa từ đang được dịch và các từ trong câu nguồn.

Hình 2.11 Mô tả cách giải mã key và value vec-tơ của encoder và decoder

Visualizing the attention mechanisms in transformer models is fascinating In these models, visualization is applied both in the encoder and decoder Additionally, it can function simultaneously across the heads of multi-head attentions and at different layers.

Ví dụ về việc visualize giá trị attention của encoder layer 2 và 4 tại các head 0, 1, 2 cho thấy khi mã hóa một từ, mô hình sẽ xem xét các từ xung quanh Cụ thể, từ "family" có thể được mã hóa dựa trên hai từ liên quan như "my" và "family".

Còn ở decoder, có hai loại visualization

 self attention: giá trị attention khi mô hình decoder mã hóa câu đích lúc dịch

 src attention: giá trị attention khi mô hình decoder sử dụng câu src lúc dịch

Ví dụ về việc visualize tại layer 2 và 4 với ba head 0, 1, 2 cho thấy khi mã hóa từ “đình”, mô hình chú ý đến các từ xung quanh như “gia” và “tôi” Ngược lại, khi dự đoán từ “tôi”, mô hình sẽ tập trung vào từ “my” Các heatmap dưới đây minh họa rõ ràng quá trình visualize trong việc mã hóa và giải mã.

Hình 2.12 Heatmap cho visualize encoder tại layer 2 và 4

Hình 2.13 Heatmap cho visualize decoder tại layer 2 và 4

THIẾT KẾ HỆ THỐNG

Giải pháp xây dựng

3.1.1 Giải pháp kiến trúc phần mềm

3.1.1.1 Giải pháp mô hình máy chủ (server) – máy khách (client)

Dựa trên kiến trúc chủ/khách, nếu dùng chiến lược thuần Server hoặc Client thì sẽ gặp các giới hạn:

 Đối với thuần server, đòi hỏi phải chuyển tải thường xuyên, thì tác vụ của nó sẽ dễ làm hại đến băng thông và đường truyền Internet

Trong môi trường thuần Client, tài nguyên của máy khách có thể bị chiếm dụng hoàn toàn, dẫn đến một số tác vụ thực hiện chậm chạp Nguyên nhân chính là sự không tương thích giữa các yêu cầu của tiến trình và khả năng xử lý của máy.

Server và Client có thể kết hợp với nhau để cho ra các kết quả tốt hơn, phù hợp với khả năng của server và client

 Các tác vụ đòi hỏi sử dụng dữ liệu hoặc phân tích phức tạp sẽ được gán trên máy chủ

 Các tác vụ nhỏ sẽ được gán ở máy khách

Trong trường hợp này, cả máy chủ và máy khách cùng chia sẻ thông tin với nhau về sức mạnh và khả năng của chúng

Nhóm thực hiện đề tài đã chọn mô hình phát triển kết hợp Server và Client sau khi so sánh các ưu điểm và khuyết điểm của từng kiến trúc Mỗi máy trong hệ thống sẽ đảm nhận nhiệm vụ cụ thể, góp phần tối ưu hóa hiệu suất và tính linh hoạt của ứng dụng.

 Máy chủ - Server sẽ bao gồm những xử lý liên quan trực tiếp, tương tác đến dữ liệu

PostGIS, thực hiện những giải thuật, lựa chọn dữ liệu và gửi về Client

Máy khách (Client) nhận dữ liệu từ Server, chọn lọc và hiển thị thông tin cho người dùng Đồng thời, Client cũng thực hiện các tương tác từ dữ liệu đầu vào, kiểm tra tính chính xác và gửi lại thông tin để lưu trữ trên Server.

Như vậy, để đảm bảo tốt quá trình truyền tải giữa Server và Client, nhóm thực hiện chọn giải pháp Restful Service, với dữ liệu sử dụng là JSON

Dịch vụ REST (Representational State Transfer Service) là một tiêu chuẩn kiến trúc thiết kế dịch vụ web để tương tác với tài nguyên hệ thống Các nguyên tắc cơ bản của REST bao gồm việc sử dụng các phương thức HTTP, quản lý trạng thái của tài nguyên và đảm bảo tính đồng nhất trong giao tiếp giữa client và server.

GET Lấy dữ liệu từ máy chủ

…/khachhangs: lấy toàn bô thông tin khách hàng

…/khachhangs/1: lấy thông tin khách hàng có mã số 1

POST Gửi dữ liệu và yêu cầu máy chủ lưu trữ

…/khachhangs: thêm mới một khách hàng, với dữ liệu được gửi thông qua phương thức POST

PUT Gửi yêu cầu cập nhật dữ liệu

…/khachhangs/1: yêu cầu cập nhật thông tin khách hàng với dữ liệu cập nhật được gửi qua phương thức PUT

DELETE Gửi yêu cầu xóa dữ liệu

…/khachhangs/1: yêu cầu xóa khách hàng có mã số 1

Bảng 3.1 Quy chuẩn các phương thức của REST Service

JSON (JavaScript Object Notation) là định dạng dữ liệu nhanh, dễ đọc và viết cho người sử dụng Với cấu trúc đơn giản, JSON giúp giảm thiểu tài nguyên khi truyền tải, đồng thời tăng tốc độ xử lý cho các ứng dụng Client viết bằng JavaScript Đây là giải pháp kiến trúc mã nguồn phần mềm hiệu quả.

Mô hình ba lớp bao gồm các lớp: Presentation Layers, Business Layers và Data Layers, tương tác với nhau thông qua các dịch vụ mà mỗi lớp cung cấp Mỗi lớp không cần biết chi tiết hoạt động bên trong của lớp khác, mà chỉ cần hiểu và sử dụng các dịch vụ mà lớp đó cung cấp để xây dựng ứng dụng.

Mô hình ba lớp hỗ trợ các nhà phát triển phần mềm tạo ra sản phẩm rõ ràng và dễ hiểu, góp phần vào sự phát triển bền vững và bảo trì hiệu quả Mô hình này bao gồm ba thành phần chính.

Lớp Giao Diện (GUI) là thành phần chịu trách nhiệm tiếp nhận tương tác từ người dùng và phản hồi thông tin Trong khuôn khổ đề tài, lớp giao diện sẽ bao gồm mô hình MVC, cho phép nhận thông điệp từ người dùng thông qua giao thức HTTP.

Lớp Logic Kinh Doanh (BLL) chịu trách nhiệm xử lý các nghiệp vụ của chương trình, bao gồm tính toán, xử lý yêu cầu và kiểm tra tính hợp lệ cũng như toàn vẹn dữ liệu Trước khi dữ liệu được hiển thị trên màn hình, BLL thực hiện các bước xử lý cần thiết và chuyển dữ liệu xuống Lớp Truy Cập Dữ Liệu để lưu trữ vào cơ sở dữ liệu.

Lớp Truy cập Dữ liệu (DAL) đóng vai trò quan trọng trong việc giao tiếp với các hệ quản trị cơ sở dữ liệu Chức năng chính của lớp này là thực hiện các nghiệp vụ liên quan đến lưu trữ và truy xuất dữ liệu của ứng dụng, bao gồm các thao tác đọc, lưu và cập nhật thông tin trong cơ sở dữ liệu.

Mô hình ba lớp mang lại nhiều lợi ích lâu dài, nhưng chi phí cài đặt kiến trúc ban đầu cho phần mềm là một nhược điểm đáng lưu ý Nhà phát triển cần cân nhắc yếu tố này khi thiết kế phần mềm.

3.1.1.3 Mô hình Model – View – Controller

MVC (Model – View – Controller) là mô hình giúp tương tác giữa người dùng và giao diện đồ họa trở nên có hệ thống và dể phát triển, bảo trì

Mô hình gồm ba thành phần chính:

 Model: Đây là thành phần chứa đối tượng lưu trữ thông tin cần hiển thị

Thành phần giao diện đóng vai trò quan trọng trong việc hiển thị thông tin cho người dùng, sử dụng dữ liệu được lưu trữ trong model để biên tập và tạo ra một giao diện thân thiện, dễ sử dụng.

Controller trong mô hình MVC tiếp nhận thông điệp từ người dùng, xác định dữ liệu trong model và chọn view phù hợp để hiển thị Ưu điểm lớn nhất của mô hình này là giúp ứng dụng dễ bảo trì, phân chia chức năng một cách rõ ràng và xây dựng nhanh chóng MVC tách biệt các tác vụ thành ba phần riêng biệt: model, view và controller, từ đó giúp quá trình phát triển ứng dụng trở nên hiệu quả hơn.

MVC giúp dễ dàng thêm và thay đổi các tính năng của ứng dụng, cho phép các nhà phát triển và thiết kế làm việc đồng thời mà không làm ảnh hưởng đến các phần khác của ứng dụng.

MVC giúp tách biệt sự phụ thuộc giữa các thành phần trong một đối tượng giao diện, từ đó tăng tính linh động và tái sử dụng của đồ họa Nhờ vào cấu trúc này, việc thay đổi giao diện chỉ cần điều chỉnh thành phần View mà không ảnh hưởng đến Model và Controller Tương tự, người dùng có thể thay đổi Model hoặc Controller mà không làm thay đổi các thành phần còn lại của đối tượng đồ họa.

3.1.1.4 Mô hình Model – View – ViewModel

MÔ HÌNH ĐÁNH GIÁ THÔNG TIN DU LỊCH

Mô hình đề xuất

Bố cục của khóa luận:

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

CHƯƠNG 3: THIẾT KẾ HỆ THỐNG

CHƯƠNG 4: MÔ HÌNH ĐÁNH GIÁ THÔNG TIN DU LỊCH CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ

CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

1.1 Các nghiên cứu liên quan

Các tác giả Nguyễn Thị Tú Trinh, Nguyễn Hồng Đào và Khưu Ngọc Huyền đã nghiên cứu nhu cầu du lịch trải nghiệm của người dân thành phố Cần Thơ, sử dụng phương pháp thu thập và phân tích dữ liệu để đưa ra các đề xuất cho các công ty lữ hành Họ giới thiệu phương pháp tóm tắt trích rút văn bản bằng BERT, trong đó bài toán được biểu diễn dưới dạng phân lớp nhị phân mức câu Các câu được chuyển đổi thành vector đặc trưng và phân lớp để chọn ra những câu quan trọng cho bản tóm tắt Nghiên cứu đã thử nghiệm trên 3 tập dữ liệu với 2 ngôn ngữ (Tiếng Anh và Tiếng Việt) và chỉ ra các hoạt động mà khách hàng mong muốn trải nghiệm trong tour du lịch Dựa trên kết quả phân tích, nghiên cứu đề xuất khuyến nghị cho các công ty lữ hành nhằm đáp ứng tốt hơn nhu cầu du lịch trải nghiệm của người dân Cần Thơ trong tương lai.

Nhóm tác giả Đỗ Thị Thu Trang, Trịnh Thị Nhị, Ngô Thanh Huyền từ Trường Đại học Sư phạm Kỹ thuật Hưng Yên đã nghiên cứu về tóm tắt văn bản tự động thông qua xử lý ngôn ngữ tự nhiên (NLP) Họ chỉ ra rằng sự phát triển gần đây của các mô hình biến đổi (transformers) mở ra hướng tiếp cận mới cho bài toán này Cụ thể, họ đã sử dụng mô hình tóm tắt trích chọn câu dựa trên BERT (Bidirectional Encoder Representations from Transformers), cho phép khai thác sức mạnh của BERT được huấn luyện trên tập dữ liệu lớn Kết quả nghiên cứu cho thấy mô hình tóm tắt dựa trên BERT mang lại hiệu quả khả quan so với các phương pháp khác.

Các tác giả Guixiang Zhua, Zhiang Wu, Youquan Wang và Shanshan Cao, Jie Cao đã nghiên cứu dự đoán mua hàng trong du lịch điện tử, một ứng dụng của thương mại điện tử Họ giới thiệu bộ dữ liệu du lịch điện tử thực tế và xây dựng biến dựa trên thông tin dòng nhấp chuột hiện tại và lịch sử Nghiên cứu của họ khảo sát hai luồng chính: mô hình hóa hành vi du lịch và phân tích, dự đoán mua hàng trực tuyến Kết quả cho thấy việc thiết kế mô hình dự đoán bằng kỹ thuật máy học tiên tiến có thể nâng cao độ chính xác Họ phát triển mô hình mới sử dụng học nửa giám sát và học đa quan điểm, phù hợp cho dự đoán mua hàng Nghiên cứu này nhấn mạnh tầm quan trọng của việc hiểu hành vi mua hàng trực tuyến trong bối cảnh du lịch điện tử và việc phát triển các chiến lược dự đoán hiệu quả cho các nhà quyết định.

Nhóm tác giả C Petropoulos, A Patelis, K Metaxiotis, K Nikolopoulos và V Assimakopoulos đã nghiên cứu về việc dự đoán chính xác nhu cầu du lịch, điều này rất quan trọng cho quá trình ra quyết định trong các tổ chức tư nhân và nhà nước Họ đã giới thiệu một mô hình cải tiến cho Phân tích và Dự báo Nhu cầu Du lịch (DTAF) và thảo luận về sự phát triển của Hệ thống Hỗ trợ Quyết định Sáng tạo (SFTIS).

Trong 30 năm qua, sự phát triển của ngành du lịch toàn cầu đã thu hút sự chú ý của cả cộng đồng học thuật và doanh nghiệp đối với việc xây dựng mô hình và dự báo nhu cầu du lịch Các tài liệu hiện có trình bày nhiều phương pháp khác nhau để giải quyết vấn đề này, cho phép đánh giá dự báo nhu cầu du lịch thông qua các phương pháp chuỗi thời gian phổ biến Một trong những phương pháp đáng chú ý là mô hình hai giai đoạn.

Hệ thống hỗ trợ quyết định đã được phát triển thành công, cung cấp dự báo chính xác về nhu cầu du lịch cho sản phẩm du lịch Hy Lạp Các đề xuất này nhằm tối ưu hóa trải nghiệm du khách và nâng cao hiệu quả kinh doanh trong ngành du lịch.

Du lịch tại Quốc gia Hy Lạp đang hướng tới việc nâng cấp hệ thống thông qua việc áp dụng các kỹ thuật dự báo tiên tiến như mô hình Theta và các phương pháp phán đoán Đồng thời, việc triển khai hệ thống thông tin cung cấp dịch vụ web (dự báo điện tử) sẽ mang lại những lợi ích đáng kể Kết quả đánh giá cùng với kiến trúc linh hoạt của hệ thống hỗ trợ quyết định (DSS) sẽ làm cho các đề xuất trở nên hấp dẫn và có giá trị mở rộng cao.

Nhóm tác giả Haiyan Song và Gang Li đã đánh giá các nghiên cứu về mô hình hóa và dự báo nhu cầu du lịch từ năm 2000, chỉ ra rằng các phương pháp phân tích đã trở nên đa dạng hơn so với trước đây Họ nhận thấy rằng bên cạnh các mô hình chuỗi thời gian và kinh tế lượng phổ biến, nhiều kỹ thuật mới đã được áp dụng Tuy nhiên, nghiên cứu cũng chỉ ra rằng không có một mô hình nào luôn vượt trội hơn các mô hình khác trong mọi tình huống Ngoài ra, nghiên cứu xác định các hướng nghiên cứu mới nhằm nâng cao độ chính xác dự báo, bao gồm việc kết hợp các phương pháp dự báo định tính và định lượng, phân tích chu kỳ du lịch và thời vụ, cũng như đánh giá tác động của sự kiện và dự báo rủi ro.

Nhu cầu du lịch khác biệt với nhu cầu của khách du lịch; nhu cầu du lịch không phải là nhu cầu cơ bản và chỉ được thỏa mãn trong những điều kiện nhất định như kinh tế, kỹ thuật và xã hội Trong khi đó, nhu cầu của khách du lịch bao gồm những mong muốn cụ thể trong chuyến đi, phân thành nhu cầu thiết yếu, nhu cầu đặc trưng và nhu cầu bổ sung Hiện nay, nghiên cứu về xử lý ngôn ngữ tự nhiên cho mô hình du lịch trong nước còn hạn chế, đòi hỏi sự chính xác cao trong lĩnh vực này.

Việc áp dụng khai phá dữ liệu để phân tích hành vi và dự đoán nhu cầu của khách hàng trong lĩnh vực du lịch giúp cá nhân và tổ chức tận dụng hiệu quả dữ liệu công khai, từ đó chuyển đổi thông tin thành sức mạnh kinh doanh Điều này không chỉ nâng cao khả năng thành công của các chiến dịch quảng cáo du lịch mà còn tối ưu hóa trải nghiệm khách hàng.

Chương 2 CƠ SỞ LÝ THUYẾT

Nhu cầu là đặc điểm của cơ thể sống, phản ánh trạng thái thiếu hụt và phân biệt cá thể với môi trường Nhu cầu tối thiểu, hay nhu yếu tuyệt đối, được hình thành qua quá trình tồn tại và phát triển lâu dài Đây là thuộc tính tâm lý, bao gồm những điều cần thiết cho sự sống và phát triển của con người Mỗi cá nhân có những nhu cầu riêng, một phần là bẩm sinh và một phần do môi trường tác động Nhiều nghiên cứu về nhu cầu và động cơ con người đã giúp các nhà quản trị hiểu rõ tâm lý và thị hiếu khách hàng Trong số các lý thuyết, thuyết cấp bậc nhu cầu của Maslow (1943) nổi bật với việc phân loại nhu cầu thành 5 bậc: nhu cầu sinh học, nhu cầu an toàn, nhu cầu xã hội, nhu cầu được tôn trọng, và nhu cầu tự thể hiện.

Theo nghiên cứu của Nguyễn Văn Đính và Trần Thị Minh Hòa (2009), nhu cầu du lịch xuất phát từ mong muốn của con người khám phá những địa điểm mới, nhằm trải nghiệm cảm xúc và kiến thức mới, phát triển mối quan hệ xã hội, cải thiện sức khỏe và tạo sự thoải mái về mặt tinh thần.

Nhu cầu du lịch khác biệt với nhu cầu của khách du lịch, trong đó nhu cầu du lịch không phải là nhu cầu cơ bản và chỉ được thỏa mãn trong những điều kiện nhất định như kinh tế, kỹ thuật và xã hội Trong khi đó, nhu cầu của khách du lịch bao gồm những mong muốn cụ thể trong một chuyến đi, được phân chia thành nhu cầu thiết yếu, nhu cầu đặc trưng và nhu cầu bổ sung.

Như vậy, nghiên cứu xoay quanh việc tìm hiểu nhu cầu du lịch trải nghiệm khách hàng khi thực hiện chuyến du lịch trải nghiệm

2.2 Hệ hỗ trợ ra quyết định (DSS)

Hệ thống hỗ trợ ra quyết định (DSS) là một chương trình máy tính hóa giúp tổ chức và doanh nghiệp trong việc đưa ra quyết định và phán đoán DSS có khả năng sàng lọc và phân tích lượng lớn dữ liệu, từ đó tổng hợp thông tin một cách toàn diện, hỗ trợ giải quyết các vấn đề và cải thiện quy trình ra quyết định.

Hệ thống hỗ trợ ra quyết định giúp bộ phận quản lý quy trình và lập kế hoạch trong tổ chức tổng hợp thông tin và dữ liệu thành thông tin tình báo có thể hành động Những hệ thống này chủ yếu phục vụ cho cấp quản lý trung và cao, nâng cao hiệu quả trong việc ra quyết định.

2.3 Hệ phân tích và dự báo nhu cầu du lịch (SFTIS) [5]

Quy trình thực hiện

4.3.1 Tiền xử lý dữ liệu [9]

Là quá trình loại bỏ tất cả các chữ số, ký tự dấu câu, dấu trọng âm, và chuyển đổi mọi chữ cái thành chữ thường

Quá trình mã hóa văn bản sử dụng công cụ Underthesea NLP giúp phân tách các câu thành những từ có nghĩa Công cụ này còn chia nhỏ các từ thành tiền tố, gốc và hậu tố, nhằm cải thiện khả năng xử lý cho những từ chưa xuất hiện trước đó.

4.3.1.3 Thêm token đặc biệt (Special token addition)

Là quá trình thêm token [CLS] vào đầu câu và token [SEP] ngăn cách câu đó

4.3.2 Huấn luyện trọng số [9]

Chúng em áp dụng mô hình BERT đã được huấn luyện trước và tokenizer để khởi đầu quá trình gán nhãn cho bộ dữ liệu đã được xử lý Kết quả của quá trình này là một lớp softmax, là một lớp mạng nơ-ron được kết nối đầy đủ với chức năng kích hoạt softmax Hàm softmax σ : R K → R K được định nghĩa theo công thức sau:

Trong lớp softmax, đầu ra trung gian được ký hiệu là z = (z1, , zK) ∈ R K, hay còn gọi là logits Từ đó, nút đầu ra có xác suất cao nhất sẽ được chọn làm nhãn dự đoán cho đầu vào.

Sau khi lấy các vec-tơ câu từ BERT, chúng tôi đã xây dựng các lớp tóm tắt chồng lên đầu ra của BERT để trích xuất tính năng cấp tài liệu Đối với mỗi câu sent i, chúng tôi tính toán điểm dự đoán cuối cùng Y’i, với sai số toàn bộ mô hình được xác định bằng phân loại nhị phân Entropy giữa Y’i và nhãn vàng Yi Các lớp tóm tắt này được tinh chỉnh đồng thời với BERT, trong khi trình phân loại đơn giản chỉ thêm một lớp tuyến tính trên đầu ra của BERT và sử dụng hàm xích-ma để nhận điểm dự đoán.

Lúc này, sau khi hoàn thành việc huấn luyện trọng số (weights, bias) của mô hình, kết quả sẽ được lưu vào file có định dạng *.pkl

4.3.3 Áp dụng việc học máy vào train model

Tại quá trình này, chúng em sử dụng những hàm và class như train_test_split và LogisticRegression để tiến hành học máy cho train model:

THỰC NGHIỆM VÀ ĐÁNH GIÁ