Dự báo trên chuỗi thời gian sử dụng mô hình lai ghép arima và RBFNN Dự báo trên chuỗi thời gian sử dụng mô hình lai ghép arima và RBFNN Dự báo trên chuỗi thời gian sử dụng mô hình lai ghép arima và RBFNN
TỔNG QUAN
Tính cấp thiết của đề tài
Sự phát triển công nghệ và bùng nổ thông tin số đã thúc đẩy sự tiến bộ xã hội, tạo ra nguồn tài nguyên vô giá từ dữ liệu khổng lồ Tuy nhiên, việc khai thác và lưu trữ dữ liệu hiện nay đang gặp nhiều thách thức do các phương pháp truyền thống không còn phù hợp Các công nghệ khai phá dữ liệu mới đã ra đời, cho phép chúng ta trích xuất thông tin có mối quan hệ từ Big Data, giúp giải quyết các bài toán tìm kiếm, dự đoán xu thế và hành vi trong tương lai, cùng nhiều tính năng thông minh khác.
Một trong những thách thức quan trọng trong khai thác dữ liệu lớn hiện nay là dự báo, đóng vai trò thiết yếu trong sự tồn tại và phát triển của nhiều lĩnh vực xã hội Nhiều kỹ thuật đã được phát triển để phục vụ cho việc dự báo, nhưng bài toán dự báo dựa trên chuỗi số thời gian vẫn luôn là một chủ đề "nóng" thu hút sự chú ý.
Một số các công trình nghiên cứu liên quan
Nguyễn Chí Thành và Hà Gia Sơn (2017) đã nghiên cứu kết hợp mạng nơron FIR và mô hình ARIMA để nâng cao hiệu quả dự báo chuỗi thời gian Nghiên cứu này đề xuất một giải pháp kết hợp kết quả dự báo từ mạng nơron FIR với mô hình ARIMA, trong đó trọng số được điều chỉnh để phù hợp với sự biến đổi của chuỗi thời gian Đầu tiên, tác giả sử dụng dữ liệu mẫu để ước lượng các mô hình, sau đó dự báo giá trị của biến phụ thuộc và xây dựng tập trọng số Cuối cùng, các giá trị dự báo ngoài mẫu được tạo ra từ các mô hình riêng biệt, sử dụng trọng số đã xác định để đạt được hiệu quả dự báo cao nhất.
Biến phụ thuộc có hai điểm t, với các giá trị dự báo ft1, ft2, …, ftk được sinh ra từ k mô hình khác nhau Phương pháp tối ưu là tính giá trị trung bình có trọng số của các dự báo này, từ đó tác giả đưa ra giá trị dự báo kết hợp.
Các trọng số trong mô hình hồi quy bội được xác định bằng phương pháp ước lượng tham số, thường là hằng số nhưng có thể thay đổi theo thời gian Do đó, tác giả đã áp dụng hàm bậc nhất trong phần ứng dụng để thực hiện dự báo Giả định rằng trong mô hình này, các yếu tố ảnh hưởng đến kết quả sẽ được tính toán một cách chính xác.
𝛽𝛽i = αi0 + αi1t, với t thể hiện thời gian từ 1 đến n, và i = 0, 1, , k (k là các mô hình phối hợp) Điều này dẫn đến mô hình cải biến như sau:
𝑌𝑌t = α00 + α01t + α10ft1 + α11(tft1) + … + αk0ftk + αk1(tftk) + u t Đặt: α00 + α01t = A0, α10 = A1 … α1k = A k, α11 = Ak+1 … αk1 = A2k ft1 = F1, … ftk = Fk , (tft1) = Fk+1 , … (tftk) = F2k
𝑌𝑌 t = A 0 + A 1 F 1 + A 2 F 2 + … + A k F k + A k+1 F k+1 + … + A 2k F 2k Đặt: n = 2k, ta sẽ có phương trình 𝑌𝑌t = A0 + A1F1 + … + AnFn Đây chính là phương trình hồi qui cơ bản, có thể dùng giải thuật để xác định các hệ số A 0, A 1, A n này
Lâm Hoàng Vũ (2012) đã trình bày một phương pháp mới trong việc dự báo chuỗi thời gian bằng cách sử dụng mô hình ARIMA kết hợp với giải thuật di truyền Tác giả đề xuất một cách tiếp cận tự động để xác định bậc và ước lượng các hệ số của mô hình ARMA, mở rộng không gian tìm kiếm giải pháp thông qua giải thuật tìm kiếm Tabu Kết quả thực nghiệm cho thấy phương pháp này mang lại hiệu quả vượt trội hơn so với nhiều phương pháp meta-heuristic khác, đồng thời thời gian chạy được duy trì ở mức chấp nhận được.
L Zhang, G X Zhang và R R Li (2018) đã thực hiện nghiên cứu về phân tích và dự đoán chất lượng nước bằng cách áp dụng mô hình lai ARIMA kết hợp với mạng Nơron RBF Nghiên cứu này tập trung vào việc phân tích biến động chất lượng nước tại hồ Chagan trong một khoảng thời gian nhất định.
Bài viết tập trung vào việc phát triển mô hình lai ARIMA và RBFNN nhằm dự đoán dữ liệu chuỗi thời gian về chất lượng nước Để đánh giá hiệu suất của các mô hình này, chúng tôi so sánh dữ liệu quan sát và dữ liệu dự đoán, từ đó xác định hiệu quả dự đoán của mô hình lai ARIMA và RBFNN so với mô hình ARIMA truyền thống.
Kết quả dự đoán từ các mô hình lai ARIMA - RBFNN được biểu thị như sau:
- 𝐿𝐿� t là kết quả dự báo của mô hình ARIMA
- 𝑁𝑁�t là kết quả dự báo của mô hình RBFNN
Mô hình dự báo lai ARIMA-RBFNN được đề xuất mang lại độ chính xác cao hơn so với mô hình ARIMA truyền thống, với khả năng tạo ra các giá trị dự đoán sát với thực tế hơn Việc cải thiện độ chính xác dự đoán của mô hình lai cho thấy tiềm năng ứng dụng của nó trong việc dự đoán chuỗi thời gian TN và TP cho hồ Chagan.
Li Wang, Haofei Zou, Jia Su, Ling Li và Sohail Chaudhry (2013) đã đề xuất mô hình lai ARIMA-ANN để dự báo chuỗi thời gian, kết hợp ưu điểm của ARIMA trong mô hình hóa hành vi tuyến tính và ANN trong xử lý các thành phần phi tuyến Mô hình ARIMA không thể giải quyết các yếu tố phi tuyến, do đó ANN, với cấu trúc nhiều lớp và tế bào nơron tương tác, được sử dụng để xử lý các thành phần này Tác giả áp dụng mô hình cộng (L+N) và mô hình nhân (L*N) để kết hợp hai mô hình trong phân tích chuỗi thời gian, nhằm đối phó với tất cả các thành phần không đồng nhất của dữ liệu Các biểu thức toán học cho hai trường hợp này được trình bày trong bài viết.
Trong đó L t đại diện cho thành phần tuyến tính và N t là thành phần phi tuyến
Mô hình lai đã được kiểm tra trên ba bộ dữ liệu thực tế, bao gồm dữ liệu vết đen mặt trời của Wolf, dữ liệu lynx của Canada và dữ liệu giá cổ phiếu của IBM.
Kết quả cho thấy hiệu quả của mô hình tổ hợp mới trong việc thu được dự báo chính xác hơn so với các mô hình hiện có
N Vijay và G.C Mishra (2018) đã tiến hành nghiên cứu so sánh tính linh hoạt của mô hình mạng nơ ron nhân tạo (ANN) với mô hình ARIMA trong dự báo chuỗi thời gian Dữ liệu nghiên cứu bao gồm diện tích và thời gian sản xuất ngọc trai (bajra) từ năm 1955-1956 đến 2014-2015 Kết quả cho thấy mô hình ANN vượt trội hơn mô hình ARIMA khi đánh giá qua các chỉ số như giá trị trung bình gốc (RMSE), MAPE và MSE, chứng minh tính hiệu quả của mô hình ANN trong dự báo.
Mô hình RBFNN đã được kiểm tra và so sánh với mô hình ARIMA trong dự báo ngắn hạn về lượng khách du lịch đến Indonesia, theo nghiên cứu của Haviluddina và Ahmad Jawahirb (2015) Dữ liệu chuỗi thời gian được sử dụng là dữ liệu mô phỏng từ BPS Indonesia Kết quả cho thấy mô hình RBFNN vượt trội hơn ARIMA, được thể hiện qua giá trị lỗi bình phương trung bình (MSE) thấp hơn Do đó, RBFNN được khuyến nghị là lựa chọn thay thế cho mô hình ARIMA hiện tại nhờ vào cấu trúc đơn giản và hiệu quả hơn trong dự báo.
Sibarama Panigrahi và H.S Behera (2017) đã giới thiệu một phương pháp lai mới để dự báo chuỗi thời gian, kết hợp mô hình làm mịn theo cấp số nhân tuyến tính và phi tuyến (ETS) với mạng nơ-ron nhân tạo (ANN) Cả hai mô hình này đều có khả năng xử lý dữ liệu tuyến tính và phi tuyến, tuy nhiên, ANN không đạt hiệu quả tốt trong việc xử lý các mẫu tuyến tính so với mẫu phi tuyến Kết quả dự đoán cuối cùng được tạo ra bằng cách kết hợp các dự đoán từ mô hình ETS với các dự đoán từ ANN.
Tác giả đã sử dụng mười sáu bộ dữ liệu chuỗi thời gian để phân tích hiệu suất và so sánh các phương pháp đề xuất với các mô hình ARIMA, ETS, MLP và một số mô hình lai ANN ARIMA hiện có Kết quả thử nghiệm cho thấy mô hình lai ETS - ANN mang lại hiệu suất tốt hơn về mặt thống kê trên các bộ dữ liệu được sử dụng.
- Sima Siami-Namini, Neda Tavakoli, Akbar Siami Namin (2018) [10]: “So sánh mô hình ARIMA và LSTM trong dự báo chuỗi thời gian” Tác giả sử dụng các
Thuật toán Long Short-Term Memory (LSTM) dựa trên học tập sâu đã được phát triển để dự báo dữ liệu chuỗi thời gian và cho thấy sự vượt trội so với các phương pháp truyền thống như mô hình ARIMA Các nghiên cứu thực nghiệm cho thấy LSTM giảm tỷ lệ lỗi từ 84 - 87% so với ARIMA, chứng minh hiệu quả của nó trong dự báo Đặc biệt, số lần huấn luyện, hay còn gọi là "era", không ảnh hưởng đến hiệu suất của mô hình dự báo, cho thấy khả năng thực hiện ngẫu nhiên trong quá trình huấn luyện.
Zonghan Wu, Shirui Pan, Guodong Long, Jing Jiang, Xiaojun Chang, và Chengqi Zhang (2020) đã nghiên cứu về "Dự báo chuỗi thời gian đa biến với mạng nơ ron đồ thị" Nhóm tác giả chỉ ra rằng trong dự báo chuỗi thời gian đa biến, các biến có mối quan hệ phụ thuộc lẫn nhau, nhưng các phương pháp hiện tại chưa khai thác hết sự phụ thuộc không gian giữa các biến Mạng nơ ron đồ thị (GNNs) đã chứng minh khả năng xử lý tốt các mối quan hệ này, tuy nhiên, chúng cần cấu trúc biểu đồ xác định rõ ràng, điều này gây khó khăn khi áp dụng cho chuỗi thời gian đa biến với các phụ thuộc chưa biết Để khắc phục điều này, tác giả đã đề xuất một khung GNN mới, tự động trích xuất các mối quan hệ đơn hướng giữa các biến thông qua mô-đun “học” đồ thị, cho phép tích hợp kiến thức bên ngoài Họ cũng giới thiệu lớp lan truyền mix-hop và lớp khởi động giãn để nắm bắt các phụ thuộc không gian và thời gian Kết quả thử nghiệm cho thấy mô hình mới vượt trội hơn so với các phương pháp tiên tiến trên 3 trong 4 bộ dữ liệu và đạt hiệu suất tương đương với các phương pháp khác trên hai bộ dữ liệu thông tin cấu trúc.
Mục đích nghiên cứu, khách thể và đối tượng nghiên cứu của đề tài
Nghiên cứu ứng dụng các mô hình lai ghép vào bài toán dự báo trên chỗi thời gian nhằm nâng cao tính hiệu quả trong bài toán dự báo
Nhiệm vụ nghiên cứu và giới hạn
- Nghiên cứu về chuỗi thời gian và bài toán dự báo trên chuỗi thời gian
- Nghiên cứu mô hình lai ARIMA và RBFNN ứng dụng trong bài toán dự báo chuỗi thời gian
- Nghiên cứu cải tiến mô hình lai ARIMA và RBFNN
- Đánh giá bằng thực nghiệm mô hình lai ARIMA và RBFNN cải tiến
Giới hạn: Chuỗi thời gian và bài toán dự báo trên chuỗi thời gian
Phương pháp nghiên cứu
Kết hợp các phương pháp: nghiên cứu lý thuyết, lập trình mô phỏng và đánh giá bằng thực nghiệm.
Ý nghĩa thực tiễn của đề tài
Hiện nay, dự báo trên chuỗi thời gian được ứng dụng rộng rãi nhờ vào sự phát triển của công nghệ và khai thác dữ liệu lớn Nhiều mô hình đã được phát triển để phục vụ cho việc dự báo này Tuy nhiên, mục tiêu chính của việc dự báo là hỗ trợ ra quyết định và hoạch định hoạt động cho các đơn vị, do đó, việc cải tiến các mô hình dự báo hiện có nhằm rút ngắn thời gian và nâng cao độ chính xác của kết quả dự báo là vấn đề quan trọng và cần được chú trọng.
Chương 2 của luận văn sẽ trình bày lý thuyết về chuỗi thời gian và các mô hình phổ biến dùng để dự báo chuỗi thời gian Trong chương 3, luận văn sẽ áp dụng mô hình lai ghép ARIMA và RBFNN cải tiến để thực hiện dự báo Kết quả đánh giá thực nghiệm sẽ được trình bày trong chương 4.
CƠ SỞ LÝ THUYẾT VỀ CHUỖI THỜI GIAN VÀ CÁC MÔ HÌNH DỰ BÁO
Chuỗi thời gian (time series) và các khái niệm liên quan
Trong các bài toán dự báo, dữ liệu thường được thể hiện dưới dạng chuỗi thời gian, và loại dữ liệu này luôn được ưu tiên và phổ biến hơn so với các loại dữ liệu khác trong phân tích.
2.1.1 Khái niệm chuỗi thời gian
Dữ liệu thời gian thực, hay còn gọi là chuỗi thời gian, là tập hợp các giá trị của một đại lượng được ghi nhận theo thời gian thực Điều này cho phép theo dõi và phân tích sự biến đổi của đại lượng đó qua từng khoảng thời gian cụ thể.
Là chuỗi các điểm dữ liệu được đo theo từng khoảng thời gian liền nhau, khoảng cách giữa các lần đo là bằng nhau
Chuỗi thời gian là tập hợp các quan sát về một biến số theo thời gian, trong đó mỗi mẫu quan sát có thể được coi là một phần hữu hạn của một chuỗi quan sát vô hạn.
Giữa các năm 2015 và 2020, sự biến động trong lượng khách hàng của một công ty và số lượng sản phẩm bán ra trong khoảng thời gian này được sử dụng để dự báo xu hướng tương lai Những dữ liệu này cung cấp cái nhìn sâu sắc về hành vi tiêu dùng và giúp công ty lập kế hoạch chiến lược hiệu quả hơn.
Hình 2.1: Minh họa dữ liệu chuỗi thời gian
Chuỗi thời gian dừng là chuỗi có đặc điểm trung bình và phương sai không thay đổi theo thời gian Đồng phương sai giữa hai thời đoạn chỉ phụ thuộc vào khoảng cách và độ trễ thời gian giữa chúng, không phụ thuộc vào thời điểm cụ thể mà đồng phương sai được tính.
Phương sai: Var(Y t ) = E(Y t - 𝜇𝜇) 2 = 𝛿𝛿 2 Đồng phương sai: 𝛾𝛾k = E[(Y t - 𝜇𝜇) (Y t+k - 𝜇𝜇)]
Nếu chuỗi thời gian Y t là dừng, khi dịch chuyển từ Y t đến Y t+m, trung bình, phương sai và các tự đồng phương sai của Y t+m sẽ giữ nguyên giá trị như của Y t Điều này có nghĩa là trung bình, phương sai và tự đồng phương sai (tại các độ trễ khác nhau) sẽ không thay đổi theo thời gian, bất kể thời điểm xác định.
Để áp dụng hầu hết các phương pháp thống kê dự báo, việc kiểm tra tính dừng của chuỗi dữ liệu là cực kỳ quan trọng Tính dừng đảm bảo rằng các mô hình dự báo hoạt động chính xác và hiệu quả.
Hình 2.2: Chuỗi thời gian dừng
2.1.2 Đặc điểm chuỗi thời gian
2.1.2.1 Xu hướng thay đổi dài hạn
Thành phần này thể hiện xu hướng tăng hoặc giảm của đại lượng X trong khoảng thời gian dài Trên đồ thị, xu hướng này được biểu diễn bằng một đường thẳng hoặc một đường cong mượt mà.
Hình 2.3: Xu hướng tăng theo thời gian 2.1.2.2 Xu hướng thay đổi theo mùa
Thành phần này dùng để chỉ xu hướng tăng hay giảm của đại lượng X tính theo mùa trong năm Hình 2.2: Xu hướng thay đổi theo mùa
Ví dụ: Giá vé máy bay sẽ tăng vào mùa hè, hoặc sản lượng Bia sẽ tăng vào mùa hè và giảm vào mùa đông
Hình 2.4: Xu hướng thay đổi theo mùa Thay đổi theo mùa
Xu hướng Tăng theo thời gian
2.1.2.3 Xu hướng thay đổi theo chu kỳ
Xu hướng này phản ánh sự biến đổi của đại lượng X theo một chu kỳ kéo dài, thường được tính theo năm, khác với xu hướng theo mùa Để đánh giá xu hướng này, các giá trị trong chuỗi thời gian cần được quan sát hàng năm.
Ví dụ: Chu kỳ thay đổi thị hiếu sản phẩm của khách hàng
Hình 2.5: Xu hướng thay đổi theo chu kỳ 2.1.2.4 Xu hướng thay đổi bất thường
Xu hướng thay đổi này đề cập đến sự biến động bất thường trong các giá trị của chuỗi thời gian, không thể dự đoán dựa trên dữ liệu lịch sử Bản chất của sự thay đổi này không mang tính chu kỳ.
2.1.3 Các phương pháp hiển thị chuỗi thời gian
Phân tích chuỗi thời gian là quá trình nghiên cứu dữ liệu quá khứ để hiểu rõ các đặc điểm chính của nó Một trong những phương pháp hiệu quả nhất để thực hiện điều này là sử dụng hình ảnh trực quan, giúp làm nổi bật những đặc điểm mà bảng dữ liệu thường không thể hiện rõ Các minh họa đồ thị có thể giúp người phân tích nhận diện các xu hướng và mẫu hình trong dữ liệu một cách dễ dàng hơn.
Bảng 2.1: Dữ liệu chuỗi thời gian
Từ dữ liệu chuỗi thời gian trên, ta có thể minh họa dưới dạng đồ thị như sau:
Đồ thị x(t) theo t cung cấp dữ liệu gốc chưa qua biến đổi, hỗ trợ nghiên cứu xu thế và nhận dạng Hình 2.6 minh họa đồ thị này.
Hình 2.6: Đồ thị của xt theo t
Đồ thị biểu diễn (x t / x t-1) x 100 theo thời gian t cho thấy sự thay đổi giá trị của chuỗi so với giá trị trước đó Cụ thể, giá trị tại t=2 là 102,9% cho thấy chuỗi đã tăng 2,9% từ t=2 đến t=3 Nếu tất cả các giá trị đều lớn hơn 100% nhưng có xu hướng giảm dần, điều này cho thấy chuỗi vẫn đang có xu hướng tăng nhưng tỷ lệ tăng đang giảm.
Hình 2.7: Đồ thị của xt theo t
Bài toán dự báo chuỗi thời gian và các mô hình dùng trong dự báo chuỗi thời
2.2 Bài toán dự báo chuỗi thời gian và các mô hình dùng trong dự báo chuỗi thời gian
2.2.1 Các bài toán về dự báo chuỗi thời gian
Chuỗi thời gian là công cụ quan trọng trong việc thu thập dữ liệu quan sát từ nhiều lĩnh vực như thống kê, xử lý tín hiệu số và toán tài chính Phân tích chuỗi thời gian giúp đưa ra các thống kê có ý nghĩa và giải quyết vấn đề nhận diện, tùy thuộc vào ứng dụng cụ thể của từng lĩnh vực.
13 những đặc trưng cơ bản của chuỗi thời gian cũng như khai phá cấu trúc nội tại của chuỗi thời gian từ dữ liệu quan sát được
Nghiên cứu khoa học về các đối tượng như kinh tế, vật lý và tự nhiên thường dựa vào chuỗi thời gian từ dữ liệu quan sát theo thời gian, giúp hiểu rõ đặc tính và dự đoán hành vi tương lai Việc xác định các phương trình cơ sở cho phép phân tích sâu hơn về đối tượng nghiên cứu Tuy nhiên, trong nhiều trường hợp, chúng ta không biết rõ các phương trình này Do đó, các quy tắc quan sát trong quá khứ sẽ được sử dụng như những chỉ dẫn để hiểu và dự đoán hành vi tương lai của đối tượng nghiên cứu.
Bài toán dự báo chuỗi thời gian liên quan đến việc ước lượng các giá trị quan sát trong tương lai dựa trên một dãy dữ liệu đã được ghi nhận theo thời gian Hệ thống dự báo sẽ phân tích các mẫu và xu hướng trong dữ liệu để đưa ra dự đoán cho các chu kỳ tiếp theo.
Dự báo 1-bước: Cho trước dãy x 1, x 2, …, x t, dự đoán giá trị của x t-1
Bài toán này được tổng quát hóa như sau:
Dự báo n-bước dựa trên tập dữ liệu quan sát trong quá khứ, được gọi là tập huấn luyện, bao gồm các chuỗi thời gian được thu thập từ cùng một đối tượng nghiên cứu qua các kỳ thời gian khác nhau.
Với X i = x ti, x ti+1, …, x ti+(li-1) , trong đó x t là giá trị của chuỗi thời gian tại thời điểm t và l i là độ dài của dãy X i Hệ thống dự báo sẽ được cung cấp tương ứng với tập
TS dãy kết quả truy vấn Y = y 1, y 2, …, y l và ta sẽ cần tìm các giá trị y l+1, y l+2, …
Phân tích chuỗi thời gian nhằm mục đích dự báo là một lĩnh vực nghiên cứu quan trọng với nhiều ứng dụng đa dạng Nhiều ngành như vật lý, sinh học, kinh tế, thiên văn học và địa vật lý thường sử dụng dữ liệu chuỗi thời gian để thực hiện các dự đoán chính xác.
2.2.2 Các mô hình dùng trong dự báo chuỗi thời gian
2.2.2.1 Mô hình phân tích hồi quy đơn giản
Phân tích hồi quy tuyến tính đơn giản là phương pháp tìm kiếm mối quan hệ giữa hai biến số liên tục, trong đó biến độc lập (biến dự đoán) được đặt trên trục hoành x.
Để dự đoán biến phụ thuộc y (ví dụ: cân nặng) dựa trên biến độc lập x (ví dụ: tuổi), ta cần vẽ một đường thẳng hồi quy trên trục tung y Từ phương trình của đường thẳng này, chúng ta có thể ước lượng giá trị của y khi biết giá trị của x.
Ví dụ: Ta có một mẫu gồm 6 trẻ từ 1 đến 6 tuổi, và có cân nặng như sau: Hình 2.9: Đồ thị hồi quy đơn giản
Bảng 2.2: Bảng dữ liệu cân nặng và chiều cao của trẻ
Trong hình 2.9, đồ thị hồi quy đơn giản cho thấy mối quan hệ giữa các cặp giá trị (x, y), thể hiện qua phương trình bậc nhất y = 2x + 8 Trong phương trình này, 2 đại diện cho độ dốc của đường thẳng, trong khi 8 là điểm cắt trên trục tung y khi x bằng 0 Trong thống kê, phương trình đường thẳng bậc nhất thường được sử dụng để mô tả mối quan hệ tuyến tính giữa hai biến.
15 Đây là phương trình hồi qui tuyến tính, trong đó 𝛽𝛽 gọi là độ dốc (slope) và 𝛼𝛼 là chặn (intercept), điểm cắt trên trục tung khi x=0
Phương trình hồi quy tuyến tính chỉ tồn tại trên lý thuyết, với các trị số x i (i=1,2,3,4,5,6) và y i tương ứng có mối liên hệ hoàn hảo 100%, tức là hệ số tương quan R bằng 1.
Trong thực tế, hiếm khi có sự khớp chính xác 100% giữa trị số quan sát y i và trị số ước đoán y’i trên đường hồi quy Điều này cho thấy thường có sự sai lệch giữa các giá trị này.
Ví dụ: Ta có một mẫu gồm 6 trẻ khác có cân nặng như sau:
Bảng 2.3: Bảng dữ liệu cân nặng và chiều cao của trẻ
Hình 2.10: Đồ thị hồi quy đơn giản Cân nặng
Khi vẽ đường thẳng hồi quy, các trị số quan sát y3, y4, y5, y6 nằm trên đường thẳng, trong khi y1 và y2 không nằm trên đó, dẫn đến mối liên hệ giữa xi và yi giảm từ 100% xuống còn 97% do sự sai lệch tại y1 và y2 Sự sai lệch này trong thống kê được gọi là phần dư (residual) hoặc lỗi.
Gọi y 1, y 2, y 3, y 4, y 5, y 6 là trị số quan sát và y’1, y’2, y’3, y’4, y’5, y’6 là trị số ước đoán nằm trên đường hồi qui; ϵ 1 , ϵ 2 , ϵ 3 , ϵ 4 , ϵ 5 , ϵ 6 là phần dư
Khi đó phương trình hồi qui tuyến tính được viết dưới dạng tổng quát như sau:
Mô hình hồi quy tuyến tính được biểu diễn bằng công thức 𝑦𝑦 ′ =𝛽𝛽𝛽𝛽i + 𝛼𝛼i + ϵ i, trong đó phần dư ϵ i càng nhỏ thì mối liên hệ giữa biến x và y càng mạnh Điều này cho thấy rằng phần hồi quy là yếu tố quan trọng trong việc xác định mối quan hệ giữa các biến.
Dữ liệu = Hồi quy (Regression) + Phần dư (Residual) 2.2.2.2 Hàm tự tương quan ACF
Hàm tự tương quan là công cụ đo lường sự phụ thuộc tuyến tính giữa các cặp quan sát y(t) và y(t+k), với k là độ trễ (k = 1, 2, ) Đối với mỗi độ trễ k, hàm tự tương quan được tính toán dựa trên độ lệch giữa các biến ngẫu nhiên Y t và Y t+k so với giá trị trung bình, đồng thời được chuẩn hóa qua phương sai.
Giả định rằng các biến ngẫu nhiên trong chuỗi dừng dao động quanh giá trị trung bình 𝜇 với phương sai không đổi 𝛿² Hàm tự tương quan sẽ thay đổi tùy theo các độ trễ khác nhau.
Các mô hình lai ghép dùng trong dự báo chuỗi thời gian
2.3.1 Mô hình ARIMA và ANN
Mô hình lai ARIMA và ANN là phương pháp hiệu quả trong phân tích chuỗi thời gian, trong đó chuỗi thời gian được chia thành hai thành phần: tuyến tính và phi tuyến Mô hình ARIMA thường thành công trong việc dự báo các thành phần tuyến tính, nhưng không hiệu quả với các thành phần phi tuyến Để khắc phục điều này, mô hình ANN được áp dụng, nhờ khả năng mô hình hóa các hiện tượng phức tạp thông qua các tế bào thần kinh phi tuyến tương tác trong nhiều lớp, giúp giải quyết các thành phần phi tuyến trong dữ liệu chuỗi thời gian.
Hình 2.12: Mô hình lai ARIMA - ANN
Chúng ta có thể xem xét hai mô hình để phân tích chuỗi thời gian như trên là mô hình cộng (L + N) và mô hình nhân (L* N) theo công thức sau: y t = L t + N t y t = L t * N t
- L t : là thành phần tuyến tính
- N t: là thành phần phi tuyến tính
Dữ liệu sử dụng trong hai thành phần này phải được xử lý trước
Mô hình ARIMA, được phát triển bởi Box et al (1994), được áp dụng để dự đoán giá trị y t, với 𝐿𝐿� t biểu thị kết quả dự đoán Phần dư e t giữa các chuỗi của mô hình ARIMA được tính toán bằng công thức e t = y t – 𝐿𝐿� t hoặc e t = y t / 𝐿𝐿�t.
+ e t được coi là đầu vào của mô hình ANN, sau đó mô hình ANN có thể được biểu thị như sau: e t = f(e t-1, e t-2, … ,e t-n) + ε t
Trong đó, f là hàm phi tuyến được xác định bởi mạng nơ ron và ε t là lỗi ngẫu nhiên
Kết quả đầu ra của ANN được định nghĩa là 𝑁𝑁�t
+ Hai mô hình được kết hợp để dự báo và kết quả dự đoán từ các mô hình lai ARIMA - ANN được biểu thị như sau: y t = 𝐿𝐿� t + 𝑁𝑁� t Hoặc y t = 𝐿𝐿� t * 𝑁𝑁� t
Hình 2.13: Mô hình kết hợp ARIMA - ANN
2.3.2 Mô hình Exponential Smoothing và ANN
Mô hình lai kết hợp giữa các mô hình tuyến tính như ARIMA và các mô hình phi tuyến như mạng nơ ron nhân tạo (ANN) đang ngày càng phổ biến nhờ hiệu suất vượt trội so với các mô hình đơn lẻ Những mô hình này coi chuỗi thời gian là sự kết hợp của các thành phần tuyến tính và phi tuyến.
Một chuỗi thời gian trong thế giới thực có thể là hoàn toàn tuyến tính, phi tuyến hoặc kết hợp cả hai Một phương pháp lai mới đã được phát triển bằng cách kết hợp các mô hình làm mịn theo cấp số nhân tuyến tính và phi tuyến từ không gian trạng thái đổi mới (ETS) với mạng nơ-ron nhân tạo (ANN) Mô hình ETS - ANN này có khả năng xử lý cả mẫu tuyến tính và phi tuyến, nhưng ANN không xử lý tốt mẫu tuyến tính như mẫu phi tuyến Trong phương pháp đề xuất, ETS được áp dụng trước để dự đoán chuỗi thời gian, giúp nắm bắt các mẫu tuyến tính Sau đó, chuỗi lỗi dư được tính bằng cách trừ dự đoán ETS khỏi chuỗi ban đầu và được xử lý bằng ANN Dự đoán cuối cùng được kết hợp từ dự đoán của ETS và ANN Thử nghiệm trên nhiều bộ dữ liệu cho thấy mô hình lai đề xuất có hiệu suất thống kê tốt hơn so với các mô hình ARIMA, ETS, perceptron đa lớp (MLP) và một số mô hình ANN lai ARIMA hiện có.
Hình 2.14: Mô hình lai ETS – ANN
Trong chương này, chúng tôi đã giới thiệu khái quát về chuỗi thời gian và một số mô hình dự báo liên quan Ở chương 3, chúng tôi sẽ trình bày các mô hình lai được phát triển bởi các nhà khoa học, từ đó đề xuất và thử nghiệm một mô hình lai mới trong chương 4.
DỰ BÁO TRÊN CHUỖI THỜI GIAN SỬ DỤNG MÔ HÌNH LAI GHÉP
Mô hình tự hồi quy kết hợp với trung bình di động ARIMA(p,d,q) (AutoRegressive Integrated Moving Average)
Trong thực tế, chuỗi thời gian hiếm khi dừng lại do sự dao động của thị trường Trước khi áp dụng mô hình ARIMA, cần chuyển đổi chuỗi thời gian thành chuỗi dừng mới Để xác định tính dừng của chuỗi thời gian, việc kiểm tra là rất quan trọng.
- Dựa vào biểu đồ tự tương quan ACF
Nếu hàm tự tương quan ACF của chuỗi thời gian giảm nhanh hoặc giảm dần khá nhanh, thì chuỗi thời gian đó được coi là dừng.
+ Nếu hàm tự tương quan ACF của chuỗi thời gian giảm dần thật chậm thì chuỗi thời gian được xem là không dừng
Chuỗi Y(t) có tính dừng nếu đồ thị Y(t) = f(t) cho thấy trung bình và phương sai của quá trình Y(t) không thay đổi theo thời gian.
Sai phân thể hiện sự khác biệt giữa giá trị hiện tại và giá trị trước đó Việc phân tích sai phân giúp ổn định giá trị trung bình của chuỗi dữ liệu, từ đó hỗ trợ quá trình chuyển đổi chuỗi thành một chuỗi dừng.
Ví dụ: Xét chuỗi dữ liệu, cột thời gian tính bằng mini giây
Sai phân bậc một cung cấp một chuỗi dừng dao động quanh giá trị trung bình
Trong ví dụ này, chúng ta chỉ thực hiện một lần chuyển đổi sai phân cho toàn bộ dữ liệu để ổn định giá trị trung bình Tuy nhiên, thực tế cho thấy nhiều chuỗi dữ liệu cần thực hiện nhiều lần sai phân để đạt được tính dừng.
Hiện tượng thành phần mùa vụ trong dữ liệu chuỗi thời gian là một vấn đề phổ biến khi áp dụng mô hình ARIMA cho dữ liệu dài hạn.
Để áp dụng mô hình ARIMA vào dữ liệu chuỗi thời gian, cần khử tính mùa vụ trước Nếu chuỗi dữ liệu Y(t) có tính mùa vụ với chu kỳ s, ta có thể khử tính mùa vụ bằng cách thực hiện sai phân thứ s, tức là Z(t) = Y(t) – Y(t-s) Sau đó, sử dụng chuỗi dữ liệu mới này để tiến hành phân tích.
Z(t) sau khi đã khử tính mùa vụ vào mô hình ARIMA
Thông thường, tính mùa vụ của chuỗi dữ liệu vào khoảng
Mô hình ARMA(p,q) là sự kết hợp giữa mô hình tự hồi quy (AR) và mô hình trung bình trượt (MA) Hàm tuyến tính của mô hình này bao gồm các quan sát dừng từ quá khứ cùng với các sai số dự báo từ quá khứ và hiện tại.
Trong đó : y(t) : quan sát dừng hiện tại y(t-p), và e(t-q): quan sát dừng và sai số dự báo quá khứ a 0, a 1, a 2, , b 1, b 2, : các hệ số phân tích hồi quy
Mô hình ARMA(1,2) kết hợp giữa AR(1) và MA(2), trong đó dạng (p,q) = (1,1) là phổ biến nhất Giá trị p và q được coi là độ trễ quan trọng cho ACF và PACF Để áp dụng mô hình ARMA, cần thỏa mãn cả hai điều kiện bình quân di động và điều kiện dừng.
Mô hình tự hồi quy tích hợp với trung bình di động (ARIMA) là một công cụ mạnh mẽ trong phân tích chuỗi thời gian, có khả năng xử lý cả chuỗi tĩnh và không tĩnh ARIMA sử dụng các mẫu tự tương quan trong chuỗi thời gian để đưa ra dự đoán chính xác Phương pháp này được phát triển và cải tiến nhờ sự đóng góp của hai nhà thống kê nổi tiếng G.E.P Box và G.M Jenkins, do đó, việc mô hình hóa và dự đoán theo ARIMA còn được gọi là phương pháp luận Box-Jenkins.
Mô hình ARIMA(p,d,q) được sử dụng để phân tích các chuỗi dữ liệu không dừng, đã trải qua quá trình sai phân, với d thể hiện mức độ sai phân cần thiết để đạt được tính dừng cho chuỗi.
Khi chuỗi thời gian dừng được xác định thông qua sự giảm đột ngột hoặc giảm nhanh của hàm tự tương quan ACF, chúng ta có thể xác định mô hình dự kiến bằng cách phân tích xu hướng của hàm tự tương quan ACF và hàm tự tương quan từng phần PACF.
Theo lý thuyết, khi hàm tự tương quan (ACF) giảm đột ngột và hàm tự tương quan từng phần (PACF) giảm mạnh, điều này cho thấy sự tồn tại của mô hình tự tương quan Ngược lại, nếu cả ACF và PACF đều giảm đột ngột, chúng ta có thể xác định mô hình hỗn hợp.
Trong lý thuyết, không có trường hợp nào mà hàm tự tương quan ACF và hàm tự tương quan từng phần PACF cùng giảm đột ngột Tuy nhiên, thực tế cho thấy cả hai hàm này thường giảm nhanh chóng Khi gặp tình huống này, cần phân biệt hàm nào giảm nhanh hơn, trong khi hàm còn lại được coi là giảm đều Đôi khi, có thể xảy ra hiện tượng giảm đột ngột đồng thời ở cả hai hàm Để khắc phục, cần thử nghiệm với các dạng hàm khác nhau cho chuỗi thời gian dừng và kiểm tra độ chính xác của mô hình tốt nhất.
Với z(t) = y(t) – y(t-1) ở sai phân đầu tiên: d = 1
Với h(t) = z(t) – z(t-1) ở sai phân thứ hai: d = 2
Tuy nhiên, trong thực hành d lớn hơn 2 rất ít được sử dụng
Hình 3.2: Sơ đồ mô phỏng mô hình ARIMA
3.2.4 Phương pháp ước lượng tham số
3.2.4.1 Phương pháp ước lượng tham số Moment
Phương pháp ước lượng moment là một trong những phương pháp đơn giản và hiệu quả nhất để xác định các tham số Phương pháp này hoạt động bằng cách so sánh các moment mẫu với các moment lý thuyết tương ứng, từ đó giải các phương trình cân bằng để tìm ra ước tính cho các tham số chưa biết.
Tính các hàm tự tương quan và tự tương quan từng phần để nhận dạng một mô hình dự định
Chọn một mô hình Ước lượng các giá trị cho các tham số mô hình
Kiểm tra độ chính xác của mô hình ước lượng
Sử dụng mô hình để dự báo Không đạt Đạt
31 dụ đơn giản nhất của phương pháp là ước tính trung bình của một quá trình dừng theo trung bình mẫu.[9]
- Áp dụng phương pháp ước lượng tham số Moment vào mô hình tự hồi quy (AR(p) - Autoregressive Models)
Mô hình lai ghép giữa ARIMA và RBFNN cho bài toán dự báo trên chuỗi thời
Theo nghiên cứu của L Zhang và cộng sự, chuỗi thời gian (y t) được phân tích bao gồm hai thành phần chính: cấu trúc tự tương quan tuyến tính (L t) và thành phần phi tuyến (N t) Công thức mô tả mối quan hệ này là: y t = L t + N t.
Tác giả dự đoán chuỗi thời gian bằng mô hình lai ARIMA và RBFNN như sau:
Mô hình ARIMA (Box et al., 1994) được sử dụng để dự đoán giá trị y t, với 𝐿𝐿� t đại diện cho kết quả dự đoán Phần dư e t giữa các chuỗi của mô hình ARIMA được tính bằng e t = y t – 𝐿𝐿� t Giá trị e t này được coi là đầu vào cho mô hình RBFNN (Moody and Darken, 1989), với mô hình RBFNN có thể được biểu diễn như sau: e t = f(e t-1, e t-2, … ,e t-n) + ε t.
Trong đó, f là hàm phi tuyến được xác định bởi mạng nơ ron và εt là lỗi ngẫu nhiên
Kết quả đầu ra của RBFNN được định nghĩa là 𝑁𝑁� t
+ Hai mô hình được kết hợp để dự báo và kết quả dự đoán từ các mô hình lai ARIMA RBFNN được biểu thị như sau:
Kết quả dự đoán từ mô hình lai ARIMA-RBFNN được hình thành nhờ sự kết hợp giữa dự đoán tuyến tính của ARIMA và dự đoán phi tuyến từ mô hình RBFNN, sử dụng phần lỗi của mô hình ARIMA.
Nghiên cứu cải tiến mô hình lai ghép bằng cách thực hiện song song hai mô hình
Trong các mô hình lai ARIMA-RBFNN hiện nay, nhiều tác giả phân tích chuỗi thời gian thành hai thành phần chính: tuyến tính và phi tuyến tính Mô hình ARIMA được sử dụng để dự báo trên chuỗi thời gian, cho ra kết quả bao gồm phần dự báo và phần lỗi (thành phần phi tuyến) Phần lỗi này sau đó được dự báo bằng mô hình RBFNN Cuối cùng, các tác giả kết hợp kết quả từ hai mô hình bằng phương pháp cộng hoặc nhân để đạt được dự báo tổng thể.
Hiện tại, các tác giả đang tiến hành từng mô hình một cách tuần tự và sau đó kết hợp kết quả Để kiểm nghiệm thời gian và độ chính xác của dự báo, chúng tôi áp dụng mô hình lai cải tiến bằng cách thực hiện song song hai mô hình Từ những kết quả thu được, chúng tôi sẽ xem xét và đề xuất một mô hình tối ưu hơn.
Mô hình lai ARIMA - RBFNN được mô phỏng như trong hình 3.3 Giá trị dự báo của mô hình ARIMA được ký hiệu là 𝐿𝐿�t, trong khi giá trị dự báo của mô hình RBFNN được ký hiệu là 𝑁𝑁� Giá trị dự báo cuối cùng của y được tính dựa trên hai mô hình này.
𝑦𝑦� = 𝛼𝛼𝐿𝐿�t+ (1− 𝛼𝛼)𝑁𝑁�t 𝛼𝛼 ∈(0,1) Để xác định tham số trọng số 𝛼𝛼, chúng ta sẽ tìm giá trị của 𝛼𝛼 để hệ số dự báo lỗi MSE là nhỏ nhất
Trong nghiên cứu này, Y i đại diện cho giá trị thực tế tại thời điểm i, trong khi Y NN, i là giá trị dự báo do mạng nơ-ron nhân tạo (ANN) tạo ra, và Y DTW, i là giá trị dự báo từ phương pháp khớp mẫu trong DTW Để tối ưu hóa dự báo, chúng ta sử dụng hàm bậc hai nhằm xác định giá trị 𝛼 sao cho lỗi dự báo (MSE) đạt mức tối thiểu.
Trong bài viết này, chúng tôi đề cập đến việc xác định giá trị của 𝛼 trong khoảng [0, 1], trong đó giá trị âm sẽ được điều chỉnh thành 0 và giá trị lớn hơn 1 sẽ được điều chỉnh thành 1 Chương này giới thiệu các khái niệm và mô hình dự báo chuỗi thời gian, đồng thời tổng quan các nghiên cứu của nhiều tác giả về vấn đề này Mặc dù có nhiều mô hình dự báo khác nhau, nhưng hầu hết tập trung vào dữ liệu chuyên biệt, dẫn đến việc so sánh kết quả giữa các mô hình còn hạn chế Trong chương 4, chúng tôi sẽ tiến hành thực nghiệm mô hình lai ARIMA và RBFNN nhằm nâng cao độ chính xác và thời gian dự báo, đồng thời đưa ra các đề xuất cho mô hình này.
