Giới thiệu chung về bài toán dự báo phụ tải điện
Dự báo phụ tải điện đóng vai trò quan trọng trong việc điều độ hệ thống điện quốc gia, giúp lập kế hoạch vận hành và sản xuất để đáp ứng nhu cầu điện năng và đảm bảo sự ổn định của hệ thống Sự phát triển của cảm biến thời gian thực trong hệ thống SCADA yêu cầu xử lý dữ liệu lớn liên tục nhằm cải thiện hiệu quả vận hành Hệ thống SCADA có khả năng giám sát và thu thập dữ liệu từ xa, cập nhật liên tục theo thời gian thực Do đó, phát triển các thuật toán dự báo online theo thời gian thực là cần thiết và có tính ứng dụng cao trong việc dự báo phụ tải điện.
Giới thiệu online learning và ứng dụng trong dự báo chuỗi thời gian 7
Hiện nay, các phương pháp học máy giám sát và không giám sát thường yêu cầu huấn luyện mô hình với toàn bộ dữ liệu hoặc theo từng batch Tuy nhiên, phương pháp học truyền thống này gặp phải một số nhược điểm, như việc yêu cầu phải biết toàn bộ tập dữ liệu trước và không có khả năng thích ứng với dữ liệu mới trong dạng data stream Điều này dẫn đến việc phải huấn luyện lại toàn bộ dữ liệu mỗi khi có cập nhật, gây tốn kém lớn về chi phí tài nguyên và thời gian huấn luyện.
Học trực tuyến được phát triển nhằm khắc phục những hạn chế của các phương pháp học truyền thống Đây là một phương pháp học máy mà trong đó dữ liệu được cung cấp một cách tuần tự, giúp mô hình cải thiện theo thời gian Các mô hình học trực tuyến có khả năng thích ứng linh hoạt với sự thay đổi của dữ liệu đầu vào, vì vậy chúng rất phù hợp cho các bài toán liên quan đến dữ liệu dạng luồng như dự báo tải và phát hiện bất thường.
Trong những năm gần đây, sự phát triển của dữ liệu lớn đã dẫn đến việc nhiều nghiên cứu về online learning được thực hiện Cuốn sách "Prediction, Learning, and Games" của Cesa-Bianchi và Lugosi cung cấp cái nhìn tổng quan về online learning, đặc biệt là dự báo online với gợi ý chuyên gia Cuốn "Introduction to Online Convex Optimization" của Hazan hệ thống hóa online learning dưới dạng khung tối ưu lồi online, chia nó thành T vòng chơi, trong đó người chơi phải đưa ra quyết định tương ứng với tổn thất chỉ được tiết lộ sau khi quyết định được thực hiện Mục tiêu của online learning là tối thiểu hóa tổn thất tích lũy sau T vòng chơi, thể hiện qua khái niệm regret Năm 2003, Zinkevich đã áp dụng phương pháp gradient descent trong tối ưu lồi online để phát triển thuật toán online gradient descent, cho thấy regret của thuật toán này đạt O(√T).
Năm 2007, Hazan và cộng sự đã đề xuất thuật toán online Newton step dựa trên thuật toán Newton-Raphson truyền thống, với regret O(log(T)), vượt trội hơn so với thuật toán online gradient descent Tuy nhiên, thuật toán này yêu cầu các hàm tổn thất phải thỏa mãn điều kiện exp-concave, chặt hơn so với điều kiện hàm lồi thông thường trong tối ưu lồi online, và cần tính ma trận Hessian thay vì chỉ gradient Trong lĩnh vực dự báo chuỗi thời gian, mô hình ARIMA của Box và Jenkins là một trong những mô hình cổ điển và phổ biến nhất Anava và cộng sự đã lần đầu tiên áp dụng online learning cho dự báo chuỗi thời gian với ARIMA vào năm 2013, sử dụng mô hình ARMA làm cơ sở và kết hợp thuật toán online gradient descent của Zinkevich với thuật toán online Newton step của Hazan để tìm hệ số tối ưu cho mô hình online ARMA.
Năm 2016, Liu và các đồng tác giả đã phát triển mô hình online ARIMA, có khả năng xử lý chuỗi thời gian không dừng Đến năm 2018, Yang và cộng sự đề xuất mô hình online VARMA, được thiết kế cho chuỗi thời gian nhiều biến Tuy nhiên, hiện tại vẫn còn ít nghiên cứu về việc áp dụng học trực tuyến cho chuỗi thời gian có tính mùa, đặc biệt trong dự báo phụ tải điện, nơi tính chu kỳ rõ ràng do ảnh hưởng của nhiệt độ, độ ẩm và thói quen sử dụng điện Luận văn này sẽ trình bày và đề xuất phương pháp dự báo online cho chuỗi thời gian có yếu tố mùa, như chuỗi phụ tải điện.
Mục tiêu nghiên cứu
Mục tiêu của luận văn là nghiên cứu các phương pháp học trực tuyến (online learning) cho dự báo chuỗi thời gian, nhằm ứng dụng vào bài toán dự báo phụ tải điện Đặc biệt, với bài toán dự báo phụ tải điện có tính chất mùa rõ rệt, luận văn đề xuất mô hình ARMA mùa trực tuyến (online seasonal ARMA) để xem xét và áp dụng trong việc dự báo hiệu quả.
Bố cục luận văn
Nội dung chính luận văn bao gồm 4 chương:
Chương 1 của bài viết cung cấp cái nhìn tổng quan về bài toán dự báo phụ tải điện, đồng thời giới thiệu khái niệm về học trực tuyến (online learning) và ứng dụng của nó trong dự báo chuỗi thời gian Cuối cùng, chương này nêu rõ mục tiêu nghiên cứu và cấu trúc của luận văn, nhằm tạo nền tảng cho các phần tiếp theo.
Chương 2 trình bày các khái niệm cơ bản về chuỗi thời gian và mô hình ARIMA, cùng với các thuật toán thiết yếu trong học máy trực tuyến Bài viết cũng giới thiệu mô hình online ARMA và đề xuất một phiên bản kết hợp yếu tố mùa cho mô hình này, nhằm nâng cao hiệu quả dự đoán trong các ứng dụng thực tiễn.
Chương 3 trình bày việc áp dụng thuật toán đề xuất từ chương trước để dự báo dữ liệu phụ tải điện thực tế Kết quả dự báo từ dữ liệu thực tế được trình bày rõ ràng, kèm theo đánh giá và nhận xét về độ chính xác cũng như tính khả thi của phương pháp.
• Chương 4: Tóm tắt, tổng hợp những kết quả đã đạt được và đưa ra những hướng nghiên cứu, phát triển tiếp theo.
Một số khái niệm cơ bản trong chuỗi thời gian
Khái niệm chuỗi thời gian và ồn trắng
Chuỗi thời gian là tập hợp các quan sát liên quan đến một quá trình ngẫu nhiên { X t } với t thuộc tập chỉ số T Trong bài viết này, chúng tôi chỉ tập trung vào các chuỗi thời gian rời rạc, ví dụ như T = Z hoặc T = N Ồn trắng, hay còn gọi là nhiễu trắng, được định nghĩa là chuỗi thời gian không có sự tương quan và có kỳ vọng bằng 0.
0 và phương sai cố định hữu hạn σ 2 Kí hiệu chuỗi ồn trắng là { t } ∼ W N (0, σ 2 ).
Toán tử lùi và toán tử sai phân
Xét chuỗi thời gian { X t } Toán tử lùi B được định nghĩa
Toán tử sai phân được định nghĩa
∇ X t = (1 − B )X t = X t − X t − 1 (2.1.2) Toán tử lùi bậc d và sai phân bậc d được định nghĩa
Toán tử sai phân trễ-s được định nghĩa
Quá trình dừng
Một chuỗi thời gian { X t } được gọi là dừng chặt nếu với mọi t 1 , , t n , phân phối đồng thời của X t 1 +h , , X t n +h không phụ thuộc vào h.
Trong lý thuyết chuỗi thời gian, điều kiện dừng yếu thường được áp dụng do điều kiện dừng chặt khó thỏa mãn Một chuỗi thời gian được xem là dừng yếu khi kỳ vọng của nó không thay đổi theo thời gian và hiệp phương sai Cov(X_t, X_{t+s}) chỉ phụ thuộc vào khoảng chênh s, không phụ thuộc vào thời điểm t.
Mô hình phân tích chuỗi thời gian ARIMA
Quá trình ARMA
{ X t } là một quá trình ARMA(p, q) với bậc tự hồi quy p và bậc trung bình trượt q nếu nó thỏa mãn
X t = φ 1 X t − 1 + + φ p X t − p + θ 1 t − 1 + + θ q t − q + t , (2.2.1) với { t }là chuỗi ồn trắng Quá trình ARMA(p, q)có thể được viết gọn dưới dạng φ(B)X t = θ(B) t , (2.2.2) với φ(B ) = 1 − φ 1 B − φ 2 B 2 − − φ p B p , θ(B ) = 1 + θ 1 B + θ 2 B 2 + + θ q B q
Quá trình ARIMA
{ X t } là một quá trình ARIMA(p, d, q) với bậc tự hồi quy p, bậc trung bình trượt q và bậc sai phând nếu {∇ d X t } là một quá trình ARMA(p, q) φ(B) ∇ d X t = θ(B) t (2.2.4)
Quá trình seasonal ARIMA
{ X t } là một quá trình seasonal ARIMA(p, d, q) × (P, D, Q) s với chu kì s nếu nó thỏa mãn φ(B)Φ(B s ) ∇ d ∇ D s X t = θ(B )Θ(B s ) t , (2.2.5) với φ(B ) = 1 − φ 1 B − φ 2 B 2 − − φ p B p , Φ(B s ) = 1 − Φ 1 B s − Φ 2 B 2s − − Φ P B P s , θ(B ) = 1 + θ 1 B + θ 2 B 2 + + θ q B q , Θ(B s ) = 1 + Θ 1 B s + Θ 2 B 2s + + Θ Q B Qs
Nếu các bậc sai phând = D = 0 thì ta thu được quá trình seasonal ARMA(p, q) × (P, Q) s φ(B)Φ(B s )X t = θ(B)Θ(B s ) t (2.2.7)
Khung bài toán online learning
Thuật toán online gradient descent (OGD)
Thuật toán online gradient descent được đề xuất bởi Zinkevich vào năm 2003
Thuật toán này đại diện cho phiên bản online của thuật toán gradient descent trong tối ưu lồi truyền thống Mã giả cho thuật toán được trình bày trong Thuật toán 1, trong khi hình 2.2 cung cấp minh họa trực quan cho quá trình hoạt động của nó.
Thuật toán 1: Thuật toán online gradient descent (11)
Input: Số vòng lặp T , Tập quyết định K lồi, x 1 ∈ K , dãy độ dài bước {η t } for t = 1 to T do Đưa ra quyết định x t và nhận tổn thất f t (x t )
Cập nhật cho vòng tiếp theo y t+1 = x t − η t ∇ f t (x t )
Chiếu xuống tập quyết định x t+1 = Π K (y t+1 )
Thuật toán gradient descent trực tuyến được minh họa trong Hình 2.2, trong đó giá trị x tại thời điểm t+1 được xác định bằng cách di chuyển giá trị x tại thời điểm t theo hướng ngược lại với đạo hàm ∇ f t và sau đó chiếu lại lên tập quyết định K Định lý 2.3.1 chỉ ra rằng với f t là các hàm lồi khả vi và D là đường kính của tập quyết định K.
G là chặn trên của ||∇ f t || với mọi t, thuật toán online gradient descent với dãy độ dài bước được chọn là {η t = D
Chi tiết chứng minh có thể tham khảo tại (6).
Mô hình online ARMA
Thuật toán ARMA-OGD
Sau đây là một số giả thiết để áp dụng thuật toán:
2 Hàm tổn thấtf t liên tục Lipschitz (theo biến dự báoX ˆ t ) với hằng số Lipschitz
The online gradient descent algorithm is applied to the ARMA time series forecasting problem, demonstrating how to select the coefficient vector γ(t) at each iteration t.
Thuật toán 2: Thuật toán ARMA-OGD (1)
Số vòng lặp T, tập quyết định K, bậc p và q của mô hình ARMA, cùng với dãy độ dài bước {η t} và các giá trị ε, L, M max trong giả thiết, được xác định với m = q ã log 1 − ε (T LM 1 max) Chọn γ (1) ∈ K bất kỳ cho t từ 1 đến T.
Dự báo X ˆ t (γ (t) ) = Pp+m i=1 γ i (t) X t − i theo công thức (2.4.3) Quan sát X t , gánh chịu tổn thất f t (γ (t) ) = ( ˆ X t (γ (t) ) − X t ) 2 Đặt ∇ t = ∇ f t (γ (t) )
Sử dụng thuật toán 2 với các giả thiết đã nêu, có thể chỉ ra rằng regret của thuật toán, khi so sánh với mô hình ARMA cố định tốt nhất, đạt O(GD √).
T ). Định lí 2.4.1 Với D là đường kính tập quyết định K , G là chặn trên của ||∇ f t || với mọit, dãy độ dài bước { η t = D
G √ t }, thuật toán ARMA-OGD sinh ra dãy vector tham số online { γ (t) } thỏa mãn:
Chứng minh định lý trong bài viết này sẽ được trình bày chi tiết hơn, bao gồm các bước cụ thể và các bổ đề phụ cần thiết Việc này nhằm làm rõ hơn các chi tiết đã bị bỏ qua trong chứng minh trước đó Dưới đây là quy trình chứng minh được chia thành các bước rõ ràng để người đọc dễ dàng theo dõi.
Bước đầu tiên là so sánh tổn thất tích lũy của thuật toán với tổn thất tích lũy của mô hình tự hồi quy cố định tốt nhất dựa trên p + m giá trị quá khứ Để thực hiện điều này, chúng ta áp dụng trực tiếp kết quả từ định lý (2.3.1) cho bài toán hiện tại.
Bước 2: Tiến hành so sánh tổn thất tích lũy của thuật toán với tổn thất tích lũy của mô hình tự hồi quy cố định tốt nhất, áp dụng toàn bộ dữ liệu lịch sử.
Dự báo Xq i=1 θ i (X t − i − X t m − − i i (φ, θ)) được thiết lập với điều kiện ban đầu X t m (φ, θ) = X t, m < 0 Tổn thất tương ứng với dự báo này được ký hiệu là f t m (φ, θ) = (X t m (φ, θ) − X t ) 2 Dự báo này sử dụng p + m giá trị trước X t, cho thấy đây là một trường hợp của AR(p + m).
Xq i=1 θ i (X t − i − X t ∞ − i (φ, θ)), (2.4.8) với điều kiện ban đầu X t ∞ (φ, θ) = X t , t ≤ 0 Kí hiệu tổn thất tương ứng với dự báo này làf t ∞ (φ, θ) = (X t ∞ (φ, θ) − X t ) 2 Có thể chỉ ra X t ∞ sử dụng các giá trị lịch sử từ X − p+1 → X t − 1
X t m là một trường hợp của AR(p + m), do đó γ min ∗ ∈K
Kết hợp với kết quả (2.4.6) từ bước 1 ta có
Tiếp theo ta sẽ so sánh tổn thất tích lũy của X t m (φ ∗ , θ ∗ ) với tổn thất tích lũy của X t ∞ (φ ∗ , θ ∗ ) Tại mỗi thời điểm t = 1, , T ta có
≤E(X t − X t ∞ (φ ∗ , θ ∗ )) 2 − (X t − X t m (φ ∗ , θ ∗ )) 2 (Bất đẳng thức Jensen cho lý thuyết xác suất)
Chọn m = q ã log 1 − ε ( T LM 1 max ) ta có
Bước 3: So sánh tổn thất tích lũy của thuật toán với tổn thất tích lũy của mô hình
Để xác định ARMA(p, q) cố định tốt nhất, cần so sánh tổn thất tích lũy của X t ∞ (φ ∗ , θ ∗ ) với tổn thất tích lũy của X ˆ t (φ ∗ , θ ∗ ) Tương tự như các bước trước, ta sẽ xem xét độ chênh lệch tuyệt đối | E [f t ∞ (φ ∗ , θ ∗ )] − E [f t (φ ∗ , θ ∗ )] | tại từng thời điểm t = 1, , T.
≤E(X t − X t ∞ (φ ∗ , θ ∗ )) 2 − (X t − X ˆ t (φ ∗ , θ ∗ )) 2 (Bất đẳng thức Jensen cho lý thuyết xác suất)
Kết hợp với kết quả (2.4.11) từ bước 2 thu được
Dưới đây là một số bổ đề sử dụng trong chứng minh trên:
EX ˆ t (φ ∗ , θ ∗ ) − X t ∞ (φ ∗ , θ ∗ ) ≤ ρ(1 − ε) t q (2.4.13) với mọi t và ρ > 0 nào đó.
Chứng minh Chọn ρ đủ lớn để bất đẳng thức ở trên đúng vớit bằng 1, , q Sử dụng qui nạp, giả sử bất đẳng thức đúng với 1, , q, , t − 1 Khi đó:
Theo giả thiết, ta có E [ | t | ] ≤ M max Hơn nữa, EX ˆ t (φ ∗ , θ ∗ ) − X t ∞ (φ ∗ , θ ∗ ) bị chặn bởi mỗi dãy cấp số nhân giảm dần theo bổ đề (2.4.2) Do đó, ta có thể giả định rằng M max đủ lớn để làm chặn trên.
• Với m ≥ 0: Chứng minh bằng qui nạp Giả sử mệnh đề đúng với mọi giá trị nhỏ hơn m Ta sẽ chứng minh mệnh đề đúng với m.
| β i ∗ | 2M max (1 − ε) m q − i (Giả thiết qui nạp)
Mô hình đề xuất: online ARMA kết hợp yếu tố mùa
Thuật toán đề xuất seasonal ARMA-OGD
Sau đây là một số giả thiết để áp dụng thuật toán:
2 Hàm tổn thấtf t liên tục Lipschitz (theo biến dự báoX ˆ t ) với hằng số Lipschitz
PQ j=0 | β i,j | < 1 − ε với ε > 0 nào đó (Qui ước β 0,0 = 0).
Dưới đây là thuật toán đề xuất online gradient descent cho mô hình seasonal ARMA.
Thuật toán 3: Thuật toán seasonal ARMA-OGD
Input: Số vòng lặp T, tập quyết định K , bậc p, q, P, Q của mô hình seasonal ARMA, chu kì mùa s, dãy độ dài bước {η t }, các giá trị ε, L, M max trong giả thiết
Chọn m, n thỏa món min(m, n) = max(q, Q) ã log 1 − ε ( T LM 1 max ) Chọn γ (1) ∈ K bất kì for t = 1 to T do
PP +n j=0 γ i,j (t) X t − (i+js) Quan sát X t , gánh chịu tổn thất f t (γ (t) ) = ( ˆ X t (γ (t) ) − X t ) 2 Đặt ∇ t = ∇ f t (γ (t) )
Similar to the ARMA-OGD algorithm, the regret of the seasonal ARMA-OGD algorithm, when compared to the best fixed seasonal ARMA model, achieves a performance bound of O(GD √).
T ). Định lí 2.5.1 Với D là đường kính tập quyết định K , G là chặn trên của ||∇ f t || với mọi t, dãy độ dài bước { η t = D
G √ t }, thuật toán seasonal ARMA-OGD sinh ra dãy tham số { γ (t) } thỏa mãn:
E [f t (α ∗ , β ∗ )] = O(GD √ T ) (2.5.12) với (α ∗ , β ∗ ) = argmin α,β PT t=1E [f t (α, β)] Chứng minh Chứng minh được chia thành các bước như sau:
Bước đầu tiên là so sánh tổn thất tích lũy của thuật toán với tổn thất tích lũy của mô hình tự hồi quy seasonal AR(p + m, 0) × (P + n, 0) s cố định tốt nhất Để thực hiện điều này, chúng ta sẽ áp dụng trực tiếp kết quả từ định lý (2.3.1) cho bài toán đã nêu.
Step 2: Compare the cumulative loss of the algorithm with the cumulative loss of the best fixed seasonal AR model using the entire historical data.
Dự báo X t m,n (α, β) được xác định với điều kiện ban đầu là X t nếu m < 0 hoặc n < 0, với qui ước α 0,0 = β 0,0 = 0 Tổn thất tương ứng với dự báo này được ký hiệu là f t m,n (α, β) = (X t m,n (α, β) − X t ) 2 Dự báo X t m,n cũng có thể được xem là một trường hợp của mô hình seasonal AR(p + m, 0) × (P + n, 0) s.
(2.5.15) với điều kiện ban đầu X t ∞ (α, β ) = X t , t ≤ 0 (qui ước α 0,0 = β 0,0 = 0) Kí hiệu tổn thất tương ứng với dự báo này là f t ∞ (α, β) = (X t ∞ (α, β) − X t ) 2
X t m,n là một trường hợp của seasonal AR(p + m, 0) × (P + n, 0) s , do đó γ min ∗ ∈K
Kết hợp với kết quả (2.5.13) từ bước 1 ta có
Tiếp theo ta sẽ so sánh tổn thất tích lũy của X t m,n (α ∗ , β ∗ ) với tổn thất tích lũy của X t ∞ (α ∗ , β ∗ ) Tại mỗi thời điểm t = 1, , T ta có
≤E(X t − X t ∞ (α ∗ , β ∗ )) 2 − (X t − X t m,n (α ∗ , β ∗ )) 2 (Bất đẳng thức Jensen cho lý thuyết xác suất)
≤ L ã 2M max ã (1 − ε) min(m,n) max(q,Q) (Bổ đề 2.5.3).
Chọn m, n sao cho min(m, n) = max(q, Q) ã log 1 − ε ( T LM 1 max ) ta có
T ) (2.5.18) Bước 3: So sánh tổn thất tích lũy của thuật toán với tổn thất tích lũy của mô hình seasonal ARMA(p, q) × (P, Q) s cố định tốt nhất.
Xét | E [f t ∞ (α ∗ , β ∗ )] −E [f t (α ∗ , β ∗ )] | tại mỗi thời điểm t = 1, , T:
≤E(X t − X t ∞ (α ∗ , β ∗ )) 2 − (X t − X ˆ t (α ∗ , β ∗ )) 2 (Bất đẳng thức Jensen cho lý thuyết xác suất)
Kết hợp với kết quả (2.5.18) từ bước 2 thu được
Dưới đây là một số bổ đề sử dụng trong chứng minh trên:
EX ˆ t (α ∗ , β ∗ ) − X t ∞ (α ∗ , β ∗ ) ≤ ρ(1 − ε) q+Qs t (2.5.20) với mọi t và ρ > 0 nào đó.
Chứng minh Chọnρđủ lớn để bất đẳng thức ở trên đúng vớitbằng1, , q +Qs.
Sử dụng qui nạp, giả sử bất đẳng thức đúng với 1, , q + Qs, , t − 1 Khi đó:
| β i,j ∗ | ρ(1 − ε) t − q+Qs (i+js) (Giả thiết qui nạp)
EX t m,n (α ∗ , β ∗ ) − X t ∞ (α ∗ , β ∗ ) ≤ 2M max (1 − ε) min(m,n) max(q,Q) (2.5.21) với mọi t và m, n.
Theo giả thiết, ta có E [ | t | ] ≤ M max Hơn nữa, EX ˆ t (α ∗ , β ∗ ) − X t ∞ (α ∗ , β ∗ ) bị chặn bởi mỗi dãy cấp số nhân giảm dần theo bổ đề (2.5.2) Do đó, ta có thể giả sử M max đủ lớn để làm chặn trên.
EX t m,n (α ∗ , β ∗ ) − X t ∞ (α ∗ , β ∗ ) ≤ 2M max ≤ 2M max (1 − ε) min(m,n) max(q,Q)
• Với m ≥ 0, n ≥ 0: Chứng minh bằng qui nạp, giả sử mệnh đề đúng với mọi (m 0 , n 0 ) thỏa mãn m 0 ≤ m, n 0 ≤ n (ngoại trừ (m 0 , n 0 ) = (m, n)), ta sẽ chứng minh mệnh đề đúng với (m, n).
| β i,j ∗ | 2M max (1 − ε) min(m max(q,Q) − i,n − j) (Giả thiết qui nạp)
=2M max (1 − ε) min(m − q+max(q,Q),n − Q+max(q,Q)) max(q,Q)
(Do m − q + max(q, Q) ≥ m, n − Q + max(q, Q) ≥ n nên min(m − q + max(q, Q), n − Q + max(q, Q)) ≥ min(m, n)).
Chương này áp dụng thuật toán đề xuất seasonal ARMA-OGD để dự báo phụ tải, so sánh với mô hình seasonal ARMA cố định thông qua việc thử nghiệm trên bộ dữ liệu nhân tạo Kết quả cho thấy, khi số vòng lặp đủ lớn, dự báo của thuật toán online gần tương đương với mô hình seasonal ARMA cố định tốt nhất Sau đó, mô hình được áp dụng cho bộ dữ liệu phụ tải điện quốc gia, cho thấy seasonal ARMA-OGD phù hợp hơn so với thuật toán ARMA-OGD của Anava (1) trong các bộ dữ liệu có tính mùa rõ rệt.
Thí nghiệm trên dữ liệu nhân tạo
Chuỗi thời gian được sinh bởi một quá trình seasonal ARMA(1, 1) × (1, 1) 12
X t = 0.3X t − 1 − 0.5X t − 12 + 0.15X t − 13 + 0.6 t − 1 + 0.2 t − 12 + 0.12 t − 13 + t với { t }là chuỗi không tương quan, tuân theo phân phối chuẩn N (0, σ 2 )có phương sai σ 2 = 0.25. Đối với mô hình online, bậc tự hồi quy được chọn là p + m = 2 và P + n = 2.
Dự báo của thuật toán đề xuất seasonal ARMA-OGD được so sánh với dự báo seasonal ARMA cố định tốt nhất:
Hình 3.1 so sánh tổn thất tích lũy dự báo của thuật toán seasonal ARMA-OGD với tổn thất tích lũy của dự báo cố định tốt nhất Hình 3.2 thể hiện regret của thuật toán trong T = 5000 vòng lặp, cho thấy ban đầu regret tăng nhanh do các tham số khởi tạo ngẫu nhiên, nhưng sau đó, khi số vòng lặp tăng lên, regret tăng chậm lại không đáng kể so với T Điều này chứng tỏ mô hình online đề xuất có khả năng cải thiện dần theo thời gian Thời gian chạy của thuật toán online trong 5000 vòng lặp là 0.337 giây.
Hình 3.1: Tổn thất tích lũy của thuật toán đề xuất seasonal ARMA-OGD và mô hình seasonal ARMA cố định tốt nhất trong 5000 vòng lặp.
Hình 3.3 cho thấy tổn thất trung bình (bình phương sai số) của thuật toán dần hội tụ về phương sai σ² của chuỗi nhiễu {t} Điều này chứng tỏ rằng khi số vòng lặp tăng lên, thuật toán seasonal ARMA-OGD có khả năng dự báo tốt tương đương với mô hình cố định tốt nhất.
Thí nghiệm với dữ liệu phụ tải điện thực tế
Mô tả bộ dữ liệu
Dữ liệu trong phần này được lấy từ bộ dữ liệu phụ tải điện quốc gia theo giờ, do trung tâm điều độ hệ thống điện quốc gia của EVN cung cấp (https://www.nldc.evn.vn/) Chuỗi thời gian có độ phân giải 1 giờ, kéo dài từ 0h ngày 1 tháng 7 năm 2021 đến 23h 29 ngày 29 tháng 7 năm 2021 Dữ liệu được trình bày dưới dạng bảng, với cột Timestamp ghi lại ngày tháng và các cột từ H0 đến H23 tương ứng với từng giờ trong ngày, như được thể hiện trong bảng 3.1.
Hình 3.2: Regret của thuật toán đề xuất seasonal ARMA-OGD trong 5000 vòng lặp.
Hình 3.3: Tổn thất trung bình của thuật toán đề xuất seasonal ARMA-OGD trong 5000 vòng lặp.
Ứng dụng mô hình đề xuất để dự báo phụ tải điện
Mô hình seasonal ARMA-OGD được áp dụng để dự báo chuỗi phụ tải thực tế, và kết quả dự báo từ mô hình này sẽ được so sánh với mô hình ARMA-OGD.
Bảng 3.1 trình bày dữ liệu phụ tải điện theo giờ (đơn vị MW) dưới dạng bảng Thuật toán đề xuất cho thấy hiệu quả cao hơn đối với các chuỗi thời gian có tính chất mùa vụ.
Tiền xử lý dữ liệu
Dữ liệu phụ tải điện được chuyển đổi từ dạng bảng sang chuỗi thời gian để phân tích Hình 3.4 minh họa chuỗi phụ tải điện quốc gia từ 0h ngày 1/7/2021 đến 23h ngày 29/7/2021, cho thấy rõ yếu tố chu kỳ theo ngày với s = 24.
Hình 3.4: Chuỗi phụ tải điện quốc gia theo giờ từ 0h 1/7/2021 đến 23h 29/7/2021.
Chuỗi thời gian được biến đổi log và chuẩn hóa trước khi đưa vào mô hình Tuy nhiên, trong quá trình dự báo, chỉ có dữ liệu quá khứ nên không thể sử dụng trung bình mẫu và độ lệch chuẩn mẫu của toàn bộ dữ liệu để chuẩn hóa Vì vậy, việc chuẩn hóa dữ liệu cần thực hiện theo phương pháp "online" Luận văn này áp dụng phương pháp Welford để chuẩn hóa, với khởi tạo trung bình mẫu x0 = 0 và phương sai mẫu σ20 = 0 Tại vòng lặp t, trung bình mẫu và phương sai mẫu được cập nhật theo công thức: xt = xt−1 + (xt − xt−1) / t và σt² = σt²−1 + ((xt − xt−1)(xt − xt) − σt²−1) / t.
Kết quả dự báo online
The seasonal ARMA-OGD model, with selected orders p + m = 2 and P + n = 2, is compared to the ARMA-OGD model with order p + m = 2 The evaluation of the forecasting results is conducted using mean absolute percentage error (MAPE) and root mean square error (RMSE) as the comparison criteria.
Thuật toán được thử nghiệm 30 lần để so sánh hiệu quả, với kết quả được trình bày trong Bảng 3.2, Hình 3.5 và Hình 3.6 Kết quả cho thấy thuật toán seasonal ARMA-OGD vượt trội hơn so với ARMA-OGD về cả chỉ số MAPE và RMSE trên bộ dữ liệu này Thời gian chạy của cả hai thuật toán đều rất nhanh, với seasonal ARMA-OGD trung bình mất 0.036 giây và ARMA-OGD trung bình mất 0.032 giây.
Average MAPE(%) Average RMSE Average running time (seconds)
ARMA-OGD 3.64 1824 0.032 seasonal ARMA-OGD 2.63 1691 0.036
Bảng 3.2: So sánh kết quả dự báo của hai thuật toán sau 30 lần chạy (lấy trung bình).
Mô hình ARMA-OGD và seasonal ARMA-OGD đã được so sánh qua kết quả dự báo trong 7 ngày (từ 0h 23/7/2021 đến 23h 29/7/2021) Dự báo của mô hình ARMA-OGD phụ thuộc nhiều vào giá trị gần nhất, khiến chuỗi dự báo có hình dạng tương tự chuỗi thực tế nhưng lệch sang phải 1 giờ Ngược lại, mô hình seasonal ARMA-OGD khai thác yếu tố chu kỳ và các giá trị t − 24, t − 48, giúp cải thiện độ chính xác của dự báo.
Hình 3.5: Biểu đồ hộp so sánh MAPE của hai thuật toán sau 30 lần chạy
Hình 3.6: Biểu đồ hộp so sánh RMSE của hai thuật toán sau 30 lần chạy
Hình 3.7: Kết quả dự báo 7 ngày gần nhất của mô hình ARMA-OGD
Hình 3.8: Kết quả dự báo 7 ngày gần nhất của mô hình seasonal ARMA-OGD
Luận văn này đã đạt được một số kết quả như sau:
• Giới thiệu và trình bày một số khái niệm cơ bản trong online learning và khung tối ưu lồi online.
• Trình bày mô hình online ARMA và thuật toán ARMA-OGD - một thuật toán áp dụng mô hình ARMA để dự báo online chuỗi thời gian.
Bài viết đề xuất mô hình ARMA theo mùa trực tuyến và thuật toán ARMA-OGD nhằm dự báo chuỗi thời gian có yếu tố mùa Luận văn cũng chứng minh rằng độ thất vọng (regret) của thuật toán đạt được là O(GD √).
Khi số vòng lặp lớn, kết quả dự báo của thuật toán online chỉ kém hơn một chút so với mô hình seasonal ARMA cố định tốt nhất.
Mô hình đề xuất được áp dụng để dự báo dữ liệu phụ tải điện quốc gia, cho thấy kết quả dự báo chính xác và phù hợp với các chuỗi thời gian có yếu tố mùa.
Mô hình đề xuất trong luận văn không chỉ phù hợp cho dự báo phụ tải điện mà còn có khả năng dự báo các chuỗi thời gian có tính mùa Với tốc độ chạy nhanh và thuật toán dễ cài đặt, mô hình online seasonal ARMA có thể kết hợp với các phương pháp online learning như online recurrent neural network và long short-term memory để nâng cao độ chính xác dự báo Mô hình này cũng dễ dàng tích hợp vào hệ thống dự báo phụ tải điện, giúp cải thiện hiệu quả trong việc dự báo theo giờ hoặc theo ngày Trong tương lai, khi các mô hình online learning được phát triển với độ chính xác cao hơn, chúng có thể thay thế hoàn toàn các phương pháp truyền thống trong dự báo phụ tải và chuỗi thời gian.
• Mở rộng từ mô hình online seasonal ARMA thành mô hình online seasonalARIMA để xử lý những chuỗi thời gian không dừng tốt hơn.
• Áp dụng các thuật toán online learning khác (chẳng hạn thuật toán online Newton step (7)) để đạt regret tốt hơn.
• Phát triển mô hình để có thể xử lý chuỗi thời gian đa mùa (ngoài chu kì theo ngày còn có chu kì tuần, tháng, năm, v.v.).
[1] Oren Anava, Elad Hazan, Shie Mannor, and Ohad Shamir Online learning for time series prediction InConference on learning theory, pages 172–184. PMLR, 2013.
Nguyen Nhat Anh, Nguyen Hoang Quoc Anh, Nguyen Xuan Tung, and Nguyen Thi Ngoc Anh conducted a study on feature selection utilizing genetic algorithms and Bayesian hyper-parameter optimization for Long Short-Term Memory (LSTM) models in short-term load forecasting Their findings were published in the journal Intelligent Systems and Networks in Singapore in 2021, spanning pages 69 to 79.
[3] George EP Box and Gwilym M Jenkins Time series analysis: forecasting and control Holden-Day, 1970.
[4] Nicolo Cesa-Bianchi and Gábor Lugosi Prediction, learning, and games. Cambridge university press, 2006.
In their 2021 study published in the Journal of Intelligent & Fuzzy Systems, Nguyen Quang Dat, Nguyen Thi Ngoc Anh, Nguyen Nhat Anh, and Vijender Kumar Solanki introduced a hybrid online model that integrates multi-seasonal decomposition for short-term electricity load forecasting This innovative approach combines ARIMA and online RNN techniques to enhance the accuracy of load predictions, addressing the complexities of fluctuating electricity demands.
[6] Elad Hazan Introduction to online convex optimization Foundations and Trends ® in Optimization, 2(3-4):157–325, 2016.
[7] Elad Hazan, Amit Agarwal, and Satyen Kale Logarithmic regret algorithms for online convex optimization Machine Learning, 69(2-3):169–192, 2007.
[8] Chenghao Liu, Steven CH Hoi, Peilin Zhao, and Jianling Sun Online arima algorithms for time series prediction In Thirtieth AAAI conference on ar- tificial intelligence, 2016.
[9] BP Welford Note on a method for calculating corrected sums of squares and products Technometrics, 4(3):419–420, 1962.
[10] Haimin Yang, Zhisong Pan, Qing Tao, and Junyang Qiu Online learning for vector autoregressive moving-average time series prediction Neurocom- puting, 315:9–17, 2018.
[11] Martin Zinkevich Online convex programming and generalized infinitesi- mal gradient ascent In Proceedings of the 20th international conference on machine learning (icml-03), pages 928–936, 2003.
1 Nguyen Nhat Anh, Nguyen Hoang Quoc Anh, Nguyen Xuan Tung, and Nguyen Thi Ngoc Anh "Feature selection using genetic algorithm and Bayesian hyper-parameter optimization for LSTM in short-term load forecasting", In- telligent Systems and Networks (ICISN 2021) (SCOPUS)
2 Nguyen Quang Dat, Nguyen Thi Ngoc Anh, Nguyen Nhat Anh, and Vijen- der Kumar Solanki "Hybrid online model based multi seasonal decompose for short-term electricity load forecasting using ARIMA and online RNN", Journal of Intelligent & Fuzzy Systems, DOI: 10.3233/JIFS-189884 (ISI)
Hình A.1: Minh chứng bài báo 1.
LSTM in short-term load forecasting
Nguyen Nhat Anh 1[0000 − 0002 − 4970 − 1890] , Nguyen Hoang Quoc
Anh 1[0000 − 0002 − 5697 − 3173] , Nguyen Xuan Tung 2[0000 − 0002 − 4790 − 2242] , and
1 SAMI, Hanoi university of science and technology, Hanoi, Vietnam anh.nguyenthingoc@hust.edu.vn
2 School of electrical engineering, Hanoi university of science and technology
