Suy luắn Bayes
Đắc điem mụ hỡnh Bayes
Theo như nhung nghiên cúu toán hQc đã biet thì đe xác đ%nh mô hình Bayes ta can :
(i) Chi rừ mđt mụ hỡnh lay mau tự du liắu quan sỏt X, cú đieu kiắn trên m®t đai lưong chưa biet θ.
X ∼ f (X |θ ) (X ∈ X , θ ∈ Θ) (1.3) o đú f (X |θ ) là hàm mắt đđ xỏc suat, và
(ii) Chi rừ mđt phõn phoi biờn,đưoc GQI là phõn phoi tiờn nghiắm hay đơn gian là tiờn nghiắm π (θ) cna θ: θ ∼ π (θ) (θ ∈ Θ) (1.4)
Phõn tớch du liắu dna trờn ket qua nhung suy luắn o trờn nham muc đớch rỳt GQn tớnh toỏn tớch phõn đoi vúi phõn phoi hắu nghiắm, hay núi
GQN là hắu nghiắm, o đó π (θ |X ) π ( θ ) L ( θ X )
L (θ |X ) ∝ f (X |θ ) trong đó δ đưoc GQi là thong kê hop lý cna δ vói X đã cho.
Cỏc tiờn nghiắm Jeffreys
Mô hình Bayes là một phương pháp thống kê quan trọng trong việc tổng hợp thông tin từ các nguồn khác nhau dựa trên xác suất chính xác Để áp dụng mô hình này, việc xác định xác suất đối với dữ liệu quan sát X là rất cần thiết Hơn nữa, khi xem xét mô hình lấy mẫu cho dữ liệu quan sát X liên quan đến đại lượng chưa biết θ, suy luận Bayes yêu cầu phải có sự ước lượng rõ ràng cho θ.
Trong trưòng hop thông tin tiên
Nghiệm của biến ngẫu nhiên θ là xác suất, và việc hiểu cách chính xác để tính toán xác suất là điều hiển nhiên Tuy nhiên, trong một số trường hợp, thông tin này có thể không đầy đủ hoặc không dễ xác định.
Phương pháp Jeffreys là một kỹ thuật phổ biến trong việc ước lượng phân phối xác suất, đặc biệt hữu ích cho các bài toán liên quan đến chiều cao Phương pháp này giúp cung cấp các kết quả chính xác và đáng tin cậy trong việc phân tích dữ liệu.
1 π J (θ) ∝ |I (θ)| 2 (θ ∈ Θ) (1.6) Trong đó I (θ) là lưong thông tin Fisher.
Vớ dn 1.2 Gia su rang ta xột mđt mau đưac lay tự phõn phoi N (à, 1)
Thông tin Fisher thu đưac như sau:
1 1 là hàm mắt đđ cua N (à, 1) Đieu này dan đen tien nghiắm Jeffreys cua θ2 là π J (θ) ∝ 1 (−∞ < à < +∞) (1.7)
Ta thu đưac phõn phoi hắu nghiắm tương ỳng cua θ cho bỏi X như sau: π J (à |X ) = N (X, 1) (1.8)
Tích phân Monte Carlo
Bài toán
Cho ν là đ® đo xác suat trên σ - trưòng Borel X vói không gian mau
X ⊆ R d , trong đó R d là không gian Euclide d-chieu M®t khó khăn thưũng gắp trong bài toỏn là ưúc tớnh tớch phõn dang:
Trong đú h(x) là hàm đo đưoc Gia su rang ν cú hàm mắt đđ xỏc suat f (x) thì (1.9) có the đưoc viet thành:
Ví dn 1.3 Đe ưác lưang xác suat Pr (X ∈ S) vái S ∈ X , h (x) hàm chs tiêu là: h (x) = I x∈S vái h (x) = 1, neu x S
Tính toán phân phối của biến ngẫu nhiên Y (y) từ phân phối chung của X và Y (f X,Y (x, y) ) cho phép chúng ta xác định kỳ vọng E[fX fY |X (y|x)] Ở đây, fX (x) là hàm mật độ xác suất của biến X, trong khi fY|X (y|x) là hàm mật độ xác suất có điều kiện của Y khi biết giá trị của X.
Xap xi Monte Carlo
Ta có một mẫu ngẫu nhiên X1, , Xn từ phân phối xác suất f(x) Trung bình mẫu h(X) được tính bằng công thức h = (1/n) Σ h(Xi) Công thức này có thể được sử dụng để ước lượng (1.10) vì h n hội tụ tới (1.10) theo luật số lớn Khi h(X) có phương sai hữu hạn, sai số trung bình ước lượng này có thể được mô tả bằng định lý giới hạn trung tâm, tức là: h n - E[f(h(X))] ~ N(0, Var(h(X))).
Tương tn V ar (h (X)) có the đưoc xap xi bang phương sai mau: n h (X 1 n − 1 i=1
Phương pháp xap xi tích phân qua các mau mô phong đưoc biet đen như là phương pháp Monte Carlo
Monte Carlo thông qua lay mau theo TRQNG so
Trong trưũng hop ta gắp khú khăn khi sinh trnc tiep cỏc mau tự f
(x), ta có the su dung phương pháp lay mau theo TRQNG so, phương pháp này dna trên phép đong nhat sau đây:
Trong thống kê, hàm mật độ xác suất \( f(x) \) là một hàm số dương trên tập hợp \( X \) và \( g(x) > 0 \) với mọi \( x \) mà tại đó \( f(x) > 0 \) Điều này cho thấy rằng các mẫu có các hàm mật độ khác nhau xuất phát từ \( f(x) \) cũng có thể được xấp xỉ.
(1.10) Lý thuyet Monte Carlo áp dung đưoc trong trưòng hop này vì:
E g (X) g Σ˜h (X) Σ trong đó f (x) h (x) = h (x) g (x) g (x) Ưóc lưong cna E f [h (X)] bây giò tro thành: h = 1 Σ f (x 1 ) h (x ) (1.12) trong đú x 1 , , x n là cỏc mau đđc lắp cựng phan phoi sinh ra tự g
(x) So sánh vói (1.11), vói moi i = 1, , m x i có TRQNG so w i = f (x i )
Phương pháp GQI là một phương pháp lấy mẫu theo TRQNG, với vấn đề chính là hàm cHQN g(x) cần thỏa mãn tính đơn giản trong việc sinh ra các mẫu Monte Carlo và chính xác trong ước lượng E[f(h(X))] thông qua việc kiểm soát các sai số Monte Carlo Để đảm bảo tính chính xác, cần có hàm cHQN g(x) nhằm tối thiểu phương sai của h(X) với X ∼ g(x) Người ta đã chứng minh rằng hàm g(x) thỏa mãn điều kiện trên là g*(x) = |h(x)| f(x).
Phương pháp sinh bien ngau nhiên
Phương pháp bien đői
Phương pháp biến đổi DNA dựa trên phép biến đổi CNA các biến ngẫu nhiên, như thuật toán 1.1 và 1.2, là một phương pháp hữu ích Tuy nhiên, ngoài trừ một số trường hợp như phân phối mũ và phân phối Bernoulli, thì thuật toán 1.1 và 1.2 thường không hiệu quả Các phương pháp biến đổi tốt hơn có thể được đạt được bằng cách DNA vào phân phối mục tiêu f(x) Dưới đây là một số ví dụ thường được sử dụng trong thực hành.
Công thúc Phép bien đői Phân phoi
Phương phỏp chap nhắn - bỏc bo
Phương pháp chấp nhắn - bóc bỏ (AR) rất hữu ích trong việc sinh các số ngẫu nhiên khi các phương pháp biến đổi trực tiếp không tồn tại hoặc tính toán không hiệu quả Chúng ta áp dụng phương pháp AR thông qua một đối so sánh hình học.
Xét mau có phân phoi d - chieu vói không gian mau X ⊆ R d Theo đ
%nh nghĩa ve hàm mắt đđ, mien phớa dưúi đưũng cong/mắt phang cna hàm mắt đđ
C f = {(x, u) : 0 ≤ u ≤ f (x)} ⊂ R d+1 (1.13) bang m®t đơn v% the tích.Do đó neu (X,U) là đeu trong mien C f thì
X ∼ f (x) Chú ý rang X ∼ f (x) van đúng khi f (x) trong (1.13) đưoc làm b®i boi m®t hang so dương tùy ý, nghĩa là:
C h = {(x, y) : 0 ≤ u ≤ h (x)} ⊂ R d+1, trong đó h (x) tỉ lệ thuận với f (x), và sự thay đổi tỷ lệ trên U không ảnh hưởng đến phân phối biên của X Điều này có nghĩa là chúng ta có thể sinh ra X bằng các điểm mẫu phân phối đều trên C f hoặc C h Khi gặp khó khăn trong việc lấy mẫu trực tiếp từ C h, chúng ta có thể lấy mẫu một cách gián tiếp qua C h.
(i) Sinh ra nhung điem có tính đeu trên m®t mien mo r®ng và de dàng đe lay mau D ⊇ C h và
Trong miền C h, việc thu thập các điểm thuộc miền mở D có thể được thực hiện thông qua một phương pháp phân phối cụ thể Điều này cho phép chúng ta lấy mẫu một cách đơn giản và hiệu quả, với hàm số f(x) được xác định trên bội mặt của một số hữu hạn M Do đó, C h sẽ chính xác trong miền g(x).
C g = {(x, u) : 0 ≤ u ≤ g (x)} ⊂ R d+1 (1.15) vói h (x) ∝ f (x) Phân phoi g (x) đưoc GQI là phân phoi công cu và f (x) là phân phoi muc tiêu.
Túm lai, thuắt toỏn AR dựng đe sinh cỏc so ngau nhiờn tự f (x) bang cách su dung phân phoi công cu g (x), trong đó : h (x) sup g (x) ≤ M < ∞
Thuắt toỏn 1.3(Chap nhắn -bỏc bo)
Lắp lai 2 bưúc sau cho đen khi mđt giỏ tr% đưoc tra ve trong bưúc 2:
1, Sinh ra X tù g(x) và U tù Unif (0, 1).
, tra lai giỏ tr% X (như là đđ lắch ngau nhiờn tự f (x)) Trong trưòng hop hàm so h(x) khó ưóc lưong, ta su dung hàm so kep s(x)
0 ≤ s (x) ≤ h (x) cú tớnh toỏn đơn gian hơn đe rỳt GQN viắc tớnh toỏn h(x).
Thuắt toỏn 1.4 (Chap nhắn - bỏc bo vúi hàm so kep).
Lắp lai hai bưúc sau đõy cho đen khi mđt giỏ tr% xuat ra trong bưúc 2:
1, Sinh ra X tù g (x) và U tù Unif (0, 1).
S ( X ) Mg(X) h ( X ) Mg(X) tra lai giá tr% X (như là mđt đđ lắch ngau nhiờn tự f (x)).
Do đú trong trưũng hop này U ≤ s(X) , thuắt toỏn khụng ưúc lưong h (x)
Phương pháp ty so đeu
Phương pháp tỷ số đều là một kỹ thuật phổ biến để sinh ra các số ngẫu nhiên từ nhiều phân phối thông dụng như phân phối Gamma, phân phối chuẩn và phân phối Student-t Ý tưởng chính của phương pháp này là tìm ra một cặp phép biến đổi khả vi U = u(Y) và X = x(Z, Y), trong đó U = u(Y) tăng theo Y để tạo ra X.
Mg(X) hoắc thoa mãn (1.14) và do đó vói m®t hang so Jacobi thì (Y, Z) cũng đeu trờn tắp anh tương ỳng cna C h :
R d+1 (1.16) trong đú u −1 (.) là hàm so ngưoc cna u(.) Đieu này dan túi thuắt toỏn bác bo tőng quát như sau:
Lắp lai hai bưúc sau cho đen khi giỏ tr% tra ve trong bưúc
2: 1, Sinh (Y, Z) cú đđ lắch đeu trờn mien D ⊇ C (Y,Z)
2, Neu (Y, Z) ∈ C (Y,Z) , tra ve giỏ tr% X = x(Y, Z) là đđ lắch mong muon.
Thuắt toỏn này cú ti so chap nhắn ∫
J (z, y) = 0 ∂z ∂y u ∂y = (y) ∂z là hắ so Jacobi cna cỏc phộp bien đői.
Xích Markov
Cỏc đ%nh nghĩa và kớ hiắu
Đ%nh nghĩa 1.1 Cho X n là m®t xích bat kha quy vái phân phoi dùng π (.) và kớ hiắu {A n i.o} là mđt dóy xuat hiắn thưàng xuyờn vụ han, nghĩa là i I A i = ∞ vái xác suat 1
(a) Xích là hoi quy neu vái MQI B thoã mãn π (B) > 0,thì
Pr (X n ∈ Bi.o |X 0 = x) > 0 vái MQI x và P r (X n ∈ Bi.o |X 0 = x) = 1 vái hau het π (x)
Xích là hồi quy Harris cho quá trình Markov (X n ∈ B_i.o | X 0 = x) = 1 vái hậu hết π(x) Để xác định các dạng khác của ergodic, ta sử dụng khái niệm tổng biến thiên khoảng cách giữa hai điểm đo trên không gian X và khái niệm điểm hấp dẫn.
Tőng bien thiên khoang cách giua hai đ® đo trên (X, X ) xác đ%nh bang tőng bien thiên chuan cna đ® đo λ trên (X, X ) ǁλǁ = sup λ (A) − inf λ (A) (1.22)
Thũi điem cham cna tắp con B ∈ X là bien ngau nhiờn:
Trong đú cắn dưúi đỳng cna tắp rong tien túi ∞ Đ%nh nghĩa 1.2 Các dang ergodic khác nhau đưac cho như sau:
(a) M®t xích Markov đưac GQI là ergodic neu nó là Harris dương hoi quy và không tuan hoàn.
(b) Cho H B là thài điem cham cua tắp B Mđt xớch ergodic vỏi phõn phoi dùng π (x) đưac GQI là ergodic cap 2 neu:
(c) M®t xích ergodic vái phân phoi dùng π (x) đưac GQI là ergodic hình
HQ c neu ton tai m®t hàm so thnc không âm M thóa mãn E (|M (X)|)
< ∞ và m®t hang so dương r < 1 sao cho: ǁP n (x, ) − πǁ ≤ M (x) r n ∀x
(d) Xích trong (c) đưac GQI là ergodic đeu neu ton tai m®t hang so M và m®t hang so dương r < 1 sao cho ǁP (x, ) − πǁ ≤ Mr
1.4.2 SE h®i tn cua phân phoi
Tổng biến thiên khoảng cách giữa hai điểm đo (X, X) đã được sử dụng để mô tả sự hội tụ của một chuỗi Markov trong định lý sau đây (Định lý 1 của Tierney, 1994) Định lý 1.1 khẳng định rằng giả sử P(x, dy) có π(x) là bậc khả quy và sử dụng.
Khi P(x, dy) là hồi quy dương và π(dx) là phân phối duy nhất của P(x, dy), nếu P(x, dy) không tuần hoàn, thì khoảng cách giữa P(x, ) và π sẽ tiến gần đến 0 Nếu P(x, dy) là hồi quy Harris, nó sẽ hội tụ về MQI x.
1.4.3 Giái han cua giá tr% trung bình Đ%nh lý 1.2 Gia su rang X n là ergodic vái phân phoi cân bang f (x) và gia su h (x) có giá tr% thnc và E f (|h (X)|) < ∞ Khi đó vái bat kỳ phân phoi ban đau, h n → E f (h (X)) h.c.c
Định lý 1.3 khẳng định rằng gia suất ràng X n là ergodic bắc 2 với phân phối đồng đều f(x) và gia suất h(x) có giá trị trung bình và bền vững Điều này dẫn đến sự tồn tại của một số thỏa thuận σ h, sao cho phân phối của √n(h n - E f(h(X))) hội tụ về phân phối n.
Trong bài viết này, chúng ta xem xét một biến ngẫu nhiên X có phân phối chuẩn với trung bình μ = 0 và phương sai σ² Giả thiết rằng hàm h(X) có thể được bó hẹp nếu chuỗi là ergodic Theo định lý 1.4, nếu X_n là chuỗi ergodic với phân phối cân bằng f(x) và hàm h(x) có giá trị hữu hạn cùng với E[h²(X)] < ∞, thì tồn tại một số điều kiện nhất định để áp dụng.
. Σ Σ h thnc σ h sao cho phân phoi cua √ n h n − E f (h
(X)) h®i tn yeu tái phân phoi chuan vái kỳ VQNG 0 và phương sai σ 2 vái MQI phân phoi ban đau.
Giói han cna giá tr% trung bình
Trong thống kê, các phương pháp lấy mẫu trực tiếp để sinh ra các biến ngẫu nhiên nhiều chiều thường không khả thi đối với suy luận Bayes, đặc biệt là trong các mô hình phức tạp Ví dụ, đối với phương pháp chấp nhận - bác bỏ hoặc các biến thể tương tự như tỷ số đều, tỷ số chấp nhận thường có kết quả bằng 0 trong các bài toán có số chiều cao Để khắc phục khó khăn này, chúng ta có thể sử dụng phương pháp lấy mẫu Gibbs hay GQI, một phương pháp đơn giản và hiệu quả.
Mau Gibbs
Gia sư rang ta muốn sinh các số ngẫu nhiên tự hàm mắt đđ mục tiêu và viết x = (x₁, , xₖ)ᵀ, trong đó K ≤ d và dim(x₁) + + dim(xₖ) = d f(x), với x ∈ X ⊆ ℝᵈ Ta tiến hành phân hoá vector d chiều x vào K khối, với dim(xₖ) là số chiều của xₖ.
Ta có thể định nghĩa phân phối có điều kiện f k (x k |x 1 , , x k−1 , x k+1 , , x K ) (k = 1, , K) tương ứng với các phân phối có điều kiện Dưới các điều kiện này, nếu không chặt, các phân phối có điều kiện sẽ xác định phân phối mục tiêu f (x) Theo định lý 2.1 (Hammersley-Clifford), nếu f (x) > 0 với mọi x ∈ X, thì phân phối đồng thời f (x) được xác định duy nhất bởi các phân phối điều kiện (2.1).
Trong bài viết này, chúng ta sẽ khám phá phương pháp lấy mẫu nhanh Gibbs từ một phân phối có điều kiện Đầu tiên, chúng ta xác định giá trị khởi tạo cho mỗi biến f k (x k |x 1, , x k−1, x k+1, , x K) sao cho thỏa mãn điều kiện f x (0) > 0 Sau đó, quá trình lấy mẫu sẽ diễn ra bằng cách sử dụng các phân phối có điều kiện (2.1) để sinh ra các giá trị x 1, , x k−1, x k+1, , x K gần nhất với các giá trị đã cho Phương pháp này cho phép chúng ta thực hiện các bước lặp lại một cách hiệu quả, đảm bảo tính chính xác trong quá trình mô phỏng.
Ví dn 2.1 (Phân phoi chuan cua bien ngau nhiên nhieu chieu)
Xột phõn phoi chuan p chieu, kớ hiắu là N p (à, ), xỏc đ%nh trờn khụng gian mau X p vỏi cỏc tham so à ∈ R p và ma trắn covarian xỏc đ%nh dương p × p: Σ
M + ∈ trong đó [M + p×p là ma trắn xỏc đ%nh dương có p ì p Hàm mắt đđ xỏc suat N p (à, Σ
. Σ Σ p× p Đ%nh nghĩa 2.1 (Mau Gibbs) Lay x (0) = x (0) , , x (0) Σ tù f (0)
Khi đú, phõn phoi cna x (t) = x (t) , , x (t) Σj, kớ hiắu là f (t) (x) se hđi tu k f à, Σ 2
| e − 1 (x−à) J Σ −1 (x−à) (x ∈ R p ) Đe minh hoa cho mau Gibbs, ta dùng phân phoi chuan hai chieu p (x) = N à, Σ Σ ; à = [à 1 , à 2] = [0, 0] ; 1 ρ 12 ρ 21 1
The following MATLAB code snippet demonstrates a simulation involving random sampling It begins by setting a random seed for reproducibility with `rand('seed', 12345)`, and defines the number of samples as 5000 The mean vector is initialized at `[0, 0]`, and two correlation coefficients, `rho(1)` and `rho(2)`, are both set to 0.8 The standard deviation is defined as `propSigma = 1`, while the minimum and maximum bounds for sampling are specified as `[-3, -3]` and `[3, 3]`, respectively An array `x` is created to store the samples, initializing the first sample with uniform random values within the defined bounds The code then enters a loop that continues until the total number of samples is reached, incrementing the sample count with each iteration.
T = [t-1,t]; for iD = 1:2 nIx = dims =iD; muCond = mu(iD) + rho(iD)*(x(T(iD),nIx)-mu(nIx)); varCond = sqrt(1 − rho(iD) 2 ); x(t,iD) = normrnd(muCond,varCond); Σ Σ Σ Σ Σ 1 2 2
Hình 2.1: Mau Gibbs đoi vói phân phoi chuan hai chieu
2.2 Thuắt toỏn ma rđng dE liắu
Mẫu Gibbs hai bước là một phương pháp hiệu quả trong việc thu thập và phân tích dữ liệu, đặc biệt trong các dự án nghiên cứu Để áp dụng mẫu này, cần chú ý đến ba điểm quan trọng Thứ nhất, xác định rõ mục tiêu nghiên cứu Thứ hai, thu thập dữ liệu một cách có hệ thống Cuối cùng, phân tích và diễn giải kết quả để đưa ra những kết luận chính xác.
Thẫ nhat nú cú ỳng dung trong phõn tớch Bayes ve cỏc du liắu khụng đay đn.
Thể hai DA là trường hợp đơn giản nhất trong lý thuyết cân bằng Gibbs, và nó đã được nghiên cứu rộng rãi để hiểu rõ các tính chất lý thuyết của cân bằng này.
Thẫ ba là một ý tưởng quan trọng trong việc phát huy hiệu quả của các thuật toán, đặc biệt là trong các mẫu Gibbs Việc áp dụng các thuật toán như Metropolis - Hastings có thể mở rộng khả năng tổng quát của các phương pháp này, giúp cải thiện độ chính xác và hiệu suất trong các ứng dụng thực tế.
Trong bài viết này, chúng ta sẽ thảo luận về việc áp dụng phân tích Bayes cho trường hợp dữ liệu không đầy đủ Cụ thể, chúng ta sẽ xem xét dữ liệu quan sát được (X obs) và dữ liệu thiếu (X mis) để hiểu rõ hơn về phương pháp này Phân tích Bayes cho phép chúng ta rút ra kết luận từ dữ liệu quan sát, ngay cả khi một phần dữ liệu không có sẵn.
X mis ) là du liắu thieu,X com = (X obs , X mis ) là du liắu đay đn Gia su rang mau du liắu đay đn cú mắt đđ g (X obs , X mis |θ ) vúi tham so θ ∈ Θ ⊆
R d vúi d là một phương pháp thống kê dựa trên suy luận Bayes, nhằm thiết lập phân phối tiên nghiệm p(θ) cho tham số θ Để thực hiện điều này, ta sử dụng hàm mật độ dữ liệu quan sát f(X obs | θ) và hàm mật độ chung g(X obs, X mis | θ) Suy luận Bayes về θ được thực hiện thông qua phương pháp MCMC, cho phép lấy mẫu từ phân phối hậu nghiệm p(θ | X obs) ∝ f(X obs | θ)p(θ) Thêm vào đó, ta cũng có thể xem xét phân phối đồng thời p(θ, X mis | X obs) ∝ g(X obs, X mis | θ)p(θ) Trong đó, h(X mis | θ, X obs) là phân phối có điều kiện của X mis dựa trên θ và X obs Giả sử rằng h(X mis | θ, X obs) và p(θ | X obs, X mis) đều dễ dàng sinh ra từ các mẫu, quy trình mẫu Gibbs hai bước trên hai điều kiện này được gọi là thuật toán DA và có thể được tóm tắt như sau.
Thuắt toỏn DA: mau Gibbs hai bưỏc
Lay θ (0) ∈ Θ và lắp lai vúi t = 1, 2,
Giống như mẫu Gibbs hai bước, dữ liệu (DA) nên được sắp xếp xen kẽ giữa các chuỗi Markov Thời gian θ(t) với t = 1, 2 Σ và X(t) với t = 1, 2 cho thấy rằng dữ liệu cung cấp cho các trường hợp toán học đơn giản nhất có thể được mô hình hóa bằng mẫu.
Gibbs Vớ du giai thớch rang DA là huu ớch cho cỏc bài toỏn thieu du liắu
Vớ dn 2.2 (Phõn phoi chuan nhieu chieu vỏi du liắu khụng đay đu)
Gia sư ta cú mđt tắp du liắu khụng đay đu là mđt mau có n, Y 1 , , Y n tự phõn phoi chuan p- chieu N p Ma trắn covarian à ∈ R p và xỏc đ%nh dương có p ì p Mői thành phan Y i hoắc là quan sỏt đay đu hoắc.
Đắt Y (i) là thành phần quan trọng trong việc quan sát khuyết, trong đó Σ mi s là thành phần quan sát và mi s ob là phần khuyết của Y i Khi đó, phân phối có điều kiện của Y (i) liên quan đến Y (i) và Σ.
+ mis,ob s obs,ob s Y i,mis − à mis ,
− mi Σ s,obs ob Σ s,o bs obs Σ ,mis
Gia su rang đoi vỏi phõn tớch Bayes ta su dnng phõn phoi tiờn nghiắm: p
∝ Σ −(q+1)/2 trong đú q là so nguyờn dương đó biet Vỏi q = p tiờn nghiắm này trỏ thành Đắt Y¯
Phõn phoi hắu nghiắm du liắu đay đuΣ
Do đú, thuắt toỏn DA cú bưỏc I và bưỏc P như sau:
Bưác I Vái i = 1, , n, sinh Y i,mis tù (2.6)
Bưỏc P Đau tiờn ta sinh à tự (2.7) vỏi Y 1 , , Y n đó biet, sau đú sinh à tự
. tiờn nghiắm Jeffreys đoi vỏi Σ
Phương pháp lấy mẫu Gibbs không thể áp dụng cho các bài toán liên quan đến mô hình Bayes trong không gian nhiều tham số với chiều khác nhau, mặc dù suy luận Bayes rất mạnh mẽ đối với nhiều mô hình thống kê Hơn nữa, các phương pháp lấy mẫu Gibbs không thích hợp để lấy mẫu từ các phân phối có điều kiện không chuẩn Đối với những bài toán này, ta sử dụng thuật toán Metropolis – Hastings (MH), được coi là sự mở rộng cần thiết cho thuật toán lấy mẫu Gibbs.
Trong không gian mau X với σ trường B X, chúng ta xem xét phân phối mục tiêu π (dx) cùng với hàm mật độ xác suất f (x) Ý tưởng cơ bản để tạo ra một chuỗi Markov với nhân dịch chuyển P (x, dy) là tồn tại phân phối π (dx) sao cho điều kiện sau được thỏa mãn: π (dy) = ∫ X π (dy) P (x, dy).
Tính bat đ%nh cna phép nhân d%ch chuyen P (x, dy) trong (3.1)khụng nhieu tỏc dung trong viắc xõy dnng P (x, dy) vúi π
Phương pháp thông thường được sử dụng để sinh các nhân dịch chuyên trong thương mại quốc tế là áp dụng một điều kiện được gọi là GQI, điều kiện này là khả năng khai thác.
Thuắt toỏn Metropolis – Hastings
Khỏi niắm
Trong không gian mau X với σ trường B, chúng ta xem xét phân phối mục tiêu π(dx) kết hợp với hàm mật độ xác suất f(x) Ý tưởng cơ bản là tạo ra một chuỗi Markov với nhân dịch chuyển P(x, dy) sao cho tồn tại phân phối sử dụng π(dx) thỏa mãn điều kiện: π(dy) = ∫ X π(dy) P(x, dy).
Tính bat đ%nh cna phép nhân d%ch chuyen P (x, dy) trong (3.1)khụng nhieu tỏc dung trong viắc xõy dnng P (x, dy) vúi π
Phương pháp thông thường để sinh các nhân dịch chuyển trong thương mại quốc tế là áp dụng điều kiện GQI, điều này cho thấy sự cần thiết của việc đáp ứng các tiêu chí khả nghịch.
Mô hình Markov với xác suất chuyển P(x, dy) và phân phối dựng π(dx) được gọi là khả nghịch nếu nó thỏa mãn các điều kiện cần thiết.
Hàm f(x) và p(x, y) có thể được viết lại theo điều kiện tương đương như sau: f(x) p(x, y) = f(y) p(y, x) Khi x = X(t) là biểu diễn của quá trình Markov tại thời điểm t, chúng ta sẽ áp dụng điều kiện này để xây dựng một quy trình chuyển động thỏa mãn Metropolis (1953) đã xem xét một phép tính gần đúng hai bước.
1, Chi rừ mđt phõn phoi cú đieu kiắn đoi xỳng vúi hàm mắt đđ xỏc suat q (y|x) , nghĩa là q (y|x) = q (x|y)
2, Thụng qua phương phỏp chap nhắn – bỏc bo sinh y tự q (y|x) sao cho ket qua cna xích Markov là kha ngh%ch.
Chớnh xỏc hơn, thuắt toỏn lay mau Metropolis (hay mau Metropolis) cú the tóm tat như sau: Đ%nh nghĩa 3.1 Mau Metropolis
2, Tớnh toỏn ty so chap nhắn α (x , y) = min 1, f (y ) Σ Đắt t x t+1 y f (x t ) vái xác suat α (x t , y) và x t+1 = x t vái xác suat 1 − α (x t , y)
Hasting(1970) đó tőng quỏt thuắt toỏn Metropolis bang cỏch chap nhắn cỏc phõn phoi đe ngh% là khụng đoi xỳng và đưa ra thuắt toỏn
- Hasting. Đ%nh nghĩa 3.2 Metropolis – Hastings (MH)
2, Tớnh toỏn ty so chap nhắn α (x , y) = min 1, f (y) q (x t | y) Σ Đắt f (x t ) q (y| x t ) x t+1 = y vái xác suat α (x t , y) và x t+1 = x t vái xác suat 1 − α (x t , y)
Hiếu qua cân nhắc toán MH phụ thuộc vào phân phối đề nghị của nó, vì vậy việc lựa chọn phân phối đề nghị thích hợp là rất quan trọng Dưới đây là một số phân phối đề nghị được lựa chọn phổ biến nhất: phân phối đề nghị được lắp và phân phối đề nghị bước ngẫu nhiên.
Mau đđc lắp
Với mô hình Markov, ta có thể thiết lập mối quan hệ giữa biến ngẫu nhiên y và biến ngẫu nhiên x, trong đó xác suất có điều kiện được biểu thị là q(y|x) = q(y) Điều này có nghĩa là xác suất của biến y được sinh ra có thể được lắp ghép từ xác suất của biến x Khi đó, tỷ lệ MH chuyển thành tỷ lệ trọng số r(x, y) = f(y) q.
Hàm số f(x) và q(x) được xem xét như hai miền khác nhau trong toán học, với q(x) là miền lớn hơn f(x) Để xác định rằng miền f(x) là một phần của miền q(x), cần có điều kiện {x : x ∈ X, f(x) > 0} ⊆ {x : x ∈ X, g(x) > 0} Vấn đề quan trọng là phải rõ ràng rằng mặc dù f(x) và q(x) tương đồng, nhưng q(x) bao trùm f(x) Điều này được chứng minh thông qua định lý Mengerson.
Tweedie(1996) hoắc Robert và Cas- sella(2004). Đ%nh lý 3.1 Xớch đđc lắp là ergodic đeu neu ton tai mđt hang so M sao cho t f (x) ≤ Mg (x) (x ∈ {x : f (x) > 0})
Xích bưóc ngau nhiên
Xích bưóc ngau nhiên đưoc tao nên bang cách lay phân phoi có đieu kiắn cú dang: q (x, y) = q (y − x)
Bước nhảy đề xuất có hướng và khoảng cách xuất phát từ trục tọa độ gốc là đặc điểm của phân phối hình cầu đơn giản Ví dụ như phân phối chuẩn tắc, phân phối Student, và phân phối đều với hình cầu có tâm tại O Phân phối ellip thường là những loại phổ biến nhất trong các ứng dụng thực tiễn.
Van đề quan trọng có thể chỉ ra tham số tỷ lệ cho phân phối có điều kiện Tuy nhiên, các tham số tỷ lệ luôn dẫn đến những bước lún đọng mơ ước nhưng có thể kết quả có tỷ lệ chấp nhận thấp Do đó, thông thường ta chọn tỷ lệ thích hợp vào khoảng tự 20% đến 40%.
Thuắt toỏn Metropolis- Hasting cho cỏc phõn phoi nhieu chieu
Cỏc dang khỏc nhau cna thuắt toỏn Metropolis - Hastings 36
Thuắt toỏn cham và chay
Thuắt toỏn nhan và chay cú the thu đưoc bang cỏch tỏch quy trỡnh tao ra m®t bưóc nhay đe xuat trong MH thành 2 quy trình con.
(i) Sinh ra mđt phương d tự phõn phoi trờn be mắt hỡnh cau đơn v% O
(ii) Sinh ra m®t khoang cách λ theo hưóng d trong không gian:
X x,d = {λ : λ ∈ R, x + λd ∈ X} nghĩa là bước nhảy đề xuất là y = X(t) + λd ∈ X Thuật toán này có thể được tóm tắt như sau: Lấy X0 tự phân phối ban đầu f0(X) với f0(X) > 0 và lặp lại với t = 1, 2, Định nghĩa 3.3 Thuật toán nhận và chạy.
1, Sinh ra d ∼ g (d) (d ∈ O) và λ ∼ l (λ |d, x) trờn X x,d và tớnh toỏn mđt xỏc suat chap nhắn MH α (x, y) trong đú x = x (t)
2, Sinh ra U tự Unif (0, 1) và đắt:
Chen và cộng sự (2000) nhấn mạnh rằng phân phối đều trên O là một trong những điều kiện quan trọng nhất cho các bài toán trong không gian tham số Thuật toán nhanh và chạy ứng dụng hiệu quả trong các bài toán này là rất cần thiết.
Thuắt toỏn Langevin
Thuật toán Langevin rất hữu ích trong các bài toán mà gradient của hàm f(x) sẵn có Thuật toán này bắt nguồn từ quá trình khuếch tán và được xác định bởi phương trình vi phân ngẫu nhiên.
Trong bài viết này, chúng ta xem xét công thức 2∇ log f (X t ) (3.4), trong đó B t đại diện cho chuyển động Brown và f là phân phối được sử dụng Khi thực hiện tính toán khuyếch tán, chúng ta thay thế bước ngẫu nhiên trong (3.4) bằng một phương pháp dịch chuyển kiểu bước ngẫu nhiên, cụ thể là x (t+1) = x (t).
Trong nghiên cứu về quá trình ròi rạc, các nhà khoa học chỉ ra rằng mô hình ròi rạc f có thể rất ngắn và không phải lúc nào cũng tuân theo phân phối chuẩn Để khắc phục những nhược điểm này, chúng ta có thể áp dụng quy tắc chấp nhận - bác bỏ Metropolis-Hastings, biến (3.5) thành một đề nghị thông thường để cải thiện tính chính xác của quá trình ròi rạc.
≤ dung nú theo quy tac MH Túm lai, mđt bưúc lắp cna thuắt toỏnLangevin có the mô ta như sau: Đ%nh nghĩa 3.4 Thuắt toỏn Langevin
1 Chs ra m®t phương trình mái: x ∗ = x
. x (t) Σ + σε t trong đó σ là tham so ngưài dùng quy đ%nh.
2 Tính toán ty so MH: f (x∗) exp − x(t) − x∗ − σ 2 ∇ log f (x∗) 2 /2σ2Σ r 2
Σ 2 Σ Đắt x (t+1) = x ∗ vỏi xỏc suat min (1, r) và x (t+1) = x (t) vỏi xỏc suatcòn lai.
Roberts và Tweedie(1996) đó chỳng minh rang thuắt toỏn Langevin không phai là ergodic hình HQc khi ∇ log f (x) tien tói 0 tai vô cnc, nhưng van là ergodic.
Thuắt toỏn đa phộp thu MH
Thuật toán Langevin sử dụng thông tin gradient để tối ưu hóa phân phối mục tiêu, nhằm tăng tốc độ hội tụ của các mô hình Markov (MH) Tuy nhiên, thông tin gradient không luôn phù hợp với nhiều phân phối mục tiêu khác nhau Một phương pháp tiếp cận để cải thiện việc sử dụng gradient là áp dụng các mẫu Monte Carlo (MC) Thuật toán đa hình Metropolis (MTM) được sử dụng để biến đổi thuật toán MH bằng cách thay thế phân phối đề nghị đơn giản bằng một tập hợp phân phối đề nghị phức tạp hơn.
% đđc lắp cựng phõn phoi: y 1 , , y k tù q (y |x) và lna cHQN m®t phan tu tot (trong quá khi mau theoTRQNG so) đe chuyen đen theo quy tac MH.
Gia su rang q (y |x) > 0 neu và chi neu q (x |y ) > 0 GQI λ
(x, y) là phương trình đoi xúng không âm vói x và y Gia su rang λ
Ta đắt Đắt x X (t) ω (x, y) = f (x) q (y |x) λ (x, y) (3.6) Đ%nh nghĩa 3.5 Phép bien đői MTM
1 Sinh ra y 1 , , y k đđc lắp cựng phõn phoi tự q (y |x) và ω i = ω (y i , x)vái i = 1, 2, , k
2 C1, 2, , k Sinh ra HQN y = y j tự {y 1 , yx ∗ 1 2 , , x, , y k ∗ } k−1 theo xỏc suat ty lắ vỏi tự q ( |y ) Đắt x ∗ k ω= x i , i =và tính toán ω i ∗ = ω (x ∗ i , y) vái i = 1, 2, , k
3 Chap nhắn y vỏi xỏc suat: a = min 1, ω 1 + + ω k
1 k và bỏc bú nú (hoắc đắt X (t+1) = x) vỏi xỏc suat 1 − a m
Các nhà nghiên cúu đã đưa ra m®t so lna cHQN đơn gian cho λ (x, y) bao gom λ (x, y) = 1, λ (x, y) = [q (y |x) + q (x |y )] −1 và λ (x, y) = [q (y |x) q (x |y )] −α vói α là hang so Khi q (x |y ) là đoi xúng.
Ví dụ cHQN λ (x, y) 1 q(y|x) và ω (x, y) = f (x) cho thấy rằng trong trường hợp này, thuật toán MTM giúp giảm thiểu khuynh hướng sử dụng thuật toán MC trong lĩnh vực mô phỏng phân tán MTM có thể được kết hợp với các phương pháp khác, chẳng hạn như liên hợp gradient MC, thuật toán nhảy và chạy, cũng như mẫu griddy Gibbs (Ritter và Tanner, 1992) Bổ sung một tập k.
Bước 2 trong thuật toán MTM là một kỹ thuật quan trọng giúp quy tắc MH được áp dụng dễ dàng hơn Nó đóng vai trò là công cụ quan trọng trong phương pháp bước nhảy ngược MCMC.
3.4 Thuắt toỏn bưỏc nhay ngưac MCMC cho bài toán lEa c HQN mô hình Bayes
3.4.1 Thuắt toỏn bưỏc nhay ngưac MCMC
Xột cỏc bài toỏn liên quan đến lna cHQN mụ hỡnh Bayes, trong đó {M k : k ∈ K} là một tập hợp chứa các mụ hỡnh phù hợp với các quan sát Y Mỗi mụ hình M k có không gian tham số Θ k ⊆ R d k.
Trong bài viết này, chúng ta khám phá các mô hình khác nhau trong thống kê, đặc biệt là mô hình Bayes Mô hình này có thể được biểu diễn bằng công thức: p(k) p(θk | k) p(Y | k, θk) Trong đó, p là phân phối tiên nghiệm liên quan đến mô hình Mk, p(θk | k) là phân phối tiên nghiệm xác định cho tham số θk, và P(Y | k, θk) là mô hình lấy mẫu cho các dữ liệu quan sát Y với các điều kiện nhất định.
Trong bài viết này, chúng tôi trình bày về việc sử dụng xích Markov {X t } để "nhảy" giữa các mô hình với các tham số thay đổi trong không gian X U k∈K X k Do sự khác biệt về chiều của không gian con X k, thuật toán lấy mẫu Gibbs không thể áp dụng Green (1995) đã đề xuất một phương pháp lấy mẫu sử dụng bước nhảy ngược MCMC (RJM-CMC) để tạo ra một xích Markov "nhảy" giữa các mô hình có chiều khác nhau RJMCMC đã trở thành công cụ phổ biến trong các bài toán có không gian nhiều tham số với chiều khác nhau Mục tiêu chính của RJMCMC là tạo ra sự phù hợp giữa chiều không gian và kết quả của xích khả nghịch f (k, θ k |Y ) ∝ p (k) p (θ k |k ) p (Y |k, θ k ) như là phân phối sử dụng RJMCMC sử dụng một biến phụ trợ để giải quyết bài toán "so chiều hợp lý" k k thái đề xuất cho X (t+1).
Neu k ∗ = k, việc phân phối đề nghị di chuyển các vị trí khác nhau trong cùng một không gian con X cho thấy bài toán về "số chiều hợp lý" là không tồn tại.
Neu k ∗ ƒ= k, sinh ra s bien ngau nhiên u = (u 1 , , u s ) tù phân phoi ψk (t) →k ∗ (u) và nghiên cúu song ánh(θk∗ ∗ , u∗) = T θ(3.10) , u Σ
(t) trong đó u ∗ = (u 1 , , u s ∗ ) là vector ngau nhiên s ∗ chieu ,và s và s ∗ thoa
. Σ k Đắt x t = k (t) , θ (t) là trang thỏi hiắn tai Gia su x ∗ = (k ∗ , θ ∗ ) là món đieu kiắn: s + d k = s ∗ + d k ∗
Trong tương lai, thuật toán RJMCMC sẽ trở thành một phương pháp đặc biệt cho việc phân phối điều kiện, bao gồm các biến phụ trợ phù hợp với chiều khi cần thiết Theo các khái niệm đã nêu, thuật toán RJMCMC có thể được chia thành từng bước, bao gồm định nghĩa và bước nhảy ngược MCMC.
1 C HQN mau M k ∗ vái xác suat q k (t) , k ∗
∂ ( θ (t) ,u ) là Jacobi cua phép bien đői (3.10)
5 Đắt vỏi xỏc suat cũn laiX (t+1) = (k ∗ , θ k ∗ ∗ ) vỏi xỏc suat min (1, r) và X (t+1) = X t
Trong nhiều bài toán hằng số Jacobi, có thể giảm túi 1 bằng cách sử dụng phép đổi đong nhất trong (3.15) Điều này có nghĩa là để đề xuất các mẫu mới trong không gian X k ∗, ta sẽ xem xét ví dụ sau đây.
Chuỗi quan sát (z1, , zn) được sử dụng để phân tích các mô hình hỗn hợp thông qua phương pháp Bayes Trong đó, hàm xác suất được biểu diễn như sau: f(Z | m, pm, Φm, η) = [p1 f(zi, φ1, η) + + pm f(zi, φm, η)], với m là số lượng các thành phần chưa biết, và pm = (p1, , pm); Φm = (φ1, , φm) là các tham số liên quan Tham số η là vector chung cho tất cả các thành phần trong mô hình.
Ta xột phõn phoi tiờn nghiắm: π (k, p k , Φ k , η |Z ) vỏi k thoa món
Khi đú,phõn phoi hắu nghiắm cua (k, p k , Φ k , η |Z ) là: π(k, p k , Φ k , η |Z ) ∝ f (Z |k, p k , Φ k , η ) π(k, p k , Φ k , η)
(3.12) Đe mụ ta (3.12) RJMCMC bao gom 3 dang d%ch chuyen "sinh", "tu","cắp nhắt tham so".
1, Trong d%ch chuyen "sinh", m®t thành phan mái đưac sinh ra và (p k , Φ k ) trá thành:
2, Trong d%ch chuyen "tu", m®t thành phan đưac lna CHQN ngau nhiên i đưac loai bó và khi đó (p k , Φ k ) trá thành: p 1
3, Trong d%ch chuyen "cắp nhắt tham so", cỏc tham so (p k , Φ k , η) đưac cắp nhắt thụng qua viắc su dnng thuắt toỏn MH
Tóm lai, RJMCMC hoat đ®ng như ví dn sau đây:
Cho (k, p k , Φ k , η) là trang thỏi hiắn tai cua xớch Markov C HQN mđt giỏ tr% k ∗ theo ma trắn ngau nhiờn Q, trong đú, vớ dn ta đắt:
Q K min ,K min +1 = Q K max ,K max −1 3; Q K min ,K min = Q K max ,K max Tựy theo giỏ tr% cua k ∗ thnc hiắn cỏc bưỏc (a),(b) hoắc (c) 3
(a) Neu k ∗ = k + 1, thnc hiắn d%ch chuyen "sinh" Lay p ∼ Unif
[0, 1] và p tự phõn phoi đieu kiắn g (φ |p k , Φ k , η ) và chap nhắn mien mái vái xác suat: Σ Σ
(b) Neu k ∗ = k − 1, thnc hiắn d%ch chuyen "tu": CHQN ngau nhiờn mđt thành phan , GQI là thành phan i, khu và chap nhắn mien mỏi vái xác suat min
(c) Neu k ∗ = k, thnc hiắn d%ch chuyen "cắp nhắt tham so", cắp nhắt tham so (p k , Φ k , η) bang cỏch su dnng thuắt toỏn MH.
Sinh ra (p ∗ k , Φ ∗ k , η ∗ ) tự phõn phoi đieu kiắnq (p ∗ k , Φ ∗ , η ∗ |p k , Φ, η ) và chap nhắn đieu kiắn vỏi xỏc suat: min
Trong các bước (a) và (b), so hạng Jacobi bằng 1 và được sử dụng như một biến đổi động nhất trong quá trình chuyển "sinh" và "tử" Bước (c) có thể được chia thành một số bước nhỏ, kết hợp các tham số p_k, Φ_k, η một cách riêng biệt.
3.4.2 Xác đ%nh điem thay đoi đői Đắt Z = (z 1 , , z n ) là dóy quan sỏt đđc lắp Đắt ϑ = (ϑ 1 , , ϑ n−1) là Xét úng dung sau đây cna RJMCMC cho bài toán xác đ
%nh điem thay chi so cna điem thay đői, m®t vector nh% phân vói ϑ c 1
0 neu ngưoc lai Nghĩa là,
Trong bài viết này, chúng ta xem xét một bài toán xác định các vị trí của các điểm thay đổi c_1, , c_k trong một phân phối Gaussian với các tham số chưa biết là à_r và σ^2 Các điểm c được sắp xếp theo thứ tự c_0 = c < c_1 < < c_k < c_{k+1} = n, trong đó z_i ∼ p_r(.), và c_{r-1} < i ≤ c_r với r = 1, 2, , k + 1 Mục tiêu của chúng ta là xác định các vị trí c_n mà tại đó xảy ra sự thay đổi Chúng ta cũng xem xét không gian các mô hình với k điểm thay đổi, ký hiệu là X_k.
Gia su rang vector ϑ (k) cú phõn phoi tiờn nghiắm:
Tương đương vúi viắc gia su rang j=0 X k cú mđt phõn phoi Poisson rỳt GQN vói tham so λ và vói moi mau (n−1)!
[k!(n−1−k)!] trong X k là mđt tiờn nghiắm phự hop đong bắc.
Gia su rang phương sai σ 2 phu thu®c vào phân phoi Gamma ngưoc
IG (α, β) Gia su rang MQI tiờn nghiắm là đđc lắp và khi đú mắt đđ loga có the viet log P
(3.14) trong đó a k = (k + 1) [α log β − log Γ (α)] + log (n − 1 − k)!
Các tham số k, λ, α, β được xác định bởi nguồn dựng Loga hàm nghiêm cna η (k) có thể thu được thông qua các phương trình (3.8) và (3.9) Khi tích hợp các tham số từ 1 σ² đến k+1 σ², ta có được phân phối hàm nghiêm đầy đủ.
Chúng ta có thể sử dụng ước lượng MPA (công nghệ đai mật hậu nghiệm) để giải quyết vấn đề này Ngoài ra, ước lượng phân phối hậu nghiệm P(X|Z) cũng có thể được áp dụng thông qua thuật toán bước nhảy ngược MCMC Mặc dù không mất tính tổng quát, chúng ta sẽ xem xét các mô hình thỏa mãn yêu cầu.
Bài toán xác định điểm thay thế liên quan đến việc chuyển động nhảy chiều được mô tả như sau: Đắt \(ϑ(k,l)\) là mẫu sinh ra tại bước lắp t, trong đó k là chỉ số điểm thay đổi của mẫu Các mẫu tiếp theo có thể được tạo ra theo các bước: Đắt \(j = k - 1\), \(j = k\) hoặc \(j = k + 1\) với xác suất \(q_{k,j}\), trong đó \(q_{k,k} = 1\) và \(k_{min} ≤ k ≤ k_{max}\) với xác suất \(q_k\).