Một số ứng dụng của lý thuyết thông tin để kiểm định giả thiết thống kê

Khái niệm độ bất định của đại lượng ngẫu nhiên

Các hiện tượng ngẫu nhiên là những hiện tượng chịu ảnh hưởng từ nhiều mối liên hệ khác nhau, dẫn đến các kết quả không thể dự đoán trước Mỗi lần quan sát hiện tượng ngẫu nhiên đều mang tính bất định, vì vậy không thể xác định kết quả trước khi thực hiện quan sát Trong thí nghiệm với n biến cố xung khắc khác nhau E1, E2, …, En, xác suất của tất cả các kết quả có thể xảy ra sẽ được xem xét.

Mỗi kết quả thí nghiệm có xác suất a sẽ được biểu diễn bằng một số có m chữ số trong hệ cơ số a Nếu coi số lượng các chữ số trong con số viết trong hệ cơ số a là một đại lượng ngẫu nhiên, kỳ vọng toán của đại lượng này có thể được sử dụng làm độ đo bất định cho các kết quả thí nghiệm Kỳ vọng toán của đại lượng ngẫu nhiên này được tính toán như sau:

H = m 1 a −m 1 +m 2 a −m 2 +ã ã ã+m n a −m n (1.2) Công thức (1.2) có thể được viết dưới dạng

Đại lượng H, được xác định bởi công thức (1.3), là độ đo bất định của các kết quả thí nghiệm khi xác suất của tất cả các kết quả có thể (E1, E2, , En) được biểu diễn bằng lũy thừa nguyên âm của một số dương a H được gọi là Entropi của thí nghiệm đã cho.

Entropi của đại lượng ngẫu nhiên

1.2.1.Entropi của đại lượng ngẫu nhiên rời rạc

1.2.1.1.Định nghĩa Giả sử X là đại lượng ngẫu nhiên rời rạc với luật phân phối p i = P(X = x i )(i = 1,2, n) Entropi của đại lượng ngẫu nhiên

X, ký hiệu H[X] được xác định bởi công thức

Hàm H[X] là hàm không âm và liên tục của các xác suất p1, p2, , pn, và chỉ bằng 0 khi một trong các xác suất này bằng 1, trong khi các xác suất còn lại bằng 0 Điều này có nghĩa là khi X không phải là đại lượng ngẫu nhiên, thí nghiệm không chứa bất kỳ độ bất định nào.

Chúng ta quy ước rằng limxlogx = 0 khi x = 0 H[X] sẽ đạt giá trị lớn nhất khi tất cả các xác suất p1, p2, , pn đều bằng nhau, tức là khi các giá trị của đại lượng ngẫu nhiên X có xác suất đồng đều.

Để chứng minh, chúng ta sử dụng bất đẳng thức logu = lnu lna ≥ 1 lna(1− 1 u) với ∀u > 0 Dựa vào bất đẳng thức này, chúng ta có thể áp dụng cho bất kỳ các số dương p i, q i (với i = 1, 2, , n) thỏa mãn điều kiện n.

Thì bất đẳng thức sau luôn đúng: n

Thật vậy, theo (1.5) và (1.6) ta có: n

Bởi vì dấu "=" trong (1.5) chỉ xảy ra khi và khi u = 1 cho nên dấu "=" trong (1.7) và (1.8) xảy ra khi và chỉ khi p i = q i (i = 1,2, , n) Nếu đặt trong (1.7) q 1 = q 2 = ã ã ã = q n = n 1 , ta cú: n

⇒ −Pn i=1p i logp i ≤ logn Và dấu "=" trong (1.9) chỉ xảy ra khi và chỉ khi p 1 = p 2 = ã ã ã = p n = n 1

Bất đẳng thức Entropi (1.9) chỉ ra rằng entropi của một đại lượng ngẫu nhiên rời rạc đạt giá trị lớn nhất khi tất cả các giá trị có thể của nó có xác suất bằng nhau.

Entropi của một đại lượng ngẫu nhiên đạt giá trị tối đa khi số lượng giá trị có thể của nó, n, tăng lên Điều này cho thấy rằng với nhiều khả năng hơn, độ bất định của đại lượng ngẫu nhiên cũng gia tăng, phù hợp với trực giác của chúng ta về việc khó khăn trong việc xác định một sự kiện khi có nhiều lựa chọn hơn.

1.2.2 Entropi của đại lượng ngẫu nhiên liên tục

1.2.2.1 Định nghĩa Giả sử đại lượng ngẫu nhiên X có hàm mật độ f(x)

Entropi của đại lượng ngẫu nhiên liên tục X được định nghĩa bởi công thức −∞ f(x) log[l x f(x)]dx (1.10), trong đó f(x) biểu thị mật độ xác suất của X, và l x là một khoảng liên quan đến đại lượng ngẫu nhiên này.

Chú ý rằng, khác với Entropi của đại lượng ngẫu nhiên rời rạc, Entropi của đại lượng ngẫu nhiên liên tục có thể có giá trị dương hoặc âm trong trường hợp tổng quát Tuy nhiên, đối với các đại lượng ngẫu nhiên liên với mật độ xác suất giới nội f(x) ≤ A, Entropi sẽ luôn dương nếu quy ước rằng l x < A 1.

Khoảng l x được đưa vào công thức (1.10) nhằm đảm bảo đại lượng dưới dấu logarit không quá lớn Khoảng này có thể được chọn tùy ý, và trong trường hợp này, ta chọn l x = 1 Do đó, từ đây trở đi, chúng ta chỉ xem xét với l x = 1, và công thức (1.10) sẽ được viết lại tương ứng.

1.2.2.2 Tính chất a) Theo định nghĩa của kỳ vọng toán của hàm đại lượng ngẫu nhiên ta có:

H[X] = −E[logf(X)] thể hiện công thức tính Entropi của đại lượng ngẫu nhiên X Nếu mật độ xác suất của đại lượng ngẫu nhiên Y được tính bằng cách lấy trung bình mật độ xác suất của đại lượng X với hàm trọng số tùy ý a(x, y), thì H[Y] ≥ H[X], nghĩa là việc san bằng mật độ xác suất không làm giảm Entropi mà chỉ làm tăng Entropi Hơn nữa, Entropi của đại lượng ngẫu nhiên liên tục không phụ thuộc vào gốc tính của đại lượng ngẫu nhiên.

H[X] = H[X +c] (1.13) với mọi đại lượng ngẫu nhiên X và c là hằng số bất kỳ.

Entropi của các đại lượng ngẫu nhiên được tạo ra từ sự kết hợp của các đại lượng ngẫu nhiên độc lập sẽ bằng tổng của các Entropi của từng đại lượng ngẫu nhiên thành phần.

Entropi của hệ đại lượng ngẫu nhiên

1.3.1 Entropi của hệ hai đại lượng ngẫu nhiên

Cho hai đại lượng ngẫu nhiên X và Y (X 6= Y).

1.3.1.1.Định nghĩa 1 Entropi có điều kiện của đại lượng ngẫu nhiên

X đối với Y, ký hiệu H[X | Y], được xác định bởi:

Entropi có điều kiện của đại lượng ngẫu nhiên X liên quan đến đại lượng ngẫu nhiên Y phụ thuộc vào các giá trị cụ thể của Y Điều này có nghĩa là hàm số của đại lượng ngẫu nhiên Y ảnh hưởng đến entropi có điều kiện của X.

Kỳ vọng toán của Entropi có điều kiện của đại lượng ngẫu nhiên X đối với Y được gọi là Entropi có điều kiện trung bình của X đối với Y, ký hiệu là H Y [X].

(1.15) trong đó f 2 (y) là mật độ xác suất của đại lượng ngẫu nhiên Y.

Theo công thức f(x, y) = f 1 (x)f 2 (y | x) =f 2 (y)f 1 (x| y), ta viết lại công thức (1.15) dưới dạng:

Với f(x, y) là mật độ xác suất đồng thời của các đại lượng ngẫu nhiên X và Y.

Nhờ công thức của kỳ vọng toán ta có:

Trong trường hợp đặc biệt khi hai đại lượng ngẫu nhiên X và Y là độc lập, hàm mật độ xác suất có điều kiện f 1 (x | y) không phụ thuộc vào Y Điều này dẫn đến việc tất cả các entropi có điều kiện của X đối với Y sẽ bằng entropi không điều kiện của X.

Chú ý: 1) Entropi có điều kiện H[Y | X] và Entropi có điều kiện trung bình H X [Y]của đại lượng ngẫu nhiên Y đối với X được xác định hoàn toàn tương tự.

Tất cả những điều đã trình bày ở trên áp dụng cho trường hợp X và Y là các đại lượng ngẫu nhiên vô hướng hoặc các vectơ ngẫu nhiên Khi X và Y là các vectơ, mỗi tích phân trong các công thức được diễn tả dưới dạng tích phân bội trên miền tất cả các giá trị có thể của các vectơ ngẫu nhiên X và Y Chẳng hạn, nếu X là vectơ ngẫu nhiên n chiều với các thành phần X1, X2, , Xn, thì công thức (1.10) có thể được viết lại một cách chi tiết hơn.

Entropi của vectơ ngẫu nhiên kết hợp (X, Y) được định nghĩa dựa trên mật độ phân phối đồng thời f(x, y) của hai đại lượng ngẫu nhiên X và Y, có thể là vô hướng hoặc vectơ.

(1.20) 1.3.1.5 Tính chất.Từ công thứcf(x, y) =f 1 (x)f 2 (y | x) =f 2 (y)f 1 (x | y) ta có:

(1.21)Kết hợp với công thức (1.12) và chú ý của công thức (1.17) ta nhận được công thức:

Do tính đối xứng của X và Y ta cũng có:

Trong trường hợp đặc biệt khi X và Y là các đại lượng ngẫu nhiên độc lập với nhau thì ta có: H X [Y] = H[Y], H Y [X] = H[X];

Do đó ta có công thức (1.22) và (1.23) trong trường hợp này có dạng:

1.3.2.Hệ ba đại lượng ngẫu nhiên độc lập

Cho ba đại lượng ngẫu nhiên X, Y, Z ta có các định nghĩa sau:

1.3.2.1.Định nghĩa Ta có Entropi có điều kiện của hệ (X, Y) đối với đại lượng ngẫu nhiên Z được xác định là:

−∞ f 3 ((x, y) | z) logf 3 ((x, y) | z)dxdydz (1.25) và Entropi có điều kiện của đại lượng ngẫu nhiên Z với hệ (X, Y) là

1.3.2.2.Định nghĩa Gọi f(x, y, z) là hàm mật độ của hệ ba đại lượng ngẫu nhiên (X, Y, Z) Ta có Entropi của hệ (X, Y, Z) được định nghĩa bởi:

Khi đó theo (1.25),(1.26) và chú ý đến các công thức (1.27),(1.28) ta suy ra các Entropi có điều kiện trung bình của hệ (X, Y) đối với đại lượng ngẫu nhiên Z là:

−∞ f(x, y, z) logf 3 ((x, y) | z)dxdydz (1.30) và của đại lượng ngẫu nhiên Z đối với hệ (X, Y) là

−∞ f(x, y, z) logf 3 (z | (x, y))dxdydz (1.31)Kết hợp với công thức (1.28), ta có thể biểu diễn lại công thức (1.29) như sau:

= H[X, Y] +H (X,Y ) [Z] Kết hợp với công thức (1.22) ta suy ra

Tổng quát công thức (1.22) và (1.32) ta có:

Giả sử (X 1 , , X n ) là các đại lượng ngẫu nhiên tùy ý (vô hướng hoặc véc tơ), thì Entropi của n đại lượng ngẫu nhiên trên là:

Trong trường hợp các đại lượng ngẫu nhiên X₁, , Xn độc lập, tất cả các Entropi có điều kiện sẽ bằng Entropi không điều kiện của đại lượng ngẫu nhiên tương ứng Do đó, công thức (1.33) có thể được diễn đạt lại như sau:

Entropi của các đại lượng ngẫu nhiên độc lập được xác định bằng tổng các Entropi của từng đại lượng ngẫu nhiên thành phần.

Entropi của đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều

1.4.1 Đại lượng ngẫu nhiên có phân phối đều

Giả sử f v (x) là mật độ xác suất của đại lượng ngẫu nhiên X có phân phối đều trong miền v, với miền v có thể là a < x < b nếu X là đại lượng vô hướng Do f v (x) = 0 với mọi x không thuộc v, Entropi của đại lượng ngẫu nhiên X được biểu diễn theo công thức (1.10).

Biểu thức mật độ xác suất f v (x) trong công thức (1.35) không ảnh hưởng đến giá trị Entropi của X, miễn là mật độ xác suất đó bằng không ở ngoài miền v Do đó, công thức này vẫn đúng khi thay thế f v (x) bằng mật độ xác suất tùy ý f(x) có giá trị bằng không ở ngoài miền v Kết quả là, Entropi của đại lượng ngẫu nhiên có phân phối đều có thể được biểu diễn thông qua công thức này.

1.4.2 Đại lượng ngẫu nhiên có phân phối chuẩn

Nếu thay vào trong công thức (1.10) biểu thức f(x) = 1 δ x √ 2πe −

(x−mx )2 2δ 2 x của mật độ xác suất của đại lượng ngẫu nhiên đang xét, ở đây ta ký hiệu mật độ đó bởi f N (x) và nếu chú ý tới các công thức:

(Do đó ở phần trên ta đã biết Entropi không phụ thuộc vào kỳ vọng toán của đại lượng ngẫu nhiên nên ta có thể tính Entropi với giả thiết m x = 0).

Biểu thức mật độ xác suất f N (x) trong công thức (1.37) không ảnh hưởng đến giá trị của Entropi Điều quan trọng là mômen cấp hai tương ứng với mật độ xác suất f N (x) bằng δ x 2 Do đó, entropi của đại lượng ngẫu nhiên có phân phối chuẩn có thể được diễn đạt qua công thức sau.

Trong đó f(x) là mật độ xác suất bất kỳ thoả mãn:

1.4.3 Để xác định Entropi của vectơ ngẫu nhiên phân phối chuẩn n chiều X, chúng ta thấy biểu thức f(x 1 , , x n ) = 1 p(2π) n | K |e −

P n i,j=1 K ij u i u j của mật độ xác suất chuẩn n chiều vào công thức (1.20) Khi đó ta nhận được:

Trong đó | K | là định thức của ma trận tương quan của vectơ ngẫu nhiêu

X, còn K ij là phần phụ đại số của phần tử k ij trong định thức | K |.

Theo công thức của khai triển định thức theo các phần tử của một hàng, ta có n

Và công thức (1.40) cho ta:

Khi n = 1, công thức (1.42) tương đương với công thức (1.37) Trong các công thức trên, biểu thức cụ thể của mật độ xác suất f N (x) không quan trọng; thay vào đó, các giá trị của mô men cấp hai tương ứng với mật độ xác suất f N (x) mới là yếu tố quyết định Do đó, Entropi của đại lượng ngẫu nhiên có phân phối chuẩn n chiều có thể được diễn đạt qua công thức cụ thể.

Trong đó f(x 1 , , x n ) là hàm mật độ xác suất tuỳ ý thỏa mãn điều kiện:

Công thức (1.43) có thể được đơn giản hóa thành (1.44) Điều này cho thấy công thức (1.38) cung cấp biểu thức tổng quát cho Entropi của đại lượng ngẫu nhiên với phân phối chuẩn, không phân biệt một chiều hay nhiều chiều.

1.4.4 Tính cực đại của Entropi của các đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều

Entropi của đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều được thể hiện qua các mật độ xác suất tương tự nhau Điều này cho thấy rằng các đại lượng ngẫu nhiên này có Entropi lớn nhất trong lớp các đại lượng ngẫu nhiên có phân phối xác định Tính chất cực đại của phân phối chuẩn và phân phối đều là hệ quả của bất đẳng thức tổng quát.

Đối với mọi mật độ xác suất, cả một chiều lẫn nhiều chiều, điều kiện ∫₋∞ f(x) log f(x) g(x) dx ≥ 0 (*) luôn đúng Giả sử Y là một đại lượng ngẫu nhiên liên tục với các giá trị có thể nằm trong miền v, mật độ xác suất f(y) của Y phải thỏa mãn điều kiện này.

Vì vậy công thức (1.36) đúng với mật độ đó Nếu đặt trong(*) g(x) =f v (x), theo (1.10) và (1.36), ta nhận được

(X là đại lượng ngẫu nhiên có phân phối đều trong miền v.)

Bất đẳng thức chứng tỏ rằng trong số các đại lượng ngẫu nhiên nằm trong miền v, đại lượng ngẫu nhiên có phân phối đều trong miền này sẽ có Entropi lớn nhất Tính chất cực đại của Entropi đối với đại lượng ngẫu nhiên phân phối đều tương tự như trường hợp của đại lượng ngẫu nhiên rời rạc, nơi các giá trị đồng xác suất cũng đạt Entropi lớn nhất Ngoài ra, từ công thức và bất đẳng thức đã nêu, chúng ta có thể kết luận rằng trong số các đại lượng ngẫu nhiên liên tục có cùng mô men cấp hai, các đại lượng có cùng phân phối chuẩn sẽ có Entropi lớn nhất.

Lượng thông tin

Thông tin từ đại lượng ngẫu nhiên Y có thể làm giảm độ bất định của đại lượng ngẫu nhiên X Điều này dẫn đến việc thay thế Entropi không điều kiện H(X) của X bằng Entropi trung bình có điều kiện H Y (X) của X dựa trên Y.

Là độ đo thông tin (lượng thông tin) về đại lượng ngẫu nhiên X chứa trong đại lượng ngẫu nhiên Y.

Chứng minh Thật vậy, theo các công thức (1.12), (1.17) và (*) ta có:

(ở đây f(x)f(y) đóng vai trò g(x, y).) Và ta cũng có:

I[X;Y] = 0 ⇔H[X] = H Y [X] ⇔ X và Y độc lập với nhau.

Khác với công thức (1.10) chỉ áp dụng cho entropi của các đại lượng ngẫu nhiên liên tục, các công thức (1.46) và (1.48) cho phép xác định lượng thông tin cho các đại lượng ngẫu nhiên bất kỳ.

Ví dụ, đối với các đại lượng rời rạc X, Y thì công thức (1.48) có dạng:

Chứng minh Thật vậy, theo công thức (1.46) ta có:

1.5.2.4 Đối với hai đại lượng ngẫu nhiên X và Z, nếu tồn tại các hàm đơn trị ϕ và ψ thỏa mãn :

Z = ϕ(X) (1.51) và X = ψ(Z) (1.52) Thì mọi đại lượng ngẫu nhiên Y ta có:

Việc quan sát các đại lượng ngẫu nhiên có mối liên hệ với nhau thông qua sự phụ thuộc hàm số đơn trị sẽ cung cấp cho chúng ta một lượng thông tin đồng nhất.

Chúng ta sẽ phân tích sự biến đổi lượng thông tin do sự thay đổi của đại lượng ngẫu nhiên X, từ đó nhận được đại lượng ngẫu nhiên Z thông qua các phép biến đổi Theo các công thức (1.46) và (1.16), chúng ta có thể đánh giá sự thay đổi này một cách chính xác.

−∞ f(x 1 , , x n )dx 1 , , x n f 1 (x | y) = f(x, y) f 2 (y) Thì mật độ bằng: f 4 (y | z) = f 23 (y, z) f 3 (z) ] R+∞

Từ các công thức (1.54) và (**) ta suy ra rằng:

−∞ f 2 (y | x) log f 2 (y | x) f 4 (y | z)dy (1.56) Theo công thức (*), vế phải của công thức (1.56) không thể âm Nên ta suy ra:

Và điều đó chứng minh điều khẳng định đã nêu ra.

Nếu các đại lượng X và Y là độc lập, thì theo công thức (1.55), các đại lượng ngẫu nhiên Y và Z cũng độc lập Trong trường hợp này, ta có I[Y;Z] = I[Y;X] = 0.

+) Nếu các đại lượng X và Z liên hệ với nhau bởi hàm đơn trị 1-1(công thức (1.51)) thì f 3 (z | x) = δ(z −ϕ(x)).

Và theo công thức (1.55) nên ta có các mật độ xác suất f 2 và f 4 bằng nhau với bất kỳ giá trị x và giá trị tương ứng với nó z = ϕ(x).

Ví dụ Trong trường hợp cụ thể, khi(X, Y) có phân phối chuẩn hai chiều, tức có hàm mật độ: f(x, y) = 1

Trong đó hàm mật độ của X và Y lần lượt là: f 1 (x) = 1 δ x √ 2π exp(− x 2

2δ y 2 ) với p là hệ số tương quan của X và Y (|p |≤ 1).

(Chú ý rằng ở đây ta không xét trường hợp p = 1 và khi đó X và

Trong nghiên cứu về sự phụ thuộc tuyến tính giữa các đại lượng ngẫu nhiên X và Y, chúng ta chỉ xem xét trường hợp khi kỳ vọng của chúng và cặp (X, Y) đều bằng 0 Điều này liên quan đến khái niệm Entropi của các đại lượng ngẫu nhiên có phân phối chuẩn.

Khi đó theo công thức (1.16) và các công thức (1.37), (1.42) ta có:

Do vai trò đối xứng của đại lượng ngẫu nhiên X và Y ta cũng có:

MỘT SỐ ỨNG DỤNG CỦA THÔNG TIN TRONG

Chương này trình bày các ứng dụng của Lý thuyết thông tin trong Thống Kê Toán học, tập trung vào khái niệm lượng thông tin trung bình I(1 : 2) có lợi cho giả thiết H1 và bất lợi cho giả thiết H2 Bên cạnh đó, chương cũng giới thiệu khái niệm độ sai khác J(1,2) giữa các giả thiết H1 và H2, cùng với các tính chất liên quan đến chúng.

2.1 Các khái niệm và định nghĩa cơ bản

Xột cỏc khụng gian xỏc suất (=, S, à i ) (i = 1,2).

Cặp (=, S) được gọi là không gian đo.

Ta giả thiết rằng cỏc độ đo xỏc suất à 1 và à 2 liờn tục tuyệt đối lẫn nhau và ta ký hiệu à 1 ≡ à 2

Nhắc lại rằng à 1 liờn tục tuyệt đối với à 2 (ký hiệu à 1 à 2 nếu đối với mọi E ∈ S mà à 2 (E) = 0 thỡ à 1 (E) = 0.

Giả sử λ là độ đo xỏc suất sao cho λ = à 1 , λ = à 2 chẳng hạn λ cú thể là à 1 hoặc à 2 hoặc à 1 +à 2 2

Theo định lý Radon-Nikodim tồn tại các hàm f i (x) (được gọi là mật độ xác suất) chính xác đến một tập có độ đo không đối với λ, sao cho: à i (E) Z

Các hàm f i (x) được gọi là các đạo hàm Radon - Nikodim và người ta viết: dà i (x) = f i (x)dλ(x).

Giả thiết H_i (i = 1,2) cho rằng đại lượng ngẫu nhiên X thuộc về một tập hợp thống kê nào đó với độ đo xác suất là i Theo định lý Bayes, ta có thể áp dụng các quy tắc xác suất để tính toán và phân tích các sự kiện liên quan đến đại lượng này.

Từ đó ta nhận được: log f 1 (x) f 2 (x) = log P(H 1 | x)

P(H 2 ). ( Cơ số của log không cơ bản ta thường lấy log cơ số e.)

Ta định nghĩa logarit của tỷ số hợp lý log f f 1 (x)

2 (x) là lượng thông tin tại điểm

X = x để phân biệt có lợi cho H 1 bất lợi với H 2 Định nghĩa Lượng thông tin trung bình do việc quan sát có lợi cho H 1 , bất lợi cho H 2 là:

Người ta cũng gọi I(1 : 2) là lượng thụng tin theo à 1 đối với à 2

2.1.2 Sự khác biệt (hay độ sai khác) Định nghĩa: Độ đo mức độ khác biệt (hay độ phân biệt) giữa các giả thiết H 1 và H 2 (hay giữa à 1 và à 2 ) là

J(1,2) chính là độ đo mức độ khó phân biệt giữa các giả thiết H 1 và H 2

Ví dụ Giả sử = là không gian Ơclít R 2 với các phần tử X = (x, y) và

H 1 : x và y là các biến phụ thuộc với hàm mật độ đồng thời f(x, y)

H 2 : x và y là các biến độc lập với các hàm mật độ g(x) và h(x) tương ứng.

I(1 : 2) xác định lượng thông tin trung bình tại x đối với y hay tại y đối với x.

Dễ nhận thấy:I(1 : 2) ≥ 0 và I(1 : 2) = 0 chỉ trong trường hợp f(x, y) =g(x)h(x).

Do đó I(1 : 2) ở trên là độ đo mối liên hệ giữa x và y Đặc biệt nếu H 1 cho phân phối chuẩn 2 chiều với mật độ: f(x, y) = 1

Với H 2 là tích của hai phân phối chuẩn 1 chiều g(x) = 1 σ x √ 2π exp(− x 2

Như vậy I(1 : 2) là hàm của hệ số tương quan p và biến thiên từ 0 đến +∞ khi | p| biến thiên từ 0 đến 1.

Ví dụ Với H 1 và H 2 trong ví dụ trên:

Như vậy J(1,2) là hàm của hệ số tương quan p và biến thiên từ 0 đến +∞ khi | p| biến đổi từ 0 đến 1.

Để giải thích một số kết quả của lý thuyết liên lạc, ta giả thiết rằng x là tín hiệu truyền có hướng, trong khi y là tín hiệu thu được, bao gồm cả hướng tín hiệu và nhiễu tuyến tính Công thức mô tả mối quan hệ này là y = x + n, trong đó n đại diện cho nhiễu.

Nhiễu và tín hiệu truyền có thể xem là độc lập, thành thử f(x, y) = g(x)h(y | x) = g(x)h(y −x)

Độ đo I(1 : 2) phản ánh mối liên hệ giữa các tín hiệu nhận được và truyền đi, thể hiện đặc tính của kênh truyền tín Nếu giả định rằng các phân phối tuân theo tính chuẩn, mật độ phân phối chuẩn hai chiều f(x, y) có thể được diễn đạt dưới một dạng cụ thể.

S + N trong đó S = E(x 2 ) - là cường độ trung bình truyền tín hiệu và N = E(n 2 )

N 2.2 Các tính chất của thông tin I(1:2) và J(1,2)

2.2.1.1 Định lí I(1 : 2) là hàm cộng tính của các biến ngẫu nhiên độc lập, tức là đối với các biến ngẫu nhiên X và Y độc lập với các giả thiết

Vì do tính độc lập nên f i (x, y) = g i (x)h i (y) i = 1,2 dλ(x, y) = dà(x)dγ(y) Z g i dà(x) = 1 i = 1,2

Nếu các biến ngẫu nhiên X và Y phụ thuộc thì tính cộng tính cũng xảy ra nhưng theo các thuật ngữ của thông tin có điều kiện.

I(1 : 2) ≥ 0 h.k.n và đẳng thức xảy ra khi và chỉ khi f 1 (x) = f 2 (x).

I(1 : 2) Z f 2 (x)g(x) logg(x)dλ(x) Z g(x) logg(x)dà 2 (x) trong đú dà 2 (x) =f 2 (x)dλ(x). Đặt ϕ (t) = tlogt Ta có: ϕ(g(x)) =ϕ(1) + (g(x)−1)ϕ 0 (1) + 1

Trong đó ϕ 00 (t) = 1 t > 0 với t > 0 Từ đó:

Z g(x) logg(x)dà 2 Z f 1 (x) logf 1 f 2 dλ ≥ 0. Đẳng thức đạt được khi và chỉ khi g(x) = f f 1

Ef 2 dλ = à 1 (E) log à 1 (E) à 2 (E). 2.2.3 Tính bất biến

Giả sử Y = T(x) là thống kê với miền xác định X và miền giá trị Y và

F là lớp cộng tính các tập con của Y

Ta giả thiết rằng T(x) là hàm đo được tức với ∀G ∈ F

Như vậy ta cú ỏnh xạ đo được của khụng gian xỏc suất (X, S, à i ) vào không gian xác suất (Y,F, v i ) ở đây v i (G) =à i (T −1 (G)) nờn ta định nghĩa γ(G) =λ(T −1 (G)) thỡ V 1 ≡ V 2 ≡ γ

Và do đó theo định lý Randon - Nikodim tồn tại các hàm mật độ xác suất g i (y),(i = 1,2) Sao cho : v i (G) Z

G g i (y)dγ(y) (i = 1,2)G∈ F Nhờ vậy ta định nghĩa được:

Bổ đề Nếu g là hàm số thực trên Y thì:

T −1 (G) g(T(x))dà i (x) i = 1,2. đối với mọi G ∈ F (nếu mỗi tích phân tồn tại).

I(1 : 2;X) ≥ I(1 : 2;Y) và đẳng thức xảy ra khi và chỉ khi f 1 (x) f 2 (x) = g 1 (T(x)) g 2 (T(x)). Điều kiện cần và đủ để xảy ra đẳng thức trong Định lý trên có thể viết dưới dạng f 1 (x) g 1 (x) = f 2 (x) g 2 (x) hay f 1 (x)

E λ (f 2 | y). Thống kê thỏa mãn điều kiện đẳng thức trong định lý trên được gọi là thống kê đủ để phân biệt.

Ta giả thiết rằng hệ các độ đo m thuần nhất tức là bất kỳ hai độ đo của họ đó liên tục tuyệt đối với nhau.

2.2.3.2.Định lớ Nếu à 1 và à 2 là hai số hạng bất kỳ của họ thuần nhất thì

I(1 : 2;X) ≥I(1 : 2;Y) Đẳng thức xảy ra khi và chỉ khi thống kê Y = T(x) là thống kê đủ của họ thuần nhất m

Nếu Y = T(x) là phép biến đổi không suy biến

I(1 : 2;T −1 (G)) = I(1 : 2;G) đối với mọi G ∈ F , khi và chỉ khi Y = T(x) là thống kê đủ.

Cũng tương tự như các tính chất của I(1 : 2), về độ phân biệt J(1,2) ta cũng có các tính chất sau đây.

2.2.4.1.Định lí J(1,2) cộng tính đối với các đại lượng ngẫu nhiên độc lập, tức là nếu X và Y độc lập thì

J(1,2) ≥0 Đẳng thức xảy ra khi f 1 (x) = f 2 (y)

2.2.4.4 Hệ quả a)J(1,2;X, Y) ≥ J(1,2;X) Đẳng thức xảy ra khi: J(1,2;Y | X) = 0 b)J(1,2;X, Y) ≥ J(1,2;Y) Đẳng thức xảy ra khi: J(1,2;X | Y) = 0

I(1 : 2;X) ≥ J(1,2;Y) Đẳng thức xảy ra khi: f 1 (x) f 2 (x) = g 1 (T(x)) g 2 (T(x)). 2.3 Một số ví dụ của thông tin trong thống kê

2.3.1.Ví dụ 1 Giả sử H 1 và H 2 là các quần thể có phân phối đều trên các đoạn [0, θ 1 ] và [0, θ 2 ] (θ 1 < θ 2 ) với các mật độ f 1 (x) 1 θ 1 trên[0, θ 1 ]

E dx θ 2 Chú ý rằng à 1 (E) Z θ 2 θ 1 f 1 (x)dx = 0 nhưng à 2 (E) Z θ 2 θ 1 f 2 (x)dx = (θ 2 −θ 1 ) θ 2 6= 0 khi E = {x : θ 1 ≤x ≤ θ 2 }.

Cả hai độ đo à 1 và à 2 liờn tục tuyệt đối với độ đo Lơbe.

0 f(x) logf(x)dx θ 2 trong đó f(x) θ 2 θ 1 trên[0, θ 1 ]

Do đó đối với mẫu ngẫu nhiên O n gồm n quan sát độc lập

I(1 : 2;O n ) = nlogθ 2 θ 1 2.3.2.Ví dụ 2 Xét hai quần thể Poisson với các tham số λ 1 và λ 2 Khi đó ta có :

X x=0 e −λ 1 λ x 1 x! loge −λ 1 λ x 1 e −λ 2 λ x 2 = λ 1 log λ 1 λ 2 + (λ 2 −λ 1 ) Đối với mẫu ngẫu nhiên O n gồm n quan sát độc lập

Ta đã biết nếu X là không gian mẫu gồm n quan sát độc lập và

X i=1 x i thì g i (y) = e −nλ i (nλ i ) y y! (y = 0,1,2, )i = 1,2 Như vậy ta có :

Vì I(1 : 2;X) =I(1 : 2;Y) nên ta kết luận rằng Pn i=1x i là thống kê đủ đối với quần thể Poisson.

2.4 Các sai lầm loại 1 và loại 2

Ta giả thiết rằng không gian mẫu X được phân ra làm hai tập rời nhau

X là không gian mẫu gồm n quan sát độc lập.

Ta giả thiết rằng thủ tục được quy định như sau : nếu x ∈ E 1 ta thừa nhận giả thiết H 1 (bác bỏ H 2 ) nếu x ∈ E 2 ta thừa nhận giả thiết H 2 (bác bỏ H 1 )

Ta xem H 2 như "giả thiết không".

E 1 được xem là miền Critic.

Xác suất để thừa nhận không đúng H 1 là sai lầm loại 1 bằng α = P(x ∈ E 1 | H 2 ) = à 2 (E 1 ).

Xác suất để thừa nhận không đúng H 2 là sai lầm loại 2 bằng β = P(x ∈ E 2 | H 1 ) = à 1 (E 2 ).

Ta có kết quả sau Định lí

1−β + (1−α) log1−α β 2.5.Các quần thể nhị thức

Cho hai giả thiết thống kê H 1 và H 2 có nội dung :

Các phân phối xác suất của hai quần thể thống kê gồm hai lớp

Thông tin trung bình để phân biệt có lợi cho H 1 bất lợi cho H 2 nhận được do các quan sát thuộc H 1 bằng

P 22 Tương tự thông tin trung bình để phân biệt có lợi cho H 2 bất lợi cho H 1 bằng

P 12 Độ khó phân biệt giữa H 1 và H 2 là

I(1 : 2) ≥ 0, I(2 : 1) ≥ 0, J(1,2) ≥ 0. Đẳng thức xảy ra khi và chỉ khi P 1i = P 2i (i = 1,2)

Tức là khi các giả thiết cùng một phân phối.

Luận văn đã đạt được các kết quả sau

1 Trình bày có hệ thống một số kiến thức cơ bản của lí thuyết thông tin như:

- Entropi của đại lượng ngẫu nhiên và một số tính chất của nó.

- Entropi của đại lượng ngẫu nhiên có phân phối chuẩn và phân phối đều.

- Entropi của hệ đại lượng ngẫu nhiên, Entropi có điều kiện và các tính chất.

- Lượng thông tin của đại lượng ngẫu nhiên, của hệ đại lượng ngẫu nhiên.

2 Trình bày khái niệm lượng thông tin để phân biệt có lợi cho giả thiết

H 1 và không có lợi cho giả thiết H 2 (kí hiệu I(1 : 2)) và đưa ra một số ví dụ để tính I(1 : 2).

I(1 : 2) có một số tính chất quan trọng như tính cộng tuyến, tính lồi và tính bất biến, cần được phát biểu và chứng minh rõ ràng Bên cạnh đó, khái niệm độ khó phân biệt hai giả thiết H1 và H2, được ký hiệu là J(1,2), cũng cần được trình bày chi tiết để hiểu rõ hơn về mối quan hệ giữa chúng.

Phát biểu và chứng minh các tính chất của J(1,2) và đưa ra một số ví dụ để tính J(1,2).

Một số ứng dụng của thông tin trong thống kê 26 1.Các khái niệm và định nghĩa cơ bản

Một số ví dụ của thông tin trong thống kê

2.3.1.Ví dụ 1 Giả sử H 1 và H 2 là các quần thể có phân phối đều trên các đoạn [0, θ 1 ] và [0, θ 2 ] (θ 1 < θ 2 ) với các mật độ f 1 (x) 1 θ 1 trên[0, θ 1 ]

E dx θ 2 Chú ý rằng à 1 (E) Z θ 2 θ 1 f 1 (x)dx = 0 nhưng à 2 (E) Z θ 2 θ 1 f 2 (x)dx = (θ 2 −θ 1 ) θ 2 6= 0 khi E = {x : θ 1 ≤x ≤ θ 2 }.

Cả hai độ đo à 1 và à 2 liờn tục tuyệt đối với độ đo Lơbe.

0 f(x) logf(x)dx θ 2 trong đó f(x) θ 2 θ 1 trên[0, θ 1 ]

Do đó đối với mẫu ngẫu nhiên O n gồm n quan sát độc lập

I(1 : 2;O n ) = nlogθ 2 θ 1 2.3.2.Ví dụ 2 Xét hai quần thể Poisson với các tham số λ 1 và λ 2 Khi đó ta có :

X x=0 e −λ 1 λ x 1 x! loge −λ 1 λ x 1 e −λ 2 λ x 2 = λ 1 log λ 1 λ 2 + (λ 2 −λ 1 ) Đối với mẫu ngẫu nhiên O n gồm n quan sát độc lập

Ta đã biết nếu X là không gian mẫu gồm n quan sát độc lập và

X i=1 x i thì g i (y) = e −nλ i (nλ i ) y y! (y = 0,1,2, )i = 1,2 Như vậy ta có :

Vì I(1 : 2;X) =I(1 : 2;Y) nên ta kết luận rằng Pn i=1x i là thống kê đủ đối với quần thể Poisson.

2.4 Các sai lầm loại 1 và loại 2

Ta giả thiết rằng không gian mẫu X được phân ra làm hai tập rời nhau

X là không gian mẫu gồm n quan sát độc lập.

Ta giả thiết rằng thủ tục được quy định như sau : nếu x ∈ E 1 ta thừa nhận giả thiết H 1 (bác bỏ H 2 ) nếu x ∈ E 2 ta thừa nhận giả thiết H 2 (bác bỏ H 1 )

Ta xem H 2 như "giả thiết không".

E 1 được xem là miền Critic.

Xác suất để thừa nhận không đúng H 1 là sai lầm loại 1 bằng α = P(x ∈ E 1 | H 2 ) = à 2 (E 1 ).

Xác suất để thừa nhận không đúng H 2 là sai lầm loại 2 bằng β = P(x ∈ E 2 | H 1 ) = à 1 (E 2 ).

Ta có kết quả sau Định lí

1−β + (1−α) log1−α β 2.5.Các quần thể nhị thức

Trong bài viết này, chúng tôi sẽ phát biểu và chứng minh một số tính chất quan trọng của I(1 : 2), bao gồm tính cộng tuyến, tính lồi và tính bất biến Bên cạnh đó, chúng tôi cũng sẽ trình bày khái niệm độ khó phân biệt giữa hai giả thuyết H1 và H2, được ký hiệu là J(1,2) Những tính chất này đóng vai trò quan trọng trong việc phân tích và so sánh các mô hình thống kê.

Các quần thể nhị thức

Trong bài viết này, chúng ta sẽ phát biểu và chứng minh một số tính chất quan trọng của I(1 : 2), bao gồm tính cộng tuyến, tính lồi và tính bất biến Đồng thời, chúng ta cũng sẽ trình bày khái niệm về độ khó phân biệt giữa hai giả thuyết H1 và H2, được ký hiệu là J(1,2) Những tính chất này đóng vai trò quan trọng trong việc phân tích và đánh giá các mô hình thống kê.

Tiêu đề	Một số ứng dụng của lý thuyết thông tin để kiểm định giả thiết thống kê
Tác giả	Nguyễn Thị Kiều Oanh
Người hướng dẫn	PGS.TS. Phan Đức Thành
Trường học	Đại học Vinh
Chuyên ngành	Thống kê toán
Thể loại	luận văn
Năm xuất bản	2011
Thành phố	Vinh

Định dạng
Số trang	39
Dung lượng	279,28 KB