Xác suất có điều kiện và các biến cố độc lập
1.1.1 Xác suất có điều kiện Định nghĩa Giả sử ( Ω, F,P) là không gian xác suất.
P(A) (1.1) được gọi là xác suất có điều kiện của biến cố B đối với biến cố A.
3 Nếu(B n ) là dãy biến có đôi một xung khắc thì
4 Giả sử A 1 , A 2 , A n (n≥ 2), n là biến cố bất kỳ sao cho
1.1.2 Công thức xác suất đầy đủ và công thức Bayes Định nghĩa Họ n biến cố H 1 , H 2 , , H n được gọi là họ đầy đủ nếu
Giả sử H 1 , H 2 , H n là họ đầy đủ các biến cố và
P(H i ) > 0,∀i = 1,2, , n Khi đó, với biến của A bất kỳ, ta có
(1.4) gọi là công thức Bayes
1.1.3 Tính độc lập của các biến cố
Giả sử ( Ω, F,P) là không gian xác suất. Định nghĩa 1 Hai biến cố Avà B được gọi là độc lập nếu:
1 A, B độc lập khi và chỉ khi P(A/B) = P(A) hoặc P(B/A) =P(B)
2 Hai biến cốA, B độc lập với nhau khi và chỉ khi một trong các điều kiện sau thỏa mãn:
(iii)A,¯ B¯ độc lập. Định nghĩa 2
1 Họ các biến cố (A i ) i∈I được gọi là độc lập đôi một nếu hai biến cố bất kỳ của họ đều độc lập.
Các biến cố \( (A_i)_{i \in I} \) được xem là độc lập toàn cục, hay còn gọi là độc lập, nếu bất kỳ tập hợp hữu hạn các biến cố trong họ đều độc lập với nhau.
Ánh xạ đo được và biến ngẫu nhiên
1.2.1 Ánh xạ đo được Định nghĩa.Giả sử ( Ω 1 ,F 1 ) và ( Ω 2 , F 2 ) là hai không gian đo Ánh xạ X: Ω 1 −→ Ω 2 gọi là ánh xạ F 1 /F 2 đo được nếu với mọi B ∈ F 2 thì
1.Giả sử ánh xạ X: Ω 1 −→ Ω 2 là ánh xạ G 1 /F 1 đo được Khi đó
(i) Nếu G 1 ⊂ G 2 thì X là G 2 /F 1 đo được,
(ii) Nếu F 2 ⊂ F 1 thì X là G 1 /F 2 đo được.
1.2.2 Biến ngẫu nhiên Định nghĩa.Giả sử ( Ω, F,P)là không gian xác suất, G là ∂- đại số con của σ -đại số F Khi đó ánh xạ X : Ω −→ Rđược gọi là biến ngẫu nhiên
G đo được nếu nó là ánh xạ G/B(R) đo được (tức là với mọi B ∈ B(R) thì
Biến ngẫu nhiên X được gọi là biến ngẫu nhiên đơn giản khi nó chỉ nhận hữu hạn giá trị Ngoài ra, biến ngẫu nhiên còn được biết đến với tên gọi đại lượng ngẫu nhiên.
Trong trường hợp đặc biệt, khi X là biến ngẫu nhiên F − đo được, thì X được gọi một cách đơn giản là biến ngẫu nhiên
Biến ngẫu nhiên G− đo được rõ ràng là một biến ngẫu nhiên Nếu X là một biến ngẫu nhiên, thì họ σ(X) = (X −1 (B) : B ∈ B(R) tạo thành một σ-đại số con của σ-đại số F, được gọi là σ-đại số sinh bởi X Đây là σ-đại số nhỏ nhất mà X có thể đo được.
X là biến ngẫu nhiên G− đo được khi và chỉ khi σ(X) ⊂ G.
X là biến ngẫu nhiên khi và chỉ khi một trong các điều kiện sau đây thỏa mãn
(i)(X < a) := (ω : X(ω) < a) ∈ F ∀a ∈ R (ii)(X ≤ a) := (ω : X(ω) ≤ a) ∈ F ∀a ∈ R (iii)(X > a) := (ω : X(ω) > a) ∈ F ∀a ∈ R (iv)(X ≥ a) := (ω : X(ω) ≥ a) ∈ F ∀a ∈ R Định lý 2
Giả sử X 1 , X 2 , X n là các biến ngẫu nhiên cùng xác định trên (Ω,F,P) :
R n −→R là hàm đo được ( tức f là B (R n ) / B(R) đo được.) Khi đó
Hệ quả Giả sửX, Y là các biến ngẫu nhiên cùng xác định trên(Ω,F,P), f: R−→ R là hàm liên tục a ∈ R Khi đó aX,X ±Y, XY, |X|, f(X),
X + = max(X,0), X − = max(−X,0), X Y ,(Y 6= 0) đều là các biến ngẫu nhiên. Định lý 3
Giả sử (X n , n ≥ 1) là dãy các biến ngẫu nhiên cùng xác định trên
X_n, lim X_n và lim X_n khi n→∞ (nếu tồn tại) đều là biến ngẫu nhiên Cần lưu ý rằng các tính chất của biến ngẫu nhiên này có thể được mở rộng cho bất kỳ biến ngẫu nhiên G-đo được.
1.2.3 Phân phối xác xuất Định nghĩa Giả sử (Ω,F,P) là không gian xác suất, X : Ω −→ R là biến ngẫu nhiên Khi đó hàm tập: P X : B(R) −→ R
B 7−→ PX(B) =P(X −1 (B)) được gọi là phân phối xác suất của X.
Giả sử A ∈ F, X = I A là hàm chỉ tiêu của A Với mỗi B ∈ B(R) ta có:
1 P X là độ đo xác suất trên B(R)
(iii) Giả sử (B n ) ⊂ B(R), B i B j = ∅(i 6= j) Lúc đó:
2 Nếu Q là độ đo xác suất trên B(R) thì Q là phân phối xác suất của một biến ngẫu nhiên X nào đó.
Với mọi B ∈ B(R thì P X (B) = P(X −1 (B)) = P(B) = Q(B), suy ra
PX = Q hay Q là phân phối xác suất của biến ngẫu nhiênXxác định như trên.
Biến ngẫu nhiên có thể có phân phối xác suất không tương ứng 1-1, và những biến ngẫu nhiên có cùng phân phối xác suất được gọi là biến ngẫu nhiên cùng phân phối.
1.2.4 Các hàm phân phối Định nghĩa Giả sử (Ω,F,P) là một không gian xác suất, X : Ω −→ R là biến ngẫu nhiên Khi đó, hàm số:
F X (x) = P(X < x) =P(ω : X(ω) < x) được gọi là hàm phân phối của X.
Giả sử A ∈ F, I A là hàm chỉ tiêu của A và P(A) = p Khi đó:
2 Nếu a < b thì F(b) - F(a) = P(a ≤ X < b); do đó hàm không giảm.
3 lim x→+∞F(x) = 1; lim x→−∞F(x) = 0. Để thuận tiện, người ta thường dùng ký hiệu:
Lúc đó tính chất 3 có thể viết:
Các số đặc trưng của biến ngẫu nhiên
Kỳ vọng của một biến ngẫu nhiên X : (Ω,F,P) → (R,B(R)) được định nghĩa là tích phân Lebesgue của X theo độ đo P, nếu tích phân này tồn tại Kỳ vọng này được ký hiệu là EX.
Nếu tồn tại E|X| P < ∞ ( p > 0 ),thì ta nói X khả tích bậc p Đặc biệt, nếu E|X| < ∞, thì X được gọi là biến ngẫu nhiên khả tích.
Kỳ vọng có các tính chất sau đây:
3 Nếu tồn tại E X thì với mọi C ∈ R, ta có E(CX) = CEX.
4 Nếu tồn tại E Xvà E Y thì E(X ±Y) =EX ±EY.
P ix i p i nếu X rời rạc nhận các giá trị x 1 , x 2 , với P(X = x i ) = p i
−∞ x p(x) dx nếu X liên tục có hàm mật độ p(x).
Tổng quát: Nếu F : R→ R là hàm đo được và Y =f(X) thì
P if(x i )p i nếu X rời rạc nhận các giá trị x 1 , x 2 , với P(X = x i ) =p i
−∞ f (x) p (x) dx nếu X liên tục có hàm mật độ p(x).
MỘT SỐ ỨNG DỤNG CỦA XÁC SUẤT TRONG LÝ
Entropi
2.1.1 Độ bất định của các hiện tượng ngẫu nhiên
Xét thí nghiệm xuất hiện n biến cố xung khắc nhau E 1 , E 2 , , E n Nếu xác suất của tất cả các kết quả có thể có của thí nghiệm là
P(E i ) = p i = a −m i ; (m i ∈ N ∗ , i = 1, , n) (2.1) thì mỗi kết quả thí nghiệm có xác suất a −m i
Khi xem kết quả của một phép thử như một đại lượng ngẫu nhiên, kỳ vọng toán của đại lượng này có thể được sử dụng làm thước đo độ bất định của thí nghiệm.
Kỳ vọng trên được xác định bằng:
Công thức (2.2) có thể viết dưới dạng:
Công thức (2.3) là độ đo bất định của các kết quả một thí nghiệm đã cho. Đại lượng H được gọi là entropi của thí nghiệm trên.
Entropi của đại lượng ngẫu nhiên
2.2.1 Entropi của đại lượng ngẫu nhiên rời rạc. Định nghĩa
Giả sử X là đại lượng ngẫu nhiên rời rạc với luật phân phối p i = P(X = x i ) (i = 1,2, , n)
Entropi của đại lượng ngẫu nhiên X, ký hiệu H(X), được xác định bởi công thức
Hàm H(X) là một hàm không âm liên tục, đạt giá trị H(X) = 0 khi một trong các xác suất p1, p2, , pn bằng 1 và các xác suất còn lại bằng 0 H(X đạt giá trị cực đại khi tất cả các xác suất p1, p2, , pn đều bằng nhau, tức là p1 = p2 = = pn = 1/n Để chứng minh điều này, ta áp dụng bất đẳng thức log(u) = ln(u) ln(a) ≥ 1 ln(a)(1 - 1/u) với ∀n > 0.
Dựa trên bất đẳng thức (2.5)với p i , q i (i = 1,2, , n) thõa mãn điều kiện: n
X i=1 q i = 1 (2.6) thì bất đẳng thức sau luôn đúng: n
Dấu bằng chỉ xảy ra khi p i = q i ( i = 1, 2 , , n).
Nếu đặt trong (2.7) q 1 = q 2 = = q n = 1 n , ta có: n
Và dấu "=" ở (2.9) chỉ xảy ra khi: p 1 = p 2 = = p n = n 1
Số khả năng xảy ra càng nhiều thì càng khó xác định hơn, tức là độ bất định càng lớn.
Lấy ví dụ về nguồn 2 tin x 0 , x 1 với xác suất tương ứng là p 0 , p 1 Để minh họa chúng ta có quy luật phân bố xác suất: p 0 + p 1 = 1 ⇒p 1 = 1−p 0
Entropi của nguồn sẽ là:
H(X) đạt giá trị tối đa khi p0 = 1/2, tức là p1 = 1 - p0 = 1/2 Giá trị tối đa của H(X) được tính bằng log2 Tổng quát, nếu nguồn X có m ký hiệu, entropi sẽ đạt giá trị lớn nhất khi tất cả các ký hiệu có xác suất bằng nhau: p1 = p2 = = pm = 1/m.
Nếu dùng loga cơ số 2 ta sẽ có:
2.2.2 Entropi của đại lượng ngẫu nhiên liên tục. Định nghĩa
H(X) là entropi của đại lượng ngẫu nhiên liên tục X, với f(x) là mật độ xác suất tương ứng Khoảng l x liên quan đến đại lượng ngẫu nhiên X, giúp xác định mức độ không chắc chắn trong các giá trị của X.
Entropi của đại lượng ngẫu nhiên liên tục có thể là âm hoặc dương trong trường hợp tổng quát Tuy nhiên, đối với các đại lượng ngẫu nhiên có mật độ xác suất giới nội f(x) ≤ A, nếu l x < A 1, thì entropi sẽ luôn dương.
2Khoảng l x ở (2.11) lấy l x = 1 để đại lượng dưới dấu tích phân không lớn Khi đó (2.11) được viết lại là:
1 Kỳ vọng toán của hàm đại lượng ngẫu nhiên là:
2 Nếu mật độ xác suất của đại lượng ngẫu nhiênY nhận được bằng cách lấy trung bình mật độ của X với hàm trọng lượng tùy ý thì:
Chứng minh Với mật độ xác suất f(x), g(x) ta có:
Thật vậy từ bất đẳng thức (2.5) và tính chất:
Cũng từ (2.5) dấu " =" trong (2.15) xảy ra khi f(x) = g(x) Khi đó xét đại lượng ngẫu nhiên Y với hàm mật độ xác suất là : g(y) +∞
−∞ a(x, y)f(x)dx (2.17) trong đó hàm trọng lượng a(x;y)là hàm thõa mãn các điều kiện
Rõ ràng g(y) có hai tính chất của hàm mật độ xác suất là g(x) ≥ 0 và:
Nên ta có entropi của đại lượng ngẫu nhiên Y là:
Nếu trừ các vế của công thức (2.12) và (2.20) ta có
Do bất đẳng thức (2.15) đúng với mật độ một chiều cũng như nhiều chiều cho nên:
Nếu ta đặt trong (2.17) đặt a(x;y) = h(y-x); h(z) là mật độ xác suất tùy ý, thì theo công thức chập của luật phân phối: (Z = X + Y ) f z (z) +∞
Từ mối quan hệ giữa g(y) và các mật độ xác suất f cùng h, ta có thể kết luận rằng entropi của tổng các đại lượng ngẫu nhiên độc lập không bao giờ nhỏ hơn entropi của bất kỳ thành phần nào trong tổng đó Do đó, entropi của một đại lượng ngẫu nhiên bất kỳ là một hàm tăng đơn điệu theo thời gian.
3 Entropi của đại lượng ngẫu nhiên liên tục không phụ thuộc vào gốc tính của đại lượng ngẫu nhiên X và hằng số c bất kỳ:
2.2.3 Entropi của hệ hai đại lượng ngẫu nhiên.
Cho hai đại lượng ngẫu nhiên X và Y với X 6= Y ta có Định nghĩa 1
Entropi có điều kiện của đại lượng ngẫu nhiên X đối với Y, ký hiệu
Entropi có điều kiện của đại lương ngẫu nhiên X đối với Y phụ thuộc vào các giá trị y của đại lượng ngẫu nhiên Y. Định nghĩa 2
Kỳ vọng toán của entropi có điều kiện của đại lượng ngẫu nhiên X đối với Y được gọi là entropi có điều kiện trung bình của đại lượng ngẫu nhiên
−∞ f 2 (y)f 1 (x/y)logf 1 (x/y)dxdy (2.26) trong đó f 2 (y) là mật độ xác suất của đại lượng ngẫu nhiên Y.
Theo công thức f(x;y) = f 1 (x)f 2 (y/x) = f 2 (y)f 1 (x/y), công thức (2.26) viết lại dưới dạng:
Khi đó theo công thức của kỳ vọng toán:
Khi các đại lượng X và Y độc lập, khi đó f 1 (x/y) =f 1 (x) thì:
Nếu X là véc tơ ngẫu nhiên n chiều với các thành phần X 1 , X 2 , , X n thì công thức:
−∞ f(x 1 , x 2 , , x n )logf(x 1 , x 2 , , x n )dx 1 dx n (2.30) Định nghĩa 3
Giả sử X,Y là hai đại lượng ngẫu nhiên tùy ý, f(x,y) là mật độ phân bố đồng thời của chúng Ta gọi entropi của (X,Y) là:
Tính chất:Từ công thức f(x;y) = f 1 (x)f 2 (y/x) = f 2 (y)f 1 (x/y), ta có:
Kết hợp (2.13) và (2.28) ta có:
Do tính đối xứng của Xvà Y ta có :
Trong trường hợp đặc biệt khi X,Y là các đại lượng ngẫu nhiên độc lập thì ta có:
Nên các công thức (2.33); (2.34) trong trường hợp X,Y độc lập có dạng:
2.2.4 Hệ ba đại lượng ngẫu nhiên Định nghĩa 1
Entropi có điều kiện của hệ (X,Y) đối với đại lượng ngẫu nhiên Z là:
−∞ f 3 ((x, y)/z)logf 3 ((x, y)/z)dxdydz (2.36) và entropi có điều kiện của đại lượng ngẫu nhiên Z đối với hệ (X,Y) được xác định bởi:
−∞ f 3 (z/(x, y))logf 3 (z/(x, y)dxdydz (2.37) trong đó f 3 ((x, y)/z), f 3 (z/(x, y)); là mật độ có điều kiện của hệ (X,Y) đối với Z, và của Z đối với hệ (X,Y) được xác định bởi hệ thức: f 3 ((x, y)/z) = f(x, y, z) f 3 (z) (2.38) và f 3 (z/(x, y)) = f(x, y, z) f(x, y) (2.39) Định nghĩa 2
Gọi f(x, y, z) là hàm mật độ của hệ ba đại lượng ngẫu nhiên (X, Y, Z).
Ta có entropi của hệ (X,Y, Z) là:
Theo công thức (2.36) và (2.37), cùng với sự chú ý đến công thức (2.38) và (2.39), ta có thể tính entropi có điều kiện trung bình của hệ (X,Y) liên quan đến đại lượng ngẫu nhiên Z.
−∞ f(x, y, z)logf 3 ((x, y)/z)dxdydz (2.41) và của đại lượng ngẫu nhiên Z đối với hệ (X,Y) là:
Kết hợp (2.39) ta suy ra:
Chứng minh suy ra từ các định nghĩa 1 và định nghĩa 2
Entropi đồng thời và entropi có điều kiện
Entropi đồng thời là mức độ bất định trung bình của cặp biến ngẫu nhiên (x, y) trong tập tích (x, y) Theo định nghĩa ban đầu về entropi, chúng ta có thể hiểu rõ hơn về khái niệm này.
Và cùng có thể chứng minh các bất đẳng thức
Bất đẳng thức (2.39) sẽ trở thành đẳng thức trong trường hợp hai tập X và Yđộc lập thống kê với nhau khi đó H(Y/X) = H (Y)
Chứng minh (2.39) dựa trên cơ sở bất đẳng thức ln(W) = ln[1 + (W −1)] ≤ W −1 (2.53)
XY p(xy)logp p(y/x) p(y) (2.51) Đặt W = p(y/x) p(y) và sử dụng bất đẳng thức ( 2.40 )
Lượng thông tin
Thông tin từ đại lượng ngẫu nhiên Y có liên quan sẽ làm giảm sự bất định của đại lượng ngẫu nhiên X Điều này thể hiện qua việc thay thế entropi không điều kiện H(X) của X bằng entropi trung bình có điều kiện của X dựa trên Y.
Vì vậy gọi giá trị
I(X;Y) =H (X)−H(X/Y) (2.55) là độ đo thông tin (lượng thông tin) về đại lượng ngẫu nhiên X chứa trong đại lượng ngẫu nhiên Y.
Chứng minh: thật vậy, theo các công thức (2.13), (2.28) và (2.14) :
⇐⇒ X và Y độc lập với nhau.
Khác với công thức (2.11) chỉ áp dụng cho entropi của các đại lượng ngẫu nhiên liên tục, các công thức (2.55) và (2.57) cung cấp cách xác định lượng thông tin cho các đại lượng ngẫu nhiên bất kỳ.
Ví dụ, đối với các đại lượng ngẫu nhiên rời rạc X, Y thì công thức (2.57) có dạng:
4 Với đại lượng ngẫu nhiên Xvà Z thỏa mãn
Z = ϕ(X) ( 2.59 ) và X = ψ(Z) (2.60) thì với mọi đại lượng ngẫu nhiên Y ta có;
Nếu X và Z là các đại lượng vô hướng, hàm mật độ của Z được biểu diễn là f(z) = f(ψ(z))|ψ'(z)| Trong trường hợp X và Z là các đại lượng véc tơ cùng chiều n, hàm mật độ của Z sẽ là f(z) = f(ψ₁, ψ₂, , ψₙ).
Trong trường hợp tổng quát, cả hai công thức có thể được biểu diễn dưới dạng: f(z) = f(ψ(z)) | J(z) | Ở đây, J(z) là đạo hàm của ψ khi X và Z là các đại lượng vô hướng, và là Jacobi của hàm ψ khi X và Z là các đại lượng véc tơ.
Công thức (2.60) áp dụng cho các mật độ xác suất không điều kiện của các đại lượng ngẫu nhiên X và Z, cũng như cho các mật độ xác suất có điều kiện của chúng đối với đại lượng Y bất kỳ Do đó, theo (2.41), thông tin về đại lượng Z được chứa trong đại lượng Y.
Việc quan sát các đại lượng ngẫu nhiên có mối liên hệ thông qua sự phụ thuộc hàm số đơn trị cung cấp cho chúng ta một lượng thông tin đồng nhất.
Bất kỳ phép biến đổi nào của tín hiệu đều đi kèm với tiếng ồn và nhiễu, dẫn đến việc mất mát thông tin.
Mật độ xác suất đồng thời của các đại lượng ngẫu nhiên X, Y, Z được xác định bởi công thức f(x, y, z) = f1(x)f2(y/x)f3(z/x), trong đó f3(z/x) là mật độ xác suất có điều kiện của Z đối với X, với giả thuyết rằng Y và Z là độc lập.
Trong đó f 4 (y/z) là mật độ xác suất có điều kiện của đại lượng Y đối với Z.Với: f 4 (y/z) R+∞
Từ công thức (2.62) và(2.63) ta có:
Theo công thức (2.15) vế phải của (2.64) không thể âm nên suy ra:
Ký hiệu L(x) là đạo hàm của hàm ψ trong trường hợp X và Z là các đại lượng vô hướng J (z) và là Jacobi của các thành phần của hàm ψ với
X, Z là các đại lượng véc tơ Khi đó:
L(x) = J(z) 1 (2.66) và công thức (2.65) được viết lại là :
H(Z) = H(X) + E[log|L(x)|] cho thấy rằng entropi của một đại lượng ngẫu nhiên không thay đổi khi thực hiện phép biến đổi tuyến tính của véc tơ ngẫu nhiên, đặc biệt khi Z = AX với A là ma trận Do đó, H(Z) = H(X) chứng tỏ tính ổn định của entropi trong các phép biến đổi này.
Để phân biệt hai giả thiết thống kê H1 và H2 liên quan đến đại lượng ngẫu nhiên X với các hàm mật độ f1(x) và f2(x), ta áp dụng định lý Bayes.
Từ đó ta nhận được:
( Ở đây cơ số không cơ bản, người ta thường lấy cơ số e) Chú ý rằng
P(H i ) i = 1,2 là xác suất tiên nghiệm còn các P(H i )f(x) là xác suất hậu nghiệm Người ta xem logarit của tỷ số hợp lý log f f 1 (x)
Lượng thông tin tại điểm X (2(x)) là yếu tố quan trọng giúp phân biệt giữa giả thuyết H1 và H2 Định nghĩa về lượng thông tin trung bình từ quan sát cho thấy rằng thông tin này có lợi cho H1 và bất lợi cho H2.
Giả sử H 1 và H 2 là các quần thể có phân phối đều trên các đoạn [0, θ 1 ] và
[0, θ 2 ] tương ứng với các hàm mật độ sau (θ 1 < θ 2 ) f 1 (x) 1/θ 1 trên [0, θ 1 ]
Xét 2 quần thể Poisson với các tham số λ 1 và λ 2 khi đó ta có:
Entropi của một số phân phối thường gặp
Trong mục này ta tính entropi của một số phân phối thường gặp và thiết lập một số bất đẳng thức có liên quan.
2.5.1 Entropi của phân phối đều.
2.5.2 Entropi của phân phối mũ trên miền [θ,∞)(θ ≥ 0) Giả sử
Z θe −(x−θ) dx = 1 (2.76) 2.5.3 Entropi của phân phối mũ E(X)
R 0xe −λx dx = EX = λ 1 nn H(X) = 1−logλ = log λ e (2.78)
2.5.4 Entropi của đại lượng ngẫu nhiên có phân phối chuẩn.Giả sử : X∼ N(0, σ 2 )
2.5.5 Entropi của vec tơ ngẫu nhiên X =(X 1 , X n ) có phân phối chuẩn nhiều chiều
= log p(2π) n |K|+ 2|K| loge P i,j=1 n K ij k ij trong đó |K| là định thức của ma trận tương quan của X, còn K ij là phần phụ đại số của phần tử k ij trong |K|.
Chẳng hạn nếu (X, Y) có phân phối chuẩn hai chiều với hàm tương quan
2.5.6 Giả sử f(x) là một độ phân phối của biến ngẫu nhiên X không âm với trung bỡnh bằng à sao cho f(x) logf(x) khả tớch ( ta định nghĩa t log t
= 0 khi t = 0) khi đó ta có bất đẳng thức( C.Shannon)
0 f(x)logf(x)dx ≤ logàe Đẳng thức xảy ra khi và chỉ khi f(x) = 1 à e −x/à (x ≥ 0), tức khi X cú phân phối mũ.
Giả sử f(x) là mật độ phân phối của biến ngẫu nhiên X với trung bình và phương sai hữu hạn σ², đồng thời f(x) log f(x) khả tích Chúng ta định nghĩa t log t = 0 khi t = 0.
2πe Đẳng thức xảy ra khi và chỉ khi X cú phõn phối chuẩn N(à, σ 2 )
2.5.8 Giả sử đại lượng ngẫu nhiên rời rạc X nhận các giá trị x 1 , x n có trung bỡnh bằng à n
X j=1 p j logp j ≤ M(β)−βà Đẳng thức xẩy ra khi p j = e βx j /M(β)
2.5.9 Cho biến ngẫu nhiên rời rạc (X,Y) với:
Entropi được xác định bởi các hệ thức:
2.5.10 Bổ đề:Giả sử f 1 (x), f 2 (x) là mật độ phân phối của các biến ngẫu nhiên X, Y xác định trên không gian (Ω,F,P) và E ∈ F
Từ bổ đề trên suy ra bất đẳng thức sau: E = R = (−∞,+∞)
2 (x)dx≥ 0 (2.90) 2.5.11 Mệnh đề 1 Giả sử f(x) là mật độ phân phối của biến ngẫu nhiên
X có miền giá trị được giới hạn bởi hằng số V 1 và giả sử f(x) log f(x) khả tích ( ta qui ước t log t = 0 khi t = 0 khi đó entropi của X.
H(X) ≤ logV (2.91) Đẳng thức xảy ra khi và chỉ khi X có phân phối đều trên V với f(x) = V 1 hầu khắp nơi
Chứng minh: Thật vậy Áp dụng bổ đề với f 2 (x) ≤ V 1 ta có:
2.5.12 Mệnh đề 2 Giả sử f(x) là mật độ phân phối của biến ngẫu nhiờn X khụng õm với trung bỡnh à sao cho f(x) log f(x) khả tớch ( t log t
= 0 khi t = 0) Khi đó entropi của X thỏa mãn:
H(X) ≤ logàe (2.92) Đẳng thức đạt được khi X có phân phối mũ f(x) = à 1 e −x/à (x ≥ 0) (2.93)
Chứng minh: Áp dụng bổ đề cho các phân phối f(x) và phân phối mũ: f 2 (x) = 1 à e −x/à cú X = à ta cú
⇒H(X) ≤ logà+ 1 = logàe với phõn phối mũ f 2 (x)ta cú H(Y) = logà+ 1 = logàe
Giả sử f(x) là mật độ phân phối của biến ngẫu nhiên X với trung bình à và phương sai hữu hạn σ², sao cho f(x) log f(x) khả tích (theo quy ước t log t = 0 khi t = 0) Khi đó, entropy của X được xác định theo các điều kiện trên.
2πe (2.94) Đẳng thức xảy ra khi và chỉ khi f(x) cú mật độ phõn phối chuẩn N(à, σ 2 ) Chứng minh: Áp dụng bổ đề ta có:
Luận văn đã thu được các kết quả chính sau:
Bài viết đã đề cập đến các yếu tố quan trọng của lý thuyết xác suất, cần thiết để phát triển những khái niệm cơ bản trong lý thuyết thông tin, bao gồm entropi và lượng thông tin của đại lượng ngẫu nhiên.
Khái niệm entropi của đại lượng ngẫu nhiên một chiều đã được trình bày, cùng với một số tính chất quan trọng của entropi này Bên cạnh đó, bài viết cũng đề cập đến khái niệm entropi đồng thời của hệ hai và ba đại lượng ngẫu nhiên.
H ( X,Y ), H ( X,Y,Z ) và các entropi có điều kiện H ( X | Y ), H ( ( X,Y )
| Z ), H ( Z | ( X,Y )) và các tính chất có liên quan.
3 Đã trình bày khái niệm lượng thông tin về đại lượng ngẫu nhiên X chứa trong đại lượng ngẫu nhiên Y và các tính chất có liên quan.
4 Đã trình bày khái niệm lượng thông tin để phân biệt 2 giả thiết thống kê H 1 và H 2
5 Đã thiết lập entropi của một số phân phối thường gặp như:
- Phõn phối X cú trung bỡnh bằng à
- Phõn phối X cú trung bỡnh bằng à và phương sai σ 2
- Phân phối X có miền giá trị được giới hạn bởi 1/V.