Trong Mục 1.2.3 chúng ta đã nghiên cứu MISE của ước lượng hạch của mật độ dưới các giả thiếtcổ điển khá còn hạn chế. Thật vậy, các kết quả chỉ đúng với mật độ pcó đạo hàm thỏa mãn các điều kiện nhất định. Trong mục này chúng ta sẽ đạt được các kết quả tổng quát hơn bằng các sử dụng giải tích Fourier. Hơn nữa, chúng ta có thể phân tích MISE của ước lượng hạch với các hạch K không thuộc L1(R), ví dụ như hạch sinc
K(u) =
sinu
πu nếu u6= 0,
1
π nếu u= 0, (1.40)
và quan sát thấy hạch này "tốt hơn" hạch Epanechnikov theo nghĩa sẽ được phát biểu sau đây.
Như phần xét, ta xét ước lượng hạch ˆ
pn(x) = 1 nh
n
X
i=1
K
Xi−x h
nhưng bây giờ ta giả sử K chỉ thuộc L2(R). Giả thiết này cho phép ta xét hạch sinc. Trong suốt mục này, ta luôn giả sử K là hạch đối xứng, tức là K(u) = K(−u)với mọi u∈R.
Đầu tiên, ta nhắc lại một số kiến thức liên quan tới biến đổi Fourier. Định nghĩa biến đổi Fourier F[g]của một hàm g ∈L1(R)là
F[g] (ω)=4 Z +∞
−∞
eitωg(t)dt, ω ∈R,
trong đó i=√
−1. Định lý Plancherel phát biểu là
Z +∞
−∞
g2(t)dt = 1
2π|F[g] (ω)|2dω, (1.41) với g ∈ L1(R)∩L2(R) bất kì. Tổng quát hơn, vì L1(R)∩L2(R) là trù mật trong L2(R), định nghĩa biến đổi Fourier có thể được mở rộng cho mọi hàm g ∈L2(R) bất kì.
Ví dụ, nếuK là hạchsinc, biến đổi Fourier củaK làF[K] (ω) = I(|ω| ≤ 1). Biến đổi Fourier của mỗi hàmg ∈L2(R)được xác định sai khác trên một tập có độ đo Lebesgue bằng 0.
Với g ∈L2(R)bất kì ta có
F[g(ã/h)/h] (ω) =F[g] (hω),∀h >0, (1.42)
F[g(t− ã)] (ω) =eitωF[g] (−ω),∀t∈R. (1.43) Hàm đặc trưng tương ứng với mật độ pxác định bởi
φ(ω) = Z +∞
−∞
eitωp(t)dt= Z +∞
−∞
eitωdF(t), ω ∈R, và hàm dực trưng thực nghiệm là
φn(ω) = Z +∞
−∞
eitωdFn(t) = 1 n
n
X
j=1
eiXjω, ω∈R.
Kết hợp với (1.42) và (1.43) ta có biến đổi Fourier của ước lượngpˆn, với hạch K ∈L2(R) có dạng
F[ˆpn] (ω) =
n
X
j=1
eiXjωF
h−1K(ã/h)
(−ω) =φn(ω)F[K] (−hω)
Nếu K là hạch đối xứng,F[K] (−hω) =F[K] (hω). Bởi vậy, nếu kí hiệu K(ω) =ˆ F[K] (ω),
thì với mọi hạch đối xứng K ∈L2(R) bất kì, ta có
F[ˆpn] (ω) = φn(ω) ˆK(hω). (1.44) Bổ đề 1.3.1. Ta có
Ep[φn(ω)] =φ(ω), (1.45)
Ep
|φn(ω)|2
=
1− 1 n
|φn(ω)|2+ 1
n, (1.46)
Ep
|φn(ω)−φ(ω)|2
= 1
n(1− |φ(ω)|2). (1.47) Chứng minh. Thật vậy
Ep[φn(ω)] = Ep
Z +∞
−∞
eitωdFn(t)
=
Z +∞
−∞
eitωdF(t) = φ(ω).
Và
Ep
|φn(ω)|2
= Ep[φn(ω)φn(−ω)]
= Ep
"
1 n2
X
j,k;j6=k
ei(Xj−Xk)ω
# + 1
n
= n−1
n φn(ω)φn(−ω) + 1 n
=
1− 1 n
|φn(ω)|2+ 1 n.
Tiếp theo Ep
|φn(ω)−φ(ω)|2
= Ep[|φn(ω)|]2−2Ep[|φn(ω)|]|φ(ω)|+|φ(ω)|2
=
1− 1 n
|φn(ω)|2+ 1
n −2|φ(ω)|2+|φ(ω)|2
= 1
n(1− |φ(ω)|2).
Bây giờ giả sử rằng cả hạchK và mật độpđều thuộcL2(R)vàK là hạch đối xứng. Áp dụng Định lý Plancherel và (1.44) ta có thể viết MISE của ước lượng hạch pˆn như sau
M ISE = Ep Z
(ˆpn(x)−p(x))2dx
= 1
2πEp Z
|F[ˆpn] (ω)−φ(ω)|2dω
= 1
2πEp
Z
φn(ω) ˆK(hω)−φ(ω)
2
dω.
Định lí 1.3.1. Giả sử p ∈ L2(R) là một mật độ xác suất và K ∈ L2(R) là hạch đối xứng. Khi đó với mọi n ≥ 1 và h > 0 thì sai số tích phân bình phương trung bình là
M ISE = 1 2π
Z
1−K(hω)ˆ
2
|φ(ω)|2dω+ 1 n
Z
Kˆ(hω)
2
dω
(1.48)
− 1 2πn
Z
|φ(ω)|2
K(hω)ˆ
2
dω
=4 Jn(K, h, φ). (1.49)
Chứng minh. Từ φ ∈ L2(R), K ∈ L2(R) và |φ(ω)| ≤ 1 với mọi ω ∈ R, mọi tích phân trong (1.48) là hữu hạn, áp dụng (1.48) ta có
2πM ISE = Ep
Z
φn(ω) ˆK(hω)−φ(ω)
2
dω
= Ep
Z
(φn(ω)−φ(ω)) ˆK(hω)−
1−Kˆ(hω) φ(ω)
2
dω
= Z 1
n 1− |φ(ω)|2
K(hω)ˆ
2
dω+ Z
1−Kˆ(hω)
2
|φ(ω)|2dω
= Z
1−K(hω)ˆ
2|φ(ω)|2dω+ 1 n
Z
Kˆ(hω)
dω− 1 n
Z
Kˆ(hω)
2|φ(ω)|2dω,
từ đây suy ra (1.48).
CHÚ Ý
(1) Trong Định lí 1.3.1 chúng ta đã giả sử rằng hạch K là hạch đối xứng, biến đổi Fourier Kˆ của K có giá trị thực.
(2) Biểu thức bên trong dấu ngoặc vuông trong (1.48) là số hạng chính của
MISE. Giống như biểu thức của MISE mà ta đã có trong Định lí 1.2.3 khi mà ta chưa sử dụng phân tích Fourier. Trên thực tế, bởi Định lí Plancherel và (1.42),
1 2πn
Z
K(hω)ˆ
2
dω= 1 nh
Z
K2(u)du, (1.50) biểu thức này trùng với cận trên của tích phân phương sai trong Mục 1.2.3.
Chú ý rằng biểu thức (1.48) dựa trên phân tích Fourier là chính xác hơn vì biểu thức đó chứa số hạng điều chỉnh âm
− 1 2πn
Z
|φ(ω)|2
K(hω)ˆ
2
dω.
Tuy nhiên, số hạng này có bậc nhỏ hơn (1.50). Trên thực tế, nếuKˆ ∈L∞(R), theo định lí Plancherel
1 2πn
Z
|φ(ω)|2
Kˆ(hω)
2
dω ≤ kKˆk∞
2πn Z
|φ(ω)|2dω
= kKˆk∞
n Z
p2(u)du,
trong đó kKkˆ ∞ là chuẩn trên L∞(R) của K. Vì vậy, số hạng điều chỉnh cóˆ cấp O(1/n), còn số hạng trong biểu thức (1.50) có cấp O(1/(nh)). Nên, với h nhỏ, tích phân phương sai về cơ bản được cho bởi biểu thức (1.50). Tuy nhiên, tích phân độ chệch trong (1.48) thì khác:
1 2π
Z
1−K(hω)ˆ
2
|φ(ω)|2dω.
Trái với Định lí 1.2.3, tích phân độ chệch có dạng tổng quát; không chứa đạo hàm của p.
(3) Không cần điều kiện R
K = 1 trong Định lí 1.3.1; đúng hơn là ta không cần giả thiết K khả tích. Thêm vào đó, Định lí 1.3.1 có thể áp dụng cho K khả tích mà R
K 6= 1. Về nguyên tắc, việc này có thể đưa tới ước lượng với MISE nhỏ hơn. Tuy nhiên, ta sẽ thấy rằng việc xét hạch K thỏa mãn R K 6= 1 là không thực sự có ý nghĩa.
Dễ dàng thấy giá trị nhỏ nhất MISE trong (1.48) đạt được khi Kˆ∗(hω) = |φ(ω)|2
ε2(ω) +|φ(ω)|2, (1.51)
trong đó ε2(ω) = (1− |φ(ω)|2)/n. Đây là kết quả đạt được bởi việc cực tiểu hóa biểu thức dưới dấu tích phân trong (1.48) khi cố định ω bất kì. Chú ý rằng Kˆ∗(0) = 1,0 ≤Kˆ(ω) ≤1 với mọi ω ∈ R, và Kˆ∗ =L1(R)∩L2(R). Rõ ràng, ta không thể dùngKˆ∗ để xây dựng ước lượng vì nó phụ thuộc vào hàm đặc trưng chưa biếtφ. Do đó biến đổi Fourier ngược củaKˆ∗(hω)là một hạch lí tưởng và được dùng để so sánh, đánh giá với các hạch khác được. Chú ý rằng vế phải của (1.51) không phụ thuộc vào h, điều đó có nghĩa là, để thỏa món (1.51) thỡ chớnh hàm Kˆ∗(ã) phụ thuộc vào h. Sai số giả (tức là MISE với Kˆ = ˆK∗) là
M ISE∗ = 1 2π
Z ε2(ω)|φ(ω)|2
ε2(ω) +|φ(ω)|2dω. (1.52) Định nghĩa 1.3.1. Một hạch đối xứng K ∈L2(R) được gọi là không chấp nhận được nếu tồn tại hạch đối xứng khác, K0 ∈ L2(R), thỏa mãn 2 điều kiện sau:
(i) với mọi hàm đặc trưng φ∈L2(R)
Jn(K0, h, φ)≤Jn(K, h, φ),∀h >0, n≥1; (1.53) (ii) tồn tại một hàm đặc trưng φ0 ∈L2(R) sao cho
Jn(K0, h, φ0)< Jn(K, h, φ0),∀h >0, n≥1. (1.54) Trường hợp khác, hạch K được gọi là chấp nhận được.
Vấn đề tìm một hạch chấp nhận được rất là phức tạp và ta sẽ không đề cập đến ở đây. Chúng ta sẽ chỉ đưa ra một tiêu chuẩn đơn giản để tìm hạch không chấp nhận được.
Mệnh đề 1.3.1. Cho K ∈L2(R) là hạch đối xứng. Nếu
Leb(ω: Kˆ∗ 6∈[0,1]) >0 (1.55) thì K là hạch không chấp nhận được.
Chứng minh. Kí hiệu Kˆ0(ω) là phép chiếu của Kˆ(ω) trên [0,1], tức là, Kˆ0(ω) = min(1,max( ˆK(ω),0)). Rõ ràng,
Kˆ0(ω) ≤
K(ω)ˆ
,
1−Kˆ0(ω) ≤
1−K(ω)ˆ
,∀ω ∈R. (1.56) Từ Kˆ ∈L2(R), ta có Kˆ0 ∈L2(R). Bởi vậy, tồn tại một hàmK0 ∈L2(R) với biến đổi Fourier Kˆ0. Vì K là hạch đối xứng, biến đổi Fourier Kˆ và Kˆ0 đều có giá trị thực, nên K0 cũng là hạch đối xứng.
Ta có
Jn(K, h, φ)−Jn(K0, h, φ) (1.57)
= 1 2π
Z
1−K(hω)ˆ
2
−
1−Kˆ0(hω)
2
|φ(ω)|2dω +1
n Z
(1− |φ(ω)|2)(
K(hω)ˆ
2
−
Kˆ0(hω)
2
)dω
≥0,
vì |φ(ω)| ≤ 1 và theo (1.56) thì
1−K(hω)ˆ
2
−
1−Kˆ0(hω)
2
≥ 0 và
Kˆ(hω)
2
−
Kˆ0(hω)
2
≥0. Từ đây suy ra (1.53). Để kiểm tra (ii) của Định nghĩa 1.3.1, ta sẽ sử dụng giả thiết (1.55).
Chọnφ0(ω) = e−ω2/2 là hàm đặc trưng của hàm phân phối chuẩn tắc trên R. Từ (1.55) suy ra Leb(ω: ˆK(ω)<0)>0 hoặc Leb(ω : ˆK(ω)>1)>0.
Nếu Leb(ω : K(ω)ˆ < 0) > 0 cố định h và đặt Bh0 =4 n
ω: ˆK(hω)<0 o
= n
ω | h: ˆK(hω)<0o
. Khi đó Leb(Bh0)>0. Thật vậy,Bh0 là một phép giãn của tập n
ω: ˆK(hω)<0o
của độ đo Lebesgue dương. Xét
Jn(K, h, φ0)−Jn(K, h, φn) (1.58)
≤ 1 2πn
Z
B0h
1− |φ0(ω)|2
Kˆ(hω)−Kˆ0(hω)
dω
= 1 2πn
Z
Bh0
1−e−ω2
K(hω)ˆ
2
dω > 0,
vì
1−e−ω2
K(hω)ˆ
2
>0 hầu khắp nơi trênBh0. Nếu Leb(ω: K(ω)ˆ >1)>0, ta xétBh1 =4
n
ω : ˆK(hω)>1 o
, tương tự trên
ta được
Jn(K, h, φ0)−Jn(K0, h, φ0)
≥ 1 2πn
Z
Bh1
1−K(hω)ˆ
2
−
1−Kˆ0(hω)
2
|φ0(ω)|2dω
= 1 2πn
Z
B1h
1−Kˆ(hω)
2
e−ω2dω > 0.
Từ đó suy ra điều phải chứng minh.
Vì biến đổi Fourier của hàm khả tích K là hàm liên tục và Kˆ(0) = R K(u)du, Mệnh đề 1.3.1 có nghĩa là mọi hạch đối xứng khả tích bất kì thỏa mãn R
K(u)du >1 là đều hạch không chấp nhận được. Kết luận này không còn đúng với hạch mà 0<R
K(u)du <1: Mệnh đề 1.3.1 không nói rằng tất cả các hạch này đều không chấp nhận được. Tuy nhiên, việc xét những hạch đó là không có ý nghĩa. Trên thực tế, nếu Kˆ0 < 1 và Kˆ là liên tục thì tồn tại hằng số ε dương và δ sao cho inf|t|≤ε
1−K(t)ˆ
=δ. Khi đó, ta có Z
1−K(hω)ˆ
2
|φ(ω)|2dω ≥δ2 Z
|ω|≤ε/h
|φ(ω)|2dω →δ2 Z
|φ(ω)|2dω >0 khih→0. Bởi vậy, tích phân độ chệch trong MISE của ước lượng hạch trong (1.48) không tiến tới 0 khi h→0.
Hệ quả 1.3.1. Hạch Epanechnikov là hạch không chấp nhận được.
Chứng minh. Biến đổi Fourier của hạch Epanechnikov là Kˆ(ω) =
3
ω3(sinω−ωcosω) nếu ω6= 0,
1 nếu ω= 0,
Ta thấy tập n
ω : ˆK(ω)<0o
6=nên nó là tập có độ đo Lebesgue dương, áp dụng Mệnh đề 1.3.1 ta suy ra điều phải chứng minh.
Bây giờ ta giả sửp thuộc lớp mật độ Sobolev được xác định như sau:
PS(β, L) =
p | p≥0, Z
p(x)dx= 1 và Z
|ω|2β|φ(ω)|2dω≤2πL2
,
trong đó β >0 và L >0 là các hằng số và kí hiệu φ=F[p], hàm đặc trưng của p. Ta có thể chứng tỏ rằng với β nguyên, lớp PS(β, L) trùng với tập tất cả các mật độ xác suất thuộc lớp Sobolev S(β, L). Chú ý rằng nếu β là một số nguyên và nếu đạo hàm p(β−1) là liên tục tuyệt đối, điều kiện
Z
p(β)(u)2
du≤L2 (1.59)
kéo theo
Z
|ω|2β|φ(ω)|2dω≤2πL2. (1.60) Thật vậy, biến đổi Fourier của p(β) là(−iω)βφ(ω), khi đó
L2 ≥ Z
p(β)(u)2
du
= 1
2π Z
(−iω)2β|φ(ω)|2dω
= 1
2π Z
|ω|2β|φ(ω)|2dω.
Suy ra
Z
|ω|2β|φ(ω)|2dω≤2πL2.
Định lí 1.3.2. Giả sử K ∈L2(R) là hạch đối xứng. Giả sử với β > 0 nào đó tồn tại một hằng số A sao cho
ess sup
t∈R\{0}
1−K(t)ˆ
|t|β ≤A. (1.61)
Cố định α >0 và lấy h =αn−2β+11 . Khi đó với n ≥ 1 bất kì ước lượng hạch ˆ
pn thỏa mãn
sup
p∈PS(β,L)Ep Z
(ˆpn(x)−p(x))2dx≤Cn−2β+12β
trong đó C >0 là một hằng số chỉ phụ thuộc vàoL, α, A và hạch K. Chứng minh. Từ (1.61) và định nghĩa của PS(β, L) ta có
Z
1−K(hω)ˆ
2
|φ(ω)|2dω ≤ A2h2β Z
|ω|2β|φ(ω)|2dω
≤ 2πA2L2h2β.
Từ (1.48) và (1.50), h=αn−2β+11 ta có Ep
Z
(ˆpn(x)−p(x))2dx = 1 2π
Z
1−K(hω)ˆ
2
|φ(ω)|2dω + 1
2πn Z
1− |φ(ω)|2
K(hω)ˆ
2
dω
≤ 1
2π2πA2L2h2β + 1 2πn
Z
K(hω)ˆ
2
dω
= A2L2h2β+ 1 nh
Z
K2(u)du
= A2L2α2βn−2β+12β + 1 nαn−2β+11
Z
K2(u)du
= A2L2α2βn−2β+12β +n−2β+12β 1 α
Z
K2(u)du
=
A2L2α2β + 1 α
Z
K2(u)du
n−2β+12β .
Vì R
K2(u)du <∞ nên ta đặt
C=A2L2α2β+ 1 α
Z
K2(u)du.
Khi đó
sup
p∈PS(β,L)Ep Z
(ˆpn(x)−p(x))2dx≤Cn−2β+12β
Điều kiện (1.61) kéo theo sự tồn tại một bản sao của Kˆ liên tục tại 0 và K(0) = 1. Chú ý rằngˆ K(0) = 1ˆ có thể xem như mở rộng của giả thiết R K = 1 cho hàm K không khả tích, ví dụ như hạch sinc chẳng hạn. Hơn nữa, dưới giả thiết của Định lí 1.3.2, điều kiện (1.61) tương đương với
∃t0, A <∞: ess sup
0<t≤t0
1−K(t)ˆ
|t|β ≤A0. (1.62) Nên, trên thực tế, (1.61) là một điều kiện địa phương về dáng điệu của Kˆ trong một lân cận của 0, về bản chất là điều kiện moment của K. Ta có thể chứng tỏ rằng vớiβ ∈Z, nếuKlà một hạch cấpβ−1vàR
|u|β|K(u)|du <∞ thì giả thiết (1.61) là được thỏa mãn.
Giả sử rằng điều kiện (1.61) là thỏa mãn với β = β0 > 0 nào đó, thì nó cũng thỏa mãn với mọi β mà 0 < β < β0. Với mọi hạch được liệt kê trong Mục 1.2, trừ ra hạch Silverman, điều kiện (1.61) chỉ có thể đảm bảo với β≤2. Mặt khác, biến đổi Fourier của hạch Silverman là
Kˆ(ω) = 1 1 +ω4, nên ta có điều kiện (1.61) được thỏa mãn với β = 4.
Tồn tại hạch thỏa mãn (1.61) với β >0 bất kì. Hai ví dụ rất quan trọng về hạch với biến đổi Fourier
K(ω) =ˆ 1
1 +|ω|β, (1.63)
Kˆ(ω) =
1− |ω|β
+ Hạch Pinsker. (1.64)
Có thể chỉ ra rằng, với β = 2m, khi m là một số nguyên, ước lượng hạch Kˆ thỏa mãn (1.63) là ước lượng Splines. Còn hạch (1.64) thì liên quan đến lí thuyết của Pinsker. Biến đổi Fourier ngược của (1.63) và (1.64) có thể viết chi tiết khi β ∈Z. Ví dụ, với β = 2 hạch Pinsker được xác định như sau
K(u) = 2
πu3(sinuưucosu) nếu u6= 0,
2
3π nếu u= 0,
Tóm lại, tồn tại "siêu hạch", tức là, hạch đồng thời thỏa mãn (1.61) với mọi β >0. Ví dụ hạchsinc(1.40). Chú ý rằng hạch sinckhông chỉ sử dụng tốt trong phạm vi Định lí 1.3.2 mà còn đối với lớp mật độ khác nữa, như là hàm đặc trưng giảm với tốc độ hàm mũ. Bởi vậy, hạchsinclà linh hoạt hơn hạch được thảo luận ở trên.