MPL là m t lo i m ng lan truy n ti n đ c hu n luy n theo ki u h c có th y. M ng là m t c u trúc g m nhi u l p tr ng s . đây ta ch xét đ n lo i m ng lan truy n kh vi. ây là lo i m ng có th áp d ng ph ng pháp tính toán khá hi u qu và m nh g i là lan truy n ng c l i , đ xác đ nh đ o hàm hàm l i theo các tr ng s và đ d c trong m ng. ây là m t tính ch t r t quan tr ng c a nh ng m ng ki u này b i nh ng đ o hàm này đóng vai trò trung tâm trong các gi i thu t h c c a các m ng đa l p. V n đ lan truy n ng c s đ c ta xét t i trong m t ph n riêng sau này.
3.2.1 Ánh x m ng lan truy n ti n
Trong ph n này ta s nghiên c u mô hình m ng neural lan truy n ti n nh là m t khung t ng quát đ i di n cho các hàm ánh x phi tuy n gi a t p các bi n đ u vào và t p các bi n đ u ra.
3.2.1.1 M ng phân l p
Các m ng đ n l p đ c xây d ng d a trên s k t h p tuy n tính các bi n đ u vào đ c chuy n đ i b i m t hàm truy n phi tuy n.
Ta có th xây d ng đ c các hàm t ng quát h n b ng cách nghiên c u nh ng mô hình m ng có các l p các nút là liên ti p, v i các k t n i t t t c các nút thu c m t l p t i t t c các nút thu c l p k ti p, và không cho phép b t k m t lo i k t n i nào khác. Nh ng m ng phân l p nh th này có th d phân tích h n các c u trúc t ng quát khác, và c ng d đ c mô ph ng b i ph n m m h n.
K IL O B O O K S .C O M
Hình 4: Mô hình m ng lan truy n ti n
Các nút không ph i là các nút nh p và nút xu t đ c g i là các nút n. Trong mô hình chúng ta nghiên c u đây, có d nút nh p, M nút n và c nút xu t.
K t qu c a nút n th j đ c tính nh sau:
d
i wji xi wj aj
1
) 1 (
0 )
1
( (I.26)
Trong đó là tr ng s c a l p đ u tiên, t nút nh p i đ n nút n j, và là tr ng ng ng c a nút n j.
Gi s đ t m t bi n c đ nh x0 = 1. T đó công th c (I.26) có th đ c vi t l i:
d
i wji xi aj
0 ) 1
( (I.27)
Sau đó đ ho t đ ng zk c a nút n j đ c tính toán b ng cách chuy n đ i t ng tuy n tính (I.27) s d ng hàm truy n g(.), t c là: zk = g(aj) (I.28)
K IL O B O O K S .C O M
K t xu t c a m ng đ c tính b ng cách chuy n đ i đ ho t đ ng c a các nút n s d ng m t l p các nút th 2. V i m i nút xu t k, ta có:
M
i zj wk
wkj ak
1
) 2 (
0 )
2
( (I.29)
t z0 =1 ta có:
M
i zj
wkj ak
0 ) 2
( (I.30)
Sau đó giá tr này đ c cho qua hàm truy n phi tuy n cho ta k t xu t đ u ra c a nút xu t k: yk g~ ak (I.31)
đây ta s d ng kí hi u đ bi u di n hàm truy n c a các nút xu t nh m ch ra r ng hàm này có th không trùng v i hàm đã đ c s d ng trong l p n.
K t h p (I.27), (I.28), (I.30), (I.31) ta có công th c chung cho mô hình m ng trong hình trên:
M j
d
i wji xi kj g
w k g
y
0 0
) 1 ( )
2
~ ( (I.32)
3.2.1.2 Ki n trúc m ng t ng quát
Ta có th xây d ng đ c nh ng ánh x m ng t ng quát h n b ng cách nghiên c u nh ng s đ m ng ph c t p h n. Tuy nhiên đây thì ta ch gi i h n nghiên c u trong ph m vi các m ng lan truy n ti n.
M ng lan truy n ti n là m ng không có m t k t n i quay lui nào trong m ng.
Theo Bishop (1995): OV m t t ng quát, m t m ng đ c g i là lan truy n ti n n u nó có th gán các s liên t c cho t t c các nút nh p, t t c các nút n và nút xu t sao cho m i nút ch có th nh n đ c các k t n i t các nút nh p ho c các nút đ c gán s bé h n.Õ
K IL O B O O K S .C O M
V i nh ng m ng có tính ch t nh th , k t xu t c a m ng là các hàm quy t đ nh c a các đ u vào, và vì th toàn b m ng đ c g i là m t ánh x hàm phi tuy n đa bi n.
K t xu t c a nút k tính đ c nh sau:
zj
j wkj k g
z (I.33)
trong đó g(.) là m t hàm truy n phi tuy n, và j thu c t p t t c các nút nh p và các nút g i k t n i t i nút k (Tham s tr ng ng ng c ng đã đ c bao hàm trong t ng này).
V i m t t p cho tr c các giá tr đ u vào, áp d ng liên t c công th c (I.33) s cho phép các kích ho t c a t t c các nút trong m ng đ c c l ng, bao g m c các kích ho t c a các nút xu t. Quá trình này đ c g i là lan truy n ti n các tín hi u qua m ng.
N u nh các hàm truy n c a t t c các nút n trong m ng là tuy n tính, thì v i nh ng m ng nh th ta luôn luôn tìm đ c m t mô hình m ng t ng đ ng mà không có m t nút n nào. Nh ng m ng này đ c g i là m ng tuy n tính đa l p và vì th không đ c đi sâu nghiên c u, mà ng i ta ch ch y u nghiên c u các m ng đa l p v i các hàm truy n c a các nút n là phi tuy n.
3.2.2 Hàm sigmoid
Bây gi chúng ta s xem xét hàm truy n logistic d ng S, trong đó các đ u ra c a nó n m trong kho ng (0,1), có ph ng trình nh sau:
a a
g
exp 1
1 (I.34)
K IL O B O O K S .C O M
Hình v d i đây bi u di n m t hàm truy n sigmoid cho các nút trong m ng. ây là m t hàm m có m t đ c tính vô cùng quan tr ng vì : khi x ch y t vô cùng l n đ n vô cùng bé thì f(x) luôn ch y trong kho ng t 0 đ n 1. Gi i thu t h c đây s đi u ch nh tr ng s c a các k t n i gi a các nút đ hàm này ánh x giá tr c a x sang d ng nh phân, thông th ng:
f(x) > 0.9 : f(x) = 1 f(x) < 0.1 : f(x) = 0.
Hình 5: th hàm truy n sigmoid
Trong ph n này chúng ta s xem xét các m ng neural v i nút xu t tuy n tính. Tuy nhiên đi u này c ng ch ng h n ch l p các hàm mà m ng có th x p x hoá. Vi c s d ng các hàm sigmoid t i các đ u ra s gi i h n ph m vi có th x y ra c a các nút xu t thành ph m vi có th đ t t i đ c c a hàm sigmoid (giá tr k t xu t là t 0 t i 1), và trong m t s tr ng h p thì đi u này có th là không mong mu n. Th m chí ngay c khi giá tr xu t mong mu n là n m trong gi i h n c a hàm sigmoid thì chúng ta v n ph i chú ý r ng hàm sigmoid g(.) là m t hàm đ n đi u t ng, do đó nó có th l y ngh ch đ o đ c. Do v y m t giá tr xu t y
K IL O B O O K S .C O M
mong mu n đ i v i m ng có nút xu t thu c d ng sigmoid thì t ng đ ng v i m t giá tr xu t g-1(y) đ i v i m ng có nút xu t tuy n tính.
M t nút n thu c d ng sigmoid có th x p x m t nút n tuy n tính b t kì m t cách chính xác. Công vi c này đ t đ c b ng cách thi t k cho t t c các tr ng s các cung đ u vào c a nút, c ng nh các tr ng ng ng, sao cho r t nh đ mà t ng c a các giá tr nh p ph i n m trên ph n tuy n tính c a đ ng cong sigmoid, g n đúng v i đ ng th ng nguyên thu . Tr ng s trên cung xu t t m t nút đ n t ng ch a các nút k ti p có th t o ra t ng đ i l n đ tái t l v i đ ho t đ ng (và v i tr ng ng ng đ có đ c b c d ch chuy n phù h p n u c n thi t). T ng t , m t nút n d ng sigmoid có th đ c t o ra nh m x p x m t hàm b c thang (step) b ng v êc đ t giá tr cho các tr ng s và tr ng ng ng r t l n.
B t kì m t ánh x hàm liên t c nào đ u có th đ c trình bày v i đ chính xác tu ý b i m t m ng neural hai l p tr ng s s d ng các nút n d ng sigmoid (Bishop, 1995).
Do đó chúng ta bi t đ c r ng nh ng m ng neural v i nhi u t ng nút x lý c ng có kh n ng x p x hoá b i vì chúng đã ch a đ ng trong nó m ng neural hai t ng nh m t tr ng h p đ c bi t. i u này cho phép các t ng còn l i đ c s p x p đ th c hi n nh ng bi n đ i tuy n tính nh đã th o lu n trên, và s bi n đ i đ ng nh t chính là m t tr ng h p d c bi t c a m t phép bi n đ i tuy n tính (bi t r ng có đ s nút n đ không có s gi m b t v chi u x y ra).