TỔNG QUAN VỀ MẠNG NƠRON TẾ BÀO 5
Chương này trình bày nghiên cứu tổng quan về mạng nơron tế bào (CNN), bao gồm bốn nội dung chính: tổng quan về mạng nơron nhân tạo, khái niệm và ứng dụng của mạng nơron tế bào, tình hình nghiên cứu CNN tại Việt Nam và trên thế giới, cùng với việc phát biểu bài toán nghiên cứu trong luận án.
1 1 Tổng quan về mạng nơron nhân tạo
CNN, hay Mạng Nơron Tích Chập, là một trong nhiều cấu trúc mạng nơron nhân tạo với những đặc điểm riêng và chung so với các mô hình khác Nó kế thừa nhiều yếu tố từ các mạng nơron truyền thống, do đó, tác giả đã tổng quan về các cấu trúc và luật học của mạng nơron để làm rõ những điểm khác biệt và tương đồng.
1 1 1 Mô hình cấu trúc mạng nơron nhân tạo
1 1 1 1 Mô hình một nơron của Mc Culloch Pitts's
Năm 1943, McCulloch-Pitts đề xuất mô hình một nơron nhân tạo (Hình 1 1)
Nơron McCulloch-Pitts, được đặt theo tên của tác giả, là mô hình khởi đầu cho sự phát triển của mạng nơron nhân tạo Nơron này, còn được gọi là đơn vị xử lý (Processing Element: PE), nút (Node) hoặc tế bào (trong mạng CNN), nhận nhiều tín hiệu đầu vào từ các nơron khác hoặc từ phản hồi, và xử lý chúng để tạo ra tín hiệu đầu ra Do đó, nơron có thể được xem là một hệ thống với nhiều đầu vào và một đầu ra duy nhất.
Hình 1 1 Mô hình nơron McCulloch-Pitts
Trạng thái x j và đầu ra y j của nơron McCulloch-Pitts có thể được mô tả bằng công thức toán học sau: y j = g(∑(u jk * w jk)), với u jk là đầu vào thứ k tới nơron j, k chạy từ 1 đến n, trong đó n là tổng số đầu vào Các trọng số w jk tương ứng với từng đầu vào k tới nơron j.
Ngưỡng (Threshold) hay độ lệch (Bias) của nơron j được ký hiệu là I j, trong khi đầu ra của nơron j là y j Tổng hợp các đầu vào của nơron j được biểu thị bằng v j, và đầu ra tương tự hay trạng thái của nơron j được ký hiệu là x j Hàm truyền đạt (Transfer Function) hay hàm kích hoạt (Activation) của nơron j được thể hiện qua g (x j).
Hàm chặn (Squashing Function) của nơron j thường được mô phỏng bằng hàm chặn dạng bước nhảy hoặc hàm chặn Sigmoid, phản ánh cơ chế hoạt động của nơron sinh học Cụ thể, nếu xung thần kinh vượt quá ngưỡng trên, con người có thể biểu hiện trạng thái quá khích bất thường, trong khi nếu xung thần kinh dưới ngưỡng, trạng thái trầm cảm sẽ xuất hiện Tuy nhiên, trong một số trường hợp, hàm đầu ra g(x j ) của nơron không nhất thiết phải bị chặn, cho thấy sự đa dạng trong cách mô phỏng hoạt động của nơron.
Hình 1 2 Hàm tuyến tính Hình 1 3 Hàm bước nhảy đơn cực v j w jk jk I j j j ; x H ( ); v
Hàm tuyến tính (Hình 1 2) hay hàm đồng nhất g(x j j
- Hàm bước nhảy đơn cực: Đầu ra của hàm này được mô tả như sau: g(x j -I j ) =
Ngưỡng chặn trên và dưới ứng với hai ngưỡng: 0 và 1 như (Hình 1 3)
Trong phần mềm mô phỏng Matlab, hàm bước nhảy đơn cực (Hình 1 3) được gọi là hàm giới hạn cứng (Hard Limit Function), "hàm ngưỡng" (Threshold
Function) hay hàm bậc thang (Heaviside Function)[24]
Hình 1 4 Hàm Sigmoid đơn cực Hình 1 5 Hàm Sigmoid lưỡng cực
- Hàm dạng chữ S (Sigmoid) đơn cực (Hình 1 4) Hàm Sigmoid là hàm liên tục, khả vi, đơn điệu không giảm và xác định trong khoảng [0, 1] g(x j ) 1
- Hàm Sigmoid lưỡng cực (hình 1 5) g(x j ) 1 e
x j (1 6) là hàm liên tục, khả vi, đơn điệu không giảm, xác định trong khoảng [-1, 1]
1 1 1 2 Phân loại mạng nơron nhân tạo
Nhiều nơron kết nối với nhau tạo thành một mạng nơron Các cấu trúc mạng nơron chủ yếu được phân chia thành hai loại chính.
Mạng được phân loại thành mạng một lớp hoặc mạng nhiều lớp dựa trên cách kết nối Cấu trúc của mạng được xác định bởi số lượng lớp và số lượng nơron trong mỗi lớp.
- Dựa vào hướng truyền tín hiệu, mạng có thể được phân thành mạng truyền thẳng và mạng hồi quy (hay phản hồi)
Mạng nơron tế bào CNN (1988)
Boltzmann (1986) Học sâu Deep Belief (2009)
Deep CNN Mạng CNN bậc cao
Hình 1 6 Phân loại cấu trúc mạng nơron nhân tạo
Mạng truyền thẳng được chia thành ba nhóm chính: mạng một lớp, mạng nhiều lớp, và mạng học sâu, mỗi nhóm chứa nhiều loại mạng khác nhau Trong khi đó, mạng hồi quy bao gồm bốn loại phổ biến, trong đó có mạng Hopfield.
24], mạng Cohen-Grossberg, mạng BAM [32, 41, 46] và CNN [17, 18, 22, 25] Nhóm mạng này đều có nguồn gốc từ mạng Hopfield, vì thế còn được gọi là lớp mạng
Hopfield: a) Mạng Hopfield rời rạc
Tư tưởng xây dựng mạng hồi quy đầu tiên được Kohonen, Anderson và
Năm 1972, Nakano đã đề xuất một mạng nơron, và sau đó, vào năm 1982, Hopfield đã cải tiến nó thành mạng Hopfield rời rạc hoàn chỉnh Đầu ra của các nơron trong mạng này được phản hồi lại làm đầu vào cho chính mạng nơron Hàm tương tác đầu ra của nơron Hopfield sử dụng hàm bước nhảy đơn cực hoặc hàm dấu Cấu trúc của mạng được mô tả qua các công thức toán học liên quan.
2 j=i ij (1 11) trong đó: p là phần tử đang được tính, p = 1,…, h Ở đây h là số lượng mẫu được cất giữ x i (t ) w ij j i y (t )I y i (t1) g ( x i (t ))
w Để ổn định mạng, Hopfield đề xuất hàm năng lượng cho mạng (hay hàm thế năng):
Với điều kiện ràng buộc trọng số là w ij = 0 và w ij = w ji, tính đối xứng của ma trận W được đảm bảo Khi có sự thay đổi không đồng bộ của y p, năng lượng của mạng sẽ giảm, thể hiện qua tốc độ âm (đạo hàm E có giá trị âm), điều này chứng tỏ rằng mạng đang ổn định.
Năm 1984, trên cơ sở mô hình rời rạc, Hopfield đã nêu mô hình nơron liên tục được mô tả bằng tập các phương trình sau [24]:
Trong mô hình mạng nơron, các tham số như tụ điện (Ci), điện trở (Ri) và ngưỡng (Ii) của nơron thứ i đóng vai trò quan trọng trong việc xác định trạng thái của mạng Trọng số liên kết (wij) từ nơron thứ j tới nơron thứ i ảnh hưởng đến đầu ra của nơron Hàm Sigmoid gi(xi) được sử dụng để xử lý đầu vào, có tính khả vi, bị chặn và đơn điệu tăng, đồng thời có hàm ngược giúp tối ưu hóa quá trình học của mạng.
Hopfield đã đề xuất hàm Lyapunov xác định dương [24]
g ( x g 1 ( y là x i = g j i ) cũng bị chặn và đơn điệu tăng
Trong bài viết này, chúng tôi đã chứng minh rằng dE/dt ≤ 0, và khi dE/dt = 0, điều này dẫn đến dy_i/dt = 0, tức là y_i = const với mỗi i Điều này đảm bảo rằng mạng nơron Hopfield liên tục phi tuyến ổn định theo tiêu chuẩn Lyapunov.
Sau một thời gian t ≥ 0, trạng thái x i (t) trong không gian trạng thái sẽ tìm được cực tiểu trong một miền xác định và dừng lại tại điểm đó, với dE/dt = 0 và dy i/dt = 0, tức là y i (t) = hằng số với mỗi i Hệ thống này có nhiều điểm cân bằng tương ứng với mức năng lượng cực tiểu trên siêu phẳng năng lượng n chiều Khi các mẫu đầu vào được đưa vào mạng nơron như trạng thái ban đầu, hệ thống sẽ đạt đến điểm cân bằng gần nhất, tương ứng với điểm ổn định.
Hình 1 7, phác họa về năng lượng E trong không gian một chiều để minh họa
Nếu E là một hàm vô hướng của x với các cực tiểu địa phương, thì các điểm cực tiểu này được sử dụng như các đặc trưng trong việc xử lý thông tin Khi hệ thống bắt đầu ở trạng thái x(0), theo thời gian, nó sẽ trượt xuống đáy năng lượng của điểm cực tiểu gần nhất Với đặc điểm này, mạng Hopfield có khả năng lưu trữ và gọi lại các mẫu Dựa trên nguyên lý này, mạng Hopfield có thể được áp dụng trong nhận dạng tham số, thực hiện suy diễn và giải quyết nhiều bài toán tối ưu.
PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH CỦA MẠNG NƠ RON TẾ BÀO BẬC CAO 34
PHÁT TRIỂN CẤU TRÚC VÀ PHÂN TÍCH ỔN ĐỊNH
CỦA MẠNG NƠRON TẾ BÀO BẬC CAO
Chương hai trình bày quá trình kế thừa kết quả từ CNN chuẩn để phát triển thành CNN bậc cao Tác giả bắt đầu bằng việc chuyển đổi CNN chuẩn thành CNN bậc hai và đề xuất hàm E(t) nhằm chứng minh tính ổn định của mạng Sau khi đạt được kết quả, tác giả áp dụng phương pháp quy nạp cho mạng bậc cao tổng quát Cuối cùng, tác giả thực hiện mô phỏng trên Matlab để kiểm chứng tính ổn định của CNN bậc hai, từ đó xác nhận các kết quả nghiên cứu.
2 1 Mạng nơron tế bào bậc hai Định nghĩa 3
CNN bậc hai là mạng có các đầu vào và các đầu ra phản hồi kết nối bậc hai theo kiểu đa thức
Trong CNN bậc hai, ngoài các số hạng bậc nhất như công thức (1 33a), còn có các số hạng bậc hai được bổ sung Các số hạng bậc hai này bao gồm tổng các tích bậc hai của các tín hiệu đầu ra y ij với mảng A(i, j; k, l) và tổng các tích bậc hai của các tín hiệu điều khiển u ij với mảng đầu vào B(i, j; k, l) Trong đó, (k, l) và (m, n) là các lân cận của tế bào (i, j).
2 1 1 Mô hình toán học của mạng nơron tế bào bậc hai
Cấu trúc của CNN bậc hai có thể được mô tả bằng phương trình sau (phần trong khung được tác giả phát triển thêm) [A 2, A 7]:
Trong mô hình này, các chỉ số i, k, m được giới hạn trong khoảng từ 1 đến M, trong khi j, l, n nằm trong khoảng từ 1 đến N Tụ điện C có giá trị dương (C > 0) và điện trở R x cũng có giá trị dương (R x > 0) Ngưỡng I được xác định cho các tế bào nơron C(k, l) tại vị trí (k, l) Láng giềng Nr(i, j) của C(k, l) có bán kính r, trong đó trạng thái của tế bào (i, j) được ký hiệu là xij(t) Các hệ số phản hồi A(i, j; k, l; m, n) và hệ số điều khiển B(i, j; k, l; m, n) liên kết tế bào trung tâm (i, j) với các tế bào láng giềng ở vị trí (k, l) và (m, n) Cuối cùng, tín hiệu phản hồi ykl(t), ymn(t) và tín hiệu điều khiển ukl, umn được xác định tại các vị trí (k, l) và (m, n).
Phương trình đầu ra: như phương trình (1 33b) và (Hình 1 11)
Phương trình đầu vào: (giống phương trình (1 33c) u E Constant ij ij Các điều kiện ràng buộc: giống phương trình (1 33d) và (1 33e)
(2 1c) ij ij (2 1d) u 1 1 ≤ i ≤ M ; 1 ≤ j≤ N (2 1e) Điều kiện ràng buộc Điều kiện đối với các mảng phản hồi cần đảm bảo đối xứng, tức là:
Nhận xét: a) Trong phương trình 2 1a có các bộ tổng trong khung bao gồm:
1 khi (t ) x có thể viết (1 33b) tương đương với yij ij (t ) 11 x xij (t )1
| x (0)| 1 1 ≤ i ≤ M ; 1 ≤ j ≤ N với x (0) : giá trị khởi tạo ij
Phương trình (2 1) được xem là một hệ phương trình vi phân phi tuyến có ràng buộc, trong đó các hệ số phản hồi được giả định đối xứng để đảm bảo tính ổn định của mạng Các giả thiết đối xứng này, như được trình bày trong công thức 2 1f, được tác giả bổ sung dựa trên nguyên tắc tương tự như các giả thiết của mạng nơ-ron tích chập (CNN) chuẩn [11].
2 1 2 Ổn định mạng nơron tế bào bậc hai
Mạng nơron tế bào bậc hai cần có điều kiện ổn định để hoạt động hiệu quả Tác giả đã đề xuất hàm E(t) và chứng minh rằng hàm này đáp ứng đủ các điều kiện để trở thành hàm tương tự như hàm Lyapunov Hàm E(t) đảm bảo rằng mạng nơron CNN bậc hai ổn định hoàn toàn theo định lý 4 (1 46) và định lý của Angela Slavova (1 47), đồng thời định nghĩa ổn định đầy đủ của CNN bậc hai [A 1, A 7].
Cho một hàm năng lượng E(t):
1 ≤ i,k,m ≤ M; 1 ≤ j,l,n ≤ N (2 2) ta nói mạng CNN được mô tả theo các phương trình (2 1a) đến (2 1g) là ổn định đầy đủ khi đảm bảo hai điều kiện: t dương hoặc âm);
A(i, j; k, l) y ij ij (t) y kl (t) (t)u kl B(i, j; k, l)y Iy (t)
- Một là, E(t) liên tục, khả vi, và giới hạn, tức lim E(t) Constant (có thể t dt
Khái niệm "ổn định đầy đủ" (Complete Stability) đối với mạng nơ-ron tích chập (CNN) bậc 2 được rút ra từ định lý 4a trong chương 1 "Ổn định đầy đủ" là một sự mở rộng quan trọng của khái niệm ổn định, giúp cải thiện khả năng hoạt động của CNN trong các ứng dụng thực tiễn.
Lyapunov có khả năng xác định cả tính ổn định dương và âm Để đảm bảo tính ổn định đầy đủ cho hệ thống, tác giả sẽ chứng minh hai điều kiện cần thiết trong các phần tiếp theo.
2 1 3 Chứng minh hàm E(t) là hàm bị chặn
Cho hàm E(t) theo (2 2), khi đó trị tuyệt đối lớn nhất của E(t) nhỏ hơn hoặc bằng một giá trị cố định E max (hay bị chặn) [A1, A 7] tức là:
Theo định nghĩa 4 rút ra bổ đề 2 1 là điều kiện thứ nhất để CNN bậc 2 ổn định hoàn toàn
Do u 1 thỏa mãn điều kiện ràng buộc trong phương trình (2 1e) và ij y 1 từ (2 1b), phương trình (2 5) trở thành: ij
3 (i, j) (k, l) (m, n) (i, j) (k, l) (m, n) (2 6) và A( ), B( ) là các hệ số hằng, xem (1 30) và (1 31) nên Emax là một hằng Đây là điều phải chứng minh
2 1 4 Chứng minh đạo hàm của hàm E(t) không dương
Hàm vô hướng E(t) được xác định trong phương trình (2 2) là một hàm đơn t dE
Để chứng minh, ta lấy đạo hàm của hai vế phương trình (2 2) theo t, từ đó có thể xác định bổ đề 2 2, là điều kiện thứ hai nhằm đảm bảo tính ổn định hoàn toàn của CNN bậc 2.
A(i, j; k, l; m, n) B(i, j; k, l; m, n) E max điệu giảm Nói cách khác, lim
A(i, j; k, l) y ij (t) y kl (t) B(i, j; k, l)y ij (t)u kl Iy (t) dt dt 2 (i, j) (k,l) (i, j) (k,l) (i, j) ij
Vì E(t) là hàm hợp và nhiều biến, lấy đạo hàm E(t) từng phần ta có:
Do đặc tính y k l (t ) f ( x kl (t)) và yij (t) f (xij (t)) được chọn là như nhau cho mọi tế bào (i,j) theo (1 33b), (2 1b) và (Hình 1 11) nên có thể thay y ij (t ) y kl (t )
Mặt khác, theo điều kiện đối xứng: A(i, j;k, l)= A(k, l;i, j) ta có:
Lý luận tương tự, ta có
2 yij (t) x ij ij dt R (t ) x (i, j)x dt
Trong mọi số hạng từ (2 10a) đến (2 10f) có (t ) dx dt chung nên: dE
Biểu thức trong dấu ngoặc vuông của (2 11) là vế phải của (2 2), do đó: dE
Từ (2 13), xét hai trường hợp với ba vùng biến thiên của xij theo (2 13):
- Trường hợp xij (t) 1 Thực chất, xét 2 vùng biến thiên của x ij nếu lấy giá trị tuyệt đối nó là hai vùng (Hình 1 12)
1 x ij (t) và x ij (t)1 thì y ij (t )
x ij (t ) 0 do đó 2 12 trở thành dE ( t ) dt (i, j) dt
xi j (t) 1 trong khoảng từ1 x ij (t) 1 (2 15)
2 Như vậy từ (2 12) ta thấy: 0 dt
Kết hợp hai biểu thức (2 12) và (2 16) ta có:
y ij (t) dx ij (t) dx ij (t)y ij (t) dx ij (t )
Trường hợp x ij 1 tức là1 x ij 1 ; y ij ij (t) xem (Hình 1 12) do đó
Bổ đề được chứng minh
( t ) dt 0 (2 17) giá trị không đổi t (hằng số) tức là: t dE
Theo bổ đề 2.1 và 2.2, hàm E(t) là hàm đơn điệu giảm theo thời gian t, với giới hạn dE(t)/dt khi t tiến tới vô cùng là 0 Điều này đảm bảo rằng hàm E(t) đáp ứng hai điều kiện ổn định đầy đủ (1.47) cho mạng nơ-ron tích chập bậc 2.
2 1 5 Tính ổn định trạng thái x ij (t ) và đầu ra y ij (t ) của CNN bậc hai
Tất cả các trạng thái x ij (t ) trong mạng CNN bậc hai là giới hạn với mọi t >0 và xmax được xác định bởi [A 2, A 7]: xmax = 1+ Rx I + Rx max
Từ phương trình động học của CNN trong (2 1a) ta có: x ij ij (0) e RxC t 0
RxC ij ij ij ij ' (2 21) trong đó, các thành phần bậc nhất được cho bởi Leon O Chua [11] bao gồm:
Sau quá trình quá độ của CNN bậc 2, lim bằng 0, do đó lim E(t ) nhận lim E(t) constant t dt
Vì thế, E(t) tiến tới giới hạn và lim
Các thành phần được tác giả bổ sung ứng với hệ bậc hai: h ij (t) pij (u)
Cho U| E ij (t ) | 1xMN trong ma trận M x N chiều có phương trình vectơ đầu vào không đổi (2 21) là phương trình bậc nhất được cho bởi: x ij ij (0)e RxC t
RxC ij ij ij ij '
x ij (0) R x C F ij ij ij ij I '
H ij ij (t) C (k,l) (m,n) A(i, j; k, l; m, n) max y kl (t) max y mn (t)
P ij ij (u) B(i, j; k, l; m, n) max u kl max u mn
0 thì tất cả các trạng thái x ij (t ) của
CNN bậc hai giới hạn với mọi t >0 và trạng thái lớn nhất x max của chúng được xác định theo (2 20):
Từ việc xem xét các yếu tố như bổ đề 2 3 và y ij (t) trong (2 16) là hữu hạn, ta có thể kết luận rằng x ij (t) và I cũng hữu hạn, dẫn đến E(y) cũng sẽ hữu hạn Khi E(y) hữu hạn, điều này cho phép dE(y)/dt ≤ 0, giúp mạng đạt tới điểm cân bằng tương ứng với cực tiểu cục bộ Nhờ vậy, CNN sẽ ổn định hoàn toàn Khi dE(y)/dt = 0, hệ thống sẽ ở điểm cân bằng dy ij (t)/dt sau quá trình quá độ.
2 1 6 Mô hình hình học của mạng nơron tế bào bậc hai
Mô hình mạng nơron tế bào bậc hai được trình bày qua hình 2.1, cho thấy cấu trúc của nơron tế bào bậc 2 trên Matlab với bán kính r=1, M=3 và N=3 Hình 2.2 minh họa cấu trúc mạng nơron tế bào bậc 2 trên Matlab, được ghép theo mảng A và B với kích thước 4×4.
Khi lim E(t) constant và lim t dt bằng ổn định, dẫn tới lim y ij (t)= Constant t t và lim = 0 Do đó, y ij (t ) ổn định
2 2 Mạng nơron tế bào bậc cao
2 2 1 Mô hình của mạng nơron tế bào bậc cao
Từ CNN bậc 2 trong (2 1a), tác giả theo phương pháp quy nạp để phát triển thành CNN bậc cao như sau [A 2, A 7]:
1 ≤ i, k, m,…,q ≤ M ; 1 ≤ j, l, n,…,z ≤ N Phần trong khung là phần được phát triển từ bậc 2 của tác giả [A 2, A 7]
Các điều kiện ràng buộc (Constraint Conditions)
(2 28e) Các thông số giả định:
A(ij;kl;mn) = A(ij;mn;kl) = A(kl;ij;mn) = A(kl;mn;ij) = A(mn;ij;kl) = A(mn;kl;ij); A(kl;ij;mn;qz) = A(kl;mn;ij;qz) = A(mn;ij;kl;qz) = A(mn;kl;ij;qz).
A(qz; ; kl;ij; mn) A(qz; ; kl; mn;ij) A(qz; ; mn;ij; kl) A(qz; ; mn; kl; ij)
2 2 2 Ổn định mạng nơron tế bào bậc cao Định nghĩa 5
Cho một hàm vô hướng E(t ) được xác định tương ứng với CNN bậc cao trong
(2 29) Các điều kiện để đảm bảo CNN bậc cao được cho tương tự như CNN bậc 2
1 i,k,m,…,q M ; 1 j,l,n,…,z N (2 29) mạng CNN được mô tả theo phương trình (từ 2 28a đến 2 28g) là ổn định đầy đủ khi đảm bảo các điều kiện (1 46 và 1 47)
2 2 3 Chứng minh hàm E ( t ) cho CNN bậc cao là hàm bị chặn
Từ phương trình (2 6) cho thấy E(t) là một hàm bị chặn dựa trên các điều kiện:
1 i, k, m M ; 1 j, l, n N cho CNN bậc hai Sử dụng phương pháp quy nạp hoàn toàn có thể suy ra cho mạng bậc cao [A 2, A 7]: trong đó t (2 30)
K Ở đây K là số bậc của CNN
Từ định nghĩa về hàm năng lượng trong (2 29) chúng ta có:
(i, j) (k,l) (m,n) (q,z) khi; y ij (t) và u ij thỏa mãn điều kiện ràng buộc trong (2 28d và 2 28e), ta có:
B(i, j; k, l; m, n; ; q, z) y ij (t) u kl u mn u qz E max
(i, j ) (k ,l) (m,n) (q,z) (2 33) theo (2 16) và (2 18) thì E(t) bị chặn vì là hàm đơn điệu giảm
2 2 4 Chứng minh đạo hàm hàm E(t) cho CNN bậc cao không dương
Hàm vô hướng E(t) được xác định trong (2 29) là hàm liên tục, đơn điệu giảm, đảm bảo điều kiện: dE
Hàm E(t) được xác định qua hàm y ij (t), trong đó y ij (t) lại phụ thuộc vào x ij (t) Để phân tích, cần tính đạo hàm riêng của E(t) theo y ij (t), sau đó là đạo hàm riêng của y ij (t) theo x ij (t), và cuối cùng là đạo hàm của x ij (t) theo thời gian t.
B(i, j; k, l; m, n; ; qz)u kl umn qz y ij (t)
Lấy đạo hàm 2 vế theo (t) ta có:
y (t ) dt 2Rx (i, j) ij d 1 dt 2 (k ,l ) (i, j) d dt(k,l) (i, j) d 1 dt 3 (k,l) (m,n) (i, j) d dt(k ,l) (m,n) (i, j) d 1 dt
B(i, j; k, l; m, n; ; qz)u kl umn qz y ij (t)
(K 1) (k,l) (m,n) (q,z) (i, j) i j d d dt(k,l) (m,n) (q,z) (i, j) dt(i, j) i j Đặt các số hạng của biểu thức trên tương ứng với A, B, C, D, E, F, G, H ta có:
Đạo hàm từng phần: A, B, C, D, E, F được tính giống CNN bậc 2, tính G, H ta có:
B(i, j; k, l; m, n; ; qz)u kl u mn qz yi j (t) y (t)I
A(i, j; k, l; m, n; ; q, z) ykl (t) ymn qz (t) yij (t) dt (K1) (i, j) (k,l) (m,n) (q,z)
B(i, j; k, l; m, n; ; qz)u kl umn qz yij (t)
Từ phương trình (2 29) ta có hàm vô hướng E(t), ghép lại, ta có biểu thức chung: dE
y ij (t) dxi j (t) dt y kl (t) u kl u mn
Do mỗi số hạng đều có chung biểu thức - (t ) dx dt nên dE
y ij ij (t) u kl u mn qz
y ij (t ) dxi j (t )yi j (t) dxi j (t) u kl I
y ij ij (t) u kl u mn qz
Công thức trên có phần trong ngoặc vuông chính bằng vế phải của (2 1a) và bằng C dx ij (t ) dt , do đó: dE
(i, j)xi j (t ) dt dt (i, j)x ij (t ) dt
- Trường hợp thứ nhất: y ij (t )
x ij (t ) 0 , ta có: dE (t ) dt
- Trường hợp thứ hai: y ij (t )
x ij (t ) 1 , lúc này ta có dE (t ) dt C
Kết hợp hai trường hợp, dẫn đến: dE
( t ) dt 0 , đây là điều phải chứng minh
Mạng CNN bậc cao được mô tả bởi các phương trình (2 28a-2 28g), trong đó có vectơ đầu vào uij, vectơ trạng thái ban đầu xij(t) và hàm E(t) (2 29) Kết quả cho thấy rằng lim E(t) luôn tiến tới một hằng số (2 39).
yi j (t) dx ij (t ) dx ij (t )y ij (t ) dxi j (t )
Từ bổ đề 2 4, bổ đề 2 5 cho thấy E(t) là hàm đơn điệu giảm theo thời gian t
Vì thế, E(t) tiến tới hằng số Từ đó hàm (2 39) và (2 40) đảm bảo hai điều kiện ổn định đầy đủ cho CNN bậc cao bất kỳ
2 2 5 Ổn định trạng thái x ij (t) và ổn định đầu ra y ij (t) của CNN bậc cao
Tất cả trạng thái x ij ( t ) trong CNN (bậc K) bị chặn với mọi t >0 và x max có thể tính được cho CNN bậc K bất kỳ [A 2, A 7] x max x x
Từ phương trình động học của CNN trong (2 28) ta có: dxij (t) dt 1
RxC x ij (t) f ij (t) g ij (u) h ij (t) p ij (u) q ij (t) z ij (u) I ' (2 42a) trong đó các thành phần trong (2 42a) bao gồm:
- Thành phần chuẩn theo Leon O Chua [11]: fij (t) 1
- Các thành phần bậc hai (được tác giả phát triển) hi j (t) p ij (u)
- Các thành phần bậc cao (được tác giả phát triển) qi j (t) z ij (u)
Cho U E ij 1 MN trong ma trận (M N) chiều có phương trình vectơ đầu vào không đổi (2 42a) là phương trình bậc nhất và được tính theo: x ij ij (0)e RxC
0 x ij ij ij ij ij ij ' xij ij (0)e RxC t -(t-τ)
RxC ij ij ij ij ij ij '
+ F + G ij ij ij ij ij ij + H + P + Q + I + Z e d' t
xij (0) R x C Fij Gij Hij Pij Qij Zij I '
H ij ij (t) C (k,l) (m,n) A(i, j; k, l; m, n) max y kl (t) max y mn (t)
P ij max pi j (u) C (k,l) (m,n) B(i, j; k, l; m, n) max u kl max u mn
Mạng CNN bậc cao được mô tả qua các phương trình (2 28a-2 28g), trong đó các trạng thái x ij (t) bị giới hạn với giá trị lớn nhất x max được xác định.
Vì y ij (t) trong (2 28b) là hữu hạn; x ij (t) và I hữu hạn nên E(y) cũng hữu hạn
BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG NƠRON TẾ BÀO BẬC CAO 63
BỘ NHỚ LIÊN KẾT VÀ ỨNG DỤNG CỦA MẠNG
NƠRON TẾ BÀO BẬC CAO
Trong chương này, tác giả giới thiệu phương pháp xác định bộ tham số cho ma trận phản hồi A( ), điều chưa được đề cập trong các chương trước Bên cạnh đó, chương còn khai thác ứng dụng của CNN bậc cao trong việc làm bộ nhớ liên kết và xử lý ảnh, cùng với một số bài toán ứng dụng khác.
Mạng nơron nhân tạo, đặc biệt là mạng nơron hồi quy, có khả năng nhớ tương tự như con người thông qua bộ nhớ liên kết, cho phép lưu giữ các đặc trưng của mẫu đã học Điều này mở ra cơ hội áp dụng khả năng nhớ của mạng nơron tích chập (CNN) trong bài toán nhận dạng, tương tự như cách con người nhận diện Bài viết sẽ làm rõ khả năng nhớ theo kiểu liên kết của mạng CNN chuẩn và tiếp theo sẽ nghiên cứu khả năng nhớ và nhận dạng của CNN bậc hai, đại diện cho các mạng CNN bậc cao hơn.
3 2 Bộ nhớ liên kết trong mạng nơron tế bào
3 2 1 Bộ nhớ liên kết của CNN chuẩn
3 2 1 1 Mô hình toán học cấu trúc bộ nhớ liên kết
Trong CNN, việc học được định nghĩa là tìm kiếm bộ tham số cho ma trận phản hồi A, ma trận điều khiển B và ma trận ngưỡng I Giải quyết bài toán này nhằm xác định các tham số của ma trận B, A và I là một thách thức phức tạp, và đã có nhiều nghiên cứu được thực hiện trong lĩnh vực này.
Trong luận án này, tác giả tập trung vào khả năng ứng dụng của mạng nơ-ron tích chập (CNN) bằng cách xác định ma trận A (temp A) theo luật học Hebb, một phương pháp không cần tín hiệu chỉ đạo Điều này tương ứng với việc đặt giá trị của ma trận điều khiển B và ma trận ngưỡng I bằng 0 Dưới giả thiết này, mô hình CNN được trình bày trong chương 1 sẽ có dạng cụ thể như sau.
R x (k,l ) (3 1) ij hàm của hằng số bằng 0, và phương trình (3 1) có dạng:
(k,l) từ (3 2), được tác giả viết lại như sau:
(k,l) và mô hình hình học của 3 3 có dạng (Hình 3 1):
Hình 3 1 Mô hình bộ nhớ liên kết của CNN chuẩn Theo sơ đồ của CNN (Hình 1 10) trong chương 1, ta có:
Giải sử x ij (t ) ổn định, tức là x ij (t ) tiến tới giá trị nào đó, ví dụ: x ij (t ) tiến tới
0 thì y ij (t ) tiến tới 1 lúc này hàm tương tác đầu ra (quan hệ giữa x ij (t ) và y ij (t ) ở
(1 33d) trở thành hàm dấu Khi CNN ổn định, y ij chỉ nhận giá trị (1 và1), do đó có thể thay công thức (2 16) bằng công thức 3 4b:
Cho R x =1 (một) Khi x (t) được xác định 1 giá trị, nó trở thành hằng số, lúc này đạo
Ma trận tham số A (i, j;k,l) là bộ nhớ liên kết được tính toán theo luật học không có tín hiệu chỉ đạo Hebb Để xây dựng bộ nhớ liên kết cho CNN, tác giả áp dụng luật Hebb Công thức tính tham số A(i, j;k,l) dựa trên luật học Hebb và được coi là học không có tín hiệu chỉ đạo, cụ thể được thể hiện qua công thức p T h = 1 h Y.
Theo (3 5) để tính cho A(i, j; k, l) trong (Bảng 3 1) lúc này A(i, j; k, l) có độ rộng là (9 9) = ((3 3) (3 3)) = 81 phần tử
Bảng 3 1 Ma tr ậ n k ế t n ối gi ữa đầ u vào i, j và đầ u ra k, l a) Tính vectơ trạng thái
X A(i, j; k,l)Y kl ( Y kl là mẫu được sử dụng cho CNN học)
A(i, j;k,l) = Y kl klh Ở đây, A(i, j;k,l) là trọng số, p là số mẫu,; vectơ Y kl là đầu ra, T là chuyển vị x ij (t) = A(i, j;k,l ) y kl (t )
Bảng 3 3 Ma tr ậ n A(i, j; k, l) , vec tơ Y và tr ạ ng thái X
Tính bộ nhớ liên kết
Giả sử cho mẫu 1 (Pattern 1) Y kl1 1 1 1 1 1 1 1 1 1 ; cho mẫu 2 (Pattern 2) Y kl2 -1 -1 -1 -1 -1 -1 -1 -1 -1 ; cho mẫu 3 (Pattern 3) Y kl3 1 1 1 1 1 -1 -1 -1 -1 ;
A( j, j; k, l) Y 1 kl kl1 Y Y 2 kl kl2 Y Y 3 kl kl3 Y
Kết quả tính được theo yêu cầu bài toán đã cho từ 3 mẫu, A( j, j; k, l) có độ rộng là (9 9) = ((3 3) (3 3)) = 81 phần tử như (Hình 3 2)
Hình 3 2 Sơ đồ khối CNN chuẩn làm bộ nhớ liên kết
Hình 3.2 mô tả cấu trúc bộ nhớ liên kết cho mạng CNN chuẩn, trong đó v1 là đầu vào mẫu, v2 là đầu ra phản hồi từ Y ij và Y kl Ma trận nhớ mẫu A(i,j;k,l) lưu trữ thông tin của CNN, trong khi X ij đại diện cho trạng thái của mạng Hàm đầu ra f(X ij ) được sử dụng để thực hiện quá trình học cho CNN.
Bước 1 Nối v1 với v2 trên (Hình 3 2) để kích hoạt cho mạng chạy tương ứng với t=0
Bước 2 Ngắt v1 với v2 để đưa nội dung thực hiện pha học vào ma trận A(i,j;k,l) qua v1
Bước 3 Kiểm tra kết quả đầu ra Y kl tại v2 Để thử với pha gọi lại (nhận dạng),
Bước 4 Đưa mẫu cần thử (nhận dạng) vào ma trận A(i,j;k,l) qua v1
Bước 5 Nhận kết quả ở đầu ra của Y kl
Dựa vào kết quả tính được ở trên và phương trình (3 3), sơ đồ chi tiết CNN chuẩn làm bộ nhớ liên kết được xây dựng như (Hình 3 3)
Các ký hiệu trong (Hình 3 3), đầu ra ij đưa về đầu vào được gọi là kl, A (11,11) , A (12,11) ,
A (13,11) ,…, A (31,31) , A (32,32) , A (33,33) là trọng số của bộ nhớ CNN X ij là đầu ra trạng thái với i=j=3
Hình 3 3 Sơ đồ CNN chuẩn làm bộ nhớ liên kết
3 2 1 3 Bài toán nhận dạng mẫu sử dụng CNN chuẩn làm bộ nhớ liên kết a) Phát biểu bài toán
Trong nghiên cứu về mẫu người, có ba mẫu chính được gọi là Y1, Y2 và Y3, mỗi mẫu này được xác định bởi chín đặc điểm nhận dạng như: mắt hai mí, mũi cao, tay dài, chân dài, giọng nói trong, mặt trái xoan, môi trái tim, tóc đen và da vàng Các đặc điểm này được mã hóa theo hệ thống ngược, ví dụ như mũi không cao được gán giá trị -1, tạo thành một mạng nơron với chín đặc trưng tương ứng.
- Cho 3 mẫu tương ứng với: y y y y y y y y
Trường hợp 1: Thể hiện 3 mẫu đó được nhớ trong ma trận trọng số A(i,j;k,l) Trường hợp 2 Giả sử có 1 trong 3 người có các đặc điểm như các mẫu hoặc
Trong mạng nơron CNN, Y 1, Y 2 hoặc Y 3 được đưa vào để xử lý Nếu A(i,j;k,l) thực sự là bộ nhớ, mạng CNN phải có khả năng truy xuất thông tin về người đã được lưu trữ trong A(i,j;k,l) Đây chính là quá trình gọi lại (Recall).
Trường hợp 3 Thử nghiệm 1 mẫu nào đó sai 1 bit, 2 bit, 3 bit tức là người đó
Khi một đối tượng thay đổi từ 1 sang -1, chẳng hạn như mũi cao trở thành mũi thấp vì một lý do nào đó, liệu CNN có khả năng nhận diện người đó hay không? Việc này đặt ra câu hỏi về khả năng của các mô hình học sâu trong việc nhận diện khuôn mặt khi có sự biến đổi đáng kể.
Trường hợp 1: Tính bộ nhớ A(i,j;k,l) đã được giải như (3 2 1 2) p h h1
Bước 1 Khởi tạo giá trị
Bước 2 Nhập giá trị (đặc điểm) của mẫu Y 1 vào bộ nhớ CNN được tính theo công thức X 1 = AY 1
Trường hợp 2: Theo (3 5), với A(i, j;k,l)= Y kl klh Y
Bước 3 Gọi lại giá trị được lưu trữ trong ma trận nhớ A(i, j; k, l) CNN
Bước 4 Tính giá trị trạng thái X 1
Bước 5 Tính Y 1 (kq) theo hàm dấu đầu ra của CNN
Bảng 3 4 Gọi lại mẫu đã được học của bộ nhớ liên kết CNN chuẩn
Trong đó A(i, j; k, l) là ma trận trọng số được CNN nhớ sau mỗi lần học
Từ kết quả trên cho thấy các giá trị X1 đều >0 do đó các giá trị của x thu được sẽ là 1,
Trường hợp 3 : Giả sử có 3 mẫu tương ứng
Bước 1 Khởi tạo giá trị
tương ứng với Y 1111111111 cho kết quả nhận dạng đúng
Mẫu 1 có sai số 1 bit (Pattern) 1 Y-1 1 1 1 1 1 1 1 1 ;
Mẫu 2 có sai số 2 bit (Pattern) Y 2-1 1 1 1 1 1 1 1 -1 ;
Mẫu 3 có sai số 3 bit (Pattern) Y 3 -1 1 1 1 -1 1 1 1 -1 ;
Tính với sai số 1 bit Theo phương trình A(i, j; k , l) Y kl klT , ta có:
Bước 3 Gọi giá trị được lưu trữ trong ma trận nhớ A(i, j; k, l) CNN
Bước 4 Tính giá trị trạng thái X 1kl
Bảng 3 5 Bộ nhớ liên kết CNN chuẩn nhận mẫu sai 1 bit
Trong bộ nhớ liên kết CNN, A(i, j; k, l) đại diện cho ma trận trọng số Tương tự, trạng thái của các mẫu 1, 2 và 3 được tính toán theo cách tương tự.
Giá trị đầu ra trạng thái X 1, X 2 , X 3 đều dương do đó các giá trị của Y 1 * thu được sẽ là 1, tương ứng với:
Bước 2 Nhập giá các đặc điểm của mẫu Y kl vào bộ nhớ CNN được tính theo
Bước 5 Tính Y kl theo hàm dấu đầu ra của CNN
Tính Y kl , Y kl2* , Y kl3* theo (3 4b) ta có:
Cho kết quả nhận dạng đúng với mẫu ban đầu đã được học
Tính với sai số 2 và 3 bit (mẫu 2 và 3): Tương tự cách tính trên, tác giả tính được kết quả nhận dạng đúng:
3 2 2 Bộ nhớ liên kết sử dụng CNN bậc hai
3 2 2 1 Mô hình toán học cấu trúc bộ nhớ liên kết bậc hai
Dựa trên các tiêu chí của CNN chuẩn cho bộ nhớ liên kết nêu trong mục (3 2 1), tác giả đã phát triển một bộ nhớ liên kết sử dụng CNN bậc cao, với CNN bậc 2 làm ví dụ đại diện.
Từ (2 1a) và (3 5), tác giả đề xuất phương trình áp dụng CNN bậc hai cho bộ nhớ liên kết gồm hai thành phần như sau:
(k,l) (k,l) (m,n) Trong phương trình (3 6) bao gồm hai thành phần:
(k,l) liên kết CNN chuẩn được tác giả trình bày trong (3 5)
Bậc hai được sử dụng làm bộ nhớ liên kết cho CNN bậc hai, từ (3 6) được viết lại như sau:
(k,l;m,n) A(i, j; k, l; m, n) y kl (t) y mn (t) (3 7) và mô hình hình học có dạng như hình 3 4
Theo sơ đồ của CNN (Hình 1 8) trong chương 1, ta có:
Mẫu 3 (Pattern 3) Y 3 1 1 1 1 1 -1 -1 -1 -1 ; x ij (t)= A(i, j; k, l) y kl (t) A(i, j; k, l; m, n) y kl (t) y mn (t) (3 6)
Bậc nhất x ij (t)= A(i, j; k, l) y kl (t) và A(i, j;k,l) được tính cho bộ nhớ x ij (t)= A(i, j; k, l) y kl (t)
Hình 3 4 Cấu trúc CNN bậc hai được sử dụng làm bộ nhớ liên kết
Giải sử x ổn định, tức là tiến tới giá trị nào đó, ví dụ: x tiến tới 0 thì y tiến tới
1 lúc này hàm tương tác đầu ra (quan hệ giữa x và y) ở (1 33d) trở thành hàm dấu và hoạt động của nơron tế bào C ij được mô tả như (3 8a và 3 8b)
Mô hình học 3 2 2 2, hay bộ nhớ liên kết bậc hai, được phát triển để xây dựng bộ nhớ liên kết cho mạng nơ-ron tích chập (CNN) Tác giả đã áp dụng luật Hebb, được trình bày trong chương một, để tạo ra công thức tính tham số A(i, j;k,l;m,n).
Ma trận bộ tham số A, là bộ nhớ liên kết và được tính toán (học) theo luật học không có tín hiệu chỉ đạo Hebb như (3 9) p T T T h h mn (3 9)
A(i, j;k,l;m,n) là ma trận các phần tử nhớ, Y kl và
T được coi như là Y ij Vì A (i, j;k,l;m,n) là ma trận kết nối giữa vào ij và đầu ra kl; mn
Từ (3 9), dựng mô hình toán chuyển A( j, j; k, l; m, n) hai chiều thành một chiều y ij ij ij ) =
h và Y mn là đầu ra, Y klh h
Theo (3 7) để tính cho A (i, j;k,l;m,n) trong (Hình 3 4) lúc này A (i, j;k,l;m,n) có độ rộng (9 9) (9 9) = ((3 3) (3 3) (3 3) (3 3)) = 6561 phần tử, lớn hơn 81 lần so với bộ nhớ liên kết sử dụng CNN bậc nhất
Bảng 3 6 Ma trận A (i, j;k,l;m,n) của bộ nhớ liên kết CNN bậc hai a Tính vectơ trạng thái X ij
X ij A( j, j; k , l; m, n)Y kl Y mn ( Y kl và Y mn là mẫu được sử dụng cho CNN học)
Bảng 3 7 Pha học của bộ nhớ liên kết CNN bậc hai
Bảng 3 8 Tính vec tơ trạng thái của bộ nhớ liên kết CNN bậc hai
A (81,79) y 81 + A (81,80) y 81 + A (81,81) y 81 b) Tính đầu ra Y ij Theo (3 4b) và (3 8a), với i = 1,9 ; với j = 1,9 ta có:
f (x 11) f (x 12 ) f (x 13 ) f (x 21) f (x 79 ) f (x 80 ) T Tính bộ nhớ liên kết
1 Ymn Y 2 Ymn Y 3 Ymn Y trong đó b2 là ký hiệu cho mẫu được sử dụng trong bộ nhớ CNN bậc hai Mỗi mẫu có 81 giá trị tương ứng với Y (11,11) ,…,Y (81,81)
Các mẫu được cho tương ứng với Ykl b 12 , Ykl b 22 1 2 3 , Ykl b 32 ,
Các bước thực hiện trên Matlab:
Bước 1 Nhập giá trị các mẫu (các mẫu được lý hiệu tương ứng là Y1, Y2, Y3)
Bước 2 Tính ma giá trị của các mẫu
3 3 3 3T T mn mnk l k l Y Y Y Y Đặt 1 1TY Y = M1; 2 2TY Y = M2; 3 3TY Y = M3
Từ kết quả tính được (trong phụ lục 4) theo yêu cầu bài toán đã cho A( j, j; k, l; m, n) cho thấy 3 mẫu A( j, j; k, l; m, n) có độ rộng là (9 9) (9 9) =
Hình 3 5 Sơ đồ CNN bậc hai làm bộ nhớ liên kết
Tác giả đã xây dựng bộ nhớ liên kết cho CNN bậc hai, tương tự như sơ đồ bộ nhớ liên kết của CNN chuẩn Trong đó, v1 đại diện cho đầu vào mẫu, v2 là đầu ra phản hồi từ Y ij, Y kl và Y mn Ma trận nhớ mẫu của CNN được ký hiệu là A(i,j;k,l;m,n), trong khi X ij thể hiện trạng thái của CNN và f(X ij) là hàm đầu ra.
Pha học cho CNN bậc 2 được thực hiện các bước sau:
Bước 1 Nối v1 và v2 trên (Hình 3 5) để kích hoạt cho mạng, ứng với t=0 Bước 2 Ngắt v1 và v2 để đưa nội dung thực hiện pha học vào ma trận
Bước 3 Kiểm tra kết quả đầu ra Ykl ,mn
Pha gọi lại (thử nhận dạng),
Bước 4 Đưa mẫu cần gọi lại (thử nhận dạng) vào ma trận A(i,j;k,l;m,n)
Bước 5 Nhận kết quả ở đầu ra của Ykl , mn
Dựa trên kết quả tính toán và phương trình (3 9), tác giả đã thiết kế sơ đồ chi tiết cho mạng CNN bậc 2 trong bộ nhớ liên kết, như thể hiện trong Hình 3 6, trong đó các ký hiệu ij đại diện cho đầu ra được đưa về đầu vào kl,mn.
Hình 3 6 Sơ đồ kết nối của CNN bậc hai làm bộ nhớ liên kết
3 2 2 3 Bài toán nhận dạng mẫu sử dụng CNN bậc hai làm bộ nhớ liên kết
Trong bài toán này, tác giả sử dụng mạng nơ-ron tích chập bậc hai làm bộ nhớ liên kết, cho thấy khả năng áp dụng tương tự cho các mạng bậc cao hơn.