(LUẬN văn THẠC sĩ) ứng dụng mạng nơ ron trong nhận dạng và điều khiển

MẠ NG NƠ-RON VÀ NG D NG 1 Ứ Ụ

L ịch sử phát triển mạng nơ ron

T ừ những năm 1890, nghiên cứu của nhà tâm lý h c William đã phát hiện ra ọ h ệ nơ ron thần kinh của con ngư- ời Đến năm 1943, nhà thần kinh học Warren

Mcculloch và Walter Pitts đã nghiên cứu về mạng nơ-ron nhân tạo bằng cách sử dụng hàm logic, xây dựng một mạng nơ-ron đơn giản thông qua mạch điện, tạo nền tảng cho lĩnh vực mạng nơ-ron Vào đầu những năm 1950, Nathanial Rochester đã phát triển mô phỏng đầu tiên của mạng nơ-ron tại phòng thí nghiệm IBM Năm 1956, dự án Dartmouth đã khai thác trí tuệ nhân tạo, mở ra hướng đi mới cho nghiên cứu trong lĩnh vực này và mạng nơ-ron Sau đó, John von Neumann đã áp dụng công nghệ đèn chân không để mô phỏng các nơ-ron đơn giản.

Năm 1958, nhà sinh học Frank Rosenblatt đã nghiên cứu về perception và luật học, phát triển mạng perceptron có khả năng nhận dạng mẫu, nhưng chỉ giải quyết được một số bài toán cụ thể và không phù hợp với các hàm logic phức tạp Đến năm 1959, Bernard Widrow và Ted Hoff từ Đại học Stanford đã giới thiệu luật học mới và phát triển mạng nơ-ron thích nghi đầu tiên mang tên MADALINE, có cấu trúc tương tự như mạng perceptron của Rosenblatt Luật học của Widrow và Hoff vẫn được sử dụng cho đến ngày nay, mặc dù nghiên cứu này đã bị lãng quên trong nhiều thập kỷ sau đó.

Một mạng nơ-ron đã được phát triển và có thể thực hiện các bộ nhớ được Kohonen và Anderson nghiên cứu vào năm 1972 Năm 1973, Von Der Marlsburg giới thiệu quá trình học cạnh tranh và mạng tự tổ chức Năm 1974, Paul Werbos phát triển phương pháp lan truyền ngược (Back-propagation), trở thành một trong những mạng phổ biến và được áp dụng rộng rãi cho đến nay Đầu những năm 80, John Hopfield giới thiệu mạng nơ-ron hồi quy, trong khi David Rumelhart và James McClelland là những người đầu tiên áp dụng thuật toán lan truyền ngược để huấn luyện mạng Perceptron nhiều lớp.

Vào đầu những năm 1990, Martin Hagan đã đề xuất phương pháp tối ưu hóa Levenberg-Marquardt để huấn luyện mạng nơ-ron Ngoài ra, phương pháp Bayes cũng được sử dụng phổ biến trong việc huấn luyện mạng nhiều lớp.

Trong thời gian này, Lecun và đồng tác giả đã nghiên cứu và ứng dụng mạng nơ ron nhiều lớp, đặc biệt là mạng tích chập (Convolutional Networks), để xử lý nhờ khả năng mạnh mẽ của chúng Mạng nơ ron này đã được ứng dụng rộng rãi trong lĩnh vực xử lý ảnh, nhận diện giọng nói và tín hiệu.

Từ năm 1987, mạng nơ-ron đã trở thành một vấn đề được quan tâm sâu sắc trên toàn cầu, với nhiều hội thảo quốc tế được tổ chức nhằm phát triển công nghệ này Viện Vật lý Hoa Kỳ đã tổ chức cuộc họp tập hàng năm về ứng dụng mạng nơ-ron trong tin học từ năm 1985 Ngoài ra, hội thảo quốc tế đầu tiên về mạng nơ-ron do Viện các Kỹ sư Điện và Điện tử IEEE tổ chức cũng đã góp phần quan trọng vào sự phát triển của lĩnh vực này Hàng năm, các hội nghị toàn cầu chuyên về mạng nơ-ron, như IJCNN (International Joint Conference on Neural Networks), được diễn ra, thu hút sự quan tâm của các nhà nghiên cứu và chuyên gia trong ngành.

M ạng nơ ron nhân tạo

Mạng nơ-ron nhân tạo (ANNs) là hệ thống tính toán được lấy cảm hứng từ cấu trúc não bộ Mỗi ANN bao gồm một tập hợp các đơn vị gọi là nơ-ron nhân tạo, tương tự như tế bào thần kinh sinh học Các nơ-ron này kết nối với nhau qua các khớp (synapse), cho phép truyền tín hiệu từ nơ-ron này sang nơ-ron khác Tế bào thần kinh nhận tín hiệu có khả năng xử lý và truyền tiếp thông tin đến các nơ-ron liên kết Trạng thái của các nơ-ron thường được biểu thị bằng số thực trong khoảng từ 0 đến 1 Ngoài ra, các nơ-ron và khớp thần kinh có thể thay đổi trạng thái trong quá trình học tập, giúp tăng cường độ mạnh của tín hiệu mà chúng truyền đi.

Thông thường, nơ-ron được tổ chức theo lớp Các lớp khác nhau có thể thực hiện các loại biến đổi khác nhau trên đầu vào của chúng Tín hiệu truyền từ lớp đầu tiên (đầu vào) đến lớp cuối cùng (đầu ra) có thể trải qua nhiều lớp để tạo ra kết quả cuối cùng.

Mục tiêu ban đầu của mạng nơ ron là giải quyết các vấn đề theo cách tương tự như bộ não con người Qua thời gian, sự chú ý đã chuyển hướng sang việc phù hợp với khả năng cụ thể, dẫn đến những sai lệch so với sinh học như truyền ngược, điều chỉnh và phản ánh thông tin theo hướng ngược lại.

Hình 1.1 Mạng nơ-ron sinh học [8]

Mạng nơ-ron đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, bao gồm thị giác máy tính, nhận dạng giọng nói, dịch thuật, phân tích mạng xã hội và chẩn đoán y tế.

Tính đến năm 2017, các mạng nơ-ron thường có từ vài nghìn đến vài triệu đơn vị và hàng triệu kết nối Mặc dù số lượng này thấp hơn so với số lượng tế bào thần kinh trong não người, nhưng các mạng này đã thực hiện nhiều nhiệm vụ vượt xa khả năng của con người, chẳng hạn như nhận diện khuôn mặt và chơi cờ “Go”.

Ứng dụng của mạng nơ- ron

Mạng nơ ron có nhiều ứng dụng trong thực tế, bao gồm phân loại hình ảnh, giọng nói và tín hiệu Ngoài ra, chúng còn được sử dụng để xấp xỉ, dự báo, nhận dạng hệ thống và thiết kế điều khiển Dưới đây là một số ứng dụng nổi bật của mạng nơ ron.

• Điện tử: sự ố b trí chíp IC, đi u khiểề n quá trình, phân tích lỗi chip, thị ự l c máy, tổng hợp tiếng nói, mô hình hóa phi tuyến

• Robot: điều khiển quỹ đạo, xe nâng hàng, các bộ điều khiển tay máy, các h ệ thống thị giác, xe tự hành.

Ô tô hiện đại được trang bị các hệ thống dẫn động tự động, điều khiển bơm nhiên liệu, cùng với các hệ thống phanh tự động và cảm biến dò đọng cơ không nổ, giúp nâng cao hiệu suất và an toàn khi vận hành Các cảm biến dò khí ảo cũng đóng vai trò quan trọng trong việc giám sát và phát hiện các vấn đề tiềm ẩn, đảm bảo sự an toàn cho người sử dụng.

Sản xuất liên quan đến việc điều khiển quy trình sản xuất, phân tích và thiết kế sản phẩm, chuẩn đoán máy móc và quy trình, cũng như nhận dạng các yếu tố thời gian thực Các hoạt động kiểm tra chất lượng bao gồm thử nghiệm bia, phân tích chất lượng hàn, dự đoán chất lượng giấy và phân tích chất lượng chip máy tính Ngoài ra, việc phân tích các hoạt động nghiền, thiết kế sản phẩm hóa học, bảo dưỡng máy móc, đầu thầu dự án và quản lý kế hoạch cũng rất quan trọng Cuối cùng, việc xây dựng mô hình động cho các quá trình hóa học là một phần không thể thiếu trong sản xuất.

• Vũ trụ, ngân hàng, quốc phòng, giải trí, tài chính, bảo hiểm, y t , dế ầu khí, an ninh, giao thông và truy n thông [3].ề

Mô hình nơ- ron nhân tạ 4 o

1.4.1 Mô hình nơ-ron a) Mô hình nơ-ron mộ ầt đ u vào

Hình 1.2 Sơ đồ mô hình nơ ron mộ ầ- t đ u vào

Hình 1.2 biểu thị sơ đồ ấ c u trúc c a m t nơ-ron nhân tạo có mộ ầủ ộ t đ u vào Quan hệ vào ra của nơ-ron như sau: n wp b= + (1.1) n wp b= + (1.2)

Trong đó: p: đầu vào c a nơ-ủ ron w: trọng số đầ u vào b: ngưỡng (bias) t Σ: là bộ ổng số n: là đầu vào net f : là hàm truyền a : đầu ra c a nơ-ủ ron

Một số hàm truyền cơ b n: [3].ả

Hàm giớ ại h n cứng Hardlim: ardlim(n)

Vì bài toán này chỉ ử ụ s d ng đ n hàm tansig nên ế chỉ nghiên cứu về hàm tansig Đồ ị th hàm tansig(n) đư c bi u di n như sau: ợ ể ễ

Hình 1.3 Đồ thị hàm a=tansig(n) [7]

Hàm này có giá trị dương trong khoảng từ -1 đến 1 và có đạo hàm liên tục với mọi n, thường được sử dụng trong các lớp học sâu Mô hình nơ-ron này hỗ trợ nhiều đầu vào.

Hình 1.4 Mô hình nơ ron vớ- i R đ u vào ầ

Hình 1.5 Sơ đồ rút gọn nơ-ron với R đ u vào ầNơ-ron có nhiều đ u vào đư c mô tả như hình 1.4, trong đó đầầ ợ u vào là m t ộ véc-tơ p có R thành phần:

[ ,p p, , p R ] T p (1.9) và véc tơ trọng số như sau:-

Mỗ ầi đ u vào p s i ẽ được đưa vào b ổng thông qua một trọng số ộ t w Đầu 1,i vào net được tính theo công thức sau:

1,1 1 1,2 2 1,R R n w p= +w p + +w p + b (1 ) 11 Đầu ra c a nơ-ủ ron là:

Với f là hàm truyền nơ ron Công thứ- c (1 ) có th11 ể đư c vi t gọn như ợ ế sau:

Khi nhiều nơ-ron có cùng đầu vào, chúng tạo thành một lớp nơ-ron, được gọi là lớp Một lớp nơ-ron có số đầu ra tương ứng với số nơ-ron có chung đầu vào Trong một lớp, các hàm truyền thường được chọn là giống nhau, chẳng hạn như cùng là hàm tuyến tính Sơ đồ cấu trúc của một lớp nơ-ron minh họa cách mà các nơ-ron hoạt động với nhau, trong đó đầu ra của nơ-ron thứ i được tính bằng công thức a i = f(n i).

∑ (1 ) 14 Đặt a = [ a 1 a 2 a m ] T , b = [ b 1 b 2 b m ] T và W =[ ;w w 1 2 ; ; w m ] Đầu ra của lớp sẽ là a= f n( ), trong đó:

Hình 1.6 Sơ đồ ấ c u trúc c a mộ ớủ t l p nơ-ron[3]

• Cấu trúc mạng một lớp

Hình 1.7 Cấu trúc mạng nơ ron 1 lớp -

Cấu trúc toán học của mạng nơ-ron một lớp với R đầu vào và S nơ-ron được mô tả trong hình 1.7 Trong mạng này, mỗi phần tử của véc-tơ đầu vào p được kết nối đến từng nơ-ron thông qua ma trận trọng số W Bộ cộng của nơ-ron thứ i thu thập các trọng số liên kết đầu vào và tạo ra một đầu ra vô hướng Các nơ-ron này kết hợp lại để tạo thành véc-tơ đầu ra a với S phần tử.

Có thể thiết lập lớp đơn của các nơ ron với các hàm truyền khác nhau bằng cách đặt hai mạng song song Tất cả các mạng này có thể chia sẻ đầu vào và mỗi mạng sẽ tạo ra một đầu ra riêng biệt.

Các phần tử của véc tơ đầu vào đư c đưa vào m- ợ ạng thông qua ma tr n tr ng ậ ọ s ố W , với:

Trong ma trận W, chỉ số hàng cho biết nơ-ron đích đến, trong khi chỉ số cột thể hiện nơ-ron xuất phát Để đơn giản hóa, ký hiệu một mạng gồm S nơ-ron và R đầu vào, như minh họa trong hình 1.8.

Hình 1.8 Sơ đồ rút gọn mạng một lớp R đầu vào và S nơ-ron

Trong hình 1.8 có véc-tơ vào P có kích thước R, ma trận trọng liên kết W có kích thước SxR, còn a và b là các véc-tơ có kích thước S, b là bias

Một mạng nơ ron có thể có một vài lớ Mỗi lớp có ma trận trọng số W , bias - p b và đầu ra a

Hình 1.9 minh họa cấu trúc mạng nơ-ron ba lớp với R là đầu vào và S_i là nơ-ron ở lớp i, trong đó l_i là đầu ra của lớp Để đơn giản hóa, sơ đồ rút gọn của mạng nơ-ron ba lớp được trình bày trong hình 1.10.

Hình 1.9 Cấu trúc mạng nơ ron 3 lớp -

Hình 1 10 Sơ đồ rút gọn mạng nơ-ron 3 lớ p

Mạng hồi quy (mạng phản hồi) là loại mạng tự liên kết thành các vòng và liên k t hế ồi quy giữa các nơ-ron [2]

Khi các hàm liên tục có độ dạng Gaussmf, chúng thỏa mãn tính sử dụng công thức PROD α i = α α i ,1 i ,2 α i m , , với các hàm g i là các hằng số Điều này cho phép biểu diễn mô hình mờ Sugeno một cách hiệu quả.

=∑ Công thức (1.16) có quan h vào ra cệ ủa mạng xuyên tâm

Hàm α i ( )x trong mạng nơ ron, còn được gọi là các hàm cơ sở hoặc hàm truyền, đóng vai trò quan trọng trong quá trình xử lý thông tin Véc tơ trọng số - θ của mạng cũng là một yếu tố thiết yếu, ảnh hưởng đến khả năng học và hiệu suất của mô hình.

Mạng RBF gồm hai lớp Lớp thứ nhất gồm các nơ-ron với hàm truyền như sau:

Véc tơ trọng số của nơ ron i được ký hiệu là \( w_i \) và tâm của nó là \( c \) Ngưỡng của nơ ron i được biểu thị bằng \( b_i \) Khoảng cách giữa véc tơ đầu vào \( p \) và véc tơ trọng số được ký hiệu là \( ||*|| \).

1 1/ 2 bi = σ trong đó σ là độ ệch chuẩn, thì hàm truyền (1.17) có dạng l Gaussmf L p th hai có hàm tru n là tuyớ ứ yề ến tính:

Mạng này thường đư c s d ng đ x p xỉ các thành phần bấ ịợ ử ụ ể ấ t đ nh của tượng trong quá trình thi t kế ế ộ ề b đi u khiển

Hình 1 11 Sơ đồ ạng h i quy m ồ

1.5 Ứng dụng trong đi u khiển ề

Để tổng hợp bộ điều khiển cho đối tượng kín theo nguyên tắc ắc phản hồi, trước tiên cần hiểu rõ về đối tượng, tức là phải có một mô hình toán học mô tả đối tượng Việc điều khiển đối tượng sẽ không hiệu quả nếu không có sự hiểu biết về nó Kết quả của việc tổng hợp bộ điều khiển phụ thuộc nhiều vào độ chính xác của mô hình mô tả đối tượng; mô hình càng chính xác, hiệu suất công việc càng cao.

Hình 1 12 điều khiển theo nguyên tắc phản hồ ầi đ u ra [2]

Việc xây dựng mô hình cho đối tư ng g i là mô hình hóa Thường phân ợ ọ chia các mô hình hóa làm hai loại:

Một số bài toán trong nhận dạng:

- Nhận dạng trực tuyến mô hình không tham số ệ h tuy n tính ế

- Nhận dạng chủ động tham số mô hình AR

- Nhận dạng tham số mô hình ARMA

1.5.2 Thiết kế bộ điều khiển Để thi t k b đi u khi n có các cách sau: ế ế ộ ề ể

- B ộ điều khiển theo mô hình mẫu

- Điều khiển thích nghi trực tiếp

- Điều khiển thích nghi gián tiếp

Để thiết kế bộ điều khiển sử dụng ADP, cần có tín hiệu vào và ra mẫu Mô hình mẫu này thể hiện đáp ứng đầu ra mong muốn của hệ thống, thường yêu cầu đáp ứng ổn định theo thời gian và điều chỉnh theo yêu cầu Do đó, mô hình mẫu thường được chọn là một bộ khâu ổn định, có thể là quán tính, để đảm bảo tính chính xác trong quá trình điều khiển.

Bộ điều khiển nơ-ron thường có cấu trúc mạng hồi quy với hai lớp Mạng nơ-ron điều khiển phản hồi nhận giá trị đặt vào đầu vào, và đầu ra của mạng nơ-ron này sẽ được đưa vào đầu vào của mạng nơ-ron tiếp theo Do đó, mạng nơ-ron sẽ có đầu vào là giá trị đặt và đầu ra là đầu ra của mạng nơ-ron tiếp theo Để thiết kế bộ điều khiển nơ-ron, mạng nơ-ron cần được huấn luyện bằng bộ tín hiệu vào ra mẫu Trong quá trình huấn luyện, các tham số của mạng nơ-ron điều khiển sẽ được điều chỉnh, trong khi các tham số của mạng nơ-ron tiếp theo giữ nguyên giá trị đã xác định từ quá trình nhận dạng.

Mạng nơ-ron (NN) là một mạng sâu (deep network) với ít nhất hai lớp cho mỗi mạng nơ-ron c và nơ-ron p, do đó tổng số lớp tối thiểu là bốn Đây là một mô hình hồi quy có ít nhất ba vòng phản hồi, vì vậy cần sử dụng thuật toán lan truyền ngược để tính toán gradient.

Bài toán thiết kế bộ điều khiển mạng nơ-ron trở thành bài toán nhận dạng hệ thống với cấu trúc phức tạp hơn Để thiết kế bộ điều khiển dự báo sử dụng mạng nơ-ron, trước tiên cần xây dựng một mô hình toán cho đối tượng bằng mạng nơ-ron.

Mô hình mạng nơ-ron đối kháng được sử dụng để dự đoán đầu ra của đối tượng trong tương lai Sau đó, thuật toán tối ưu sẽ tìm kiếm tín hiệu điều khiển tốt nhất dựa trên hàm mục tiêu đã được xác định.

Kết luận chương 1

Chương 1 đã trình bày sự hình thành và phát triển của mạng nơ-ron từ năm 1980 đến nay, đồng thời giải thích khái niệm, mô hình và cấu tạo của mạng nơ-ron nhân tạo Mạng nơ-ron hiện đang phát triển mạnh mẽ và được ứng dụng rộng rãi trong nhiều lĩnh vực, đặc biệt là trong nghiên cứu và công nghiệp.

Trên cơ sở tính năng của m ng nơ-ron trong đi u khi nạ ề ể , từ đó có thể nh n ậ dạng đư c hệ thống, hay thiết kế ộ điều khiể ợ b n

Các chương tiếp theo sẽ phân tích chi tiết ứng dụng của mạng nơron trong phương pháp điều khiển dự báo Chúng tôi sẽ tập trung vào việc thiết kế bộ điều khiển dự báo cho cánh tay máy, nhằm nâng cao hiệu suất và độ chính xác trong quá trình điều khiển.

PHƯƠNG PHÁP ĐIỀ U KHI N DỰ BÁO DỰA TRÊN MẠNG NƠ- Ể

Phương pháp điều khiể n d ự báo

Điều khiển hệ thống được hiểu là việc can thiệp vào đối tượng điều khiển nhằm đạt được chất lượng mong muốn Mục tiêu là điều chỉnh các yếu tố để đảm bảo hệ thống hoạt động ổn định và hiệu quả.

Tối ưu hóa trong điều khiển hệ thống là quá trình lựa chọn các tham số điều khiển nhằm đạt được chất lượng tối ưu cho hệ thống Bài toán này được gọi là điều khiển tối ưu tĩnh, hay còn được biết đến với thuật ngữ tối ưu hóa.

Hệ điều khiển dự báo đã được phát triển từ những năm 1960 và trở thành chiến lược phổ biến trong việc điều khiển quá trình công nghiệp (Richalet, 1993) Phương pháp này sử dụng mô hình dự đoán để ước lượng phản ứng tương lai của đối tượng điều khiển trong một khoảng thời gian nhất định, gọi là chân trời dự báo Dựa vào các dự đoán này, thuật toán tối ưu hóa được áp dụng để tính toán chuỗi tín hiệu điều khiển trong phạm vi điều khiển, nhằm giảm thiểu sai lệch giữa phản ứng dự báo và tín hiệu chuẩn Điều khiển dự báo là phương pháp tổng quát, có thể áp dụng cho cả hệ tuyến tính và phi tuyến, và chất lượng của hệ thống điều khiển này hoàn toàn phụ thuộc vào bài toán tối ưu hóa và thuật toán tìm nghiệm tối ưu tương ứng.

Hình 2.1 mô tả ấu trúc cơ bả c n c a một hệ thống điều khiển dự báo Nó gồm ủ ba phần chính như sau:

Hàm mục tiêu Q p( ) được xây dựng với nguyên tắc rằng nghiệm tối ưu của nó phải tối thiểu hóa tổng bình phương các sai lệch e k i +, với i = 0, 1, 2, , M - 1, giữa tín hiệu đầu ra ˆ yk i + trong toàn bộ cửa sổ dự báo.

[ k k M , + ) , kể ừ t thờ i đi m ể k hiện tại, và tín hiệu đặt w k i + , đạt giá trị nh nh ỏ ất.

Mô hình dự báo sử dụng các tín hiệu đầu ra để xác định giá trị đầu vào trong khoảng thời gian k+i Cụ thể, nó xác định mối quan hệ giữa các biến đầu vào và đầu ra thông qua công thức yk+i = ϕ(u, u-k), cho phép phân tích và dự đoán hiệu quả các yếu tố ảnh hưởng đến kết quả đầu ra.

Thuật toán tìm nghiệm cho bài toán tối ưu rất đa dạng, với nhiều phương pháp khác nhau Trong số đó, các thuật toán giải tích và các thuật toán lặp lại mang tính chất truyền thống thường được ưa chuộng hơn cả Những thuật toán này không chỉ phù hợp với điều kiện cụ thể mà còn có khả năng tự động hóa và đạt hiệu suất cao trong quá trình tìm kiếm nghiệm.

Các phương pháp trong điều khiển dự báo: a) Điều khiển dự báo theo h tuy n tính ệ ế

Bộ điều khiển dự báo được phân loại là tuyến tính khi mô hình dự báo cũng là tuyến tính Hệ LTI (linh hoạt tham số hằng) có một mô hình toán học tương đương.

Tương ứng cũng sẽ có bốn mô hình dự báo và từ đó là bốn phương pháp điều khiển d báo tuy n tính khác nhau, bao gự ế ồm:

• Điều khi n d báo theo mô hình MAC (Model Algorithmic Control) ể ự

• Ma trận đ ng h c đi u khi n DMC (Dynamic Matrix Control) ộ ọ ề ể

• Điều khi n d báo t ng quát GPC (Generalized Predictive Control) ể ự ổ

Bộ điều khiển dự báo phản hồi trạng thái là một công cụ quan trọng trong việc điều khiển hệ thống Điều khiển dự báo phản hồi trạng thái hệ song tuyến cho phép áp dụng các phương pháp điều khiển khác nhau cho từng bài toán cụ thể, giúp cải thiện hiệu suất và độ chính xác của hệ thống Việc áp dụng điều khiển dự báo phản hồi trễ giúp tối ưu hóa quy trình điều khiển trong các hệ thống phức tạp.

• Điều khi n bám tín hi u m u ở đầể ệ ẫ u ra

Phương pháp điều khiể n d báo d a trên m ng nơ- ự ự ạ ron

2.2.1 Nhận dạng dùng mạng nơ-ron Định nghĩa nh n d ng: Nh n d ng là phương pháp th c nghi m đ xác đ nh ậ ạ ậ ạ ự ệ ể ị một mô hình cụ thể trong l p các mô hình thích h p, sao cho sai lớ ợ ệch giữa mô hình đó vớ ệ ối h th ng là nh nhất.[3] ỏ

Bài toán nhận dạng có ba đ c đi m đ nh n biết đó là: ặ ể ể ậ

+ Th c nghiự ệm, nhận biết qua việc đo các tín hiệu vào và ra.

+ Lớp các mô hình thích hợp, có đư c từ những thông tin ban đầợ u về ố th ng (gọi chung lại là thông tin A priori ).-

Sai lệch giữa mô hình có được và hệ thống là nhỏ, được nhận biết từ hàm mục tiêu mô tả sai lệch và thực hiện bằng phương pháp tối ưu.

Dựa trên các định luật cơ bản như định luật bảo toàn năng lượng, định luật bảo toàn vật chất, định luật Newton, định luật Kirchhoff và định luật Ohm, có thể xây dựng mô hình toán cho các đối tượng Qua việc sử dụng dữ liệu đầu vào và đầu ra, các tham số của mô hình toán được xác định thông qua các tính toán ước lượng trực tiếp Tuy nhiên, trong ngành công nghiệp, đặc biệt là trong các hệ thống ống truyền nhiệt và động học chất lỏng, việc xây dựng mô hình toán trở nên rất phức tạp Do đó, việc áp dụng mạng nơ-ron nhân tạo là một giải pháp hiệu quả.

Mạng nơ ron nhiều lớp có khả năng xấp xỉ gần đúng bất kỳ hàm nào, và quá trình lựa chọn các thông số của mạng cho một tác vụ cụ thể được gọi là quá trình huấn luyện.

Hiện nay có rất nhiều phương pháp huấn luy n mệ ạng Chúng có thể hu n ấ luyện mạng bằng các phương pháp như:

• Dùng thuật toán lan truy n ngư c ề ợ

• S dử ụng công cụ Matlab huấn luyện nơ-ron như:

- Tạo mạng nơ ron mô phỏng trong M- atlab

- Các hàm huấn luyện mạng nơ ron trong Matlab-

Trong bài toán này sẽ s dử ụng Matlab để huấn luy n mệ ạng, mà phương pháp dùng sẽ là Thuật toán lan truy n ngư c ề ợ a) Thuật toán lan truy n ngược ề

Trong bài viết này, chúng ta xem xét mô hình truyền thông có M lớp, với R đầu vào và S đầu ra Tập dữ liệu mẫu được ký hiệu là Ω = { (p_i, t_i) | i = 1, 2, , Q }, trong đó p_i đại diện cho đầu vào mẫu thứ i và t_i là đầu ra mục tiêu tương ứng Chúng ta sẽ định nghĩa hàm mục tiêu để tối ưu hóa mô hình này.

Trong công thức J q = e e q T q, e q được tính bằng t q - a q M, trong đó a là đầu ra của mạ M q tương ứng với đầu vào p q Để xác định các trọng số tối ưu, chúng ta áp dụng phương pháp gradient ngẫu nhiên cho mẫu thứ q.

Trong mô hình mạng nơ-ron, trọng số \( w_{k}^{m} \) của nơ-ron thứ \( i \) trong lớp \( m \) ảnh hưởng đến đầu ra của nơ-ron thứ \( j \) trong lớp \( m-1 \) Giá trị hiện tại được ký hiệu là \( k \) và giá trị tiếp theo là \( k+1 \) Tốc độ học \( \alpha \) phải lớn hơn 0 để đảm bảo quá trình huấn luyện hiệu quả.

∂ (2.3) trong đó b i m ngưỡng nơ ron thứ i - thuộc lớp m

∂ rất phức tạp khi mạng có nhi u lề ớp Do đó dùng quy tắc đạo hàm hợp như sau: a a n w n w

Trong đó a = f n ( ) và n = wp + b 0 Áp dụng quy tắc trên cho (2.2), có:

Nhưng n i m là đầu vào net của nơ-ron thứ i thuộc lớp m, do đó nó là một hàm tuyến tính của các trọng số và ngưỡng, có:

= ∑ (2.6) trong đó a v m − 1 là đầu ra của nơ ron thứ- v thuộc lớp trư c đóớ m − Vì vậ1 y, đư c: ợ

∂ (2.8) Định nghĩa đ nh y c a nơ-ron th i của lớp ộ ạ ủ ứ m là: q m i m i s J n

Biểu diễn dư i d ng ma trận có: ớ ạ

(2 ) 14 là véc tơ độ nhạy của lớ- p m

S dử ụng công thức (2.15) và quy tắc chuỗi có:

T ừ công thức này có thể tính được độ nhạy của các lớ ần lượ ừp l t t lớp đầu ra ngược trở ề ớ v l p đ u vào như sau: ầ

M M s → s − → → s → s (2 ) 17 Đây chính là cơ sở ủ c a thu t toán lan truy n ngư c Đ u tiên tính đ nhậ ề ợ ầ ộ ạy của lớp đầu ra ng v i m u th Ứ ớ ẫ ứ q : có

Do đó véc-tơ độ nh y c a l p u ra là: ạ ủ ớ đầ

Tổng kết lại có thuật toán lan truyền ngư c:ợ

• Quá trình khở ại t o m ng: Ch n giá tr ban đ u cho t t c các tr ng s và ạ ọ ị ầ ấ ả ọ ố ngưỡng trong m ng ạ

• Quá trình lan truyền thu n ậ a0 = p (2 ) 20

• Quá trình lan truyền ngư c đ nh y ợ ộ ạ

• Quá trình cập nh t các tham s c a m ng ậ ố ủ ạ

Công thức tính t từ (2.2) đến (2.26) được gọi là huấn luyện ngẫu nhiên, vì các tham số của mạng sẽ được cập nhật tự động mỗi khi một bộ dữ liệu tín hiệu vào ra mẫu thứ q được sử dụng.

Quá trình huấn luyện theo mẻ diễn ra khi tất cả các mẫu được sử dụng đồng thời để cập nhật tham số của mạng một lần Công thức cập nhật các tham số cho mạng trong quá trình này được áp dụng để cải thiện hiệu suất.

+ = − ∑ (2 ) 28 trong đó chỉ ố s q tương ứng với mẫu thứ q

Đối với mỗi mẫu q, cần tính đầu ra và đánh giá các lớp trong mạng, sau đó xác định giá trị gradient trung bình trước khi cập nhật tham số của mạng Phương pháp tối ưu hóa hàm mục tiêu là một bước quan trọng trong quá trình này.

Để tối ưu hóa các tham số của mạng nơ-ron nhằm nâng cao hiệu suất cho các chức năng như phân loại và học, phương pháp tối ưu hóa hàm mục tiêu được sử dụng Phương pháp này dựa trên việc tính toán bình phương sai lệch giữa đầu ra của mạng nơ-ron và đầu ra mẫu, từ đó điều chỉnh các tham số của mạng để đạt được kết quả tốt nhất.

Chọn một hàm mục tiêu F(x) với véc tơ biến s là x = [x₁, x₂, , xₘ]ᵀ Hàm F đại diện cho tổng bình phương sai lệch giữa đầu ra của mạng và đầu ra mẫu, là một hàm phi tuyến không âm Mục tiêu là tìm x* sao cho hàm F đạt giá trị nhỏ nhất Sử dụng phương pháp lặp để tìm nghiệm cho bài toán này.

Với α k > 0 là tốc độ học ở ần hiện tại k l p k là hướng tìm [3]

- Phương pháp hạ sâu nhất (Steepest descent)

- Phương pháp Levenberg Marquardt a) Phương pháp hạ sâu nh t (Steepest descent) ấ

Theo phương pháp lặp, sau m i vòng l p mong mu n: ỗ ặ ố

Khai triển Taylor hàm F xung quanh x k và xấp xỉ ậc nhất, có: b

(2 ) 31 là véc tơ gradient của hàm - F theo vec tơ - x : là

= (2 ) 32 Điều ki n (2.29) th a mãn khi: ệ ỏ

Giả ử độ ớ s l n của véc-tơ hướng tìm p k không đổi, khi đó g p T k k đạt giá trị nh nhỏ ất khi hai véc-tơ này ngư c chiều nhau: ợ k k p = − g (2 ) 35

Phương pháp hạ sâu (steepest descent) là một kỹ thuật tối ưu hóa, trong đó hướng tìm kiếm được xác định bởi véc-tơ gradient, nhằm giảm giá trị hàm mục tiêu một cách hiệu quả nhất Ngoài ra, phương pháp Newton cũng là một phương pháp quan trọng trong tối ưu hóa, giúp cải thiện tốc độ hội tụ của quá trình tìm kiếm nghiệm.

Phương pháp này có nguồn g c t thu t toán l p c a Newton đ tìm nghi m ố ừ ậ ặ ủ ể ệ đa th c, sau đưứ ợc Raphson m r ng đ tìm nghiệm hệ phương trình phi tuyến khả ở ộ ể vi:

( ) 0 f p = với f ∈R n và p R∈ n (2 ) 37 Trước tiên g i ọ p * là nghiệm của (2.37)

Phân tích (2.38) thành chu i Taylor tỗ ại đi m ể p k rồi bỏ qua tất cả các thành phần bậc cao trong chu i, s được: ỗ ẽ

H k là ma trận Jacobi của vector hàm f p( ) tại điểm p k

0= f p( ) k +H p k ( k + − p k ) ⇒ pk + = p k − H f p k − ( ) k (2 ) 40 Áp dụng thuật toán Newton-Raphson trên bài toán tối ưu không ràng buộc tìm được nghi m ệ p* cho hệ phương trình (2.37):

Khi Q p( ) là khả vi hai ần sẽ có từ ết luận:l k

∂ ∂ ∂ ∂ ∂ ∂ được g i là ma tr n Hesse c a hàm vô hướng ọ ậ ủ Q p( ) tại điểm p k Do Q p( )được gi ả thiết là kh vi hai lả ần nên H k là ma trận đ i xứng vì:ố

Kết luậ : T n ừ đây dễ dàng kiểm chứng đư c tính đúng đ n của một số ết ợ ắ k luận sau về phương pháp Newton-Raphson:

- Nếu H k xác định dương thì Q p( k + 1 ) 0 đủ nhỏ

2) Thực hiện lần lư t các bư c sau v i k=0,1,… ợ ớ ớ

- Xác định hư ng tìm ớ h k theo công thức 43 và từ đó là (2 )

Trong quá trình tìm kiếm giá trị s k, có thể lựa chọn s = k 1 hoặc một giá trị tùy ý đáp ứng điều kiện Wolf Phương pháp thu nhỏ kho ng nghiệp có thể được áp dụng để tối ưu hóa giá trị này, nhằm đạt được kết quả tốt nhất theo tiêu chí k arg min (0 k k ) s s Q p sh.

= > + ) với có hư ng ngư c hư ng với véc tơ gradient ủa ớ ợ ớ - c hàm m c tiêu ụ Q p( ) tại thời đi m hiện tạể i

- Kiểm tra: Nếu | (Q p k + 1 )−Q p( ) | k