BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC NGÀNH: ĐIỀU KHIỂN TỰ ĐỘNG TÌM NGHIỆM BÀI TỐN TỐI ƯU TĨNH THEO THUẬT TOÁN VƯỢT KHE BẰNG MẠNG NƠ-RON NGUYỄN THẾ VINH HÀ NỘI 2007 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI - LUẬN VĂN THẠC SĨ KHOA HỌC TÌM NGHIỆM BÀI TOÁN TỐI ƯU TĨNH THEO THUẬT TOÁN VƯỢT KHE BẰNG MẠNG NƠ-RON CHUYÊN NGÀNH: ĐIỀU KHIỂN TỰ ĐỘNG NGUYỄN THẾ VINH Người hướng dẫn khoa học: PGS.TS NGUYỄN DOÃN PHƯỚC HÀ NỘI 2007 LỜI CAM ĐOAN Vấn đề kết hợp thuật toán vượt khe với kỹ thuật lan truyền ngược sai số để tìm nghiệm tối ưu tốn quy hoạch phi tuyến cơng việc cài đặt thành thuật học cho mạng nơ-ron trình bày nội dung luận văn hoàn toàn mới, chúng chưa đăng báo sách nước Việt Nam nước Học viên Nguyễn Thế Vinh -1- MỤC LỤC Lời cam đoan Mục lục Danh mục hình vẽ Danh mục bảng Các từ viết tắt Bản tóm tắt Lời cảm ơn Mở đầu 1.1 Giới thiệu chung 1.2 Mục tiêu, nội dung phương pháp nghiên cứu Chương 10 1.2.1 Mục tiêu đăng ký 10 1.2.2 Nội dung nghiên cứu 10 1.2.3 Phương pháp nghiên cứu 10 1.3 Cấu trúc luận văn ký hiệu 11 1.4 Tình hình nghiên cứu ngồi nước 11 1.4.1 Tình hình nghiên cứu ngồi nước 11 1.4.2 Tình hình nghiên cứu nước 15 1.5 Ý nghĩa khoa học thực tiễn 18 Lan truyền ngược nguyên lý vượt khe 19 2.1 Giới thiệu đôi nét lịch sử 19 2.2 Một vài điều lan truyền ngược 20 Chương 2.2.1 Mặt chất lượng 22 2.2.2 Tính hội tụ điều kiện tối ưu 23 -2- 2.3 Thuật toán vượt khe 28 2.3.1 Giới thiệu 30 2.3.2 Nguyên lý vượt khe 32 2.3.3 Xác định bước vượt khe 36 Chương trình phần mềm kết 41 Công tác chuẩn bị 41 3.1.1 Điều chỉnh trọng số lớp 44 3.1.2 Điều chỉnh trọng số lớp ẩn 45 3.2 Cấu trúc mạng 49 3.3 Các thư viện hàm mạng 50 Chương 3.1 3.3.1 Thư viện 50 3.3.2 Hàm khởi tạo trọng số 53 3.3.3 Thủ tục tính bước học vượt khe 54 3.3.4 Thủ tục huấn luyện mạng 56 3.4 58 Chạy chương trình so sánh 3.4.1 Chạy chương trình 58 3.4.2 So sánh 61 3.5 Về hướng phát triển 66 Mã nguồn chương trình 67 A.1 Tệp dinhnghia.h 67 A-2 Tài liệu huấn luyện mạng, huanluyen.h 68 A-3 Hàm main.c 73 Phụ lục A 94 Tài liệu tham khảo -3- DANH MỤC HÌNH VẼ Hình 2.1 Mặt sai số dạng lịng khe 23 Hình 2.2 Quỹ đạo dao động với mặt sai số dạng lòng khe 25 Hình 2.3 Nguyên lý vượt khe 33 Hình 2.4 Xác định bước vượt khe α v 35 Hình 2.5 Lưu đồ thuật tốn tính bước vượt khe 38 Hình 3.1 Sơ đồ ngun lý thuật tốn luyện mạng với bước học vượt khe 43 Hình 3.2 Độ dốc mặt sai số 44 Hình 3.3 Cấu trúc mạng 49 Hình 3.4 Mơ tả bước q trình luyện mạng với bước học vượt khe 58 -4- DANH MỤC BẢNG Bảng 3.1 Các hàm tiêu biểu 51 Bảng 3.2a Tập hồ sơ với mẫu đầu vào {0 9} 63 Bảng 3.2b Tập hồ sơ với mẫu đầu vào {a b c d e f g h i j} 64 Bảng 3.2c Tập hồ sơ với mẫu đầu vào {! @ # $ % ^ & * ( )} 65 -5- CÁC TỪ VIẾT TẮT ADLINE ADAptive LInear NEural, mạng tuyến tính thích nghi đơn lớp ANN Artificial Neural Network, mạng nơ-ron nhân tạo LMS Least Mean Square, trung bình bình phương nhỏ SDBP Steepest Descent BackProbagation, thuật tốn lan truyền ngược giảm dốc OBP Optical BackPropagation, thuật toán lan truyền ngược “tốc độ ánh sáng” VLBP Variable Learning rate BackPropagation algorithm, thuật toán lan truyền ngược với tốc độ học thay đổi -6- BẢN TÓM TẮT Nội dung luận văn áp dụng thuật toán vượt khe kết hợp với hướng đối gradient kỹ thuật lan truyền ngược sai số để huấn luyện lớp mạng nơ-ron nhằm giải toán tối ưu tĩnh điều khiển Luận văn bao gồm ba chương, chương bắt đầu việc giới thiệu lịch sử phát triển thuật toán, chương nêu nên mục tiêu đăng ký nội dung nghiên cứu khuôn khổ luận văn Tiếp theo, phát triển thuật toán, thuật toán vượt khe, để nhằm cải tiến tốc độ hội tụ lan truyền ngược, vấn đề trình bày chương Mục chương toàn chương nội dung luận văn Phụ lục A trình bày tồn gói phần mềm luyện mạng theo thuật toán vượt khe Nội dung chương luận văn trình bày gói phần mềm huấn luyện mạng theo kỹ thuật lan truyền ngược kết hợp với thuật toán bước học vượt khe Bài tốn ví dụ mà dùng để minh hoạ cho thuật tốn huấn luyện với bước học tính theo nguyên lý vượt khe sau: cho vec-tơ đầu vào tới đầu vào, mạng nơ-ron phải trả lời cho biết đầu vào Phần mềm cung cấp mạng với cấu trúc mạng 35 nơ-ron đầu vào, nơ-ron lớp giữa, 10 nơ-ron lớp Gói phần mềm bao gồm hai tệp header (dinhnghia.h, taphuanluyen.h) tệp main.c chứa hàm thủ tục để huấn luyện mạng, việc cài đặt thành cơng thủ tục TINHBUOCHOCVUOTKHE(void) để luyện mạng đóng góp nho nhỏ học viên luận văn -7- LỜI CẢM ƠN Tôi xin gửi lời cảm ơn sâu sắc tới PGS.TS.NGUYỄN DOÃN PHƯỚC, thầy trực tiếp hướng dẫn tơi suốt q trình làm luận văn tốt nghiệp Tơi nhận nhiều dẫn q báu thầy cho việc hoàn thiện nội dung luận văn Tôi xin gửi lời cảm ơn tới thầy cô giáo môn Điều khiển tự động trường Đại học Bách khoa Hà nội cho hành trang vững vàng để bước vào bầu trời khoa học Tôi xin cảm ơn trường Đại học Bách khoa Hà nội, mái trường mà theo học suốt năm đại học năm cho khố học cao học Tơi xin cảm ơn Trung tâm Điện tử Công nghiệp, Viện NC Điện tử, Tin học, Tự động hố, nơi mà tơi cơng tác Tơi thu nhiều kiến thức cho gói hành trang khoa học nhỏ bé Cuối cùng, tơi xin gửi lời biết ơn tới mẹ tôi, tới anh trai tôi, tới người vợ yêu quý tôi, người thân gia đình tơi bạn bè, người mà có ảnh hưởng ln quan tâm tới bước đường mà chọn Nguyễn Thế Vinh Ngày 16 tháng 11 năm 2007 -8- Trang 80 HUAN LUYEN MANG DE TB-BINH PHUONG SAI SO DAU RA NHO HON EPSILON CHO TRUOC, BUOC HOC LA MOT HANG SO Cac dau vao: KHONG CO Gia tri tra ve: KHONG CO -*/ void HUANLUYENCODINH() { int t,l; printf("\n\nDANG HUAN LUYEN MANG VOI BUOC HOC CO DINH \n"); START: if(RES==0) printf("\n\nKHOI DONG VA HUAN LUYEN LAI MANG!"); KHOITAOMANG(); { TOCDOHOC=0.2; BUOCLAP(); HAMMUCTIEU(); l = 1; for(t=0;t15000)break; if(SOBUOCLAP>BLTD) { HTHL=0; printf("\nQUA TRINH HUAN LUYEN MANG THAT BAI! \n"); printf("\nDE NGHI HUAN LUYEN LAI! \n"); Luận văn Thạc sỹ Ngành Điều khiển tự động khố 2005-2007, ĐHBKHN Phụ lục A Mã nguồn chương trình luyện mạng nơ-ron với bước học vượt khe Trang 81 break; } }while(!l);//while(!l && !kbhit()); if(RESET>15000) { RES=0; goto START; } if(SOBUOCLAPBLTD) { HTHL=0; printf("\nQUA TRINH HUAN LUYEN MANG THAT BAI!\n"); printf("\nDE NGHI HUAN LUYEN LAI! \n"); break; } }while(!l);//while(!l && !kbhit()); if(RESET>4000) { RES=0; goto START; } if(SOBUOCLAPBLTD) { HTHL=0; printf("\nQUA TRINH HUAN LUYEN MANG THAT BAI! \n"); printf("\nDE NGHI HUAN LUYEN LAI! \n"); break; } }while(!l);//while(!l && !kbhit()); if(RESET>700) { RES=0; goto START; } if(SOBUOCLAP