BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH BÁO CÁO TỔNG KẾT ĐỀ TÀI KHOA HỌC VÀ CÔNG NGHỆ CẤP BỘ GIẢI Mà TIẾNG NÓI THÀNH LỆNH ĐIỀU KHIỂN TRONG CÔNG NGHIỆP S K C 0 9 Mà SỐ: B2009 - 22 - 43 S KC 0 Tp Hồ Chí Minh, 2011 BỘ GIÁO DỤC VÀ ðÀO TẠO TRƯỜNG ðẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH ðỀ TÀI NCKH CẤP BỘ “GIẢI Mà TIẾNG NÓI THÀNH LỆNH ðIỀU KHIỂN TRONG CÔNG NGHIỆP ” Mã số: B2009 -22-43 Chủ nhiệm ñề tài: TS TRẦN THU HÀ Tham gia thực hiện: Th.S Trần Tiến ðức Tp Hồ Chí Minh 2011 DANH MỤC NHỮNG NGƯỜI THAM GIA THỰC HIỆN ðỀ TÀI: Họ tên ThS Trần Tiến ðức ðơn vị công tác lĩnh vực chuyên môn Giảng viên – Trường ðH SPKT TP HCM, khoa công nghệ thông tin Ths Bùi ðông Hải Giảng viên – Trường CðKT Cao Thắng TP HCM ThS Lê Thanh Tân Giảng viên – Trường ðH SPKT TP HCM TS Ngô Cao Cường Trưởng khoa ñiện – ðiện tử - Trường ðHKT Công Nghệ BỘ GIÁO DỤC VÀ ðÀO TẠO ðơn vị: KHOA ðIỆN ðIỆN TỬ TRƯỜNG ðẠI HỌC SƯ PHẠM KỸ THUẬT TP HMC THÔNG TIN KẾT QUẢ NGHIÊN CỨU Thông tin chung: Chủ nhiệm ñề tài: TS TRẦN THU HÀ Tham gia thực hiện: Th.S Trần Tiến ðức - Tên ñề tài: “GIẢI Mà TIẾNG NÓI THÀNH LỆNH ðIỀU KHIỂN TRONG CÔNG NGHIỆP ” - Mã số: Mã số: B2009-22-43 - Chủ nhiệm: PGS.TS Trần Thu Hà - Cơ quan chủ trì: ðại học sư phạm kỹ thuật TP HCM - Thời gian thực hiện: 1- Mục tiêu: Mục tiêu nghiên cứu: ðề tài có mục tiêu sau: 1) Nghiên cứu hệ thống nhận dạng tiếng nói- tiếng Việt 2) Xây dựng giải pháp tổng quát nhận dạng tiếng Việt mô hình Markov ẩn 3) Nghiên cứu giao thức ñiều khiển hệ thống 4) Thiết kế thi công hệ thống ñiều khiển ñối tượng công nghiệp cánh tay robot- robot tự hành tiếng nói Robot thực nhiệm vụ cụ thể lệnh ñiều khiển giọng nói - tiếng việt Thông qua ñề tài có khả ứng dụng công nghệ nhận dạng tiếng nóitiếng Việt, thiết kế phần cứng ñiều khiển ñối tượng xe cánh tay robot, ứng dụng dây chuyền sản xuất công nghiệp Với mục tiêu ñề tài có tính lý thuyết ứng dụng tốt 2- Nội dung nghiên cứu: • Nghiên cứu công nghệ phân loại tiếng nói - tiếng Việt • Nghiên cứu mô hình Markov ẩn ứng dụng phân tích tham số tiếng Việt • Chọn lựa hàm số Markov ẩn ñể thiết kế dao diện nhân dạng tập lệnh ñối tượng ñiều khiển – robot tự hành bậc tự • Xây dựng sơ ñồ khối thiết kế thi công Robot tự hành • Thiết kế phần mềm phần cứng ñể ñiều khiển tiếng nói tiếng Việt xuất board ñể ñiều khiển ñối tượng công nghiệp • Vận hành thử mô hình hệ thống 3- Phương pháp nghiên cứu: Nhằm ñạt ñược mục ñích ứng dụng công nghệ ñại ñiều khiển robot tiếng nói, nhóm nghiên cứu tiếp cận theo ñịnh hướng nghiên cứu bản, thử nghiệm mô hình vật lý Nghiên cứu thiết kế thi công sản phẩm phần cứng Robot tự hành dao diện ñiều khiển tiếng nói sữ dụng micro Phương pháp nghiên cứu dựa thành tựu công nghệ nhận dạng tiếng nói, công nghệ ñiều khiển robot ñề xuất giải pháp ứng dụng, thiết kế phần cứng phần mềm Sản phẩm ñề tài có tính mở, áp dụng cho nhiều ñối tượng khác công nhiệp dân dụng Phạm vi ứng dụng sản phẩm ñề tài dùng sản xuất dân dụng Các nghiên cứu ñược tiến hành từ lý thuyết ñến sản phẩm mô hình công nghệ ứng dụng 4- Ý nghĩa khoa học ñề tài: ðề tài thuộc nhóm nghiên cứu lý thuyết ứng dụng triển khai Sản phẩm ñề tài có tính mở, áp dụng cho nhiều lớp ñối tượng khác công nghiệp, dân dụng Tính sáng tạo: - ðã sử dụng Mô hình Markov ẩn ñể mô tiếng Việt dùng ñiều khiển Robot lệnh ñơn - Thiết kế giao diện hiển thị chữ tiếng nói ñiều khiển – tiếng Việt - Thiết kế phần cứng ñiều khiển cho mobile robot dùng chip STM32F103RCT6 Kết nghiên cứu: Nghiên cứu công nghệ phân loại tiếng nói - tiếng Việt nghiên cứu ñặc trưng tiếng việt - Phân tích ngữ âm tiếng Việt, xây dựng sở liệu tiếng Việt khoảng 1000 từ dựa việc gán nhãn âm vị, ñó từ ñược lặp lại 100 lần Chọn lựa hàm số mô hình Markov ẩn ñể thiết kế dao diện nhân dạng tập lệnh ñối tượng ñiều khiển – robot tự hành với lệnh tiến, lùi, phải, trái, dừng - Xây dựng giao diện phần mềm hiển thị chữ tiếng việt dao diện ñiều khiển máy tính - Thiết kế ñiều khiển tiếng nói tiếng Việt xuất board ñể ñiều khiển ñối tượng công nghiệp - Xây dựng sơ ñồ khối thiết kế thi công ñiều khiển Robot tự hành Sản phẩm: 1- Phần mềm nhận dạng tiếng Việt hiển thị hình chữ tiếng Việt sau ghi âm lại 2- Hồ sơ thiết kế hệ thống; 3- Mô hình hệ thống ñiều khiển robot tiếng nói 4- Bài báo khoa học 5- ðào tạo thạc sĩ Hiệu quả, phương thức chuyển giao kết nghiên cứu khả áp dụng: - Có thể chuyển giao ñể ứng dụng làm mô hình giảng dạy - ðề tài phát triển làm sở ñiều khiển nhiều dạng Robot công nghiệp tập lệnh câu lệnh ñơn từ - Tín hiệu ñiều khiển ñược từ xa xuất trực tiếp từ cổng Com Thực tế việc nhận giọng nói khó khăn cho ñối tượng cần ñiều khiển tiếng việt ñược nghiên cứu chi tiết thi ñộ xác lệnh ñiều khiển tốt Hệ thống nhận dạng tiếng việt cần ñược hoàn thiện ñể việc nhận dạng tiếng nói nhận dạng tiếng việt ñược xác nhận nhiều dạng giọng nói Nam nữ cần dạy lần giọng chuẩn tiếng Việt Ngày tháng năm Chủ nhiệm ñề tài Cơ quan chủ trì (ký, họ tên) (ký, họ tên, ñóng dấu) Thông tin kết nghiên cứu tiếng Anh MINISTRY OF EDUCATION AND TRAINING DEPARTMENT OF ELCTRICAL AND ELECTRONIC UNIVERSITY OF TECHNICAL EDUCATON INFORMATION ON RESEARCH RESULTS 1- General information Project title: “ Encode Vietnamese voice into control commands in industry” Code number: Coordinator: Dr TRAN THU HA Participate in: MSc Tran Tien Duc Implementing institution: University Of Technical Education HCMC Duration: from 2009 to 2011 Objective(s): Subject has the following main objectives: 1) Analysis the Vietnamese voice and the Vietnamese voice recognition system 2) Modeling characteristics of Vietnamese voice recognition with identity hidden Markov model and designing the Vietnamese voice recognition system, which become to control commands for industry 3) Encode Vietnamese voice into control commands in industry for robot Through the themes we have the ability to use Vietnamese speech recognition technology, hardware design, control objects are mobile robot or robot arm, used in industry The result of this project - the software in researching of “analysis the Vietnamese voice” can be applied in industry Creativeness and innovativeness: - It uses hidden Markov model to simulate the Vietnamese used to control robots with single command - Interface design and simulation Vietnamese speech voice recognition control system for command industrial objects - Hardware design for mobile robot control using STM32F103RCT6 chip 4- The contents of researching project: - Research classify voice technology and classify Vietnamese speech; - Research hidden Markov model applied in analyzing the parameters of the Vietnamese voice - Select the function hidden Markov model to design Interface scripts identity of the object control - self-propelled robot Build the block diagram design and construction control system used Vietnamese voice commands - Design software and hardware control system by Vietnamese voice for demand, control the industrial objects Products: - Vietnamese recognition software displayed on the screen after the Vietnamese word recorded (Software to recognize the Vietnamese word and Vietnamese voice - Software to interact with Vietnamese voice output board to control industrial Design of Vietnamese voice recognition control system industrial objects controlled by single Vietnamese speech - Contraction the board of control system with command by Vietnamese voice - Masters Training - Write one article “Applying Vietnamese voice recognition system for controlling industrial objects “ Effects, transfer alternatives of research results and applicability: - Model for the application to teaching Vietnamese voice recognition system can applied for control several robots in industry - Commands signals can be remote controlled or directly from the output port com In fact the voice recognition is very difficult for the object to be controlled so that the Vietnamese are more detailed research for better applying for industry Vietnamese recognition system should be improved to the speech recognition Vietnamese identity is accurate and received several male or female voice just taught a Vietnamese accent University Of Technical Education Sign name ðề tài NCKH Cấp PGS.TS Trần Thu Hà – Th.S Trần Tiến ðức MỤC LỤC Trang A GIỚI THIỆU ðỀ TÀI CHƯƠNG 1: Giới thiệu ñề tài B NỘI DUNG CỦA ðỀ TÀI CHƯƠNG : Tiếng Việt tham số tiếng Việt CHƯƠNG 3: Mô hình hóa tiếng nói mô hình Markov ẩn 40 CHƯƠNG 4: Thiết kế mô hình nhận dạng tiếng nói - tiếng Việt 67 4.1 Nhận dạng tiếng nói liên tục sử dụng mô hình âm vị phụ thuộc 67 4.2 Lưu ñồ giải pháp xây dựng mô hình nhận dạng tiếng nói - tiếng Việt 73 CHƯƠNG 5: Thiết kế thi công phần cứng mô hình Mobile robot C KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 74 101 TÀI LIỆU THAM KHẢO 106 PHỤ LỤC 113 Trang ðề tài NCKH Cấp PGS.TS Trần Thu Hà – Th.S Trần Tiến ðức LỜI GIỚI THIỆU Trong giai ñoạn công nghiệp hoá ñại hoá nước nhà, tự ñộng hoá trình sản xuất có ý nghĩa việc nâng cao suất sản xuất Trong ñó robot ñóng vai trò quan trọng việc thay người làm việc ðiều khiển robot ñiều khiển phương pháp khác nhau, ñó ñiều khiển tiếng nói công nghệ ñiều khiển linh hoạt Công nghệ nhận dạng tiếng nói ñã ñược nghiên cứu sử dụng nhiều nước giới Tuy nhiên Việt Nam công nghệ ñang trình nghiên cứu thử nghiệm ðã có nhiều công trình nghiên cứu lĩnh vực nhận dạng tiếng nói (Speech recognition) sở lý thuyết hệ thống thông minh nhân tạo, nhiều kết ñã trở thành sản phẩm thương mại ViaVoice, Dragon , hệ thống bảo mật thông qua nhận dạng tiếng nói hệ quay số ñiện thoại giọng nói Triển khai công trình nghiên cứu ñưa vào thực tế ứng dụng ñể ñiều khiển hoạt ñộng robot việc làm có ý nghĩa ñặc biệt giai ñoạn công nghiệp hoá ñại hoá nước nhà Nội dung ñề tài gắn với mảng công nghệ sau: - Nghiên cứu ứng dụng hệ thống nhận dạng tiếng nói - Nghiên cứu công nghệ - giao thức ñiều khiển ñiều khiển robot tiếng nói - ñiều khiển từ xa qua hệ thống viễn thông… - Thiết kế thi công hệ thống ñiều khiển robot tiếng nói Trong hệ thống ñề xuất ứng dụng công nghệ nhận dạng tiếng nói tiếng Việt ñể ñiều khiển vấn ñề ñang nghiên cứu bước ñầu triển khai ứng dụng Việt Nam Các kết nghiên cứu ñề tài có ý nghĩa khoa học ứng dụng thực tế tốt sở ñể nuôi dưỡng niềm ñam mê khoa học nhu cầu tự khẳng ñịnh nhóm nghiên cứu thực ñề tài Trong trình thực ñề tài, ñã nhận ñược quan tâm ñạo từ BGH trường ðHSPKT TP.HCM, ñộng viên khuyến khích ñồng nghiệp, tận tình học trò thông cảm từ gia ñình người thân Chúng xin gởi tới họ lời tri ân chân thành Chủ nhiệm ñề tài PGS.TS Trần Thu Hà Trang fscanf(fp, "%lf ", &temp); a[i][j] = temp; } j = N-1; fscanf(fp, "%lf\n", &temp); a[i][j] = temp; i++; } fclose(fp); return a; } double Probality(int *Ob, double **A, double **B, double *P, double *c) { double *AlphaMu, *AlphaMuMu; int i, j, t; double temp, Result; AlphaMu AlphaMuMu = (double *)calloc(NumberOfState,sizeof(double)); = (double *)calloc(NumberOfState,sizeof(double)); // Khoi tao for (i=0; ic_real - xip->c_real; xip->c_imag = xi->c_imag - xip->c_imag; *xi = temp; } /* remaining iterations use to store w */ wptr = W + windex - 1; for( j = 1; j < le; j++ ) { u = *wptr; for( i = j; i < n; i = i + 2*le ) { xi = x + i; xip = xi + le; temp.c_real = xi->c_real + xip->c_real; temp.c_imag = xi->c_imag + xip->c_imag; tm.c_real = xi->c_real - xip->c_real; tm.c_imag = xi->c_imag - xip->c_imag; xip->c_real = tm.c_real * u.c_real tm.c_imag * u.c_imag; xip->c_imag = tm.c_real * u.c_imag + tm.c_imag * u.c_real; *xi = temp; } wptr = wptr + windex; } windex = * windex; } /* rearrage data by bit reversing */ j = 0; for( i = 1; i < ( n - ); i++ ) { k = n / 2; while( k c_imag = (float)wrecur_imag; xj++; wtmp_real = wrecur_real * w_real - wrecur_imag * w_imag; wrecur_imag = wrecur_real * w_imag + wrecur_imag * w_real; wrecur_real = wtmp_real; } return( ); } /* * static int CalculateCF( m ) * * Calculates the Trigonometric Recombination Coefficients * Used only once, and never called again With multiple FFT calls * saves computation time * * m (in): number of points in FFT transform = (2^m) * */ static int CalculateCF( int m ) { double arg, factor; int num, k; /* if memory is allocated, free allocated memory if( CF != NULL ) { free( CF ); } */ MofCF = m; num =