Nghiên cứu mô hình học sâu (deep learning) và Ứng dụng trong nhận dạng chữ viết tay

LỜI MỞ ĐẦU "Nhận đạng chữ viết tay là bài toán khó trong lớp các bài toán nhận dang chữ, và vẫn luôn thu hút được nhiều sự quan tâm nghiên cứu của các nhà khoa học.. Trong những năm gần

LOICAM DOAN

Tôi xin cam đoan, toàn bộ nội dung liên quan tới đề tài được trình bay trong luận văn là bản thân tôi tự tìm hiểu và nghiên cứu, đưới sự hướng dẫn

khoa học của TS Vũ Tất Thắng Viện công nghệ thông tin thuộc Viện Khoa

học và Công nghệ Việt Nam

Các tài liệu, số liệu tham khảo được trích dẫn

đủ nguồn gốc

Thái Nguyên, ngày 20 tháng 3 năm 2016

Học viên

Vũ Mạnh Hùng

thu kiến thức mới và có thời gian đễ hoàn thành Luận vấn Cao học này

Tôi xin được cảm ơn TS.Vũ Tắt Thắng, người đã tận tình chỉ dẫn tôi trong suốt quá trình xây đựng đề cương và hoàn thành luận văn

Tôixin chân thành cảm ơn các thày cô đã truyền đạt cho chúng tôi những kiến thức quý báu trong quá trùnh học Cao học và làm Luận văn

Tôi chân thành cảm ơn các bạn bè, anh chị em trong lép cao học K13

đã giúp đỡ, đồng gáp ý kiến chủa sẽ những kinh nghiệm học tập, nghiên cứu

trong suốt khóa học

Cuỗi cùng tôi kính gửi thành quả này đến gia đình và người thân của tôi, những người đã hết lòng chăm sóc, dạy bảo và động viên tôi để tôi có kết quả ngày hôm nay

_Mặc d tôi đã cỗ gắng hoàn thành Luận văn trong phạm vĩ và khả năng

cho phép nhưng chắc chắn không tránh khôi những thiểu sót Xit kính mong

nhận được sự câm thong và tận tinh chi bảo của quỹ Thằy Cô và các ban Thái Nguyên, ngày 20 thắng 3 năm 2016

Học viên

Vũ Mạnh Hùng

MỤC LỤC

LỜI CAM ĐOAN

LỜI CẢM ƠN

MỤC LỤC

DANH MUC ANH

DANH MUC BANG BIEU

LỜI MỞ ĐẦU

CHƯƠNG 1: GIỚI THIỆU ĐẺ TÀI

1.1.Giới thiệu về bài toán nhận đạng

1.1.1 Các giai đoạn pháttriển

1.12 Tình hình nghiên cứu trong nước

1.13 Tình hình nghiên cứu ở nước ngoài

1.2.Các bước xử lý cho bài toán nhận đạng hoàn chỉnh

13.Kết luận chương

CHƯƠNG 2: MÔ HÌNH MẠNG NEURON VÀ MÔ HÌNH HỌC SÂU

2.1.Téng quan về mô hình mạng neuron

2.1.1 Giới thiệu về mang Neuron

2.1.1.1.Định nghĩa

2.1.1.2.Lịch sử phát triển mang neuron +

2.1.1.3 So sánh mạng neuron với máy tính truyền thống

Cấu trúc và hoạt động của mạng Neuron

-3.Hoạt động của mang neuron

2.4.Hàm truyền

3 Mô hình và hun luyện trong bài toán nhận đạng,

2.1.3.1 Mang neuron va bai toán phân loại mẫu

2.1.3.2 Khả năng học và tổng quất hóa

2.1.3.3 Các phương pháp huan luyện mạng

a Khải niệm quá khớp

b Giải quyết quá khớp

22.2 Hopfield Network

2.2.2.1 Cau tric mang Hopfield

2.2.2.2 Mang Hopfield r0i rac

2.2.2.3 Mang Hopfield lign tuc

223 Boltzmann Machines

224 Restricted Boltzmann Machines

2.2.5 Thuật toán lan truyền ngược

2.3.Kết luận chương

CHƯƠNG 3: CÀI ĐẶT CHUONG TRINH THU NGHIEM

3.1.Môi trường thực nghiệm

3.2.Dữ liệu thực nghiệm

3.3.Huấn luyện mô hình và kết quả thực nghiệm với mô hình MLP

33.1 Mô hình huấn luyện

3.3.2 Kết quả thực nghiệm

3.4.Huấn luyện mô hình và kết quả thực nghiệm với mô hinh RBM

3.4.1 Mô hình huấn luyện

3.4.1.1 Cấu trúc mô hình

3.4.1.2 Phương pháp huẫn luyện và quy trình nhận đạng

3.4.2 Giao điện chính của chương trình

3.43 Kết quả thực nghiệm

3.5.Đánh giá kết quả thực nghiệm của hai mô hình

3.6.Kết luận chương

KÉT LUẬN CHUNG

1 Các kết quả đã đạt và chưa đạt được

2 Hướng nghiên cứu và phát triển

TAI LIEU THAM KHẢO

Hình 1- 1: Các bước trong nhận đạng chữ viết tay

Hình 2- 1: Cậu trúc của một neuron sinh học điễn hình

Hình 2- 2: Cầu trúc của một neuron,

Hình 2- 3: Cấu trúc chung cia mang neuron

Hình 2- 10: Môi liên hệ giữa sai số va kích thước mau

luân phiên trên hai tập mẫu

trúc của mang Hopfield

Hình 2- 13: Đ thi ham satlins

Hình 2- 14: Mạng Hopfield liên tục sử dụng mạch điện ti

Hình 2- 15: Một Boltzmann Machine với 3 nút ân

Hình 2- 16: Một RBM đơn giản với 3 hidden units va 2 visible units

Hình 3- 1: Mô hình huấn luyện mạng MLP)

Hình 3- 2: Mô hình huấn luyện mạng (RBM) :

Hình 3-3: Giao dién chính của chương trình nhận dang chữ +

Hình 3- 4: Chương trình khi nhận đạng 1 ảnh bất kỳ

Hình 3- 5: Chương trình khi nhận dang toàn bộ ảnh trong một thư mục

Hình 3- 6: Nhận đạng bằng mô hình RBM có kết qua sai chữ với M

DANH MUC BANG BIEU

Bang 2- 1: Cac ham truyén co ban

Bang 2- 2: Thuật toán lan truyền ngược

Bang 3- 1: Kết quả thực nghiệm sử đụng mô hình MLP

Bang 3- 2: Chỉ tiết kết quả thực nghiệm sử dụng mô hình MLP

Bang 3-3: Kết quả thực nghiệm sử đụng mô hình RBM

Bang 3-4: Chỉ tiết kết quả thực nghiệm sử đụng mô hình RBM

Bang 3-5: Bang so sánh kết quả giữa hai mô hình

LỜI MỞ ĐẦU

"Nhận đạng chữ viết tay là bài toán khó trong lớp các bài toán nhận dang chữ, và vẫn luôn thu hút được nhiều sự quan tâm nghiên cứu của các nhà khoa học Đặc biệt là trong vài thập niên gần đây, do sự thúc đây của quá trình tin học hóa trong mọi lĩnh vực, ứng đụng nhận đạng chữ cảng cô nhiều ý nghĩa khỉ

được sử đụng cho các bài toán trong thực tế Cũng như nhiều bài toán nhận đạng tiếng nói, hình ảnh khác, thì độ chính xác của hệ thống vẫn tiếp tục cần phai cai thiện nhằm vươn tới khả năng nhận dạng giống như con người

Tuy nhiên, với bài toán nhận dạng chữ viết tay thì vấn đề trở nên phức tạp hơn nhiều so với bài toán nhận đạng chữ in thông thường ở những vấn đề sau đây

_Với chữ viết tay thì không thể cô các khái niệm font chữ, kích cỡ chữ Các kí tự trong một văn bản chữ viết tay thường có kích thước khác nhau Thậm chí, cùng một kí tự trong một văn bản đo một người viết nhiều khi cũng có độ

rộng, hẹp, cao, thấp khác nhau,

‘Voi những người viết khác nhau chữ viết có độ nghiêng khác nhau (chữ

nghiêng nhiều ít, chữ nghiêng trái phải

Các kí tự của một từ trên văn bản chữ viết tay đối với hầu hết người viết

thường bị dính nhau vì vậy rất khô xác định được phân cách giữa chúng

Các văn bản chữ viết tay còn có thễ cô trường hợp đính đồng (đồng dưới

'bị đính hoặc chồng lên đòng trên)

Trong những năm gần đây, mô hình mạng Neuron theo hướng học sâu

đã cho thấy những kết quả tốt trong nhiều bài toán khác nhau, trong đồ cô nhận dang chữ

“Xuất phát từ yêu cầu thực tế, đang rất cần có nhưng nghiên cứu về vấn

đề này Chính vì vậy học viên đã chọn đề tài “Nghiên cứu mô hình học sâu

'Bài toán đã đặt ra phải giải quyết được những yêu cầu sau:

> Nhận dạng được các ký tự từ ảnh đầu vào

> Tiến hành nhận đạng kí tự đơn lẻ sử đụng mạng Neuron nhân tạo

theo phương pháp học sâu Restricted Boltzmann machine (RBM)

> Đánh giá

quả và so sánh với mô hình mang neuron

'Với những yêu cầu đã đặt ra ở trên, cấu trúc của luận văn sẽ bao gồm

những nội đung sau đây:

> Chương 1: Tông quan về đề tài

Giới thiệu về bài toán nhận dạng chữ viết tay, tình hình nghiên cứu trong

'và ngoài nước, quy trình chung để giải quyết bài toán và các phương pháp điển trình trong việc huấn luyện nhận đạng, phạm vi của đề tài

> Chương 2: Mô hình mạng neuron và mô hình học sâu

Trinh bay về cơ sỡ lý thuyết của mô hình neuron và huần luyện trong bài toán nhận dang chữ viết tay Cơ sở lý thuyết của mô hình học sâu: Hopfield network, Boltzmann Machines, Restricted Boltzmann Machines và thuật toán Jan truyền ngược

> Chương 3: Kết quả thực nghiệm và đánh giá

Trinh bay các kết quả thực nghiệm của hai mô hình mang neuron và mô hình học sâu, đưa ra kết quả đánh giá nhận dạng chữ viết tay giữa mô hình

‘mang neuron và mô hình hoc sau

CHƯƠNG 1: GIGI THIEU DE TAI

1.1.Giới thiệu về bài

‘én Han lâm Khoa học và Công nghệ Việt Nam có thé nhận đạng được các tài liệu chứa hình ảnh, bảng và văn bản với độ chính xác trên 98%)

Nhận đạng chữ viết tay vẫn còn là vấn đề thách thức lớn đối với các nhà

nghiên cứu Bài toàn này chưa thễ giãi quyết trọn vẹn được vì nó hoàn toàn phụ

thuộc vào người viết và sự biến đổi quá đa đạng trong cách viết và trạng thái sức khỏe, tình thần của từng người viết

1-1-1 Các giai đoạn phát triển

Y Giai doan 1 (1900 - 1980)

Nhận đạng chữ được biết đến từ năm 1900, khi nhà khoa học người Nga

Alan Turing (1912-1954) phat triển một phương tiện trợ giúp cho những người

Mô hình nhận đạng chữ viết được đề xuất từ năm 1951 đo phát minh của

`M Sheppard được gọi là GISMO, một robot đọc-viết

Năm 1954, máy nhận dạng chữ đầu tiên đã được phát triển bởi J

‘Rainbow ding dé doc chit in hoa nhưng rất chậm

“Năm 1967, Công ty IBM đã thương mại hóa hệ thống nhận dang chit

nhận dữ liệu, các phương pháp luận nhận đạng đã được phát triển trong giai đoạn trước đã có được môi trường lý tưởng để triển khai các ứng dụng nhận dang chữ

Các hướng tiếp cận theo cấu trúc và đối sánh được áp dụng trong nhiều

Y Giai doan 3 (1990 - nay)

Các hệ thống nhận dang thời gian thực được chú trọng trong giai đoạn

Các kỹ thuật nhận dạng kết hợp với các phương pháp luận trong lĩnh vực học may (Machine Leaming) được ap dụng rất hiệu quả

Một số công cụ học máy hiệu quả như mạng Neuron, mô hình Markov

ẩn, SVM (Support Vector Machines) va xử lý ngôn ngữ tự nhiên

1-1-2 Tình hình nghiên cứu trong nước

Tại Việt Nam, trong những năm gần đây có rất nhiều những nhóm nghiên cứu về nhận dang chữ viết tay sử dụng các mô hình phổ biến hiện nay như: SVM (Support Vector Machine), HMM (Hidden Markov Model), mang

‘Neuron Nhung nhìn chung thì chất lượng nhận dang của các mô hình này

đều chưa cao vì chữ viết tay còn nhiều các yếu tổ tác động đến như: độ cao, độ nghiêng, các nét liền của chữ viết đều ảnh hưởng rất nhiều đến quá trình nhận

dạng Hiện tại, chúng ta mới chi có được những sản phẩm thử nghiệm như hệ

thống nhận dạng chữ

cảnh của nhóm nghiên cứu ở Đại học quốc gia thành phố Hỗ Chí Minh,

và chữ cái viết tay rời rạc trên các phiếu xuất nhập

1.1.3 Tình hình nghiên cứu ở nước ngoài

“Nhận đạng chữ viết đã được nghiên cứu hơn 40 năm qua Ngày nay nhận

đạng chữ viết đã nhận được sự quan tâm đáng kể do sự phát triển của các máy

tính cằm tay và điện thoại cằm tay đựa trên các bàn phím, chuột và nhiều dang thiết bị định vị khác Nhận đạng chữ viết tay được thực hiện qua hai hình thức

là nhận dạng online và nhận dang offline Nhận dang online cô nghĩa là máy

tính sẽ nhận đạng các chữ được viết lên màn hình ngay sau khi nó được viết

"Đối với những hệ nhận dạng này, máy tính sẽ lưu lại các thông tin về nết chữ

như thứ tự nét viết, hướng và tốc độ của nét viết trong khi nô đang được viết

ta Đây chính là cơ sở để máy tính nhận dạng được chữ cái, đo đó việc nhận dang không gặp quá nhiều khô khăn Hệ thống nhận dạng chữ viết tay trực tuyến trên một trạm làm việc của IBM do nhôm nghiên cứu gồm H.S.M.Beigi, C.C Tapert, M.Ukeison và C.G.Wolf ở phòng thực hành Watson TBM cài đặt

1à một trong những sản phâm nhận đạng chữ viết tay online tiêu biểu nhất Tuy nhiên, đo chưa có nhiều ứng đụng thực tế nên nhận đạng chữ viết tay trực tuyến chưa được biết đến nhiều và khi nhắc đến nhận đạng chữ viết tay chúng ta thường hiểu nhình thức nhận đạng ở đây là offline

Các kết quả nhận dạng chữ viết tay offline hiện này còn rất hạn chế Các

hết những khó

kết quả nghiên cứu chưa tìm được giải pháp đủ tốt đề giải quy

khăn tiêu biểu sau của bài toán nhận đạng chữ viết tay:

> Kích thước của chữ viết tay không đồng đều

> Kiểu đáng chữ của mỗi người viết đều rất khác nhau

> Giữa các kí tự trong cùng một tử thường có nét nổi, thậm chí đính liên vào nhau

> Các kí tự có thể thiếu hoặc thừa nết.

'thể cho mẫu chữ nhận đạng Chính vì vậy, các kết quả thu được cũng chỉ được

áp đụng một cách hạn chế ở lĩnh vực hẹp trong một bài toán cụ thê nào đó Một số hệ nhận đạng chữ viết tay tiêu biêu có thê kê đến như: hệ thống

nhận đạng chữ viết tay trong lĩnh vực kiểm tra tài khoăn ở ngân hàng của nhóm nghiên cứu Simon và O.Baret (Laoria/CNRS & ENPC, Paris), hệ thống phân loại tự động địa chỉ thư ở bưu điện của M.Pñister, S.Behnke và R.Rojas ở Đại học tổng hop Berlin, Đức

1.2.Các bước xữ lý cho bài toán nhận đạng hoàn chĩnh

Nhận dạng chữ viết tay thường bao gồm năm giai đoạn: tiền xử lý (preprocessing), tach chit (segmentation), trich chon đặc trưng (representation),

"ruẫn luyện và nhận dang (training and recognition), hau xi If (postprocessing)

Hinh I- 1: Céic bước trong nhận dạng chữ viết tay

> Tiền xử lý (preprocessing): giảm nhiễu cho các lỗi trong qua

trình quết ảnh, hoạt động viết của con người, chuẩn hóa đỡ liệu và nền dữ liệu.

> Tach chir (segmentation): chia nhé van bản thành những thành

phân nhỏ hơn, tách các từ trong câu hay các kí tự trong ti

> Trích trọn đặc trưng (representation): giai doan đồng vai trò

quan trọng nhất trong nhận dạng chữ viết tay Để tránh những phức tạp của chữ viết tay cũng như tăng cường độ chính xác, ta cần phải

"biểu diễn thông tin chữ viết đưới những đạng đặc biệt hơn và cô đọng hơn, rút trích các đặc điểm riêng nhằm phân biệt các ký tự khác nhau Trong luận văn này, tôi nghiên cứu và tìm hiểu về mô

"hình học máy theo chiều sâu, trong mô hình này thì khi huần luyện

và sử dụng đữ liệu chúng ta không cần sử đụng đặc trưng của ảnh

đầu vào nên có thê bỏ qua bước trích rút đặc trưng

> Huấn luyện và nhận dạng (training and recognition): phương

pháp điễn hình so trùng mnẫu, đùng thống kê, mạng neuron, mô

hình matkov Ân, trí tuệ nhân tạo hay ding phương pháp kết hợp, các phương pháp trên Trong luận văn này, tôi sử đụng mô hình

học máy theo chiều sâu (đeep learning) để huấn luyện và nhận

dang, nội dung này sẽ được trình bay trong các chương sau của luận văn

> Hậu xử lý (postprocessing): sử đụng các thông tin về ngữ cảnh

để giúp tăng cường độ chính xác, dùng từ điễn dữ liệu

Ban đầu các văn bản chữ viết tay được scan và đưa vào hệ thống nhận

dang, với quá tình tiền xữ lý thì ảnh sẽ được một ảnh mà do hệ thống

để huấn luyện và nhận đạng (có thể là ảnh nhị phân hay ảnh đa mức xám) Trong mô hình học máy theo chiều sâu, ảnh được sử dụng đễ huấn luyện và

nhận đạng là ảnh đa mức xám (các pixel được biểu điễn bởi các giá trị từ 0 đến

255) Tại quá trình tiền xử lý thì ãnh cũng đã được xữ lý lọa bỏ nhiễu, các giá

trị không cần thiết trong ảnh đầu vào

êu cầu

quy định của một hệ thống khi h

việc tiếp theo ảnh để nhận dạng sẽ được lưu đưới dang ma tran điểm, với tùy

từng vị trí của điểm ảnh mà giá trị cô thể khác nhau (từ 0 đến 255), trong mô

trình Deep Learning thì ma trận điểm ảnh sẽ được quy về dạng chuẩn là 28x28

Sau khi qua các bước xử lý ở trên thì ảnh chính thức được đưa vào huấn

luyện Khi đã được tách rời các kí tự thì

luyện và nhận dang, trong quá trình huấn luyện và nhận dạng sẽ sử dụng các

mô hình và thuật toán cần thiết dé thực hiện tính toán và xử lý, những thuật toán và quá trình xử lý sẽ được trìn bày chỉ tiết trong các phẩn sau của luận văn

Cuối cùng khi các ảnh đầu vào đã được đưa vào nhận đạng và cho ra kết

quả thì bước quan trọng không kém lä quá trình hậu xử lý với các kết quả ở

trên, và trả lại kết quả cho người đử đụng

Từ đồ sẽ tạo cơ sở tiếp theo để có thê xây đựng tiếp mô hình nhận đạng

các chữ cái trong tiếng Việt, đây là bước cần thiết trong bài toán nhận dang chữ

viết tiếng Việt các từ tiếng Việt đơn lẽ, và sẽ tiến tới xây dựng một hệ thống nhận đạng văn bản viết tay tiếng Việt hoàn chính

Luận văn sẽ tập trung vào nghiên cứu về cơ sở lý thuyết mô hình Deep Learning, các thuật toán được sử dụng, thực hiện huấn luyện bằng mô hình

Deep Leaming, từ đồ cai đặt chương trình mô phỏng trên ngôn ngữ Matlab, PHP, C#

CHUONG

: MO HINH MANG NEURON VA MO HINH HOC sAU

2.1 Téng quan vé mé hinh mang neuron

2.1.1 Giới thiệu về mạng Neuron

2.1.1.1 Định nghĩa:

‘Mang neuron nhan tao, Artificial Neural Network (ANN) gọi tất là mạng neuron, neural network, là một mô hình xử lý thông tin phông theo cách thức

xử lý thông tin của các hệ neuron sinh học, Nó được tạo lên từ một số lượng

lớn các phần tử (gọi là phần tử xử lý hay neuron) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc như một thể thống nhất đễ giải quyết một vấn đề cụ thể nào đó

"Một mạng neuron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận

đạng mẫu, phân loại di liệu, ) thông qua một quá trình học từ tập các mẫu huấn luyện Về bản chất học chính là quá trình hiệu chính trọng số liên kết giữa

các neuron

2.1.12 Lịch sử phát triển mạng neuron

Các nghiên cứu về bộ não con người đã được tiến hành từ hàng nghìn năm nay Cũng với sự phát triễn của khoa học kĩ thuật đặc biệt là những tiến 'bộ trong ngành điện tử hiện đại việc con người bắt đầu nghiên cứu các neuron nhân tạo là hoàn toàn tự nhiên Sự kiện đâu tiên đánh dấu sự ra đời của mang neuron nhin tao điễn ra vào năm 1943 khi nhà thần kinh học Warren

‘McCulloch và nhà toán học Waiter Pits viết bài báo mô tả cách thức các neuron

"hoạt động Họ cũng đã tiền hành xây dựng một mạng neuron đơn giãn

mạch điện Các neuron của họ được xem như là các thiết bị nhị phân với ngưỡng,

lg các

cổ định Kết quả của các mô hình này là các hàm logic đơn giản chẳng hạn như

*aOR b hay “a AND

Tiếp bước các nghiên cứu này, năm 1949 Donald Hebb cho xuất bản cuốn sách Organization of Behavior Cuốn sách đã chỉ ra rằng các neuron nhân tao sẽ trở lên hiệu quả hơn sau mỗi lần chúng được sử dụng

"Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mô hình hôa các nguyên lý của những lý thuyết liên quan tới cách thức con người suy nghĩ đã trở thành hiện thực Nathanial Rochester sau nhiều năm làm việc tại các phòng thí nghiệm nghiên cứu của IBM 4a cé những nỗ lực đầu tiên để mô phông một mạng neuron Trong thời kì này tính toán truyền thống đã đạt được những thành công rực rỡ trong khi đó những nghiên cứu về neuron cin ở giai đoạn sơ khai Mac di vay những người ũng hộ triết lý "thinking machines” (các

máy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trường của mình

Nam 1956 dy án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artificial

Intelligence) 44 mé ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn mạng neuron Tác động tích cực của nô là thúc đây hơn nữa sự quan tâm

của các nhà khoa học về trí tuệ nhân tạo và quá trình xử lý ở mức đơn giãn của

‘mang neuron trong bộ não con người

"Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đề xuất việc mô phông các neuron đơn giản bằng cách sử đụng rơie điện áp hoặc đền chân không Nhà sinh học chuyên nghiên cứu về neuron Frank Rosenblatt

cũng bắt đầu nghiên cứu về Perceptron Sau thời gian nghiên cứu này

Perceptron đã được cài đặt trong phần cứng máy tính và được xem như là mạng

seuron lâu đời nhất còn được sử đụng đến ngày nay Perceptron một tầng rất

"hữu ích trong việc phân loại một tập các đầu vào có giá trị liên tục vào một

trong hai lớp Perceptron tính tông có trọng số các đầu vào, rồi trừ tổng này cho một ngưỡng và cho ra một trong hai giá trị mong muốn có thể Tuy nhiên erceptron còn rất nhiều hạn chế, những hạn chế này đã được chỉ ra trong cuốn

sách về Perceptron của Marin Minsky va Seymour Papert viét năm 1969

u

Năm 1959, Bemard Widrow và Marcian Hoff thude trường dai hoc Stanford đã xây dựng mô hình ADALINE (ADAptive LINear Elements) và MADALINE (Multple ADAptive LINear Elements) Các mô hình nay sit

đụng quy tắc học Least-Mean-Squares (LMS: Tối thiểu bình phương trung

binh) MADALINE 1a mang neuron diu tién được áp đụng đễ giải quyết một bài toán thực tế Nô là một bộ lọc thích ứng có khả năng loại bô tín hiệu đội lại

trên đường đây điện thoại Ngày nay mang neuron này vẫn được sit dung trong các ứng đụng thương mại

‘Nam 1974 Paul Werbos đã phát triển và ứng dung phương pháp hoc lan

truyền ngược (back-propagation) Tuy nhiên phải mất một vài năm thì phương pháp này mới trở lên phô biển Các mạng lan truyền ngược được biết đến nhiều nhất và được áp dụng rộng đãi nhất nhất cho đến ngày nay

"Thật không may, những thành công ban đầu này khiến cho con người

nghĩ quá lên về khả năng của các mạng neuron Chính sự cường điệu quá mức

đã cô những tác động không tốt đến sự phát triển của khoa học và kỹ thuật thời

bay giờ khi người ta lo sợ rằng đã đến lúc máy móc có thể làm mọi việc của

con người Những lo lắng này khiến người ta bắt đầu phân đối các nghiên cứu

về mạng neuron Thời kì tạm lắng này kéo đài đến năm 1981

‘Nam 1982 trong bài báo gửi tới viện khoa học quốc gia, John Hopfield

"bằng sự phân tích toán học rõ ràng, mạch lạc, ông đã chỉ ra cách thức các mạng

sieuron làm việc và những công việc chúng có thể thực hiện được Cổng hiến

cia Hopfield không chi 6 gia tri của những nghiên cứu khoa học mà còn ỡ sự thúc đẫy trở lại các nghiên cứu về mạng neuron,

Cũng trong thời gian này, một hội nghị với sự tham gia của Hoa Kỷ và

‘Nhat Ban bàn về việc hợp téc/canh tranh trong lĩnh vực mạng neuron đã được

tổ chức tại Kyoto, Nhật Bản Sau hội nghị, Nhật Bản đã công bố những nỗ lực của họ trong việc tạo ra máy tính thê hệ thứ 5 Tiếp nhận điều đó, các tạp chí

định kỳ của Hoa Kỷ bày tô sự lo lắng rằng nước nhà có thê bị tụt hậu trong lĩnh

vực này Vì thế, ngay sau đó, Hoa Kỷ nhanh chống huy động qui tai trợ cho các nghiên cứu và ứng dụng mạng neuron

‘Nam 1985, viện vật lý Hoa Kỹ bắt đầu tổ chức các cuộc hợp hàng năm

về mang neuron ting dung trong tin hoc (Neural Networks for Computing)

"Năm 1987, hội thảo quéc té dau tién vé mang neuron cia Vign cic kf st điện và điện tử IEEE (Lnstitute of Electrical and Electronic Engineer) 4a thu hiit

"hơn 1800 người tham gia

Ngày nay, không chỉ đững lại ở mức nghiên cứu lý thuyết, các nghiên

2.1.13 So sánh mạng neuron voi máy tính truyền thống

Các mạng neuron có cách tiếp cận khác trong giải quì đề so với

máy tính truyền thống Các máy tính truyền thống sử đụng cách tiếp cận theo hướng giải thuật, tức là máy tính thực hiện một tập các chỉ lệnh đề giải quyết

truyền thống 6 pham vi giải quyết các vấn đề mà chúng ta đã hiểu và biết chính

xác cách thực hiện Các máy tính sẽ tré lên hữu ích hơn nếu chúng có thể thực

học theo mô hình, chúng không thể được lập trình đễ thực hiện một nhiệm vụ

cụ thể Các mẫu phải được chọn lựa cẩn thận nếu không sẽ rất mất thời gian,

thậm chí mạng sẽ hoạt động không đúng Điều hạn chế này là bởi vi mang tự

tìm ra cách giải quyết vấn đề, thao tác của nó không thể dự đoán được

Các mạng neuron và các máy tinh truyền thống không cạnh tranh nhau

‘ma bé sung cho nhau Có những nhiệm vụ thích hợp hơn với máy tính truyền

thống, ngược lại có những nhiệm vụ lại thích hợp hơn với các mạng neuron

‘Tham chí rất nhiều nhiệm vụ đòi hôi các hệ thống sử đụng tổ hợp ca hai cach

tiếp cận để thực hiện được hiệu quả cao nhất (thông thường một máy tính truyền thống được sử đụng đề giám sát mạng neuron)

1.1.2 Cấu trúc và hoạt động của mạng Neuron

xiên hệ thống giao tiếp của bộ não.

Hinh 2- 1: Cau tric cia mét neuron sinh học điễn hình

neuron sinh học có 3 thành phẩn cơ bản:

Y Cac nhanh vao hinh cay (dendrites)

Y Than té bao (cell body)

Y Soi truc ra (axon)

Các nhánh hình cây truyền tín hiệu vào đến thân tế bào Thân

hợp và xử lý cho tín hiệu di ra Soi trục truyền tín hiệu ra từ thân

sang neuron khác Điễm liên kết giữa sợi trục của neuron này với nhánh hình

cây của neuron khác gọi là synapse Liên kết giữa các neuron và độ nhạy của mỗi synapse được xác định bởi quá trình hóa học phức tạp Một số cầu trúc của

neuron được xác định trước lúc sinh ra Một sí

ấu trúc được phát triển thông

lên kết mới được hình thành,

neuron sinh học hoạt động theo cách thức sau: nhận tín hiệu

đầu vào, xử lý các tín hiệu này và cho ra một tín hiệu output Tín hiệu output

này sau đồ được truyền đi làm tín hiệu đầu vào cho các neuron khác

"Dựa trên những hiểu biết về neuron sinh học, con người xây đựng neuron nhân tạo với hy vọng tạo nên một mô hình cô sức mạnh như bộ não.

.2 Cấu trúc của một neuron

"Từ định nghĩa ta thấy đơn vị hình thành nên mạng neuron là các nieuron

Chức năng của mạng neuron nhân tạo tương tự như chức năng đơn giản nhất

của các neuron sinh học đồ là tích lũy (ghi nhớ) những trì thức đã được học về

các sự vật dé biết, phân biệt chúng mỗi khi gặp lại Chức năng này được hình

thành thông qua một chuỗi liên tiếp các quá trình xử lý thông tin cũa các neuron trong mạng

‘Vé co bản, mỗi neuron sinh học thực hiện nhiệm vụ của mình thông qua các bước: nhận đầu vào, xử lý đầu vào đó, đưa dữ liệu đã được xử lý ra output

ới bản chất là mô hình

và liên lạc với các neuron khác để gửi output này đi

mô phông đơn của của neuron sinh học, neuron nhân tạo cũng thực hiện nhiệm

vụ của mình thông qua các thao tác: nhận đầu vào từ các neuron trước nóm xử

1ý đầu vào bằng cách nhân mỗi đầu vào này với trọng số liên kết tương ứng và

tính tổng các tích thu được rồi đưa ra một hàm truyền, sau đó gửi kết quả cuối

cũng cho các neuron tiếp theo hoặc đưa ra output Cứ như vậy các neuron này

"hoạt động phối hợp với nhau tạo thành hoạt động chính của mạng neuron

Chúng ta có thể hình dung rõ rang hơn quy trình xử lý thông tin của một

‘neuron qua cấu trúc của nó được thé hiện trong hình 2-5

"Trong hình vẽ trên:

ˆ Œ,x;, x„) với P>]: là các tín hiệu đầu vào của neuron Các tín hiệu này có thê là đầu ra của các neuron trước đó hoặc đầu vào '›ban đầu của mạng và thường được đưa vào đưới đạng một vector

p chiều

Y Wy Wy Wiy la tap cdc trong sé lién két ca neuron # với p đầu

vào tương ứng (x,,x; x,) Thông thường, các trọng số này

đưuọc khối tạo một cách ngẫu nhiên ở thời điễm khởi tạo mạng và được cập nhật liên tục trong quá trình học của mạng

Y“ 3) là hàm tổng trén mét neuron, dung dé tính tổng các giá trị kích hoạt lên neuron d6 Thông thưởng, đây là tổng cũa các tích

giữa đầu vào với trọng số liên kết tương ứng của neuron

+ , là tổng các giá trị kích hoạt lên neuron thứ #, giá trị này chính

là đầu ra của hàm tổng

⁄ˆ ở; là ngưỡng (còn gọi là hệ số bias) của neuron thứ #, giá trị nay được đung như một thành phần phân ngưỡng trên hàm truyền và

cũng được cập nhật liên tục trong quá trình học của mạng

¥ f() là hàm truyền, còn gọi là hàm kích hoat (activation function)

Hàm truyền được đùng để giới hạn phạm vi đầu ra của nỗi neuron

"Đối số của hầm là giá trị hàm tổng và ngưỡng Š, Thông thường,

phạm vi đầu ra của mỗi neuron được giới hạn trong đoạn [0,1]

hoặc [1,1] Như vậy miễn giá trị của các hàm kích hoạt cũng là một trong hai đoạn trên Cô rất nhiều hàm truyền thường được dùng, việc lựa chon ham truyền nào cho phủ hợp tùy thuộc vào từng bài toán

-3 Hoạt động của mạng neuron

Một mạng neuron có thê có nhiều lớp/tằng mạng và ít nhất phải có một

lớp đồ là lớp đầu ra (lớp đầu vào thường không được tính là một lớp mạng) Tớp cé thé có một hoặc nhiều neuron Cầu trúc tổng quát cia mang neuron được thể hiện trong hình 2-5 đưới đây

Đảo — Lip Lp i Lipo

eh po es oe Leon nel foe AB eo —— —

SƯ ch = it tes

Hình 2- 3: Câu trúc chung của mạng neuron

‘Mang neuron với cấu trúc như hình vẽ trên có thể mô tả như sau:

Đầu vào của mạng vector cô kích thước ?:(x,.x, x,) và đầu ra

là vector 4,4, 4, cô kích thước q Trong vài toán phân loại

mẫu, kích thước đầu vào của mạng là kích thước của mẫu đầu vào,

kích thước đầu ra của mạng chính là số lớp cần phân loại Vi du, trong bài toán nhận dạng chữ số, kích thước đầu ra của mạng là 10 tương ứng với 10 chữ số 0, 9, trong vài toán nhận dang chữ cái

tiếng Anh viết thường, kích thức đầu ra của mạng là 26 tương ứng

với 26 chit cai a z

Y Lop 4n dau tién là l6p Ay, sau đó đến lớp ân thứ hai Ö›;, tiếp tục như vậy cho đến lớp ân cuối cùng rồi lớp đầu ra O

“ Các neuron trong các lớp có cấu trúc như trên hình 2-4, liên kết

giữa các neuron giữa các lớp có thể là liên kết đầy đủ (mỗi neuron thuộc lớp sau liên kết với tit cả các neuron ở lớp trước n6) hoặc liên kết chọn lọc (mỗi neuron thuộc lớp sau liên kết với tất cả neuron é lép trước đồ),

“Đầu ra của lớp trước chính là đầu vào của lớp ngay sau nó

+ Hàm truyền tại các neuron không nhất thiết giống nhau

'Với cấu trúc như vậy, hoạt động của mạng neuron diễn ra như sau: đầu tiên vector đầu vào được lan truyền qua lớp HZ, Tại lớp này, mỗi neuron nhận vector đầu vào rồi xử lý (tính tổng có trọng số của các đầu vào rồi cho qua hàm truyền) và cho ra kết quả tương ứng Đầu ra của lớp #, chính là đầu vào của

lớp Hy, do đô sau khi lớp Ö, cho kết quả ở đầu ra của mình thì lớp Hi, nhận

được đầu vào và tiếp tục quá trình xử tý Cứ như vậy cho tới khi thu được đầu

ra sau lớp O, đầu ra này chính là đầu ra cuối cùng của mạng

‘M6 hinh mang neuron

"Mặc đù mỗi neuron đơn lẽ cô thể thực hiện những chức năng xử lý thông

tin nhất định, sức mạnh của tính toán neuron chủ yếu cô được nhờ sự kết hợp các neuron trong một kiến trúc thống nhất Một mạng neuron là một mô hình

tính toán được xác định qua các tham số: kiểu neuron (như là các nút nếu ta coi

cả mạng neuron là một đỏ thị), kiến trúc kết nói (sự tô chức kết nối giữa các

neuron) và thuật toán học (thuật toán ding 4é hoc cho mạng)

19

‘Vé ban chit mét mạng neuron có chức năng như là một hàm ánh xạ F:X

— Y, trong đồ X là không gian trang thai du vao (input state space) và Y là không gian trang thai đầu ra (output state space) của mạng Các mạng chỉ đơn

giản là làm nhiệm vụ ánh xạ các vector đầu vào x € X sang các vector đầu ra y

€ Y thông qua "bộ loc” (Gilter) các trọng số Tite la y = F(x) = s(W, x), trong

6 W là ma trận trong số liên kết Hoạt động của mạng thường là các tính toán

số thực trên các ma trận

Các kiểu mô hình mạng neuron

Cách thức kết nối các neuron trong mạng xác định kiến tric (topology)

của mạng Các neuron trong mang có thể kết nối diy dii (fully connected) tite

là mỗi neuron déu được kết nối với tất cả các neuron khác, hoặc kết nối cục bộ (partially connected) chang han chi két néi giữa các neuron trong các tầng khác nhau Người ta chia ra hai loại kiến trúc rạng chính:

* Tự kết hợp (autoassociative): là mạng cô các neuron đầu vào cũng là

các neuron đầu ra Mang Hopfield 14 mét kiểu mạng tự kết hợp

và đầu ra riêng biệt Perceptron các mạng Perceptron nhiều tầng (MLP:

‘MultiLayer Perceptron), mạng Kohonen thuộc loại nay

mạng không cô các kết nối ngược trở lại từ các neuron đầu ra về các neuron

đầu vào; mạng không lưu lại các giá trị output trước và các trạng thái kích hoạt

của neuron Các mạng neuron truyén thẳng cho phép tín hiệu di chuyên theo

ra của một tầng bất kì sẽ không

một đường đuy nhất; từ đầu vào tới đầu ra,

ảnh hướng tới ting đó Các mạng kiểu Perceptron là mạng truyền thẳng

Tang vaio : Tang an : Ting ra

21

‘ma còn phụ thuộc vào các trang thai trước đó của mạng Mạng Hopfield thuộc

loại này

Noron ra

‘Noron vio Noron én

‘Hinh 2-7: Mang phan héi

Perceptron

Perceptron 1a mang neuron don gin nhit, nó chỉ gồm một neuron, nhận

đầu vào là vector có các thành phần là các số thực và đầu ra là một trong hai giá trị +1 hoặc -1

Đầu ra của mạng được xác định như sau: mnạng lấy tổng có trọng số các

thành phần của vector đầu vào, kết qua này cùng ngưỡng b được đưa vào him

truyền (Perceptron ding ham Hard-limit lam hàm truyền) và kết quả của hàm truyền sẽ là đầu ra của mạng

Hoạt động của Perceptron có thể được mô tả bởi cặp công thức sau:

ƒ(w=)) và u

Lƒ(u~b)=Hedliimit(u~ð); y nhận giá trị +1 nếuu~ð>0,

ngược lại nhận giá trị -1

Perceptron cho phép phân loại chính xác trong trường hợp dỡ liệu có thể

phân chia tuyến tính (các mầu nằm trên hai mặt đối điện của một siêu phẳng)

'Nö cũng phân loại đúng đầu ra các hàm AND, OR và các hàm có dang ding khi n trong m đầu vào của nó đúng (n < m) Nó không th phân loại được đầu

Ta của hàm XOR

Mô hình mà chúng ta hay gặp nhất là mạng neuron nhiều tầng truyền

thing MLP (Multi Layer Perceptrons) Mạng này có cấu trúc như mô tả trên

trình 2-6 chỉ cụ thể hơn ở chỗ: liên kết giữa các neuron ở các lớp thường là liên kết đầy đủ Nhiều thực nghiệm đã chứng minh rằng: mạng MLP (chỉ cần hai

lớp neuron) với thuật toán huấn luyện và thuật toán lan truyền ngược sai số và hàm truyén sigmoid là một trong những mô hình có thể sử dụng để giải quyết các bài toán nhận đạng chữ viết

được phân loại theo hàm tuyến tính hoặc phí tuy

‘Vic Iva chon ham truyền phù hợp với bài toán thường được tiến hành qua thực

hàm liên tục hay gián đoạn

nghiệm Trong bảng đướng đây, chúng ta dùng công thức }'= ƒ(*) để biểu diện

hàm truyền

A toán phan

loại hai lớp

x Sử dụng Linear (purelin) trong mạng

tang

2.1.3 Mô hình và huấn luyện trong bài toán nhận đạng

„Mạng neuron và bài toán phân loại mẫu

“Một cách tổng quát, có thể nối nhiệm vụ của các hệ nhận đạng trong các

bài toán nhận đạng chính là phân loại mẫu Có nghĩa là từ một mẫu vào ban

đầu, hệ nhận dang cần chỉ ra nô thuộc về lớp phân loại nào Vĩ dụ, trong nhận

đạng chữ viết tay, tất cả các kiểu viết khác nhau của chữ “A” đều được quy về một lớp, lớp chữ “A” và hệ nhận dạng cần được huấn luyện sao cho khi gặp

một mẫu bất kỹ của chữ “A” nó phải chỉ ra được đầu vào này thuộc về lớp chữ

*A” Trong hệ nhận đạng chữ cái, số lớp phân loại là 26 lớp, tương ứng với 26

chữ cái từ “A” dén "Z”

Bên cạnh bài toán nhận đạng chữ viết, nhiều bài toán nhạn đạng khác cũng có thể coi là bài toán phân loại mẫu như nhận đạng đấu vân tay ding lam

mã khóa trong các hệ an ninh, nhận dạng khuôn mặt hay tiếng nói

Câu hỗi đặt ra đối với chúng ta là sử dụng mô hình nào cho các hệ nhận dang này đễ nô không chỉ phân loại được những mẫu đã học mà còn có thể tổng quit héa dé phân loại những mẫu chưa được học? Mang neuron là một mô hình

có thể áp đụng cho mọi bài toán nhận đạng mà bài toán đó có thể quy về bài toán phân loại mẫu Chính khã năng học và tổng quát hóa rit linh hoạt của mạng

neuron di gidp nó thực hiện tốt nhiệm vụ này

3.1.3.2.Khã năng học và tông quát hóa

Cö thể ni đặc trưng cơ bản nhất của mạng neuron 1a khả năng học và

tổng quát hóa

Học: là khả năng mà mạng neuron có thê phân loại chính xác những mẫu

đã được huần luyện

Tổng quát hóa: là khả năng mạng có thể nhận biết được những mẫu chưa từng huất

luyện Vì

lụ, chúng ta huấn luyện mạng neuron nhận đạng chữ

và khi người khác viết mạng vẫn nhận

viết tay trên tập mẫu đo 50 người vị

đạng được, đây là khả năng tổng quát hóa của mạng neuron Chính khả năng

cày tạo nên sức mạnh của mạng

Các khả năng này có được là do việc hiệu chỉnh và cập nhật bộ tham

mạng trong suốt quá trình huấn luyện

2.1.3.3.Cúc phương pháp huần luyện mạng

Huấn luyện mạng: là quá trình đào tạo mạng sao cho khả năng hoc va tổng quát hóa mà nó đạt được là cao nhất Bản chất của việc làm này là hiệu chỉnh trong số liên kết giữa các neuron và ngưỡng tai céc neuron trong mang

để từ các tín hiệu vào ban đầu, sau quá trình tính toán mạng đưa ra kết quả là giá trị mà chúng ta mong muốn Hai kiểu huấn luyện phổ biến là học cô giám

sat (supervised learning) va học không có giám sất (unsupervised leaming) với

mô tả chỉ tiết hơn như sau:

'Học có giám sắt: là phương pháp học để thực hiện một công việc nào

đô đưới sự giám sát của một “thầy giáo” Để đễ hình dung, cé thé m6 ta phương

pháp này như sau: chúng ta sẽ cho mạng xem một số mẫu đầu vào và đầu ra

tương ứng Dưới sự chỉ đạo của một thuật toán huấn luyện, mang có nhiệm vụ

tính toán, thay đổi các tham số sao cho đầu ra thực tế của mạng gần với đầu ra mong muốn nhí

'Với phương pháp này, thuật toán huần luyện mạng được thực hiện với tập mẫu học có đạng D ={x,t} trong đó x; (vector p chiều trong R) 1a vector

đầu vào của mạng và Í (vector q chiều trong R) là vector đầu ra mong muốn

tương ứng với x, Nhiệm vụ của thuật toán là phải thiết lập được một cách tính

toán nào đó đễ cập nhật tham số của mạng sao cho với một đầu vào cho trước thì sai số giữa đầu ra thực tế của mạng và đầu ra mong muốn là nhỏ nhất

"Một thuật toán điễn hình trong phương pháp học có giám sắt là: thuật toán LMS (Least Mean Square error), thuật toán lan truyền ngược sai số (Back Propagation),

'Với bài toán nhận dang, ban chất của phương pháp học có giảm sắt là

nào đó mà không cần bất kỳ sự giám sát nào.

'Với cách tiếp cận này, thuật toán huấn luyện mạng được thực hiện với

tạo mẫu học có đạng D = {x,} véi x; (vector p chiều trong R) là vector đầu vào của mạng Nhiệm vụ của thuật toán là phãi phân chia tập dữ liệu D thành các

nhôm con, mỗi nhóm chứa một tập vector đầu vào có các đặc trưng giống nhau

chắn rằng có sự tương ứng giữa các lớp được tạo ra mộ cách tự động với các

3.2.1 Mạng nhiêu tầng truyền thăng (MLP)

‘M6 hinh mạng neuron được sử đụng rộng rãi nhất là mô hình mạng nhiều tầng truyền thẳng (MLP: Multi Layer Perceptron) Một mạng MLP tổng quát

ang dau vào không được tính đến):

ìm mét tang dau ra (tầng thứ n) và (n-1) tầng ân

1à mạng có n (n22) ting (thông thường

Kiến trúc của một mạng MLP tổng quát cô thể mnô tã như sau:

4 Diu vao la cdc vector (x, x,, x,) tong không gian p chiều, đầu ra

là các vector (y, >,) trong không gian q chiều Đối với các bài toán

phân loại, p chính là kích thước của mẫu đầu vào, q chính là số lớp cần phân

loại Xét ví dụ trong bài toán nhận dang chữ số: với mỗi mẫu ta lưu tọa độ (x.y)

của § điểm trên chữ số đó, và nhiệm vụ của mạng là phân loại các mẫu này vào

một trong 10 lớp tương ứng với 10 chữ số 0, 1, 9 Khi đồ p là kích thước

quả đến tầng ẫn thứ 2; ; quá trình tiếp tục cho đến khi các neuron thuộc tầng

Ta cho kết quả

Một số kết quả đã được chứng minh:

$ Bất kì một hàm Boolean nào cũng có thể biểu diễn được bởi một mạng

‘LP 2 ting trong đó các neuron sit dung him truyén sigmoid

+ Tất cả các hàm liên tục đều có thê xắp xi bởi một mạng MLP 2 tằng sử

dụng hàm truyền sigmoid cho các neuron ting ẫn và hàm truyền tuyến tính cho

các neuron tầng ra với sai số nhỏ tùy ý

+ Moi ham bat kỳ đều cô thê xắp xi bởi một mạng MLP 3 tầng sử đụng

‘ham truyén sigmoid cho cc neuron tang 4n và hàm truyền tuyến tính cho các

neuron ting ra

"Đối với mạng truyền thẳng (feedforward), cho hàm đích có độ phức tạp

nhất định, kèm một lượng nhiễu nhất định thì độ chính xác của mô hình luôn

có một giới hạn nhất định Có thể cần tập mẫu vô hạn để đạt đến giới hạn chính

xác Noi cách khác độ chính xác của mô hình là ham theo kích thước tập mẫu

“Khi kích thước mẫu tăng, độ chính xác sẽ được cãi thiện - lúc đầu nhanh, nhưng

chậm dân khi tiền đến giới hạn.

$ Đối với hầu hết bài toán thực tế, mmẫu bị ràng buộc chặt chẽ với đữ liệu

có sẵn Ta thường không cô được số lượng mẫu mong muốn

+ Kích thước mẫu cũng có thể bị giới hạn bởi bộ nhớ hoặc khả năng lưu

kích thước mẫu không làm tăng thời gian luyên Những

cầu ít thế hệ luyện hơn Nếu ta tăng gấp đôi kích thước

tập mẫu lớn hơn sẽ

của mẫu, mỗi thế hệ luyện sẽ tốn thời gian khoảng gắp đôi, nhưng số thể hệ cần

luyện sẽ giảm đi một nửa Điều này có nghĩa là kích thước mnẫu (cũng có nghĩa

là độ chính xác của mô hình) không bị giới hạn bởi thời gian luyện

Luật cơ bản là: Sử đụng mẫu lớn nhất có thể sao cho đủ khả năng lưu trữ

trong bộ nhớ trong (nếu lưu trữ đông thời) hoặc trên đĩa từ (nếu đủ thời gian

doc tir dia

b Mẫu con

'thành 2 tập con: một để xây đựng mô hình gọi là tập huấn luyện (training set), và một để kiểm nghiệm mô

Trong xây dựng mô hình cần chia tập