Luận văn thạc sĩ Công nghệ thông tin: Ứng dụng mạng Nơ-ron hồi quy vào phát hiện hành động con người bằng tín hiệu WIFI

Tuy nhiên, ứng dụng của các loại mô hình đó vào các bài toán phân biệt hành động con người chỉ mới được các nhà nghiên cứu dừng lại ở một mức sơ khai chưa phát triển lên một hệ thống dé

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

DO MINH TIEN

VÀO PHÁT HIEN HANH ĐỘNG CON

NGƯỜI BANG TÍN HIEU WIFI

LUAN VAN THAC SiNGANH CONG NGHE THONG TIN

Mã số: 8480201

THÀNH PHO HO CHÍ MINH, NĂM 2022

TRUONG ĐẠI HỌC CÔNG NGHỆ THONG TIN

DO MINH TIEN

NGƯỜI BANG TÍN HIEU WIFI

LUAN VAN THAC SiNGANH CONG NGHE THONG TIN

Mã so: 8480201

NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS NGUYEN TAN HOÀNG PHƯỚC

Tôi xin cam đoan rằng luận văn “Ứng dụng mạng nơ-ron hồi quy vào phát hiện hành động con người bằng tín hiệu Wifi" là nội dung nghiên cứu của chính bản

thân tôi.

Luận văn này có sử dụng các thông tin trích dẫn từ nhiều nguồn tài liệu khácnhau, các thông tin được trích dẫn đều đã được ghi rõ nguồn góc

Không có bat kỳ sản phẩm hay nguồn nghiên cứu nào của người khác được

sử dụng vào trong luận văn này mà không được sự trích dẫn theo đúng quy định

TPHCM, ngày 8 tháng 12 năm 2022

Tác giả

Đỗ Minh Tiến

Lời đầu tiên tôi xin cảm ơn TS Nguyễn Tan Hoàng Phước đã tận tinh và chuđáo hướng dẫn tôi trong suốt quãng thời gian thực hiện luận văn.

Tôi xin chân thành bày tỏ lòng biết ơn đến quý thầy cô trong Viện đào tạoSau Đại học trường Đại học Công nghệ Thông tin đã cung cấp cho tôi những kiếnthức, kinh nghiệm quý báu cho tôi trong suốt quá trình học tập và nghiên cứu tại

trường.

Tôi cũng xin kính gởi lời cảm ơn đến gia đình và bạn bè cũng như nhữngngười thân đã luôn luôn quan tâm và giúp đỡ tôi trong suốt quá trình học tập và nghiên cứu để hoàn thành luận văn này.

Do thời gian và kiến thức có hạn cho nên luận văn sẽ không thể tránh khỏinhững thiếu sót nhất định Tôi rat cầu mong nhận được sự góp ý va lời chi dạy quý báu của quý thầy cô.

1.2 Mục tiêu nghiên cứu

1.3 Đối tượng nghiên cứu

1.4 Phạm vi nghiên cứu

1.5 Nội dung nghiên cứu

1.6 Cấu trúc luận văn poo ie

CHƯƠNG 2 CƠ SỞ LÝ THUYET seesssssssssssesecccssssssseesecnsesssees

2.1 Tổng quan về AI, Machine learning và Deep learni

2.1.1 Khái niệm

2.1.2 Mục tiê

2.1.3 Quy trình máy học

2.1.4 Các phương pháp máy học (Machine Learning)

2.1.5 Các kỹ thuật, phương tiện phát hiện hành động con ngư:

2.1.6 Ứng dụng của việc sử dụng machine learning và deep learning.

2.2 Các thuật toán xử lý tín hiệu Wi

2.2.1 Các định nghĩa cơ bản

2.2.2 Khai thác và thu thập bộ dữ liệu thô

2.2.3 Thuật toán tiền xử lý tín hiệu

2.3 Bài toán nhận dạng hành động con người hiện nay

2.3.1 Tổng quát về nhận dạng hành động con người

2.3.2 Phát biểu bài toán phát hiện hành động

2.3.3 Các nghiên cứu liên quan

CHƯƠNG 3 ỨNG DỤNG MẠNG NƠ-RON HỒI QUY và MÔ HÌNH REALTIME 34

4.1 Môi trường thực nghiệm và các bộ dữ liệu

3.2, tuy trình làm Cages nghÌN eeeiekoeeeeookeoooooeeooeeooocoooo BÚ

4.3 Kết quả thực nghiệm 5c secteetrierrerrrtirrrirrrrrrrrrrrrrrerreeroo 7"CHƯƠNG 5 KẾT LUẬN VÀ HƯỚNG PHAT TRIỂN — _5.1 Kết luận

5.2 Hướng phát trig sssssssccsecsssssseeceeesssssseseeeesnssssseeeessnssssseeeesesssssseeeessssssssse69

Ký hiệu viết tắt | Ý nghĩa tiếng Việt Ý nghĩa tiếng Anh

CSI Thông tin tinh trạng kênh | Channel state information

ML Máy học Machine learning

CSDL Co sở dữ liệu Database

AI Trí tuệ nhân tao Artificial intelligence

b Độ chéch Bias

W Điểm trọng yếu Weights

DL Hoc sau Deep Learning

API Giao diện lập trình ứng Application programming

dụng interface

RF Tần số vô tuyến Radio frequency

UI Giao diện người dùng User interface

Bang 3.1 - Minh họa đồ thị ba chức năng kích hoạt -c:¿5255ss+ 44Bảng 3.2 - Ưu và Nhược điểm của model RNN c- 45

Bảng 4.1 - Minh họa hai bộ thu và bộ phát ¿ ¿- c5 c+cc+xecxereerxer 52 Bảng 4.2 — Mô tả các hành động

Bảng 4.3 — Biểu đồ dao động của CSI phụ thuộc theo thời gian 55Bảng 4.4 — Biểu đồ Heatmap của CSI phụ thuộc theo thời gian 55

Bảng 4.5 — Giá trị biên độ CST esssssssssssssssssssssesssnssssssececeesesssssumnnnnsnnssssceeeeeeeeneenee 56

Bảng 4.6 — So sánh tỉ lệ chính xác giữa dữ liệu trước và sau khi tiền xử lý khi đưa

vào các model học máy 58

Hình 2.1 — Quy trình máy hỌC -¿- - ¿52+ SS++E‡Et+tzkrkekerkrkerrrrkrreree 18

Hình 2.2 — Giá tri CSI phụ thuộc theo thời gian có chứa thông tin hành động con

TRBƯỜII 5 + St T11 T11 111 1 1 T11 1 1H01 11g 11.1.1111 1 111gr 29

Hình 2.4 - Sơ đồ hệ thống dùng để thu thập bộ dữ liệu

Hình 3.1 — Sơ đồ minh họa MAN ñƠ-TOI 5: 5252 + S2ttextrrkererrkrrrrxrk 32Hình 3.2 — Sơ dé minh họa THAN CNN ses ssosescscesescssssoscszssssoscssasesescazsssssssossssssese 33Hình 3.3 —So đồ minh họa mạng MLP -. -.-cccvvvvccccccccrrrrrrrrrrree 34Hình 3.4 — Sơ đồ minh họa mạng DNN

Hình 3.5 — Các phan‘logivctia KNNf Á ii TỔ,

Hình 3.6 — Minh họa LSTM và GRU -:-5255+©5+cx+ccxecresrxerrerrrer 40

Hình 3.7 — Minh họa mạng RNN 5c St tt 43

Hình 3.8 — Quy trình xử lý của RNN -.c-eeeeie 4D)

Hình 3.9 — Minh họa mạng LSTM 2-5-5 5sS+rterxerrrrrrrrrrrrrree 46

Hình 3.10 — Minh họa một bước hoạt động của model LSTM 46

Hình 4.1 - Flowgraph của bộ thu Wifi trên GNURadio - 51

Hình 4.2 - Flowgraph của bộ phát Wifi trên GNURadio 52

Hình 4.3 - Minh họa quá trình thu dataset

Hình 4.4 — Minh họa bộ data sau khi thu được - -c+ -cc + 2)

Hình 4.5 - Giá trị CSI trước (trái) và sau (phải) khi đưa qua bộ lọc cửa sô 57

Hình 4.7 — Giá trị của validate và train accuracy sau khi preprocessing 59

Hình 4.8 — Giá trị của loss sau khi preprocessing - c-+©++c5+++ 59

Hình 4.9 — Minh hoa mô hình Realtime eseeeeseeeeseeeeesseseseeneneaeeeenes 6l

Hình 4.10 — Giao diện lấy token từ Ngrok -ccccccccvccccccvcccrrrrrrrrree 62Hình 4.11 — Code tiến hành lay NgrokTunnel -.- :¿¿22ssccczz2cvcvvsz 62Hình 4.12 — Kết quả của model LSTM : +cccccccccccceeeeeerrrrrrccc 03Hình 4.13 — Kết quả của model MLP.

Hình 4.14 — Kết quả của model RNN -::-ccc22ccccsscccccccccrccccrrreeee 64Hình 4.15 — Kết quả mô hình Realtime -. :ccccccvccccveeeceecccereeeccee-es 4

Hiện nay, các mô hình học sâu và học máy ngày càng có sự phát triển nhanh

chóng, đã và đang được ứng dụng rộng rãi vào thực tiễn và tạo nên những thành tựu

nhất định Công cuộc triển khai các mô hình học máy hay học sâu giúp ích rất nhiềucho các bài toán với khói lượng lớn dữ liệu, nhận biết sự thay đồi, sự khác nhau đốivới nhu cầu thiết yếu của con người trong các bài toán kinh doanh, ngoài ra còn giúp

nhận dạng con người, giọng nói hay văn bản Tuy nhiên, ứng dụng của các loại mô hình đó vào các bài toán phân biệt hành động con người chỉ mới được các nhà nghiên

cứu dừng lại ở một mức sơ khai chưa phát triển lên một hệ thống dé vận hành đượcvào thời gian thực.

Bên cạnh đó, có rất nhiều công cuộc nghiên cứu đã chỉ ra rằng Wi-Fi có thégiúp nhận dạng các hành động của con người - bằng cách trích xuất các thông tintrang thái kênh truyền (Channel state information — CSI) từ sóng Wi-Fi Với sự phổbiến của các loại thiết bị Wi-Fi hiện nay, thì việc nghiên cứu phương pháp nhận diệnhành động con người dựa vào tín hiệu Wi-Fi là tiền đề đề cho việc phát triển thànhứng dụng nhận diện bằng hành động con người có thể vận hành dựa vào thời gianthực.

Các bài toán từ dữ liệu ở dạng chuỗi (sequence) chúng ta có Recurrent neural

network (RNN) là một trợ thủ đắc lực cũng như hữu ích trong các hướng nghiêncứu về phát hiện hành động con người

Đối với khóa luận này, tôi sẽ thực hiện nghiên cứu phương pháp nhận diệnhành động con người dựa vào sóng Wi-Fi, triển khai bộ thu-phát tín hiệu Wi-Fi vàxây dựng bộ dữ liệu về các hành động thu được khi thực hiện giữa hai thiết bị thu phát bằng công nghệ vô tuyến khả lập trình SDR Sau đó, áp dụng các mô hình học máy, hoc sâu — cụ thé là nghiên cứu và tìm hiểu chuyên sâu về mô hình mạng nơron hồi quy và áp dụng dé đánh giá bộ dữ liệu thu được Cuối cùng, phát triển một

người bằng sóng Wifi trong thời gian thực.

CHƯƠNG 1 TONG QUAN 1.1 Lý do chọn đề tài

Trong những năm gan đây chúng ta đã dần nhận thấy rằng việc phát triển các ứng dụng nhận diện hành động của con người đang là đề tài nghiên cứu rất có triển vọng,

là một trong những ưu tiên hàng đầu để đưa ra các bước đột phá và áp dụng cho sựphát triển trong thời đại 4.0 hiện nay nói chung và các thành phố thông minh nóiriêng Hướng phát triển này giúp nâng cao đời sống hiện nay, với mục tiêu tự động

hóa và tăng khả năng giám sát các hành động của con người hay của một vật thê

nhất định Việc nhận diện các hành động của con người, bao gồm các khuynh hướnggiải quyết tập trung vào việc thu thập dữ liệu về con người như: vị trí, cử chỉ, thaotác Hướng tiếp cận cho các nghiên cứu đó xuất phát từ các mô hình truyền thốngnhư là camera, ánh sáng, hong ngoại, tuy nhiên khi dùng những thiết bị đó dé thu

thập và phân biệt, nhận diện các hành động của con người trong phạm vi quan sát

đã gặp phải một số hạn chế nan giải như sau [1]: thiết bị camera ghi hình bị giới hạntầm quan sát (line of sight), các vấn đề về quyền riêng tư và gặp khó khăn trong cáctrường hợp đặc thù khác nhau Ngoài ra, các thiết bị cảm biến ánh sáng hoặc hồng ngoại không có khả năng xuyên tường hoặc vật cản và còn bị giới hạn bởi các yếu

tố như khi áp dụng cho việc nhận diện hành động con người, các thiết bị cảm biếnđều cần phải được triển khai trước khi đưa vào sử dụng, từ đó cần phải sản xuất vàthiết kế riêng, gây tốn kém chỉ phí [2] Phạm vi hoạt động của các thiết bị cũngtương đối thấp, dễ bị gián đoạn mạnh khi đi qua các vật cản (tường, cửa, khói), đồng thời gây ảnh hưởng tới mắt người khi sử dụng với cường độ lớn Do đó, nhìn chunghướng tiếp cận sử dụng sóng điện từ (radio frequency signal) đã được đề xuất trongnhiều nghiên cứu [1, 2] do mang nl iéu thuận lợi như sau: các thiết bị phát sóng điện

từ (WiFi, LTE, LoRa, ) rat phô biến hiện nay, điều đó giúp rút gọn chi phí và ápdụng được trong nhiều cơ sở hạ tầng sử dụng các công nghệ có sẵn, các tác giả trong [1 2] cũng kể đến quyền riêng tư của các đối tượng được nhận diện không bị ảnh

hưởng như hướng tiếp cận bằng các thiết bị truyền thống [2] Tuy nhiên, việc nhận

én hành động con người bằng sóng điện từ cũng gặp nhiều van đề như [1]: sự biến đổi của tín hiệu về biên độ và pha phức tạp, tùy thuộc vào môi trường, đặc điểmnhận dạng của con người trong sóng nhận được tồn tại ở nhiều dang và khó trìnhbày bằng các phương pháp toán học thông thường, nhiều hướng phân tích tín hiệukhác nhau dẫn đến ít mô hình thống nhất về cách xử lý bài toán Các vấn đề nêu trên khiến việc nhận diện hành động của con người mang có tính chất phức tạp, khó giảiquyết bằng các phương pháp xử lý tín hiệu thông thường Dé giải quyết các vấn đề

trên, các mô hình máy học đã được đưa vào sử dụng, đặc biệt là các mô hình học

sâu [1] Đã có nhiều nghiên cứu sử dụng thông tin về trang thái kênh truyền (ChannelState Information - CSI) của tín hiệu WiFi để phân biệt các hành động khác nhaucủa con người [5.6] Tuy nhiên, số lượng các bộ dữ liệu CSI dùng cho các mô hìnhhọc máy hiện nay không nhiều, gây khó khăn cho việc nghiên cứu

Để giải quyết vấn đề đã nêu ra bên trên, bài luận văn này sẽ xem xét phân tích và đềxuất các giải pháp để xây dựng bộ dataset chứa các thông tin về CSI của sóng WiFiđối với các hành động khác nhau của con người Cùng với đó là sự kết hợp ứngdụng công nghệ Deep Learning, sử dụng bộ dataset tự xây dựng để đánh giá, tìmkiếm và kết hợp với một mô hình Deep learing hiệu quả nhằm đưa một mô hình

nhận diện hành động của con người có độ chính xác tương đối, phù hợp và có tính

ứng dụng thực tế Luận văn cũng đánh giá dựa trên dữ liệu thực và các tập dữ liệu

uy tín từ các bài báo đã được công bố đề chứng minh về hiệu suất cũng như tínhhiệu quả của hướng nghiên cứu này cụ thê là các mô hình học máy sau như MLP và

LSTM đã cho ra được độ chính xác khá cao trong việc nhận diện cách hành động

của con người qua sóng Wifi.

1.2 Mục tiêu nghiên cứu

Mục tiêu tông quan của dé tài đó là nghiên cứu các mô hình học sâu (đặc biệt

cải thiện độ chính xác trong việc phân biệt hành động của con người Sau công cuộc

chắt lọc và lựa chọn, sẽ có thể tìm ra được những phương pháp tối ưu nhất và giải pháp khả thi để phát triển vào những ứng dụng thông minh phù hợp với những bốicảnh cụ thể

1.3 Đối tượng nghiên cứu

Các thuật toán xử lý tín hiệu như: Bộ lọc cửa số trung bình với kích thước N

và Thuật toán tìm trung tâm hành động.

Các model deep learning được nghiên cứu và thử nghiệm như: MLP, LSTM, RNN, CNN.

Co sở dit liệu: dữ liệu từ CSI, cơ sở dữ liệu Wifi có thêm thông tin về vi trí,

dữ liệu được qua bước tiền xử lý trước khi đưa vào các model deep learning.

Dữ liệu kiểm nghiệm: Đã tiến hành thu tập dữ liệu thủ công tại lầu 12 tòa nhà

E của trường dai học công nghệ thông tin-DHQG đặt tên là UIT-CSI đê tiến hành công đoạn kiểm nghiệm cho hướng nghiên cứu.

1.4 Phạm vi nghiên cứu

Giới hạn trong phạm vi của các cuộc nghiên cứu về chủ đề theo phươnghướng sử dụng tín hiệu WiFi dé phân biệt các hành động của con người và nghiêncứu cũng như đề xuất các mô hình học sâu, các phương pháp xử lý tín hiệu WiFithích hợp nhằm cải thiện các hiệu năng của hệ thống nhận diện

1.5 Nội dung nghiên cứu

Dé hoàn thành được mục tiêu dé ra, nghiên cứu sẽ gồm những nội dung sau:

- Nghiên cứu về thiết bị thu phát sóng vô tuyến khả lập trình SDR Sau đó,xây dựng bộ thu phát sóng WiFi dựa trên thiết bị đã tìm hiểu

- Xác định các tham số chính cho bài toán thu thập dataset (vị trí thu tín hiệu,cường độ tín hiệu, số lượng các hành động )

- Tìm hiểu về các mô hình học sâu (đặc biệt là mạng nơ-ron hồi quy) dé áp

dụng vào bài toán phân biệt hành động con người.

- Tìm hiểu và thực thi các thuật toán tiền xử lý tín hiệu để tăng độ chính xác

của việc phát hiện hành động con người.

- Phát triển mô hình ứng dụng nghiên cứu thời gian thực

1.6 Cấu trúc luận văn

Luận văn được tổ chức gồm 5 chương cụ thể như sau:

+

+

Chương 1: Giới thiệu tổng quan tình hình thực tiễn và định hướng

nghiên cứu.

Chương 2: Trình bày cơ sở lý thuyết về AI, deep learning và machine

learning, bài toán xử lý tín hiệu trong wifi và việc áp dụng trên tín hiệu Wifi.

Chương 3: Các model deep learning trong hướng nghiên cứu, mô hình realtime và ứng dụng của model mạng nơ-ron hôi quy.

Chương 4: Giới thiệu về môi trường, quy trình và kết quả thực

nghiệm.

Chương 5: Kết luận và hướng phát triển

CHƯƠNG 2 CƠ SỞ LÝ THUYET

2.1 Tổng quan về AI, Machine learning và Deep learning

2.1.1 Khái niệm

Trí tuệ nhân tạo hay Artificial intelligence (AI): là khái niệm phổ cập đến sự

trừu tượng và mô phỏng trí thông minh của loài người được lập trình trên máy tính,

chúng được thiết lập dé có thể suy nghĩ và tư duy giống như một con người thực vanâng cao hơn đó là bắt chước được những hành động của họ [10,11] Thuật ngữ

“AI” cũng có thể được áp dụng vào bat kỳ thiết bị máy móc nào hoặc cho các dự ánphát triển những hệ thống áp dụng trí tuệ đặc trưng của con người đề học tập hay giải quyết các vấn đề, chẳng hạn như là về khả năng suy luận phân loại, khám phá

các ý nghĩa và đưa ra nhận xét, khái quát hóa hay là học hỏi từ các kinh nghiệm từ những dữ kiện ở trong quá khứ [9].

Machine learning (ML) hay học máy là một phân loại của trí tuệ nhân tạo(AI) cho phép các phần mềm ứng dung dự đoán kết quả có sự chính xác hơn màkhông cần con người phải lập trình một cách rõ ràng, ti mi từng chỉ tiết một đề làm

như vậy Nó là một trong những phương pháp giúp phân tích dữ liệu một cách tự

động hóa, dựa trên hướng phát triển rằng việc xây dựng các mô hình phân tích, xácđịnh được các tập mẫu (training data) và đưa ra được quyết định dự đoán các giá trị

đâu ra mới và sẽ cải thiện được độ chính xác của nó một cách từ từ.

Học sâu hay gọi cách khác là Deep Learning (DL) là một trong số những lĩnhvực con của trí tuệ nhân tạo (AI) và nó liên quan đến các thuật toán được các nhànghiên cứu lấy nguồn cảm hứng từ các chức năng và cấu trúc linh hoạt của bộ nãocon người sẽ được gọi là “mạng lưới thần kinh nhân tạo hay mạng thần kinh nhân tạo” Nó giúp cho việc thúc day ra được các ứng dụng thực tiễn và dịch vụ về AIgiúp cải thiện và phát triển khả năng về công cuộc tự động hóa trong công nghiệphiện đại thời đại hiện nay, nó sẽ thực hiện các nhiệm vụ về việc phân tích, quyết

2.1.3.

định mà không cần thiết phải có con người can thiệp vào Công nghệ học sâu nàyđược ứng dụng vào các sản phẩm công nghệ và đã được ra vào hoạt động trong cácthành phố thông minh (chẳng hạn như trợ lý phương tiện kỹ thuật só, điều khiển từ

xa các loại TV hay thiết bị nội thất trong nhà hỗ trợ giọng nói (voice) và phát hiện,

nhận dạng các gian lận từ thẻ tín dụng) cũng như các công nghệ mới nổi gần đây

trên các diễn đàn và trang báo lớp chẳng hạn như ô tô tự lái cho phép chúng nhận rabiển báo dừng hoặc phân biệt người đi bộ với cột đèn hay các công cụ đề xuất cóthể cung cấp các đề xuất tự động cho các chương trình truyền hình dựa trên thói

quen xem của người dùng [30].

Mục tiêu

Mục tiêu của trí tuệ nhân tạo (AI) nói chung và máy học (ML) cùng với họcsâu (DL) nói riêng là bổ sung máy học và tương tác nhận thức vào các ứng dụng vàquy trình công nghệ truyền thống đề có thé cải thiện đáng ké về các trải nghiệm củangười dùng va tăng năng suất cũng như giúp cho công nghiệp tự động hóa phát trién,

hòa nhập cùng thời đại ngày nay.

© Đào tạo và Sang lọc mô hình.

e Đánh giá và Triên khai vào sản xuat.

a) Thu thập dữ liệu

Công việc thu thập dữ liệu đó là một trong quy trình được xem là quan trọng

nhất của một quy trình học máy bat kỳ Trong bước đầu của quá trình thu thập dữliệu, chúng ta đang xác định tính hữu ích và độ chính xác tiềm năng của dự án vớichất lượng của dữ liệu mà việc thu thập mang lại [14] Thông thường, các máy mócban đầu học từ dữ liệu mà các nhóm nghiên cứu cung cấp cho chúng, vì vậy điều

ưu tiên nhất đó chính là thu thập dữ liệu đáng tin cậy dé mô hình học máy có thé tìm thấy các mẫu chính xác và chất lượng của dữ liệu đầu vào cung cấp cho máy sẽ xác định được mức độ chính xác của mô hình của từng bài toán Nếu dữ liệu không

có tính chính xác hoặc không phù hợp thì sẽ dẫn đến việc kết quả hoặc dự đoán saihoặc không liên quan và tính chất của việc nghiên cứu trở nên bắt khả thi.

b) Tiên xử lý dữ liệu

Nếu không có dữ liệu, thì quá trình tiền xử lý dữ liệu không thẻ diễn ra Vìvậy, khi đã xác định rõ ràng ở giai đoạn 1, cần thu thâp, sưu tầm các dữ liệu từ nhiềunguồn khác nhau Tinh chất đúng đắn và lĩnh vực của dit liệu phải được đảm bảo vàđược xác định rõ ở giai đoạn 1.

Những bộ dữ liệu chuẩn, lớn vừa phải và khái quát được nhiều trường hợp

của các loại thuật toán xử lý được các nhà nghiên cứu mang vào dùng trong quátrình thực nghiệm các thuật toán Tuy nghiên bộ dữ liệu trong thực tế có rất nhiềuphần không như mong muốn, chứa nhiều phan bị nhiễu, lỗi, sai lệch, không đồngnhất, Vì vậy muốn có được bộ dữ liệu sử dụng tốt cho quá trình xây dụng thànhcông một mô hình nghiên cứu thì việc tiền xử lý dữ liệu là điều gần như bắt buộcphải thực hiện [20].

Có thể chia quá trình thu thập và tiền xử lý dữ liệu thành 6 bước nhỏ sau:

+ Tập hợp dữ liệu (Gathering): Bước khởi tạo trong quá trình này Các

nguồn dữ liệu có thé có từ một cơ sở dữ liệu có sẵn, một kho dữ liệu hoặc có thẻ từ một ứng dụng.

+ Trích lọc dữ liệu (Selection): Ở bước này tùy theo mục đích sử dụng

mà trích rút lấy dữ liệu cần thiết

+ Chuẩn bị dữ liệu, tiền xử ly và làm sạch (Preparation, Pre-processingand Cleansing): Đây là bước tôi quan trọng trong quy trình xây dựngthành công một mô hình học máy hiệu quả Một số lỗi trong khi tậphợp dữ liệu là các bộ dữ liệu nó đang chứa đựng các giá trị vô nghĩa

và không thé kết nối dẫn đến dữ liệu bị thừa, không đủ chặt chẽ và

logic Những thông tin trên được xem là dữ liệu không có giá trị và sẽ

được xử lý trong bước này Nếu không được trải qua công đoạn xử lý

sẽ dẫn đến những kết quả sai lệch trong khi tiền hành đào tạo và sàng

+ Chuyén đổi dữ liệu (Transformation): Trong bước chuyền đổi dữ liệu.Việc tô chức lại dữ liệu sẽ làm cho dữ liệu có thể sử dụng phù hợp vớimục đích ban đầu.

+ Trích mẫu dữ liệu va phát hiện (Pattern Extraction and Discovery):

Day là bước được nhiều nhà nghiên cứu tập trung và chú trọng nhiềunhất Trong bước này dữ liệu sẽ được các thuật toán xử lý và trích rút

ra các thông tin cần thiết

+ Đánh giá kết qua (Evaluation of result): Đây là bước cuỗi trong việckiểm định lại dữ liệu để được xem là một tập dữ liệu lý tưởng Đôi khi

dữ liệu được trích rút vẫn bị sai lệch hoặc mang các thông tin khôngcần thiết do đó cần được đánh giá về độ chính xác hoặc ưu tiên sửdụng các kết quả có tính chuẩn xác cao.

c) Xây dựng bộ dữ liệu

Giai đoạn này liên quan đến việc chia nhỏ dữ liệu đã xử lý thành ba bộ dữ

liệu: bộ dữ liệu đào tạo (Training set), bộ dit liệu xác nhận (Validation set) và bộ dit

liệu thử nghiệm (Test set) [14].

¢ B6 dữ liệu đào tạo — nó sẽ được sử dụng trong phân đoạn huấn luyện thuật toán ban đầu và sẽ dạy cho nó biết cách xử lý thông tin Bộ nàyxác định phân loại mô hình thông qua các giá trị của tham số

e© B6 dữ liệu xác nhận - được sử dụng vào việc ước tính độ chính xác

của mô hình Tập dữ liệu này được dùng để tỉnh chỉnh các tham số mô

hình.

e B6 dữ liệu thử nghiệm — dùng trong việc đánh giá độ chính xác và

hiệu suất của các mô hình Bộ này nhằm mục đích phơi bày bat kỳvấn đề hoặc sai sót nào trong mô hình

d) Đào tạo va sàng lọc mô hình

Khi có bộ dữ liệu, bước tiếp theo đó là đào tạo mô hình cho công cuộc nghiêncứu Mục tiêu của việc huấn luyện đó là trả lời các câu hỏi hoặc đưa ra một phương.hướng dự đoán chính xác thường xuyên nhất có thé [15] Điều này có liên quan đến

cung cấp tập huấn luyện cho thuật toán của hướng nghiên cứu để thuật toán cóthể tìm hiểu các thông số và tính năng phù hợp được sử dụng trong việc phân loại.Sau khi quy trình đào tạo hay huấn luyện hoàn thành, các nhà nghiên cứu có thé tinhchỉnh mô hình bằng tập dữ liệu xác thực của mình Điều này cũng có thể liên quanđến công đoạn sửa đổi hoặc loại bỏ các biến và bao gồm quy trình điều chỉnh càiđặt dành riêng cho mô hình (siêu tham số mô hình đơn giản có thể bao gồm: số bước đào tạo, tốc độ học, giá trị khởi tạo và phân phối) cho đến khi nào mà độ chính xáccủa thuật toán có thể được chấp nhận và có thể triển khai vào sản xuất [14]

e) Đánh giá và triển khai vào sản xuất

Cuối cùng, sau khi tìm thấy một bộ siêu tham số có thể chấp nhận được và

độ chính xác của mô hình của hướng nghiên cứu được tối ưu hóa, các nhà nghiêncứu có thể tiến hành kiềm tra mô hình của mình Thử nghiệm sử dụng tập dữ liệuthử nghiệm và nhằm xác minh rang các mô hình của họ đang sử dụng các tính năngchính xác Dựa trên phản hồi họ nhận được, các nhà nghiên cứu có thé quay lại daotạo mô hình đề cải thiện độ chính xác, điều chỉnh cài đặt đầu ra hoặc triển khai môhình khi cần [14]

Như vậy, có năm giai đoạn trong xây dựng một mô hình máy học và cả năm

giai đoạn đều quan trọng Muốn nâng cao hay cải thiện được chất lượng của môhình trước khi đưa vào khâu sản xuất thì việc thực hiện chỉnh chu từng giai đoạn làđiều cần thiết

Các phương pháp máy học (Machine Learning)

Một số kiểu máy học được sử dụng phô biến trong quá trình máy học nói

chung và trong việc phát hiện hành động nói riêng như: học có giám sát (supervised

learning), học không có giám sát (unsupervised learning), học bán giám sát

(semi-supervised learning), học tăng cường (reinforcement learning) [17,18,19].

Học có giám sat (supervised learning) — Một loại máy học sử dungcác bộ dữ liệu sẽ được gắn nhãn dùng dé huấn luyện các mô hình máyhọc, là một loại kỹ thuật học được sử dụng nhiều trong các bài toán

về sự phân lớp (Classification) Trong dữ liệu được dán nhãn, đầu ra

đã được biết trước Mô hình chỉ cần thực hiện thao tác ánh xạ các đầuvào tới các đầu ra tương ứng với nó [17,18,19]

Học không có giám sát (unsupervised learning) - Loại học máy sử

dụng tập dữ liệu chưa được gắn nhãn dé đào tạo máy, được dùng trong

những bài toán loại phân-gom cum (Clustering) Dữ liệu chưa đượcgắn nhãn không có biến đầu ra cố định Tại mô hình máy học này sẽtiến hành học từ dữ liệu sau đó khám phá các mẫu và tính năng trong

dữ liệu cuối cùng là trả về đầu ra [17,18,19].

Học bán giám sát (semi-supervised learning) - Nó là một loại thuật

toán Học máy nằm giữa Học máy có giám sát và Học máy không giám sát và sử dụng việc kết hợp các bộ dữ liệu được gắn nhãn và khôngđược gắn nhãn trong suốt quãng thời gian đào tạo Nó là một phươngpháp học máy được sinh ra để khắc phục cũng như hạn chế các nhượcđiểm của thuật toán học có giám sát và học không giám sát kết luậnlai thi mục đích chính của học bán giám sát là sử dụng hiệu quả tat cả

dữ liệu có sẵn, thay vì chỉ dán nhãn dữ liệu như trong học có giám sát

[17,18,19].

Hoc tăng cường (reinforcement learning) - Bản chat của “RL” là and-error, nó có ý nghĩa là công việc thử đi thử lại và đút kết ra kinh

trial-nghiệm sau mỗi phân đoạn thử như vậy Trong kỹ thuật học này,

không có biến mục tiêu được xác định trước Nó sẽ tự động khám phámôi trường sinh thái xung quanh mình bằng cách nhấn và theo dõi,

thực hiện hành động, học hỏi kinh nghiệm và cải thiện hiệu suất của

nó [17,18,19].

2.1.5 Các kỹ thuật, phương tiện phát hiện hành động con người

Các kỹ thuật và phương tiện phát hiện hành động con người hiện nay được chia theo hai loại:

© Ky thuật truyền thống: mô tả về những loại tính chất hoặc các đặc tính chung của các bộ thu và xử ly dit liệu hiện có [1,2] Các kỹ thuật lay

bộ dữ liệu và xử lý này bao gồm:

o_ Trích xuất thông tin từ Máy ảnh

o Thu thập tập dữ liệu từ nguồn bộ Cảm biến ánh sáng

o Sưu tầm tập dữ liệu qua sóng Hồng ngoại.

o_ Các kỹ thuật xử lý truyền thống,

o Thu thập từ các thiết bị thông minh như là điện thoại di động,

© KY thuật mới: hướng tiếp cận sử dụng sóng điện từ (radio frequency signal) đã được để xuất, áp dụng trong nhiều nghiên cứu [1, 2] domang nhiều thuận lợi như sau:

o Các thiết bị phát sóng điện từ (WiFi, LTE, LoRa ) là có sẵngiúp tiết kiệm các chỉ phí và tối ưu được diện tích cảnh quan.

o_ Quyền riêng tư của các đối tượng được nhận diện không bị ảnhhưởng như hướng tiếp cận bằng các thiết bị truyền thống [2]

Tuy có rất nhiều kỹ thuật trong việc nhận diện hay phát hiện các loại hành động nhưng chỉ có một số ít phương pháp được sử dụng nhiều đó là: việc sử dụngmáy ảnh và thu thập tập dữ liệu có nguồn từ các bộ cảm biến những những cách này

đã đụng chạm, xâm phạm đến quyền riêng tư cá nhân và ảnh hưởng tiêu cực đến

sức khỏe của con người cho nên phương hướng áp dụng kỹ thuật mới sẽ được đánh

giá và ứng dụng hiệu quả trong thời gian tới.

2.1.6 Ứng dụng của việc sử dung machine learning và deep learning

Rất nhiều lĩnh vực có thể sử dụng AI, ML, DL như [16]:

e Trong các ứng dụng phân tích dữ liệu sau đó sử dụng trong các hệ

quyết định.

© _ Trong các ứng dụng về y học trong dự đoán bệnh.

e _ Trong các ứng dụng về lấy thông tin trên website và gợi ý.

e Trong các ứng dụng Dữ liệu sinh học.

e _ Trong các ứng dụng về tài chính và chứng khoán, doanh nghiệp

e _ Trong các ứng dụng về nhận dạng

© Trong các ứng dụng có sự liên quan đến các môi trường thông minh.

e Trong các ứng dụng và giáo dục.

2.1.7 Những thách thức về machine learning và deep learning

Một số thách thức về học máy hay học sâu đang được các nhà nghiên cứu đềcập và dé tâm đến đó là việc gặp khó khăn trong quy trình thu thập tập dữ liệu vàtrong một số trường hợp không may mắn, họ phải trả giá đắt để thu thập được những

tập dữ liệu được cho là lý tưởng, hoàn mỹ [27].

Một vấn đề lớn khác đó chính là việc sai sót trong quá trình thu thập dữ liệu

vì khi thu thập dữ liệu trong một mô hình nghiên cứu, có nhiều khả năng dữ liệu đó

là thực sự không đúng hoặc những phương pháp đang được sử dụng dùng đề chocông đoạn thu thập dữ liệu thực sự không phù hợp với đối tượng trong nghiên cứu

[27].

Nếu tập dữ liệu đầu vào trong giai đoạn training va testing bị sai hoặc không phù hợp thì khi đưa vào quá trình training và các mô hình máy học sẽ xuất ra cáckết quả không như mong muốn

Tiếp theo đó là vấn đề tốn nhiều thời gian cho việc xây dựng một mô hìnhnghiên cứu mang tính ứng dụng, dù các chương trình máy học có thể dễ dàng xử lý

lượng dữ liệu với độ chính xác cao, nhưng đôi khi khối lượng dữ liệu trở quá lớn

khiến máy chủ hoặc hệ thống không thể xử lý, chẳng hạn như có thé mat thời gianbắt thường đề xử lý hoặc trường hợp không mong muốn nhất có thể xảy ra nếu khiến

hệ thống gặp sự có trong thời gian xử lý thì toàn bộ quy trình xử lý sẽ bị đóng băng

và có thể sẽ phải kết thúc tiến trình

Việc lựa chọn những thuật toán phù hợp cho một mô hình nghiên cứu cu thểcũng tốn không ít thời gian cũng như công sức và trí tuệ để lựa chọn một thuật toánhoàn hảo Dù có nhiều thuật toán khác nhau mà một chương trình học máy có théhoạt động, nhưng việc chọn thuật toán hoàn hảo hay gần như hoàn hảo đê phù hợp với chương trình là một công việc cực kỳ hao tốn tâm sức, đặc biệt là khi chúng ta khó có thé xác định cách nào dé chọn thuật toán hoàn hảo.

Nhìn xa hơn một chút nữa, nếu chúng ta có sự phụ thuộc quá nhiều vào trí tuệ nhân tạo, con người có thé đánh mất danh tính thực sự của mình và cuối cùngtrở nên phụ thuộc nhiều vào học máy và trí tuệ nhân tạo, đồng thời đánh mat bảnthân với danh xưng là sinh vật khôn ngoan nhất hành tỉnh

2.2 Các thuật toán xử lý tín hiệu WiFi

Trong lĩnh vực Trí tuệ nhân tạo việc xử lý tín hiệu là việc cần thiết để một

mô hình hoạt động mang tính hiệu quả và phát triển ra được những ứng dụng có sựhữu ích trong thực tiễn, kèm theo một bước không kém phần quan trọng đó là việccác bộ tín hiệu hay dữ liệu thô phải được xử lý để có thể thu được một tập dữ liệu

hoàn hảo và đem lại hiệu quả cao trong công cuộc nghiên cứu.

2.2.2.

2.2.3.

Các định nghĩa cơ bản

Định nghĩa 2.1 - Thông tin trạng thái kênh truyền (CSI)

Trong lĩnh vực truyền thông không dậy, thông tin trạng thái kênh (CSI) làthông tin biểu thị trạng thái của một liên kết truyền thông từ (các) nguồn phát đến(các) nguồn thu CSI được biểu diễn bằng toán học dưới dạng h = |h|e/ Si"),

có thể được mở rộng thành các giá trị vectơ hoặc ma trận tùy thuộc vào số lượngphần tử nguồn và đích [22,23].

Định nghĩa 2.2 - GNURadio

GNURadio là một công cụ dùng cho việc cung cấp các khối (block) xử lý tínhiệu dùng dé triển khai trong các hệ thống xử lý dữ liệu tín hiệu va radio do phầnmềm xác định Nó cũng có thể được sử dụng và áp dụng song song với phan cứng

RF để tao radio do phần mềm xác định hoặc là không có phần cứng hay thiết bị vật

lý trong những môi trường đặc thù giống như mô phỏng [25]

Khai thác và thu thập bộ dữ liệu thô

Máy học bắt đầu từ quá trình học từ dữ liệu, vì vậy công đoạn thu thập dữliệu được coi là bước đầu cũng như là bước tiên quyết của mọi nghiên cứu về máyhọc, vì vậy chúng ta sẽ tiến hành công việc xây dựng và thu thập tập dữ liệu từ những nguồn khác nhau và có được một tập dữ liệu thô chưa qua giai đoạn xử lý

[14].

Thuật toán tiền xử lý tín hiệu

Có một số thuật toán tiền xử lý tín hiệu được các nhà nghiên cứu sử dụng để

xử lý tín hiệu Wifi đê cho ra được bộ lý tưởng cho một vài mô hình nghiên cứu như:

© Bộ lọc cửa sé trung bình với kích thước N.

e _ Thuật toán tìm trung tâm hành động.

1 Bộ lọc cửa số trung bình với kích thước N

Từ vị trí từng gói tin trong dữ liệu (500 gói), lấy N gói liên tiếp sau đótính giá trị trung bình và thay thế giá trị của gói tin tại vị trí đó Ví dụ: vị

trí 0, kích thước N = 5 sau đó sẽ tinh giá trị trung bình của gói tin từ 0, 1,

2, 3, 4 và thay giá trị trung bình đó vào vi trí gói tin 0 Sau khi đưa qua

bộ lọc cửa số trung bình, khi vẽ CSI ra có thể thấy dé liệu ít nhiễu hơn so với ban đầu.

2 Thuật toán tìm trung tâm hành độngTrong quá trình thu bộ dữ liệu, các hành động trong các mẫu dữ liệu

không đảm bảo đồng nhất về mặt thời gian, giả sử trong cùng loại hànhđộng, nhưng hành động ở mẫu thứ nhất xảy ra ở thời điểm nhanh hơn sovới mẫu thứ hai, từ đó khi vẽ giá trị CSI có thể thấy vị trí hành động củacác mẫu là không đồng đều Thuật toán tìm trung tâm hành động với mục đích đưa vị trí của hành động về thời điểm chính giữa trong mẫu dữ liệu, giúp các mẫu dữ liệu với cùng loại hành động được đồng đều hơn về mặt

thời gian và cải thiện độ chính xác khi đưa vào mô hình học máy.

2.3 Bài toán nhận dạng hành động con người hiện nay

Hiện nay, các bài toán về nhận dạng các hành động của con người đã được

chứng minh là một định hướng nghiên cứu có triên vọng thông qua việc có một loạt

các ứng dụng thực tế Các ứng dụng có thể kể đến như camera giám sát, cảm biến

dùng cho việc theo dõi hay giám sát những hành động của con người tại các khuvực nhất định, với mục đích thu thập thông tin hoặc các vấn đề về an ninh, quân sự.Ngoài ra, các ứng dụng về nhận dạng các hành động còn được phát triển dé bảo đảm sức khỏe cho con người và cộng đồng như đưa ra các cảnh báo khi có người bị ngã, hay hành động nguy hiêm như đánh nhau, say xin Do đó, rất nhiều công trình hiện

có đã có gắng điều tra các loại phương pháp tiếp cận khác nhau cho HAR bằng các

phương thức khác nhau [1,4,29].

2.3.2.

Tổng quát về nhận dang hành động con người

Nhận dạng hành động con người (Human Activity Recognition —- HAR) là quá trình phân loại các hành động của con người thông qua các dữ liệu mang thông

tin về hành động, trong đó có thé chia thành hai loại; động (các hành động di chuyểnliên tục như đi, chạy, nhảy) và tĩnh (các hành động không di chuyền như nằm, ngồi,

đứng) [4,29].

Các hành động của con người có thể được biểu diễn bằng nhiều phương thức

dữ liệu khác nhau, chẳng hạn như RGB, bộ xương, độ sâu, hồng ngoại, đám mâyđiểm, luồng sự kiện, âm thanh, gia tốc, radar và tín hiệu WiFi, mã hóa các nguồn thông tin hữu ích nhưng riêng biệt khác nhau và có nhiều lợi thế khác nhau tùy thuộc

vào trên các kịch bản ứng dụng

Nhận dạng hành động của con người còn là một trong những lĩnh vực nghiên

cứu rộng lớn liên quan đến việc xác định chuyển động hoặc hành động cụ thể củamột người dựa trên dữ liệu cảm biến, nhằm mục đích hiểu hành vi của con người vàgán nhãn cho từng hành động Thực tế, các nghiên cứu hiện nay cũng đã chỉ ra vàkhẳng định rằng sử dụng tín hiệu Wi-Fi có thé giúp ích cho bài toán nhận dạng hành

động con người [34].

Phát biểu bài toán phát hiện hành động

Các bước dùng để giải quyết bài toán nhận diện hành động bao gồm chuẩn

bị dữ liệu tiếp đến là tiền xử lý dữ liệu, xây dựng và cuối cùng là huấn luyện các môhình học máy/ học sâu M tưởng cho việc xây dựng bộ dit liệu dựa trên tín hiệu Wi-

fi đó là trích xuất các CSI từ tín hiệu thu được khi có người thực hiện hành động

giữa bộ thu phát tín hiệu Wi-Fi Các CSI mang thông tin hành động của con ngườiđược phân loại và gán nhãn nhằm tạo thành bộ dữ liệu cho bài toán

Để giải quyết bài toán, tôi tiến hành sử dụng các mô hình học sâu như mạng

nơ ron hồi quy và mô hình Long Short-Term Memory (LTSM) [12,21] — được trình

bay cụ thé ở chương 3 — dé huấn luyện bộ dữ liệu sau đó đưa ra các kết qua dự đoán

hành động.

Các nghiên cứu liên quan

Những năm gần đây, ngoài nhưng mô hình nghiên cứu truyền thống như máytính có thé hiểu và phân tích được các hành vi của con người trong hình ảnh hoặcvideo thì đã có rất rất nhiều công trình nghiên cứu và một số ứng dụng liên quan vềnhận dạng hành động con người dựa trên tín hiệu vô tuyến Trong số đó, có thể kểđến các nghiên cứu xây dựng bộ dữ liệu dành cho bài toán nhận diện hành động conngười dựa trên tín hiệu vô tuyến đã được công bó, và các nghiên cứu về phươngpháp tiền xử ly các dit liệu thu được [3].

2.3.3.1 Bộ dữ liệu WiAR dựa trên tín hiệu Wi-Ei

Thông thường các bộ dữ liệu về nhận dạng hành động con người hiện naychủ yếu ở dạng hình ảnh hay video, thì việc xây dựng bộ dữ liệu cho bài toán nhậndạng dựa trên tín hiệu vô tuyến như Wi-Fi góp phan giúp giảm các chi phí và thời gian dé thực hiện xây dựng, góp phan chia sẻ số lượng lớn các dữ liệu và thúc day

sự phát triển của các nghiên cứu liên quan đến nhận dạng hành động bằng tín hiệutrong việc triển khai các ứng dụng thực tế Các tác giả ở [1] đã xây dựng bộ dữ liệuWiAR, bao gồm các CSI về các hành động đói với các địa điểm khác nhau như: vănphòng, phòng khách hay phòng trống Một ví dụ về CSI được thẻ hiện ở hình dưới.

Amplitude of CS! (dB)

Hình 2.2: Giá tri CSI phụ thuộc theo thời gian có chứa thông tin hành động

con người

Nhóm tác giả đã đưa bộ dữ liệu thử nghiệm qua các mô hình học máy và học

sâu đề tiền hành phân loại và đánh giá, kết quả cũng cho thay bộ dữ liệu đạt độ chínhxác cao 80% đối với các mô hình học máy và độ chính xác lên đến hơn 90% đối với

hành xây dựng bộ dữ liệu dành cho bài toán nhận diện con người.

hter board

Hình 2.3: USRP N210

Hệ thống được xây dựng dé thu thập bộ dữ liệu bao gồm hai thiết bị USRPkết nói đến hai máy tính và hoạt động như bộ thu phát tín hiệu Wi-Fi, một đồng hồ Ettus dùng dé đồng bộ hóa hai bộ thu và bộ phát.

synccable <=>antenna-Tx <=> antenna-Rx

ethernet cable > Ettus Clock ]

2 2 A

Hình 2.4: Sơ đồ hệ thong dùng dé thu thập bộ dữ liệu

Công việc sử dụng thiết bị USRP có thể thay đổi tần số hay băng thông tùy

ý, điều chỉnh để phù hợp với yêu cầu của người dùng mà chỉ cần thay đổi về cấu

hình, giúp giảm tải chi phí cũng như tiện lợi trong quá trình việc xây dựng bộ dữ

liệu Về lợi ích, tín hiệu WiFi khi sử dụng USRP có thé điều chỉnh tần số và độ lệchpha bằng thuật toán trên bộ thu ghép kênh phân chia theo tần số trực giao (OFDM)[3] Vì vậy, các giá trị CSI mà trích xuất được tỉnh chỉnh hơn so với giá trị đượctrích xuất bởi NIC Intel 5300, bên cạnh đó, các giá trị CSI thực tế sử dụng cả biên

độ và pha, tuy nhiên các phương pháp dựa trên 5300 NIC thường chỉ sử dụng gi

biên độ Ngoài ra USRP còn có thé nhận tat cả dữ liệu của 52 sóng mang đối vớiWi-Fi, trong khi đó 5300 NIC chỉ có thé sử dụng 30 sóng mang Do đó việc sử dụng

2.3.3.3 Thuật toán local maxima of difference image (LMDI)

Trong một số công trình liên quan đã đề xuất một kỹ thuật phát hiện điểm

quan tâm dựa trên hình ảnh khác biệt cực đại cục bộ - local maxima of difference

image (LMDI) Cây chiếu ngẫu nhiên (random projection) với sự phân tách chồngchéo (overlapping split) và điểm bỏ phiếu (modified voting) đã sửa đổi để nhận

dang, phân loại các hành động của con người.

Phương pháp đề xuất này đã được đánh giá, phân tích trên bộ dữ liệu tươngtác UT được phân đoạn, bộ dữ liệu J-HMDB! và bộ dữ liệu UCF101? Các kết quả thử nghiệm chỉ ra rằng kỹ thuật được để xuất cung cấp hiệu suất tốt hơn so với các

kỹ thuật được báo cáo trước đó.

://ihmdb.is.tue.mpg.de/

CHƯƠNG 3 UNG DỤNG MẠNG NƠ-RON HOI QUY VA MÔ

bộ não loài người Đây chính là một phân loại quy trình máy học mà nó sử dụng các

nút hoặc còn gọi là nơ-ron liên kết với nhau trong phạm vi của một cấu trúc dạngphân lớp giống như cấu tạo não bộ của loài người Mục tiêu của phương thức này

là nhằm tạo ra một hệ thống xử lý có thé thích ứng được máy tính vận dụng dé cóthể học và phán đoán dựa trên những sai lầm của chúng và liên tục cải thiện hiệu

năng Chính vì vậy, mạng nơ-ron sẽ giúp ích cho chúng ta trong các công việc giảiquyết các van đề phức tạp, lấy ví dụ như là tóm tắt các tập tài liệu hay là giúp cho

việc nhận diện khuôn mặt con người, con vật, cùng với mức độ chính xác cao hơn sau [26].

Hình 3.1: Sơ đồ minh họa mạng no-ron [26]

Định nghĩa 3.2 - Convolutional Neural Network (CNN)

Convolutional Neural Network (CNN) [35] — Gọi là Mạng no ron tích chập.

Mô hình Deep Learning cho phép các nha nghiên cứu sử dụng được từ các hệ thôngthông tin mạng lại mức độ chính xác cao cho các bài toán đã được kiểm định và ứngdụng thực tế Mang CNN đã được áp dụng phổ biến vào trong các bài toán như lànhận dạng ảnh, Nó là một công cụ bổ trợ rất mạnh mẽ và hữu ích nhưng có sự yêucầu lên đến hàng triệu triệu điểm dữ liệu được dan nhãn để dùng cho khâu dao tạo đây cũng là một vấn đề nan giải gặp phải khi sử dụng mạng nơ ron tích chập CNN yêu cầu phải có bộ xử lý công suất cao và mạnh dé dùng trong công đoạn đào tạo

mô hình, chăng hạn như GPU hoặc NPU

Fully

Connected Output

Pooling

Feature Extraction Classification

Hình 3.2: Sơ dé minh hoa mang CNN [35]

Dinh nghia 3.3 - Artificial Neural Network (ANN)

Thuật ngữ "Mang nơ-ron nhân tao" có nguồn gốc từ các loại mạng nơ-ronsinh học phát triển cấu trúc của bộ não loài người Tương tự như bộ não của loàingười có các nơ-ron được liên kết với nhau, mạng nơ-ron nhân tạo cũng có các điểmnơ-ron được nói kết với nhau trong các lớp khác nhau Những tế bao thần kinh nhân

tạo này được gọi là các nút [26].

Ở nhiều trường hợp điền hình, mạng ANN còn là một hệ thống thích ứng mà

nó có thể tự mình thay đổi cấu trúc của bản thân dựa trên các thông tin bên ngoàihoặc ở trong khi ở quá trình học diễn ra Nhiều mạng ANN còn là các công cụ hữudụng giúp trong việc mô hình hóa dữ liệu thống kê Ngoài ra còn được ứng dụng để

mô hình hóa các mối quan hệ mang tính chat phức tạp giữa các dữ liệu đầu vào hoặcgiữa kết quả để công việc tìm kiếm mẫu trong dữ liệu thích hợp, Những phát triểnmới này đã tiếp thêm sinh lực cho lĩnh vực mạng lưới thần kinh Trong hai thập kỷqua, rất nhiều bài báo đã được xuất bản và rất nhiều loại ANN khác nhau đã đượcđiều tra và nghiên cứu.

Định nghĩa 3.4 - Multi-layer Perceptron (MLP)

MLP ban đầu được lấy cảm hứng từ Perceptron, nó là một thuật toán họcmáy được giám sát dùng trong việc phân loại nhị phân Perceptron chỉ giới hạn khảnăng xử lý các thành phần dữ liệu có thé phân tách tuyến tính do đó mạng MLP đãđược nghiên cứu và đề xuất đề có thể khắc phục hạn chế này [36].

MLP là một mạng thần kinh nó đem lại khả năng xử lý cả dữ liệu có thể phântách tuyến tính và phi tuyến tính đây là một điểm sinh ra dé cải thiện khuyết điểm trước đó của Perceptron Nó thuộc về một loại mạng nơ-ron được gọi là mạng nơ-ron chuyển tiếp nguồn cấp tập dữ liệu, kết nối các nơ-ron trong một lớp với lớp tiếptheo, theo cách chuyển tiếp mà không có bất kỳ một vòng lặp nào Một mạng MLPkhái quát có n(n > 2) tang (theo lẽ thường thi tang đầu vào sẽ không được tínhđến): trong đó gồm có thành phan là một tang dau ra (tầng thứ n) và (n — 1) tang

ân.

Hình 3.3: So đồ minh hoa mang MLP [36]

Input layer: đây là lớp ban đầu của mạng, nhận dữ liệu đầu vào sẽ được sử dụng để mô hình tiền hành các công đoạn tiếp theo của một chương trình.

Hidden layer: mạng MLP yêu cầu cần phải có tối thiểu một lớp ẩn Các lớp

An xử lý thông tin nhận được từ lớp đầu vào Quá trình xử lý này ở dạng tính toán.Không có hạn chế hay ràng buộc về số lớp ấn này, tuy nhiên một MLP thường cómột số lớp ẩn nhỏ không quá lớn

Output layer: đây là lớp cuối cùng, lớp đầu ra chịu trách nhiệm tạo ra kết quả Kết quả là đầu ra từ các tính toán được áp dụng cho dữ liệu thông qua mạng.

Định nghĩa 3.5 - Deep Neural Networks (DNN)

Deep Neural Network (DNN) [37] còn được gọi là Deep Nets, là một manglưới thần kinh mạng một mức độ có tính phức tạp nhất định, một mạng ANN nó sẽ

có nhiều lớp an giữa các lớp đầu vào, đầu ra Nó có thé được coi là mang thần kinhxếp chồng lên nhau hoặc mạng bao gồm nhiều lớp

Mạng DNN thường được sử dụng để xử lý các thành phần dữ liệu không được gắn nhãn và không có cấu trúc Ngày nay, các mạng thần kinh phức tạp này

đã trở thành công cụ tiêu chuẩn đề giải quyết các nhiệm vụ thị giác máy tính khác

nhau.

Mạng nơ-ron được ứng dụng một cách rộng rãi vào trong các bài toán học

máy là có giám sát và học tăng cường Các mạng này sẽ dựa vào một tập hợp cáclớp được nối kết với nhau Trong phạm vị học sâu thi số lượng của các lớp ân chủyếu mang tính phi tuyến tính, nó có thể có phạm vi lớn và đạt khoảng chừng 1000lớp Các mô hình DL đã và đang tạo ra được những thành quả tốt hơn so với những

mạng ML thông thường.

input layer

Hình 3.4: Sơ dé minh họa mạng DNN [37]

Định nghĩa 3.6 - Recurrent neural network (RNN)

Deep learning ở thời điểm hiện tại đang có 2 mô hình phô biến chính là

Convolutional Neural Network (CNN) được dùng trong các thuật toán có input dạnghình ảnh, còn cho các loại bài toán dữ liệu ở dạng chuỗi (sequence) thì chúng ta sẽ

có Recurrent neural network (RNN) [39,40,41].

Các dạng thuật toán của hoc sâu thông thường sẽ được sử dụng vào các vấn

đề thường ngày trong cuộc sống, chăng hạn như là xử lý ngôn ngữ tự nhiên (naturallanguage processing - NLP), nhận dạng hoặc phân định về giọng nói hay chú thích

kiếm dựa vào giọng nói và Google Dịch Giống như các loại mạng nơ ron chuyểntiếp và tích chập (CNN), các loại mang nơ ron hồi quy này sẽ cũng sử dụng dữ liệuhuấn luyện đề tiền hành việc học Chúng sẽ được phân loại bởi “bộ nhớ” của chúngkhi chúng đem các thông tin từ những đầu vào từ trước đó và dé tác động đến đầuvào và đầu ra ở hiện tại Tại các mạng nơ-rin sâu truyền thống lại có các đầu vào vàđầu ra độc lập với nhau, thì ở đây đầu ra của mạng nơ-ron hồi quy sẽ phải phụ thuộcvào những phan tử trước đó trong một chuỗi nhất định.

Chúng ta có một số phân loại của mạng nơ-ron hồi quy sau: One to One, One

to Many, Many to One, Many to Many.

one to one one to many many to one many to many

Hình 3.5: Các phân loại của RNN [39,40,41]

One to One: Tại phân loại này mạng RNN sẽ được sử dụng dùng để giảiquyết các vấn dé học máy nói chung bó cục sẽ chỉ có một đầu vào và đầu ra, Vi dụ:phân loại hình ảnh.

One to Many: Một đầu vào duy nhất và một số đầu ra sẽ mô tả Mạng thầnkinh tái phát một-nhiều, Ví dụ: Hình ảnh được gửi vào Image Captioning, tạo ra một

chuỗi câu từ

Many to One: Mạng RNN này sẽ tạo một đầu ra duy nhất từ chuỗi đầu vào

đã cho, Ví dụ: Phân tích cảm xúc là một trong những ví dụ về loại mạng này nhưtrong một văn bản được xác định nó thé hiện những hình thái cảm xúc mang tính

tích cực hoặc tiêu cực.

Many to Many: RNN này nhận một tập hợp các đầu vào và tạo ra một tậphợp các đầu ra, Ví dụ: Dịch máy, trong đó RNN quét bắt kỳ văn bản tiếng Anh nàorồi chuyển đồi văn bản đó sang tiếng Việt.

Định nghĩa 3.7 - Long short-term memory (LSTM)

LSTM Cũng chính là một nhân bản khác được mở rộng, cải tiễn từ mạngRNN, được đề xuất bởi Sepp Hochreiter và Jiirgen Schmidhuber vào những năm

1997, LSTM được sử dụng làm các khói xây dựng cho các lớp của mạng RNN CácLSTM gan "trọng số" dữ liệu giúp mạng RNN cho phép thông tin mới đi vào hayviệc quên thông tin hoặc cho nó mang đủ tầm quan trọng đề tác động đến đầu ra hay LSTM giúp giảm bớt những điềm dữ liệu không cần thiết bằng những gate được cài đặt bên trong và có một cell state chạy xuyên suốt [39,40,41].

Mạng LSTM cấp phép cho mạng RNN có thé ghi nhớ các giá trị đầu vàotrong một khoảng thời gian tương đối dài Nguyên nhân có sự ghi nhớ này là doLSTM lưu chứa thông tin trong bộ nhớ, tương tự như là bộ nhớ của máy vi tính hay

bộ lưu trữ LSTM có tính năng đọc hay ghi thậm chí xóa thông tin lưu trữ ra khỏi

bộ nhớ của nó, Tóm lại về mặt cơ sở lý thuyết thì RNN có thể mang thông tin dữ liệu từ những layer trước cho đến các layer sau đó, nhưng trên thực tế gặp giới hạn

là thông tin chỉ có thể mang được qua một số lượng nhỏ state nhất định, sau đó thì

sẽ gặp phải vấn đề nan giải là bị vanishing gradient, nó có nghĩa là tại model chỉ cókhả năng học được từ những state gần nó là short term memory Điều kiện can long term memory đề giải quyết vấn đề trên điều mà RNN không làm được, Bài toán là

dự đoán từ ngữ tiếp theo sẽ xuất hiện trong đoạn văn Câu đầu tiên “Trái đất hình ”, ta có thé chỉ dùng các từ ở trước trong câu dé tiến hành dự đoán là “tròn” Tuynhiên, với đoạn, “Tôi là nam Tôi đang sống ở thành phố Tôi có thé chạy ” thìviệc sử dụng các từ ở trước đó sẽ không đủ dữ kiện dé có thé dự đoán được từ ngữcần điền vào chỗ trống là “bộ 5km” Ta sẽ phải cần các thông tin dữ liệu từ những