3.2.2.1. Nhân chập tạm thời và hợp nhất
Giả sử cĩ một chuỗi các cảm biến d=1, 2,..., D, một cửa sổ trượt cĩ kích thước
Tđược di chuyển về phía trước với sự dịch chuyển khung của các chuỗi đầu vào phân đoạn s. Các chuỗi đầu vào này cĩ kích thước [T, D]. Khi sử dụng một khung s nhỏ, nhiều cửa sổ đại diện cho hoạt động được trích chọn. Mặc dù thơng tin trong đĩ rất dư thừa nhưng sự dịch chuyển các khung s nhỏ cho phép tạo ra một số lượng lớn các mẫu, đây là điều quan trọng để huấn luyện một CNN [46, 121]. Trong CNN, các lớp nhân chập sẽ kết hợp các đầu vào bản đồ đặc trưng của chúng với các bộ lọc C dọc theo trục thời gian. Cĩ một bản đồ đặc trưng xi cĩ kích thước [T, D, C] (T phép đo dữ liệu cảm biến, D là loại cảm biến và C phép nhân chập giữa ma trận là một cửa sổ trượt với ma trận lọc, với dữ liệu cảm biến gia tốc thì T được tính là m/s2) trong lớp i, một bộ cj ∈ Cj lọc ,
cĩ kích thước [F, 1, Ci] và thiên vị kết nối các
∑ −1
, , =0 =0 ,1, + , ,
Trong cơng thức trên σ là hàm kích hoạt, các bộ lọc wj được chia sẻ giữa tất cả các cảm biến D. Hình 3.2 mơ tả việc nhân chập thời gian cho đầu vào và các lớp khác nhau của CNN.
Các tốn tử Pooling sẽ làm giảm kích thước của bản đồ đặc trưng dọc theo trục thời gian tạo ra sự đáng tin cậy theo thời gian. Tốn tử max-pooling giữa lớp i và j cho một kênh c giúp tìm ra giá trị lớn nhất trong một tập giá trị p theo cơng thức:
( )
=(
) ∀ = 1,.., (3.2)
, , 0< ≤ + , ,
trong đĩ P là số phần tử của ma trận là kết quả của phép nhân chập, p là chỉ số của
ma trận.
3.2.2.2. Các kiến trúc sâu
NCS sử dụng kiến trúc xử lý chuỗi dữ liệu theo thời gian bằng CNN từ nhiều cảm biến riêng biệt được đeo trên cùng một người. Kiến trúc này sử dụng các lớp nhân chập theo thời gian để tìm ra các đặc trưng cục bộ và các lớp được kết nối đầy đủ để kết nối tất cả các đặc trưng cục bộ này, tạo ra sự biểu diễn tồn cục của dữ liệu. Trong kiến trúc này cĩ nhiều nhánh xử lý song song vì vậy mạng sẽ rộng và sâu hơn, mỗi nhánh song song đại diện cho dữ liệu của một cảm biến. Đây là kiến trúc cĩ hiệu quả hơn đối với hệ thống cĩ nhiều cảm biến khơng đồng bộ hoặc thiết lập ở các vị trí khác nhau trên cơ thể con người [46, 91].