PHƯƠNG PHÁP HỌC CHO MẠNG TIẾN (FEEDFORWARD) ĐA MỨC
2.2.4 Biểu diễn đầu ra và quy tắc quyết định cho bài toán phân loạ
Về mặt lý thuyết, với một bài toán phân loại M lớp trong đó hợp của M lớp phân biệt tạo nên toàn bộ không gian đầu vào, chúng ta cần một tổng số M đầu ra để biểu diễn tất cả các quyết định phân lớp có thể, như được mô tả trong hình 2.8. Trong hình này, vector xj=[xj1j, xj2,..., xjm]T biểu diễn nguyên mẫu thứ j của một vector ngẫu nhiên x gồm m phần tử cần được phân loại bằng một mạng tiến đa mức. Lớp thứ k trong M lớp mà xj có thể thuộc vào được ký hệu là Ck. Đặt ykj là đầu ra thứ k của mạng (tương ứng với lớp thứ k) được tạo ra để đáp ứng lại nguyên mẫu xj
Hình 2.8 Sơ đồ khối của một bộ phân lọai mẫu
ở đó hàm Fk(.) xác định quan hệ giữa đầu vào và đầu ra thứ k của mạng. Để thuận tiện cho việc biểu diễn, đặt
yj=[y1j, y2j,..., yMj]T
=[F1(xj), F2(xj),..., FM(xj)]T (2.35) =F(xj)
ở đó F(.) là một hàm kiểu vector. Một câu hỏi cơ bản được đặt ra mà chúng ta hy vọng là có thể trả lời được trong phần này là:
Sau khi một mạng tiến đã được tích luỹ, quy tắc quyết định tối ưu cho việc
phân loại M đầu ra của mạng nên như thế nào?
Dễ thấy là bất kỳ một quy tắc quyết định đầu ra hợp lý nào đều phải dựa trên kiến thức về hàm kiểu vector F(.).
Nói chung, tất cả những gì có thể chắc chắn về hàm F(.) là hàm này là một hàm liên tục và nó có tác dụng làm cực tiểu hoá hàm nguy cơ thực nghiệm sau.
(2.36)
ở đó dj=[d1j, d2j,..., dMj]T là mẫu đầu ra mong muốn cho nguyên mẫu xj, ||.|| chỉ độ lớn Euclide, và N là số lượng các ví dụ được xử lý bởi mạng trong tích luỹ. Về bản chất, công thức (2.36) không có gì khác với hàm giá trong công thức (2.8). Hàm kiểu vector F(.) phụ thuộc rất nhiều vào sự lựa chọn các ví dụ (xj,dj) được sử dụng để tích luỹ mạng; các giá trị khác nhau của (xj,dj) thực sự sẽ dẫn đến những kết quả khác nhau của hàm F(.). (Chú ý rằng ký hiệu (xj,dj) ở đây hoàn toàn tương đương với ký hiệu (x(j),d(j)) được sử dụng trong các phần trước.)
Dựa trên cơ sở lý thuyết thống kê, đặc biệt là quy tắc xấp xỷ Bayes cùng với các đánh giá xác suất lớp (ví dụ xác suất có điều kiện P(Ck|x)), người ta đã đưa ra một quy tắc quyết định cho đầu ra mạng neuron như sau:
Fk(x)>Fj(k) với mọi jk
ở đó Fk(x) và Fj(x) là các phần tử của hàm kiểu vector F(x)
Quy tắc quyết định này có ưu điểm của việc trả về các quyết định không nhập nhằng so với quy tắc ad hoc là quy tắc mà ở đó vector x được coi là phần tử của một lớp xác định nếu giá trị đầu ra tương ứng là lớn hơn một ngưỡng cố định nào đó (thường là 0.5 đối hàm logistics).