Khóa luận tốt nghiệp Hệ thống thông tin quản lý: Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại Vietinbank sử dụng OpenCV

Với những ứng dụng công nghệ hiện đại, có khá là nhiều phương pháp sử dụng để nhận dạng con người như: nhận dạng qua vân tay, vân mắt, bàn tay,… Những phương pháp trên đã trải qua một th

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC

ỨNG DỤNG NHẬN DIỆN KHUÔN MẶT TRONG BÀI TOÁN CHĂM SÓC KHÁCH HÀNG TẠI NGÂN HÀNG VIETINBANK SỬ DỤNG

OPENCV

ĐẶNG THỊ NGỌC MAI

HÀ NỘI, NĂM 2019

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC

ỨNG DỤNG NHẬN DIỆN KHUÔN MẶT TRONG BÀI TOÁN CHĂM SÓC KHÁCH HÀNG TẠI NGÂN HÀNG VIETINBANK SỬ DỤNG

OPENCV

Giáo viên hướng dẫn: Ths Bùi Thị Hồng Nhung

Sinh viên thực hiện: Đặng Thị Ngọc Mai

viên Trường Học viện Ngân hàng, nhất là các thầy, cô Khoa Hệ thống thông tin Quản lý, đặc biệt em xin gửi lời biết ơn sâu sắc tới cô Bùi Thị Hồng Nhung Cô đã trực tiếp định hướng tận tình và giúp đỡ em trong suốt thời gian hoàn thành khóa luận Nhờ cô, em được tiếp xúc với nhiều kiến thức mới và vô cùng hữu ích cho tương lai công việc sau này

Bên cạnh đó, em xin chân thành cảm ơn đơn vị thực tập, các cán bộ tại đây đã hết lòng hỗ trợ, tạo điều kiện về thời gian cũng như tư vấn để em có thể hoàn thành khóa luận thật tốt

Em xin gửi lời cảm ơn đến bạn bè, gia đình và người thân đã ủng hộ, tạo điều kiện, chia sẻ khó khăn và thường xuyên khích lệ em trong suốt quá trình học tập và nghiên cứu để hoàn thành khóa luận Trong quá trình thực hiện, do bắt đầu nghiên cứu chủ đề mới nên chưa có kinh nghiệm, cùng với thời gian hạn hẹp nên khóa luận

sẽ không tránh khỏi những thiếu sót Em rất mong nhận được sự góp ý, nhận xét từ phía thầy cô để đề tài hoàn chỉnh hơn và rút ra được những kinh nghiệm bổ ích hơn nữa để có thể tiếp tục hướng phát triển sau này

Em xin chân thành cảm ơn!

Tôi xin cam đoan kết quả đạt được trong báo cáo là sản phẩm nghiên cứu, tìm

hiểu của riêng cá nhân tôi Trong toàn bộ nội dung của báo cáo, những điều được

trình bày là của cá nhân tôi hoặc được tổng hợp từ nhiều nguồn tài liệu Tất cả các

tài liệu tham khảo đều có xuất xứ rõ ràng và được trích dẫn hợp pháp Tôi xin chịu

hoàn toàn trách nhiệm về lời cam đoan trên

Hà Nội, ngày 29 tháng 5 năm 2019

Đặng Thị Ngọc Mai

MỤC LỤC iii

DANH MỤC VIẾT TẮT v

DANH MỤC HÌNH ẢNH vi

MỞ ĐẦU 1

1 Lý do chọn đề tài 1

2 Mục tiêu và nội dung nghiên cứu 2

3 Phương pháp nghiên cứu 3

4 Phạm vi nghiên cứu 3

5 Đối tượng nghiên cứu 3

6 Kết cấu của đề tài 3

CHƯƠNG I : CƠ SỞ LÝ LUẬN VỀ HỆ THỐNG NHẬN DIỆN KHUÔN MẶT VÀ TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 4

1.1 Tổng quan về hệ thống nhận diện khuôn mặt 4

1.1.1 Khái niệm hệ thống nhận diện khuôn mặt 4

1.1.2 Các giai đoạn trong quá trình nhận diện khuôn mặt 5

1.1.3 Các yếu tố ảnh hưởng tới quá trình nhận diện khuôn mặt 8

1.2 Xu thế ứng dụng hệ thống nhận diện khuôn mặt người 9

1.2.1 Ứng dụng trong nước 9

1.2.2 Ứng dụng quốc tế 12

1.3 Kết luận chương 1 14

CHƯƠNG 2: THỰC TRẠNG PHÁT TRIỂN VÀ QUẢN LÝ TRONG CÔNG TÁC PHỤC VỤ KHÁCH HÀNG TẠI NGÂN HÀNG VIETINBANK VÀ CÔNG NGHỆ NHẬN DẠNG KHUÔN MẶT 15

2.1 Giới thiệu về ngân hàng Vietinbank 15

2.2 Quy trình chăm sóc khách hàng 17

2.2.1 Đánh giá ưu, nhược điểm quy trình chăm sóc khách hàng 17

2.2.2 Thực trạng quy trình chăm sóc khách hàng tại các phòng giao dịch 18

2.3 Mục tiêu hướng đến trong công tác phục vụ khách hàng ứng dụng hệ thống nhận diện khuôn mặt 19

2.3.1 Mục tiêu ngắn hạn 19

2.5 Công nghệ và ngôn ngữ sử dụng trong Công nghệ nhận dạng khuôn mặt 22

2.5.1. Giới thiệu về OpenCV 23

2.5.3. Pandas 27

2.5.4. NumPy 27

2.5.5 Tkinter 28

2.6 Thuật toán nhận diện khuôn mặt rút trích đặc trưng LPBH 28

2.7 Kết luận chương 2 30

CHƯƠNG 3: ỨNG DỤNG OPENCV NHẬN DIỆN KHÁCH HÀNG TẠI NGÂN HÀNG VIETINBANK VÀ CÁCH THỨC CÀI ĐẶT HỆ THỐNG 31

3.1 Quy trình nhận diện khuôn mặt sử dụng OpenCV 31

3.1.1. Thu thập và tách mặt người trong ảnh 31

3.1.2. Tiền xử lý 32

3.1.3. Trích chọn đặc trưng 32

3.1.4 Phân loại, nhận dạng 34

3.2 Bài toán nhận diện khuôn mặt khách hàng trong ngân hàng 34

3.3 Ứng dụng nhận diện khuôn mặt khách hàng sử dụng OpenCV 35

3.4 Cách thức cài đặt hệ thống và kiểm thử 38

3.3.1. Pycharm Community Edition 38

3.3.2 Python 3.7 39

3.3.3. Địa chỉ tải về OpenCV 40

3.3.4. Cài đặt một số thư viện hỗ trợ Python và OpenCV 40

3.3.5. Giao diện tổng quan của chương trình nhận diện 40

3.3.6. Kết quả kiểm thử 41

3.4 Kết luận chương 3 42

KẾT LUẬN 43 TÀI LIỆU THAM KHẢO

STT Chữ viết tắt Tiếng Anh Ý nghĩa

Histograms

Mô hình nhị phân cục bộ

3 LBP Local Binary Patterns Mẫu nhị phân địa phương

4 PCA Principal Component Analysis Phân tích thành phần chính

Hình 1 1 Hệ thống nhận diện mặt người 5

Hình 1 2 Phát hiện khuôn mặt 6

Hình 1 3 Chuẩn hóa khuôn mặt 7

Hình 1 4 Dự án WFM 9

Hình 1 5 Điểm danh nhân viên thông qua nhận diện khuôn mặt 10

Hình 1 6 Hình ảnh điểm danh học sinh thông qua nhận diện khuôn mặt tại đại học Thăng Long 11

Hình 1 7: Hệ thống nhận diện gương mặt được áp dụng trong check-in các khách sạn tại Vinpearl Nha Trang 12

Hình 2 1: Sơ đồ cơ cấu tổ chức của ngân hàng Vietinbank 16

Hình 2 2: Kiến trúc và sự phát triển của OpenCV 24

Hình 2 3: Công nghệ và ngôn ngữ sử dụng 26

Hình 2 4 Mô tả giải thuật LBP 28

Hình 2 5: Hình ảnh sử dụng thuật toán LBP 30

Hình 3 1: Quy trình nhận diện khuôn mặt ứng dụng OpenCV 31

Hình 3 2: Hình ảnh huấn luyện sau khi tách khuôn mặt ra khỏi ảnh 31

Hình 3 3: Quy trình tiền xử lý ảnh 32

Hình 3 4: Hình ảnh trích rút đặc trưng sử dụng giải thuật PCA 34

Hình 3 5: Các bước thu thập dữ liệu nhận diện khuôn mặt khách hàng 36

Hình 3 6: Hình ảnh nhận diện khuôn mặt khách hàng với độ chính xác cao 37

Hình 3 7: Hình ảnh khách hàng chưa có trong cơ sở dữ liệu của ngân hàng 38

Hình 3 8: Địa chỉ tải về Pycharm từ trang chủ của Jetbrains 38

Hình 3 9: Giao diện tổng quan của Pycharm 39

Hình 3 10: Địa chỉ cài đặt Python 39

Hình 3 11: Địa chỉ tải về OpenCV 40

Hình 3 12: Giao diện tổng quan của chương trình nhận diện khuôn mặt khách hàng 40

Hình 3 13: Hình ảnh được tách từ dữ liệu đầu vào 41

Hình 3 14: Bộ dữ liệu huấn luyện 41

Hình 3 15: Một số trường hợp nhận sai hoàn toàn 42

MỞ ĐẦU

1 Lý do chọn đề tài

Từ trước đến nay, vấn đề nhận diện thông tin con người luôn là một trong-những vấn đề rất được quan tâm Trên thực tế, việc truy xuất thông tin hình ảnh, quản lý dấu vân tay hay các sinh trắc học trên cơ thể con người ngày càng quan trọng Trong thời gian gần đây, có rất nhiều vấn đề liên quan đến nhận diện con người, chẳng hạn như những trường hợp tìm bắt trộm cắp, khủng bố được camera ghi lại

và bên an ninh tiến hành xác minh danh tính hay như việc giám sát sức khỏe bệnh nhân trong bệnh viện cũng được ngành y chú trọng tới

Với những ứng dụng công nghệ hiện đại, có khá là nhiều phương pháp sử dụng

để nhận dạng con người như: nhận dạng qua vân tay, vân mắt, bàn tay,… Những phương pháp trên đã trải qua một thời gian dài hình thành và phát triển, kết quả đem lại độ chính xác cao, nhưng bên cạnh đó còn một số hạn chế:

- Đòi hỏi đối tượng phải-tiếp xúc trực tiếp với-hệ thống thông qua các thiết bị được hỗ trợ, vì vậy đối tượng luôn ý thức được rằng mình đang bị giám sát và nhận dạng

- Nhận dạng thông qua vân tay, vân mắt, bàn tay… không phải là cách nhận biết tự nhiên mà phải lấy mẫu thông qua thiết bị của một bên thứ 3

Khắc phục những hạn chế nêu trên, một trong những bài toán đang rất được quan tâm và phát triển hiện nay là nhận dạng qua khuôn mặt Mặc dù độ chính xác không được tuyệt đối như nhận dạng vân tay nhưng vẫn có độ chính xác cao và những ưu điểm rất lớn về mặt công nghệ cũng như xã hội:

- Giám sát các đối tượng một cách kín đáo thông qua hệ thống camera tại nhiều khu vực khác nhau

- Các thuật toán khá phức tạp, nhưng được hỗ trợ một cách nhanh chóng bởi các

hệ máy tính có tốc độ xử lý cao

- Dễ dàng lấy được thông tin, dữ liệu từ hình ảnh, video ghi lại mà không cần tiếp xúc thực tế với đối tượng

Trong khuôn khổ KLTN này, em tập trung nghiên cứu về vấn đề nhận diện

-khuôn mặt và xác nhận danh tính của khách hàng ứng dụng trong công tác phục vụ khách hàng tại Ngân hàng thương mại cổ phần Công thương Việt Nam-Vietinbank

Vietinbank hiện là một trong các ngân hàng thương mại lớn nhất tại Việt Nam

Là ngân hàng có vai trò vô cùng quan trọng, nguồn chủ lực đối của một ngân hàng

đi đầu trong nền kinh tế, với hệ thống mạng lưới rộng khắp và phát triển một cách mạnh mẽ bao gồm 148 chi nhánh, 07 Công ty thành viên bên cạnh đó là 03 đơn vị

sự nghiệp cùng với hơn 1.000 phòng giao dịch trên 63 tỉnh/thành phố trong cả nước VietinBank là ngân hàng Việt Nam đầu tiên có mặt tại châu Âu với 02 chi nhánh được đặt trụ sở tại Frankfurt và Berlin - CHLB Đức Đồng thời, VietinBank hiện đã

có mặt tại Vientiane – Lào và đang không ngừng xúc tiến để mở thêm hệ thống các văn phòng đại diện và chi nhánh tại một số các quốc gia khác như Myanmar, Anh,

Ba Lan, Séc… [8]

Với áp lực cạnh tranh trên thị trường ngân hàng, Vietinbank luôn đặt công tác phục vụ khách hàng lên hàng đầu Để rút ngắn thời gian giao dịch khách hàng một cách tối ưu và chính xác nhất nhằm nâng cao chất lượng phục vụ và hiệu quả công

việc, đề tài “Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng

tại ngân hàng Vietinbank sử dụng OpenCv” được chọn làm khóa luận tốt nghiệp có

tính thực tiễn rất lớn

2 Mục tiêu và nội dung nghiên cứu

Mục tiêu chính của đề tài là:

“Ứng dụng nhận diện khuôn mặt trong bài toán chăm sóc khách hàng tại ngân hàng Vietinbank sử dụng OpenCv”

Để thực hiện được mục tiêu trên, khóa luận cần phải thực hiện nghiên cứu các nội dung nghiên cứu sau:

- Nghiên cứu về công nghệ nhận diện khuôn mặt

- Nghiên cứu các tiêu chí xây dựng quản lý-và phục vụ khách hàng tại các điểm giao dịch

- Ứng dụng hệ thống-nhận diện khuôn mặt sử dụng OpenCv trong bài toán chăm sóc khách hàng

3 Phương pháp nghiên cứu

Để đạt được mục tiêu đặt ra, khóa luận sử dụng các phương pháp sau:

Phương pháp phân tích định tính, định lượng để nghiên cứu thực trạng của quy trình chăm sóc-khách hàng tại các điểm giao dịch của ngân hàng Vietinbank và ứng dụng nhận diện khuôn mặt trợ giúp việc tự động hóa giải quyết các vấn đề được đặt

ra

4 Phạm vi nghiên cứu

Về mặt không gian: chủ yếu trên địa bàn thành phố Hà Nội

Về mặt thời gian: Dữ liệu sử dụng là dữ liệu sử dụng thời gian thực

Về mặt nội dung: trước tiên, nghiên cứu chỉ tập trung vào một số vấn đề: các yếu

tố ảnh hưởng tới việc xác định nhận diện khuôn mặt; đề xuất giải pháp tối ưu hóa trong việc nhận diện khách hàng tới các phòng giao dịch

5 Đối tượng nghiên cứu

- Đối tượng nghiên cứu của khóa luận là:

- Các tiêu chí xác định nhận diện khách hàng thân thiết của ngân hàng

Vietinbank

- Hệ thống thông tin cung cấp thông tin khách hàng tối ưu hóa thời gian phục

vụ cho khách hàng tại điểm giao dịch

6 Kết cấu của đề tài

Chương 1: Cơ sở lý luận về Hệ thống nhận diện khuôn mặt và tổng quan tình hình

CHƯƠNG I : CƠ SỞ LÝ LUẬN VỀ HỆ THỐNG NHẬN DIỆN KHUÔN

MẶT VÀ TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU

1.1 Tổng quan về hệ thống nhận diện khuôn mặt

Trong những năm trở lại đây, công nghệ nhận diện khuôn mặt đã trở thành một ngành công nghệ rất được nhiều người quan tâm trong nhiều lĩnh vực nghiên cứu và ứng dụng trên toàn thế giới Nhận diện khuôn mặt đã trở thành một yếu tố

vô cùng quan trọng trong quá trình phát hiện và hỗ trợ việc tìm kiếm cũng như truy xuất dữ liệu giúp con người cải thiện được tốc độ cũng như rút ngắn thời gian trong quy trình công việc Chúng ta đã biết, thông tin luôn là nền tảng của các quyết định hiệu quả Thông tin luôn cần đòi hỏi độ chính xác cao, nhanh chóng, kịp thời Nhận diện khuôn mặt là một phát hiện mới Một trong những thế mạnh nổi bật nhất của công nghệ này là ở việc xử lý dữ liệu không gian và thời gian Giữ liệu khôn gian khá phức tạp, nhưng nhờ có hệ thống camera trải dài khắp các khu vực, chúng

ta có thể thu nhập được dữ liệu ở bất kỳ nơi đâu có thể ghi hình và lưu trữ Vấn đề

về mặt thời gian nhờ đó cũng có thể được giải quyết và khắc phục

1.1.1 Khái niệm hệ thống nhận diện khuôn mặt

Hệ thống nhận dạng mặt người là một hệ thống nhận đầu vào là một ảnh hay một video (chuỗi các ảnh), qua quá trình xử lý, hệ thống xác định được người nào trong ảnh (nếu có) là người mà hệ thống đã biết được hoặc người lạ

Nhận dạng mặt người ngày càng được sử dụng rộng rãi Nếu cách đây khoảng một thập kỷ chỉ thấy các kỹ thuật dò tìm khuôn mặt sử dụng trong các thiết bị giải trí thì ngày nay nhiều hệ thống nhận dạng mặt người đã ra đời và giữ vai trò quan trọng như: hệ thống chấm công bằng khuôn mặt (FaceID), hệ thống an ninh cảnh báo người lạ xâm nhập vào khu vực cấm (hệ thống SmartHD của panasonic), hệ thống nhận dạng tội phạm sử dụng ở London, Chicago, và gần đây là nhận dạng khuôn mặt trong các hệ thống nhà thông minh hứa hẹn nhiều tiềm năng cho con người trong tương lai

1.1.2 Các giai đoạn trong quá trình nhận diện khuôn mặt

Nhìn chung một hệ thống nhận diện mặt người đều trải qua các bước:

- Phát hiện khuôn mặt: Face detection

- Phân đoạn khuôn mặt: Face Alignment

- Rút trích đặc trưng : Feature extraction

- So khớp, phân lớp: Face classification

Để một hệ thống nhận diện mặt người hiệu quả, ngoài các giai đoạn nêu trên còn có các giai đoạn tiền xử lý ảnh đầu vào Như vậy, sơ đồ một hệ thống nhận dạng mặt người như sau:

Hình 1 1 Hệ thống nhận diện mặt người

a) Giai đoạn tiền xử lý:

Vì ảnh chụp có thể ở các điều kiện khác nhau, dẫn tới độ sáng, độ tương phản

và màu hiển thị cũng khác nhau Quá trình tiền xử lý làm nâng cao chất lượng ảnh, chuẩn hóa dữ liệu, kích cỡ ảnh, chuyển ảnh về cùng 1 mức độ sáng, độ tương phản, cùng hệ màu Việc chuẩn hóa cũng giúp độ chênh lệch giữa 2 điểm ảnh được giảm xuống để quá trình rút trích đặc trưng thêm chính xác hơn Tiền xử lý chủ yếu sử dụng các kỹ thuật xử lý ảnh: cân bằng sáng, tách ngưỡng, bó cụm,

b) Giai đoạn phát hiện khuôn mặt:

Hình 1 2 Phát hiện khuôn mặt

Thông thường hình ảnh mà camera thu được không chỉ có khuôn mặt của đối tượng mà còn bao gồm cả các chi tiết xung quanh đối tượng đó Xác định khuôn mặt là xác định xem có hình ảnh khuôn mặt trong bức ảnh đó không, nếu có thì nằm

vị trí nào trong bức ảnh, nghĩa là phải tách được khuôn mặt ra khỏi hình nền Có khá nhiều phương pháp cho bài toán phát hiện khuôn mặt người:

- Phương pháp nhận diện mặt người dựa trên màu da: mặc dù những người khác nhau thì màu da khác nhau, nhưng rất nhiều nghiên cứu chỉ ra rằng, khi khác biệt này dựa trên cường độ ánh sáng giữa chúng hơn là thành phần màu da, từ đó ta

có thể xác định màu da của con người nằm ở một dãy màu cố định Kết hợp với việc tra trong bảng màu của từng điểm ảnh với kỹ thuật phân vùng và các kết quả nghiên cứu về độ tương quan giữa chiều rộng và chiều cao khuôn mặt sẽ xác định được có khuôn mặt người trong đó hay không

- Phát hiện mặt người dựa trên đặc trưng Haar-like: tạo tập huấn luyện bằng các đặc trưng haar-like sau đó dựa vào tập huấn luyện này để phát hiện khuôn mặt

Để làm được như vậy, ảnh đầu vào trước hết phải được xóa xám, sau đó cho một hoặc nhiều hình chữ nhật chứa đặc trưng haar-like chạy khắp bức ảnh Những chỗ

khác biệt sẽ được lưu lại Tập hợp hàng nghìn điểm khác biệt của hàng trăm khuôn mặt khác nhau sẽ cho ra một tập dữ liệu dùng để phát hiện mặt người

c) Phân đoạn khuôn mặt (chuẩn hóa khuôn mặt):

Hình 1 3 Chuẩn hóa khuôn mặt

Khuôn mặt xuất hiện trong hình ảnh với nhiều hình dáng, điệu bộ khác nhau,

có thể nghiêng, che khuất một phần nên việc chuẩn hóa khuôn mặt là yếu tố ảnh hưởng trực tiếp đến kết quả nhận dạng Nếu việc chuẩn hóa không đạt kết quả tốt thì việc rút trích đặc trưng sẽ không được như mong muốn, điều này làm độ chính xác trong giai đoạn so khớp giảm xuống, kéo theo độ nhận dạng của hệ thống bị giảm xuống Ngược lại nếu việc chuẩn hóa đạt kết quả cao thì hệ thống nhận dạng

với độ chính xác cao hơn Ở đây phương pháp để chuẩn hóa mặt người là “Mô hình

dáng điệu tích cực”

“Mô hình dáng điệu tích cực”: Dáng điệu là một tập hợp các phần được đánh

dấu trên hình ảnh bởi các chuyên gia biểu diễn dáng điệu của một đối tượng Chuẩn hóa mỗi hình ảnh là thực hiện biến đổi sao cho tổng khoảng cách của các ảnh đến ảnh trung bình là nhỏ nhất

d) Rút trích đặc trưng:

Hệ thống nhận dạng mặt người thường được xử lý trên một cơ sở dữ liệu ảnh lớn về số lượng và kích thước Quá trình rút trích đặc trưng nhằm giảm số chiều của không gian dữ liệu bằng cách loại bỏ bớt những thành phần (chiều) dư thừa trong

dữ liệu sao cho lượng thông tin sau trích rút vẫn đảm bảo các đặc trưng của dữ liệu ban đầu Rút trích đặc trưng tốt làm giảm chi phí và tăng độ chính xác cho quá trình

so khớp phía sau Các phương pháp thường sử dụng để rút trích đặc trưng:

- Phương pháp PCA (Principal Components Analyst): Phương pháp PCA giúp cho việc phân lớp hay xác định đối tượng bằng cách làm rõ những điểm tương đồng hay khác biệt trong dữ liệu của các đối tượng, phương pháp PCA cố gắng thể hiện đối tượng từ một không gian dữ liệu lớn sang một không gian dữ liệu nhỏ hơn có thể kiểm soát được sao cho sự mất mát thông tin dữ liệu của đối tượng là nhỏ nhất

Từ các kết quả thu được, các tác vụ tiếp theo như phân lớp, nhận diện sẽ được thực hiện với chi phí thấp hơn và không gian để lưu trữ dữ liệu cũng được giảm bớt

- Phương pháp LDA (Linear Discriminant Analysis): Mục tiêu của phương pháp này là cố gắng thu nhỏ các khoảng cách của các phần tử trong so khớp so với tâm của lớp đó đồng thời tăng khoảng cách giữa các lớp với nhau

e) So khớp, phân lớp:

Là giai đoạn cuối cùng trong hệ thống nhận dạng mặt người Từ ảnh đầu vào,

hệ thống thực hiện quá trình trình bày bên trên, đưa ra dữ liệu đặc trưng của ảnh, so sánh đặc trưng này với toàn bộ đặc trưng của ảnh trong cơ sở dữ liệu nhận dạng Dựa vào đó, hệ thống so sánh và xác định người trong ảnh (nếu đã có trong cơ sở

dữ liệu) hoặc đưa ra kết luận người đó không có trong cơ sở dữ liệu (người lạ) [1]

1.1.3 Các yếu tố ảnh hưởng tới quá trình nhận diện khuôn mặt

Các yếu tố làm ảnh hưởng tới kết quả nhận dạng:

▪ Ánh sáng: Ảnh kỹ thuật số biểu diễn cường độ sáng của đối tượng, do đó khi

ánh sáng thay đổi, thông tin về đối tượng sẽ bị ảnh hưởng

▪ Cự ly của đối tượng so với camera: khoảng cách đối tượng so với camera

sẽ xác định số pixel ảnh quy định nên khuôn mặt

▪ Cảm xúc biểu cảm trên khuôn mặt: các nét biểu cảm cảm xúc trên khuôn

mặt gây ra nhiễu, việc loại nhiễu này vẫn chưa có phương pháp hiệu quả

▪ Tư thế đứng của đối tượng (nghiêng, xoay,…): tư thế của đối tượng sẽ xác

định thông tin của đối tượng đó Việc tư thế thay đổi quá lớn sẽ làm thay phần lớn thông tin về đối tượng, dẫn đến kết quả nhận dạng sai

▪ Trang phục của đối tượng: Kết quả nhận dạng có thể bị ảnh hưởng lớn nếu

như đối tượng có các trang phục khác biệt so với mẫu như đeo kính, đội mũ,… [6]

Qua đó có thể đưa ra các đánh giá cũng như các thuật toán tốt hơn cho việc truy xuất và nhận diện khuôn mặt khách hàng Để có thể xử lý được bài toán trên, khóa luận đề xuất hướng tiếp cận là sử dụng các kỹ thuật xử lý ảnh số Các ảnh số được thu thập bằng camera và xử lý thông qua máy tính PC Đây là một hệ thống nhận dạng trực tiếp, nên sẽ yêu cầu độ chính xác cao và thời gian xử lý nhanh Bài toán nhận dạng mặt người là sự kết hợp của hai bài toán:

- Bài toán xác định mặt người trong camera được trích xuất (Face Detection)

- Bài toán nhận dạng mặt người (Face Recognition)

1.2 Xu thế ứng dụng hệ thống nhận diện khuôn mặt người

Workforce Management (WFM) là một tập hợp các quy trình mà một tổ chức sử dụng để tối ưu hóa năng suất làm việc của nhân viên trên từng cá nhân, phòng ban

và toàn công ty

Hình 1 4 Dự án WFM

- Workforce Performance giúp đánh giá năng suất làm việc của nhân viên

- Workforce Payroll giúp tính lương dựa trên nhiều tiêu chí khác nhau

Dự án Workforce Attendance ứng dụng công nghệ nhận dạng khuôn mặt để điểm danh, chấm công nhân viên tại các trung tâm, phòng ban của công ty

Hình 1 5 Điểm danh nhân viên thông qua nhận diện khuôn mặt

Quá trình nhận diện khuôn mặt được thực hiện trên máy chủ của công ty, và phần mềm vẫn hỗ trợ hoạt động offline khi có sự cố về mạng Dữ liệu luôn được đồng bộ tập trung về máy chủ để lưu trữ và backup

WFM đang được triển khai sử dụng cho hơn 13 trung tâm và phòng ban với hơn 2000 nhân viên của FPT Telecom đang sử dụng Trong năm 2015 hệ thống cũng tiếp nhận gần 3000 yêu cầu xin nghỉ phép, đi làm trễ

Hướng phát triển

Trong thời gian tới, RAD có kế hoạch phát triển công nghệ này thành hệ thống kiểm soát truy cập (access control) có khả năng giám sát chủ động theo thời gian thực tất cả các đối tượng ra vào 1 khu vực rộng lớn

Công nghệ này cũng có thể được áp dụng để giải quyết bài toán kẹt xe bằng cách giám sát, kiểm soát lưu lượng xe lưu thông, mật độ xe để có thể đưa ra các cảnh báo, hướng dẫn quy hoạch đô thị [1]

❖ Ứng dụng nhận diện khuôn mặt để điểm danh sinh viên tại đại học Thăng Long:

Trường đại học Thăng Long tự hào vì là trường đại học đầu tiên áp dụng công nghệ nhận diện khuôn mặt vào trong quá trình điểm danh và giám sát sinh viên Với công nghệ này, 100% khắc phục được tình trạng chống học hộ và thi hộ, đồng thời giám sát quá trình sinh viên theo học tại trường với thời gian thực (realtime)

Công nghệ trên đang được áp dụng thử nhiệm trên các lớp học của toán tin K31 trường Đại học Thăng Long với độ chính xác và khả năng realtime rất cao, đạt 99,78%, có thể lến tới 100% tuyệt đối nếu loại bỏ một số trường hợp

Hình 1 6 Hình ảnh điểm danh học sinh thông qua nhận diện khuôn mặt tại đại

học Thăng Long

❖ VinPearl tiên phong ứng dụng công nghệ nhận diện gương mặt trong dịch vụ

du lịch khách sạn tại Việt Nam

Từ ngày 15/4/2019, Vinpearl chính thức trở thành hệ thống khách sạn – du lịch nghỉ dưỡng và vui chơi giải trí đầu tiên tại Việt Nam ứng dụng công nghệ nhận diện gương mặt dựa trên nền trí tuệ nhân tạo vào dịch vụ Công nghệ nhận diện gương mặt được đưa vào phục vụ tại Vinpearl giúp tối đa hóa trải nghiệm của du khách: qua cửa tự động, check-in trong vòng 3 giây hoặc mở cửa phòng, mua hàng

và thanh toán bằng… nụ cười

Hình 1 7: Hệ thống nhận diện gương mặt được áp dụng trong check-in các

khách sạn tại Vinpearl Nha Trang

Trong giai đoạn đầu tiên, ứng dụng nhận diện gương mặt (Face Recognition) được triển khai tại Vinpearl Nha Trang với các tính năng ra vào khuôn viên khách sạn – khu nghỉ dưỡng, khu vui chơi giải trí Vinpearl Land và các nhà hàng Công nghệ này cho phép nhận diện, xác thực danh tính của khách hàng một cách chính xác, nhanh chóng thông qua thiết bị quan sát mà không cần đến các thủ tục kiểm soát khác [9]

1.2.2 Ứng dụng quốc tế

Tại Trung Quốc, Công nghệ nhận diện khuôn mặt được áp dụng khá rộng rãi

Du khách tới thị trấn Wuzhen, Trung Quốc sẽ không phải mua vé nhờ hệ thống

kiểm soát bằng công nghệ nhận diện khuôn mặt tại cổng Không chỉ vậy, công nghệ

nhận diện khuôn mặt còn được áp dụng cho việc thanh toán hóa đơn của khách

hàng [5]

Tại các sân bay của Mỹ, công nghệ nhận diện khuôn mặt cũng đang được triển

khai Sân bay sẽ sử dụng hệ thống nhận diện khuôn mặt để xác định danh tính tất cả những người sở hữu visa khi họ rời khỏi quốc gia Hành khách sẽ được chụp ảnh ngay trước khi lên máy bay, để đối chiếu với hình ảnh trên visa Nếu không trùng khớp với dữ liệu trong hệ thống, rất có thể hành khách này nhập cảnh bất hợp pháp Trong tương lai sẽ không còn cảnh các hành khách xếp hàng dài chờ kiểm soát

an ninh tại sân bay Công nghệ nhận diện khuôn mặt sẽ giúp hành khách qua cổng

an ninh một cách nhanh chóng Hành khách sẽ được quét gương mặt lúc kiểm tra

Cuối tháng 8/2017, cảnh sát Đức đã lắp đặt camera áp dụng công nghệ nhận

diện khuôn mặt tại sân bay Berlin để giúp phát hiện các đối tượng nằm trong danh

sách bị theo dõi và tình nghi khủng bố Sân bay Changi của Singapore sẽ áp dụng công nghệ này tại ga mới được khánh thành vào cuối tháng 10/2017 Australia cũng

đang đầu tư mạnh cho công nghệ nhận dạng khuôn mặt tại tất cả sân bay quốc tế

của nước này

Bạn nghĩ sao nếu công nghệ nhận dạng khuôn mặt được áp dụng cho những

người sử dụng thẻ ATM? Tại Macao - Trung Quốc, khách hàng muốn rút tiền mặt

từ máy ATM sẽ được yêu cầu nhìn thẳng vào camera trong 6 giây để phần mềm

nhận dạng khuôn mặt kiểm tra và đối chiếu Cách thức này giúp tăng cường an ninh

ngân hàng, đồng thời ngăn chặn nạn rửa tiền tại Macao, sòng bạc hợp pháp duy nhất

ở Trung Quốc

Công nghệ nhận dạng khuôn mặt có tác động không hề nhỏ đối với các hoạt

động của đời sống con người Công nghệ này giúp cho hoạt động của con người trở lên tiện ích, hiệu quả hơn Công nghệ luôn luôn phát triển từng ngày, nhiều ứng

dụng của khoa học công nghệ đã được áp dụng có hiệu quả vào đời sống con người

[7]

1.3 Kết luận chương 1

Chương 1 đã trình bày về cơ sở lý luận về hệ thống nhận diện khuôn mặt bao gồm: Khái niệm hệ thống nhận diện khuôn mặt; các giai đoạn trong quy trình nhận diện; các yếu tố ảnh hưởng tới độ chính xác của hệ thống Ngoài ra chương 1 đã trình bày sơ lược các nghiên cứu liên quan tới đề tài khóa luận Cuối cùng đưa ra được khoảng trống khóa luận cần giải quyết Chi tiết các vẫn đề cần giải quyết sẽ được trình bày ở chương tiếp theo

CHƯƠNG 2: THỰC TRẠNG PHÁT TRIỂN VÀ QUẢN LÝ TRONG

CÔNG TÁC PHỤC VỤ KHÁCH HÀNG TẠI NGÂN HÀNG

VIETINBANK VÀ CÔNG NGHỆ NHẬN DẠNG KHUÔN MẶT

2.1 Giới thiệu về ngân hàng Vietinbank

Ra đời kể từ năm 1988, VietinBank hiện tại là-ngân hàng đang có một vai trò chủ đạo và quan trọng hàng đầu đối với nền kinh tế

VietinBank luôn tự hào vì đang hợp tác và làm việc với hai cổ đông chiến lược nước ngoài tầm cỡ hàng đầu trên thế giới là Ngân hàng lớn nhất tại Nhật Bản: Bank

of Tokyo-Mitsubishi UFJ và Tổ chức Tài chính Quốc tế IFC Cho đến thời-điểm hiện tại trên thị trường Việt Nam, Vietinbank là ngân hàng có bộ máy và cơ cấu cổ đông vững mạnh nhất [8]

- Là một ngân hàng luôn đặt lợi ích của khách hàng lên hàng đầu

- Hướng đến-sự hoàn hảo toàn diện trong mọi mặt

- Môi trường làm việc năng động, trẻ trung, chuyên nghiệp và hiện đại

- Đội ngũ nhân viên nhiệt tình, chuyên nghiệp, minh bạch, đề cao đạo đức nghề

nghiệp

- Luôn hướng tới sự tôn trọng đối với khách hàng

- Bảo vệ, không ngừng phát triển thương hiệu ngày càng lớn mạnh

- Phát triển một cách bền vững có hiệu quả, nâng cao trách nhiệm với-cộng đồng

và xã hội

Triết lý kinh doanh

- An toàn tuyệt đối, bền vững và có hiệu quả cao

- Trung thành, tận tuỵ, đoàn kết, đổi mới, trí tuệ, kỷ cương

- Sự thành công của khách hàng được xem như chính là sự thành công của VietinBank [8]

Ngành nghề kinh doanh:

Hoạt động chính của Ngân hàng TMCP Công Thương Việt Nam bao gồm:

- Thanh toán giữa các tổ chức và cá nhân, huy động và nhận tiền gửi ngắn hạn, trung hạn và dài hạn từ các tổ chức và cá nhân

- Cho vay ngắn hạn, trung hạn và dài hạn đối với các tổ chức và cá nhân trên cơ

sở tính chất và khả năng nguồn vốn của Ngân hàng

- Thực hiện các giao dịch ngoại tệ, các dịch vụ tài trợ thương mại quốc tế, chiết khấu thương phiếu, trái phiếu, các giấy tờ có giá khác và các dịch vụ ngân hàng khác được Ngân hàng Nhà nước Việt Nam cho phép [8]

Hệ thống bộ máy tổ chức của Vietinbank

Với bộ máy tổ chức được phân quyền chặt chẽ giúp cho công tác quản lý Ngân hàng của Vietinbank luôn đạt hiệu quả tốt Các phòng ban được phân chia cụ thể và rõ ràng, do đó nghiệp vụ ngân hàng của từng bên được nâng cao, tăng tính chuyên nghiệp trong công việc

2.2 Quy trình chăm sóc khách hàng

2.2.1 Đánh giá ưu, nhược điểm quy trình chăm sóc khách hàng

▪ Ưu điểm:

- Phần lớn ở các phòng giao dịch đều đáp ứng chung được các giao dịch mà

khách hàng mong muốn khi tới ngân hàng

- Các phòng giao dịch đều hoạt động đúng giờ quy định, tránh cho việc khách

hàng đến mà không thực hiện được yêu cầu

- Vietinbank luôn mở rộng mạng lưới tại các khu vực, thuận tiện cho khách hàng

trong việc tìm kiếm và đi lại

- Có ưu tiên hơn cho các khách hàng thân thiết khi đến thực hiện giao dịch

- Thời gian phục vụ khách hàng chưa thật sự ở mức nhanh chóng và tối ưu: Khách hàng đến, nhân viên hỏi nhu cầu và yêu cầu điền đơn=> thực hiện giao dịch

- Vấn đề xác định danh tính thật của khách hàng chưa được bảo đảm và chuẩn xác: Việc xác thực chỉ thông qua nhìn nhận của giao dịch viên, đối chiếu từ chứng minh thư và khách hàng Chữ ký khách hàng hoàn toàn có thể giả mạo

- Khách hàng thân thiết chỉ nhận dạng khi giao dịch viên tiến hành giao dịch

- Trong quá trình khách hàng đến cùng một lúc tại phòng giao dịch, dẫn đến việc

xử lí giao dịch trở lên quá tải, khách hàng buộc phải chờ lâu

Nhìn nhận từ những hạn chế nêu trên, KLTN sẽ đề ra những giải pháp nhằm nâng cao chất lượng phục vụ trong ngân hàng

2.2.2 Thực trạng quy trình chăm sóc khách hàng tại các phòng giao dịch

Hiện nay, việc đầu tư phát triển các dịch vụ ngân hàng tự động là một trong những chiến lược thiết yếu và quan trọng của các ngân hàng tại Việt Nam, nhằm đáp ứng tối ưu nhu cầu của khách hàng, nâng cao chất lượng phục vụ và đạt lợi nhuận cao Điều này đã tạo nên sự cạnh tranh giữa các ngân hàng trong việc quản lý

và phục vụ khách hàng

Vietinbank đã không ngừng triển khai và mở rộng thêm các chi nhánh, phòng giao dịch tại các địa bàn thành phố cũng như nhiều địa phương trong cả nước Tuy nhiên, với tốc độ lượng khách hàng tăng qua các năm thì hệ thống vẫn chưa đủ phục

vụ nhanh nhất để hài lòng khách hàng

Các phòng giao dịch của Vietinbank đều làm việc theo khung giờ chung được quy định Khách hàng sẽ đến vào các khung giờ làm việc đó Các bước tiến hành quy trình làm làm việc chung tại các phòng giao dịch:

Bước 1: Nhân viên tại các phòng giao dịch hỏi nhu cầu của khách hàng

Bước 2: Hướng dẫn khách hàng làm thủ tục và xuất trình giấy tờ cần thiết phục vụ

cho các giao dịch (mở thẻ, rút tiền, gửi tiền, chuyển khoản,…)

Bước 3: Nhân viên căn cứ vào các thông tin khách hàng cung cấp, kiểm tra lại

thông tin trên hệ thống, đúng thì thực hiện giao dịch, sai hoặc thiếu xót sẽ yêu cầu khách hàng bổ sung

Bước 4: Nếu yêu cầu được xác thực và đủ điều kiện, tiến hành giao dịch và yêu cầu

khách hàng xác nhận

Một số điểm lưu ý:

- Một số giao dịch với số tiền lớn ( rút hay chuyển khoản), khách hàng nên thông báo trước bằng cách gọi điện đến phòng giao dịch Với những khách hàng này, giao dịch viên không phải là người trực tiếp phụ trách giao dịch, nhân viên bên

bộ phận thủ quỹ sẽ tiến hành