Đồ án thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô

Đồ án thiết kế hệ thống cảnh báo tài xế ngủ gật trên ô tô giúp người đọc: Tìm hiểu tổng quát về đề tài. − Khảo sát lựa chọn các bộ phận, cụm chi tiết phù hợp cho mô hình. − Xây dựng quy trình thi công, lắp ráp. − Làm PowerPoint thuyết trình. − Lựa chọn phần mềm lập trình. − Xây dựng thuật toán điều khiển. − Lập trình hệ thống trên phần mềm. − Lựa chọn phương án thiết kế mô hình tối ưu nhất. − Mua thiết bị cho mô hình. − Thực nghiệm hệ thống trên xe thực tế. − Viết báo cáo đồ án tốt nghiệp.

GIỚI THIỆU ĐỀ TÀI

Đặt vấn đề

Trong khoảng một thập niên qua, sự phát triển kinh tế xã hội tại Việt Nam đã dẫn đến việc ngày càng nhiều người dân sở hữu ô tô Mặc dù mạng lưới giao thông đường bộ cũng được mở rộng, tình hình tai nạn giao thông lại có chiều hướng gia tăng nghiêm trọng Một trong những nguyên nhân chính gây ra tai nạn là tình trạng mất tập trung của người lái, đặc biệt là do buồn ngủ khi điều khiển phương tiện.

Tại hội nghị khoa học thường niên Hội Hô hấp Việt Nam, Giáo sư Telfilo Lee Chiong từ Trung tâm National Jewish Health, Mỹ, đã chỉ ra rằng thiếu ngủ là nguyên nhân chính gây ra tai nạn giao thông toàn cầu, với 10-15% tai nạn liên quan đến vấn đề này Nghiên cứu trên 19 quốc gia Châu Âu cho thấy tỷ lệ lái xe trong tình trạng buồn ngủ lên tới 17%, trong đó 10,8% tài xế đã từng buồn ngủ khi lái xe ít nhất một lần trong tháng và 7% đã gây ra tai nạn do buồn ngủ Thêm vào đó, 18% tài xế đã suýt gây ra tai nạn vì lý do tương tự.

Cảnh báo sớm tình trạng buồn ngủ của tài xế là rất quan trọng để giảm thiểu rủi ro và bảo vệ tính mạng cũng như an toàn cho cả người lái và hành khách Do đó, phát triển các ứng dụng nhằm phát hiện kịp thời sự mất tập trung hoặc dấu hiệu buồn ngủ của tài xế là cần thiết.

Mục tiêu của đề tài

Nhóm thực hiện đề tài nghiên cứu và thiết kế các tính năng an toàn trên ô tô hiện nay, đồng thời tạo cơ hội cho sinh viên làm quen và học hỏi kinh nghiệm làm việc nhóm, từ quản lý phân công đến hỗ trợ lẫn nhau Đây là không gian lý tưởng để sinh viên thoải mái sáng tạo và trao đổi kiến thức.

Công nghệ kỹ thuật ô tô 13 17DOTC3 đóng vai trò quan trọng trong việc trang bị cho sinh viên những kỹ năng cần thiết như làm báo cáo, thuyết trình và biện luận Những kinh nghiệm quý báu này sẽ dần dần tích lũy, giúp chúng em tự tin hơn khi bước vào môi trường làm việc, từ đó đạt được thành công trong sự nghiệp.

Nhiệm vụ của đề tài

− Tìm hiểu tổng quát về đề tài

− Khảo sát lựa chọn các bộ phận, cụm chi tiết phù hợp cho mô hình

− Xây dựng quy trình thi công, lắp ráp

− Lựa chọn phần mềm lập trình

− Xây dựng thuật toán điều khiển

− Lập trình hệ thống trên phần mềm

− Lựa chọn phương án thiết kế mô hình tối ưu nhất

− Mua thiết bị cho mô hình

− Thực nghiệm hệ thống trên xe thực tế

− Viết báo cáo đồ án tốt nghiệp.

Phương pháp nghiên cứu

− Thu thập và đọc hiểu các tài liệu liên quan như sách, các bài báo và internet

− Tìm hiểu dấu hiệu ngủ gật của người lái xe ô tô

− Nghiên cứu phần mềm lập trình điều khiển

− Lập trình phần mềm, kết nối phần cứng và chạy thử

− Đánh giá hiệu quả của hệ thống điều khiển.

Đối tượng nghiên cứu

Theo Ủy ban An toàn giao thông quốc gia, tai nạn giao thông liên quan đến giấc ngủ chiếm 30% tổng số vụ tai nạn hàng năm Năm 2019 ghi nhận nhiều vụ tai nạn nghiêm trọng do tài xế ngủ gật Do đó, chúng tôi quyết định nghiên cứu thiết bị cảnh báo tài xế ngủ gật dành cho tài xế lái xe đường dài.

CÔNG NGHỆ KỸ THUẬT Ô TÔ 14 17DOTC3

Ý nghĩa đề tài

Hiện nay, nhiều hãng ô tô như Luxus, Volvo, Volkswagen, và Hyundai đã trang bị thiết bị cảnh báo ngủ gật cho người lái, chủ yếu ở các nước phát triển như Mỹ, Châu Âu, và Nhật Bản Tuy nhiên, tại Việt Nam, việc nghiên cứu và áp dụng các thiết bị này còn hạn chế, dẫn đến việc gia tăng tai nạn do ngủ gật khi lái xe, gây thiệt hại lớn về người và tài sản.

Đề tài này nhằm nâng cao nhận thức về sự nguy hiểm khi lái xe trong tình trạng buồn ngủ Thiết bị được phát triển nhằm hạn chế tai nạn giao thông do buồn ngủ, bảo vệ không chỉ người lái mà còn những người xung quanh Sản phẩm có thể ứng dụng thực tế tại Việt Nam và góp phần thúc đẩy nghiên cứu liên quan đến an toàn giao thông và ô tô.

Bố cục đề tài

Nội dung báo cáo gồm 4 chương:

Chương 1: Giới thiệu đề tài

Chương 2: Cơ sở lý thuyết

Chương 3: Thiết kế thi công lắp ráp và thử nghiệm

Chương 4: Kết luận và hướng phát triển

TỔNG QUAN GIẢI PHÁP

Ưu nhược điểm của hệ thống cảnh báo tài xế ngủ gật

+ Hạn chế tối đa các trường hợp tai nạn do tài xế ngủ gục khi lái xe

+ Thiết bị nhỏ gọn, tính năng làm việc cao

+ Công nghệ hiện đại, thông minh

+ Do chi phí còn cao, nên còn chưa lắp đạt đại trà lên các dòng xe

Các phương án thực hiện cảnh báo tài xế ngủ gật trên ô tô

Trên toàn cầu và tại Việt Nam, nhiều phương pháp đã được áp dụng để cảnh báo tình trạng mất tập trung do buồn ngủ của tài xế Các phương pháp chính bao gồm việc dựa vào sinh lý của người lái xe và theo dõi hoạt động, phản ứng điều khiển xe của họ.

2.2.1 Phương pháp dựa vào sinh lý người lái xe Đây là phương pháp cho độ chính xác cao và được thực hiện qua hai kỹ thuật sau:

Kỹ thuật theo dõi và đánh giá các thay đổi sinh lý của người lái xe, như nhịp tim, sóng não và nháy mắt, yêu cầu gắn thiết bị trực tiếp lên cơ thể Tuy nhiên, việc này có thể gây cảm giác khó chịu cho người lái xe và sự xuất hiện mồ hôi trên bề mặt da có thể làm giảm độ chính xác của các thiết bị.

Kỹ thuật thứ hai là phương pháp đo lường sự thay đổi trên cơ thể, bao gồm tư thế ngồi, vị trí nghiêng đầu, trạng thái nhắm mắt hoặc mờ mắt, và cử động miệng của lái xe Phương pháp này không yêu cầu tác động trực tiếp vào cơ thể mà sử dụng thiết bị ghi hình để ghi lại những thay đổi này.

2.2.2 Phương pháp dựa vào hoạt động và phản ứng điều khiển xe của người lái xe Đây là kỹ thuật được thực hiện bằng cách theo dõi chuyển động của tay lái, phanh xe, tốc độ xe, sự di chuyển sang ngang,… Phương pháp này cũng không trực tiếp tác động vào người lái xe, tuy nhiên nó lại hạn chế bởi loại xe và điều kiện lái xe.

Các hệ thống cảnh báo tài xế ngủ gật

Hiện nay, hệ thống cảnh báo ngủ gật đang trở nên phổ biến tại nhiều quốc gia, bao gồm hai loại chính: loại đeo lên tai lái xe và loại gắn trên xe Những hệ thống này hỗ trợ người lái trong việc nhận biết dấu hiệu buồn ngủ, giúp nâng cao an toàn giao thông.

2.3.1 Dạng đeo lên tai người lái xe

Hệ thống chống ngủ gật đeo tai được thiết kế từ vật liệu dẻo siêu nhẹ, với móc cài qua tai giống như tai nghe nhạc Khi kích hoạt, cảm biến bên trong sẽ đo góc vuông của đầu Thiết bị sẽ báo động khi đầu giữ thẳng ở mức 0°, và nếu người lái có dấu hiệu buồn ngủ, đầu ngã xuống, góc đo sẽ tự động tăng từ 0° đến 15°.

Máy lập tức phát ra âm thanh cảnh báo người dùng khi có sự cố, với âm lượng đủ lớn để đánh thức lái xe nhưng không quá chói, nhằm tránh tình trạng người lái bị choáng tỉnh và nhấn nhầm ga hay bẻ vô lăng do giật mình.

Một số hãng sản xuất: Nap Zapper 1, No Nap, Doze Alert Ưu điểm: nhỏ gọn, dễ dàng sử dụng, giá cả vừa phái

Nhược diểm: có thể cành báo trong những trường hợp không mong muốn hoặc gây giật mình cho lái xe khi âm lượng quá cao

2.3.2 Dạng lắp đặt trên xe ô tô

Dạng này thì các thiết bị được lắp đặt trên xe ô tô với hệ thống camera và màn hình cảm biến.

Hệ thống cảnh báo ngủ gật của các hãng xe

2.4.1 Hãng Mercedes - Benz: thiết bị Attention

Cách hoạt động của Attention Assist:

Attention Assist phân tích hành vi lái xe trong những phút đầu của chuyến đi và đánh giá kỹ thuật lái xe cá nhân của bạn thông qua hơn 70 thông số khác nhau.

Trong quá trình lái xe, hệ thống Attention Assist có khả năng phát hiện sự buồn ngủ và mệt mỏi thông qua việc theo dõi các điều chỉnh lái xe của bạn Ngoài ra, Attention Assist còn xem xét các yếu tố bên ngoài như điều kiện đường xá, gió và cách bạn tương tác với tay lái.

Sau khi đánh giá các yếu tố bên ngoài, Attention Assist sẽ cảnh báo bạn tạm dừng lái xe nếu phát hiện hành vi lái xe có dấu hiệu mệt mỏi.

Attention Assist sẽ kích hoạt các cảnh báo khi tốc độ xe nằm trong khoảng từ 60 km/h đến 200 km/h Hệ thống sẽ theo dõi dấu hiệu mệt mỏi của người lái và đưa ra các mức độ cảnh báo khác nhau dựa trên dữ liệu thu thập được và phản hồi của tài xế.

+ Mức độ 1: Trên bảng đồng hồ táp-lô sẽ thông báo “Take a break!”

+ Mức độ 2: Khi người lái không phản hồi: Tín hiệu âm thanh: Ding!Ding!Ding! và rung vô lăng để nhắc nhở người lái

Người dùng chỉ có thể tắt các cảnh báo của hệ thống Attention Assist trước khi bắt đầu hành trình; sau khi cảnh báo được kích hoạt, tài xế không thể tắt chúng mà phải dừng xe, tắt máy và khởi động lại hệ thống Hệ thống này giúp người điều khiển kiểm tra mức độ tập trung qua màn hình táp lô, cung cấp thông tin hữu ích khi tài xế chọn vào mục Attention Assist.

− Chiều dài của hành trình kể từ lần nghỉ gần nhất

− Mức độ tập trung được xác định bởi hệ thống cảnh báo mất tập trung được hiển thị theo dạng cột theo năm mức từ thấp đến cao

Nhược điểm của Attention Assist là nó hoàn toàn dựa vào dữ liệu thu thập, do đó có thể xảy ra sai lệch trong các cảnh báo nếu có sự thay đổi người lái hoặc hành vi lái xe vì lý do nào đó.

2.4.2 Hãng Hyundai: hệ thống chống ngủ gật DDREM cho tài xế

Hệ thống DDREM sử dụng camera hồng ngoại để theo dõi và phân tích chuyển động của mắt và khuôn mặt, nhằm phát hiện dấu hiệu buồn ngủ của tài xế.

Hệ thống giám sát hỗ trợ lái xe liên tục theo dõi để đảm bảo xe không đi chệch làn đường, đồng thời tự động điều chỉnh hướng đi Nếu phát hiện người lái đã ngủ gật và không có phản hồi, DDREM sẽ chuyển xe sang chế độ lái tự động 4, cho phép xe tự tìm kiếm một vị trí an toàn và dừng lại.

Hình 2.1: Hệ thống chống ngủ gật DDREM

Công nghệ này tương tự như hệ thống cảnh báo trên xe tự lái cấp độ 3 của Audi A8, với chức năng “hỗ trợ lái xe khi tắc đường” Khi kích hoạt, một camera sẽ theo dõi trạng thái của người lái, phân tích vị trí và chuyển động của đầu và mắt để cung cấp dữ liệu cho AI Nếu người lái nhắm mắt quá lâu, hệ thống sẽ nhắc nhở họ tiếp tục lái, nhằm tránh tình trạng ngủ gục, đảm bảo an toàn khi lái xe.

Hệ thống cảnh báo ngủ gật DDREM của Hyundai sử dụng phần cứng có sẵn trên hầu hết các xe đời mới, giúp dễ dàng trang bị cho các mẫu xe phổ thông của hãng Hệ thống này bao gồm trợ lực tay lái điện, camera, cảm biến radar và GPS, mang lại sự an toàn và tiện lợi cho người lái.

2.4.3 Hãng Honda: Hệ thống cảnh báo chống buồn ngủ Driver Attention Monitor

Hình 2.2: Mức cảnh báo chú ý được hiển thị theo từng cấp độ

Hệ thống cảnh báo chống buồn ngủ được thiết kế để hoạt động khi lái xe trên đường cao tốc hoặc quốc lộ, dựa vào sự chuyển động của vô lăng nhằm xác định mức độ tập trung của người lái Khi phát hiện sự giảm sút trong sự chú ý, hệ thống sẽ gửi tín hiệu cảnh báo qua tin nhắn, âm thanh hoặc rung tay lái để nhắc nhở tài xế.

Mức hệ thống cảnh báo chống buồn ngủ được hiển thị theo 4 cấp độ từ 4 vạch đến

1 vạch (1 vạch là mức nguy hiểm nhất)

Hình 2.3: Các mức cảnh báo buồn ngủ được hiển thị theo 4 cấp độ

Hệ thống chỉ hoạt động khi xe di chuyển với tốc độ trên 40km/h và không hoạt động nếu thời gian lái xe dưới 30 phút hoặc khi di chuyển trên đường ghồ ghề, nhiều gió Khi nguồn tắt, cấp độ cảnh báo sẽ được cài đặt lại và hệ thống sẽ bắt đầu từ cấp độ 4 Ngay cả khi xe dừng, nguồn vẫn ON nhưng không thắt dây an toàn và cửa xe bên lái mở, hệ thống cũng sẽ nhận diện việc thay đổi người lái và bắt đầu từ cấp độ 4.

Các nghiên cứu hệ thống cảnh báo tài xế ngủ gật ở Việt Nam

2.5.1 Nghiên cứu thiết kế, chế tạo thiết bị nhúng kiểm soát trạng thái ngủ gật của lái xe

Nhóm nghiên cứu đã thiết kế và chế tạo máy giám sát trạng thái buồn ngủ của lái xe với tính năng kết nối mạng, kích thước nhỏ gọn và giá thành thấp Sản phẩm này nhằm cung cấp cho các doanh nghiệp vận tải, góp phần giảm thiểu tai nạn giao thông do buồn ngủ của lái xe Hướng tới việc tích hợp với hộp đen sản xuất trong nước, máy sẽ tạo ra ứng dụng mới trong lĩnh vực an toàn giao thông.

CÔNG NGHỆ KỸ THUẬT Ô TÔ 21 17DOTC3, do TS Nguyễn Minh Sơn tại Phân Viện Nghiên cứu Điện tử, Tin học, Tự động hóa tại Tp HCM dẫn dắt, đã thực hiện nghiên cứu về thiết kế và chế tạo thiết bị nhúng nhằm kiểm soát trạng thái ngủ gật của lái xe.

Nhóm nghiến cứu đã triển khai thực hiện các nội dung chính bao gồm:

− Nghiên cứu tổng quan Khảo sát, phân tích một số thiết bị chống ngủ gật có trên thị trường

− Xác định những biểu hiện cơ bản và rút trích đặc trưng cơ bản xác định trạng thái ngủ gật

− Thiết kế tổng thể, phân tích các yêu cầu kỹ thuật, cấu hình và chức năng của thiết bị

− Thiết kế phần cứng và phần mềm của thiết bị cảnh báo ngủ gật

− Chế tạo phần cứng, cài đặt phần mềm và thực nghiệm với thiết bị cảnh báo ngủ gật được thiết kế, chế tạo

− Đề xuất mô hình ứng dụng

− Kết quả đo đạc trên thiết bị VDAS-01 được thiết kế chế tạo như sau:

+ Khối thiết bị nhúng: Kích thước nhỏ (không quá 150 x 100 mm) lắp đặt được trong mọi loại ô tô

+ Sử dụng camera số: Kết nối với bộ xử lý nhúng

Phát hiện tình trạng buồn ngủ có thể được xác định thông qua năm đặc điểm quan sát rõ ràng: 1) mắt nhắm lại, 2) mắt không chớp, 3) góc nghiêng của đầu do ngủ gục, 4) chuyển động đột ngột của đầu, và 5) sự không thay đổi tư thế của đầu trong một khoảng thời gian đủ dài.

Thời gian cập nhật khuôn mặt lái xe chỉ mất 10 giây, trong khi xử lý ảnh nhắm mắt diễn ra trong 1,5 giây Hệ thống tự động cập nhật thông số hình dạng đầu của tài xế để đảm bảo độ chính xác và an toàn.

+ Cảnh báo tại chỗ và truyền thông báo về trung tâm

Đề tài nghiên cứu này tập trung vào việc thiết kế và chế tạo một hệ thống giám sát từ xa nhằm phát hiện trạng thái buồn ngủ của lái xe Dựa trên việc rút trích 5 đặc trưng cơ bản để nhận diện tình trạng buồn ngủ, các tác giả đã phát triển giải pháp hiệu quả cho vấn đề này.

Công nghệ kỹ thuật ô tô 22 17DOTC3 kết hợp giữa thuật toán và phần mềm để xác định các đặc trưng, giúp giải quyết nhanh chóng các tình huống như nhiễu và chiếu sáng kém Đặc biệt, đề tài thiết kế phần mềm huấn luyện máy theo các đặc điểm của lái xe, bao gồm hình dạng mặt, mũi, tai và thời gian nháy mắt.

Hệ thống phát hiện buồn ngủ được tự động điều chỉnh cho từng lái xe, sử dụng vi xử lý kết nối với camera, LED hồng ngoại, và GPS/GPRS Thiết bị này có khả năng cảnh báo ngay lập tức và truyền dữ liệu về trung tâm giám sát, nhận diện trạng thái buồn ngủ của lái xe chỉ trong 1,5 giây với độ tin cậy lên tới 90%.

Nhóm nghiên cứu đã đề xuất một mô hình ứng dụng cho công ty vận tải hàng hóa, trong đó tích hợp hệ thống giám sát hành trình xe vận tải thông qua GPS hiển thị trên bản đồ Hệ thống này được xây dựng trên nền tảng web, sử dụng công nghệ GIS và Google Maps API, cho phép người dùng thao tác trên bản đồ như phóng to, thu nhỏ và xem thông tin Đặc biệt, hệ thống còn tích hợp chức năng phát hiện và cảnh báo tình trạng ngủ gật của lái xe, với thiết bị giám sát đặt trong cabin xe, gửi cảnh báo đến trung tâm khi phát hiện trạng thái ngủ gật Đối với các công ty chưa có hệ thống giám sát hành trình, thiết bị phát hiện ngủ gật sẽ bao gồm GPS để gửi tín hiệu về trung tâm, giúp hiển thị vị trí xe trên bản đồ bằng công nghệ GIS.

CÔNG NGHỆ KỸ THUẬT Ô TÔ 23 17DOTC3 cung cấp khả năng giám sát tình trạng buồn ngủ của lái xe, đồng thời theo dõi hành trình của xe một cách hiệu quả.

Mô hình ứng dụng cho công ty xe khách đường dài bao gồm thiết bị phát hiện ngủ gật lái xe, giúp theo dõi trạng thái lái xe và cảnh báo trung tâm khi có triệu chứng buồn ngủ Nếu công ty chưa có hệ thống giám sát hành trình, thiết bị này sẽ tích hợp GPS, gửi tín hiệu về trung tâm và hiển thị vị trí xe trên bản đồ qua phần mềm GIS Máy chủ của công ty có thể kết nối với máy chủ bến xe, từ đó liên kết với hệ thống quản lý địa phương và trung ương Sự phát triển của điện thoại thông minh và máy tính bảng cho phép dễ dàng phát triển phần mềm giao diện (GUI) để giám sát xe qua thiết bị di động.

2.5.2 Thiết kế hệ thống cảnh báo lái xe ngủ gật bằng phương pháp xây dựng ứng dụng với thư viện mã nguồn OpenCV

2.5.2.1 Mô hình đề xuất của ứng dụng với thư viện mã nguồn OpenCV

Hệ thống bao gồm ba khối chức năng chính: khối thu nhận hình ảnh với camera, khối nhận diện khuôn mặt và mắt, và khối cảnh báo để xác định trạng thái ngủ gật và phát thông tin cảnh báo.

2.5.2.2 Các công nghệ sử dụng để xây dựng ứng dụng Ứng dụng được xây dựng trên cơ sở:

− Thư viện mã nguồn mở OpenCV

− Bộ phân loại Haar Cascade Classifiers

2.5.2.3 Triển khai ứng dụng với thư viện mã nguồn OpenCV

2.5.2.3.1 Thu nhận hình ảnh và tiền xử lý

Hình ảnh đầu vào được thu nhận bởi camera, sau đó phân tách video thành các khung hình và chuyển tất cả hình ảnh về ảnh xám

2.5.2.3.2 Nhận diện khuôn mặt và đôi mắt

− Khởi tạo bộ dò tìm khuôn mặt:

OpenCV, một thư viện mã nguồn mở, đã tích hợp nhiều bộ phân loại (classifiers) cho việc huấn luyện nhận dạng khuôn mặt, mắt và nụ cười Những bộ phân loại này được lưu trữ dưới dạng file XML trong thư mục opencv/data/haarcascades Các bộ phân loại này đóng vai trò quan trọng trong việc phát triển các ứng dụng nhận diện hình ảnh.

+ haarcascade_frontalface_alt_tree.xml: bộ đữ liệu huấn luyện (training) cho quá trình xử lý mặt

+ haarcascade mcs lefteve.xml, haarcascade eye_tree_eveglasses.xml, haarcascade eye.xml: các bộ dữ liệu huấn luyện (training) cho quá trình xử lý đôi mắt

− Thực hiện dò tìm khuôn mặt:

Phương pháp nhận diện khuôn mặt sử dụng đặc trưng Ilaar-like kết hợp với Adaboost đã được tích hợp sẵn trong thư viện OpenCV Để áp dụng phương pháp này, chương trình sử dụng hàm detectMultiScale trong OpenCV.

Hàm detectMultiScale sau khi hoàn thành sẽ trả về một mảng faces chứa tọa độ gốc (x, y) và kích thước (w, h) của khung chứa khuôn mặt Để hiển thị các khuôn mặt, ta sử dụng cấu trúc lặp để duyệt qua từng bộ giá trị trong mảng faces Với mỗi bộ giá trị, hàm rectangle sẽ vẽ một hình chữ nhật lên ảnh gốc img, sử dụng tọa độ của hai điểm: (x, y) và (x+w, y+h) Màu sắc của hình chữ nhật được chỉ định là (0, 255, 0).

− Hiển thị kết quả dò tìm: Để hiển thị kết quả dò tìm khuôn mặt gọi hàm hiển thị ảnh cv2.imshow()

Sau khi xác định khuôn mặt, việc tìm kiếm mắt sẽ được thực hiện trên các khuôn mặt đã phát hiện, thay vì quét toàn bộ ảnh như trong quá trình tìm kiếm khuôn mặt Tương tự, quá trình này cũng bao gồm việc tìm kiếm và vẽ khung hình chữ nhật xung quanh mắt với màu sắc khác biệt.

2.5.2.3.3 Cảnh báo tình trạng buồn ngủ

Hướng phát triển đề tài

Đề tài sẽ phát triển ứng dụng sử dụng camera để phát hiện trạng thái nhắm mở mắt và góc nghiêng của đầu, áp dụng thư viện mã nguồn OpenCV.

Kết luận

Đề tài thiết kế hệ thống chống tài xế ngủ gật của chúng em xây dựng trên cơ sở thuật toán OpenCV để thiết kế hệ thống này

PHƯƠNG PHÁP GIẢI QUYẾT

Xác định những biểu hiện cơ bản và rút trích đặc trưng cơ bản xác định trạng thái ngủ gật

Để phát hiện trạng thái buồn ngủ có nhiều phương pháp khác nhau như trình bày trên Hình 3.1 [3, 7], bao gồm:

Giám sát mô hình lái là quá trình thu thập các thông số hành vi lái, bao gồm tín hiệu góc lái từ hệ thống ESP hoặc trợ lực điện, âm thanh phát ra từ xe, và sự rung động của xe.

− Vị trí của xe trong máy theo dõi làn đường: Giám sát từ hành vi giữ làn đường, sử dụng camera đa năng (MPC) [12]

− Giám sát mắt và khuôn mặt lái xe: Phân tích hành vi nhắm mắt, phát hiện ngáp

Đo lường các hiệu ứng sinh lý học liên quan đến hoạt động não, nhịp tim, độ dẫn điện của da và tác động điện lên các cơ khung xương được thực hiện thông qua các phương pháp như điện não đồ (EEG), điện tâm đồ (EMG) và điện giải (EDA).

Hình 3.1: Các phương pháp phát hiện trạng thái buồn ngủ [7]

Các mô hình chỉ báo buồn ngủ dựa trên đặc điểm của con người khi cảm thấy buồn ngủ, thể hiện qua sự mất tập trung và giảm kỹ năng vận động Hệ quả là khả năng điều khiển tay lái và hành vi lái xe trở nên không chính xác Trong trường hợp ngủ gật cực đoan, có thể quan sát chuỗi phản ứng liên quan đến hoạt động của con người.

− Mí mắt sẽ được đóng lại hoặc mở nhìn chằm chằm không chớp mắt

− Vị trí định hướng lái của xe không bình thường

− Điều chỉnh quá mức góc lái

Các mô hình chỉ báo có thể xuất hiện trong điều kiện lái xe bình thường, nhưng tần suất xuất hiện sẽ gia tăng khi mức độ buồn ngủ tăng cao.

Trong số các phương pháp giám sát trạng thái buồn ngủ của lái xe, phương pháp sử dụng camera để theo dõi mắt, con ngươi và vị trí đầu của lái xe nổi bật với nhiều ưu điểm Tuy nhiên, phương pháp này cũng gặp phải một số hạn chế thực tế, bao gồm sự phụ thuộc vào điều kiện thời tiết, ánh sáng, thời gian trong ngày, và vị trí lắp đặt camera.

Xác định các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái buồn ngủ của lái xe trong điều kiện giao thông và thời tiết ở Việt Nam

Để xác định trạng thái không tập trung, buồn ngủ của tài xế lái xe cần xác định những biểu hiện trạng thái cơ bản sau:

3.2.1 Xác định tư thế của đầu dựa vào phát hiện khuôn mặt trong các trường hợp đầu chuyển động

Xác định gốc tọa độ khuôn mặt hoặc tư thế tài xế ở vị trí tiêu chuẩn là bước quan trọng khi phát hiện mặt ở vị trí ổn định Trong xử lý ảnh, gốc tọa độ của khung hình sẽ được biểu diễn theo hệ trục tọa độ cụ thể.

Hình 3.2: Gốc tọa độ của frame ảnh trong hệ trục tọa độ

Gốc tọa độ O0 (x, y) được xác định là vị trí tiêu chuẩn của khuôn mặt tài xế (Hình 3.3) Vị trí này sẽ được thiết lập khi tài xế ngồi vào ghế lái trong khoảng thời gian 10 giây và khi có sự ổn định tương đối.

Để xác định vị trí khuôn mặt của tài xế, cần dựa vào độ lệch giữa khuôn mặt hiện tại và khuôn mặt ở vị trí chuẩn, sử dụng công thức cụ thể.

− Gọi ∆Ox 1 , ∆Ox 2 , ∆Oy 1 , ∆Oy 2 là độ lệch vị trí khuôn mặt hiện tại so với khuôn mặt ở vị trí tiêu chuẩn

Ox, Oy là tọa độ khuôn mặt tại vị trí chuẩn

O 1 x, O 1 y là tọa độ khuôn mặt tại vị trí hiện tại so với vị trí chuẩn

Trục Ox biểu diễn cho trục ngang (bên trái, bên phải) nên:

− Nếu ∆Ox 1 > width * 0,25 thì khuôn mặt quay sang bên phải (Hình 3.4)

− Nếu ∆Ox 2 > width * 0,25 thì khuôn mặt quay sang bên trái (Hình 3.5)

Hình 3.4: Khuôn mặt đang quay sang bên phải

Hình 3.5: Khuôn mặt quay sang trái

Trục Oy biểu diễn cho trục dọc (lên,xuống) nên:

− Nếu ∆Oy 1 > height * 0,05 thì khuôn mặt đang ngửa ra phía sau (Hình 3.6)

− Nếu ∆Oy 2 > height * 0,2 thì khuôn mặt đang cúi xuống phía dưới (Hình 3.7)

Hình 3.6: Khuôn mặt ngửa ra sau

Hình 3.7: Khuôn mặt cúi xuống dưới 3.2.2 Tìm con ngươi từ khuôn mặt để xác định mắt nhắm hay mở

Dựa vào việc phát hiện vùng mặt, chúng ta có thể xác định vùng mắt và con ngươi, từ đó nhận biết trạng thái nhắm hoặc mở của mắt Nếu mắt nhắm, hệ thống sẽ đưa ra cảnh báo về tình trạng buồn ngủ Quá trình này bắt đầu bằng việc xác định vùng mắt và sau đó là con ngươi.

Hình 3.8: Vị trí con ngươi trong trường hợp mắt đang mở

Dựa vào vùng mặt và vùng mũi phóng lớn thì công thức xác định vùng mắt được tính như sau (Hình 3.9):

Chiều rộng và cao vùng mắt [31, 32]:

H e ; W e lần lược là chiều cao, chiều rộng vùng mắt

F height ; F width lần lượt là chiều cao, chiều rộng vùng mặt

N height ; N width lần lượt là chiều cao, chiều rộng vùng mũi phóng lớn để xác định vùng mặt

Hình 3.9: Vị trí con ngươi trong trường hợp mắt đóng

Vị trí con ngươi được xác định dựa trên tỷ lệ vùng mắt Nếu con ngươi nằm giữa vùng mí mắt trên và chân mày, tức là mắt đang ở trạng thái nhắm Ngược lại, nếu con ngươi nằm trong vùng mắt chứa con ngươi, thì mắt đang mở.

Hình 3.10: Giám sát trạng thái mắt

Khoảng cách lý tưởng từ thiết bị đến vùng mắt nên duy trì từ 20 đến 30 cm để đảm bảo độ chính xác cao Khi khoảng cách xa hơn, kích thước con ngươi sẽ nhỏ lại, dẫn đến khó khăn trong việc phát hiện chính xác.

3.2.3 Xác định các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái buồn ngủ của lái xe

Bảng 3.1: Các thông số kỹ thuật cơ bản cho thiết bị giám sát trạng thái buồn ngủ của lái xe

Nội dung Thiết bị giám sát trạng thái lái xe dự kiến của Đề tài

Chip điều khiển Thiết bị nhúng sử dụng chip điều khiển xây dựng trên

Broadcom BCM2837, Quad core Cortex-A53 ARM 64-bit SoC

@ 1.2GHz tích hợp trên Raspberry Pi 4

Sử dụng camera số kết nối với bộ xử lý nhúng

Sử dụng camera hồng ngoại để hoạt động tốt vào ban đêm và khi lưu thông trong đường hầm

USB 2 cổng USB 3.0 và 2 cổng USB 2.0

Thuật toán phát hiện buồn ngủ theo các thông số quan sát đặc trưng:

− Tìm con ngươi từ khuôn mặt để xác định mặt nhắm hay mở

− Xác định vùng tai trái, vùng tai phải đề phát hiện tài xế đang quay phải hay trái

Thời gian xử lý Thời gian cập nhật khuôn mặt lái xe: 10 giây, xử lý ảnh nhắm mắt 1,5 giây

Hệ thống bảo vệ mạch được thiết kế để bảo vệ khỏi điện áp quá cao, quá dòng, cắm ngược điện nguồn và giảm thiểu tiếng ồn Nó hoạt động hiệu quả với cả nguồn 12 V và 24 V, phù hợp cho mọi loại xe Công suất tiêu thụ của hệ thống chỉ 6 W.

Tránh chói Loại bỏ sự phản xạ bất thường của ánh mặt trời bằng cách sử dụng các bộ lọc đặc biệt

Phần mềm xử lý ảnh

OpenCV (Open Computer Vision library) do Intel phát triển, được giới thiệu năm

Ra đời vào năm 1999 và hoàn thiện phiên bản 1.0 vào năm 2006, thư viện mã nguồn mở này hỗ trợ nghiên cứu và phát triển trong lĩnh vực thị giác máy tính, tối ưu hóa và xử lý ứng dụng thời gian thực Thư viện giúp tăng tốc độ xây dựng các ứng dụng xử lý ảnh và thị giác máy tính.

Thư viện OpenCV bao gồm khoảng 500 hàm được phát triển bằng ngôn ngữ C/C++, tương thích với các hệ điều hành như Windows, Linux và Mac OS Nó đóng vai trò quan trọng trong việc thiết lập chuẩn giao tiếp, dữ liệu và thuật toán cho lĩnh vực Computer Vision, đồng thời tạo điều kiện thuận lợi cho nghiên cứu và phát triển ứng dụng.

Trước đây, lĩnh vực xử lý ảnh thiếu một công cụ chuẩn như OpenCV, khiến các đoạn mã do các nhà nghiên cứu tự viết trở nên không thống nhất và không ổn định Các bộ công cụ thương mại như Matlab, Simulink và Halcon có giá cao, chỉ phù hợp với các công ty phát triển ứng dụng lớn Thêm vào đó, nhiều giải pháp đi kèm với thiết bị phần cứng thường là mã đóng và được thiết kế riêng, gây khó khăn cho việc mở rộng ứng dụng.

3.3.2 Cách tổ chức thư viện OpenCV

Tổ chức thư viện OpenCV khá đơn giản, bao gồm 4 module chính và 2 module mở rộng, được mô tả ở Hình 3.11

CXCORE bao gồm các định nghĩa kiểu dữ liệu cơ sở, chẳng hạn như các cấu trúc dữ liệu cho ảnh, điểm và hình chữ nhật, được quy định trong tệp cxtypes.h.

CÔNG NGHỆ KỸ THUẬT Ô TÔ 35 17DOTC3 tích hợp đại số tuyến tính và các phương pháp thống kê, đồng thời cung cấp chức năng duy trì và điều khiển chuỗi Ngoài ra, hệ thống còn bao gồm một số chức năng đồ họa để vẽ trên ảnh.

Hình 3.11: Tổ chức thư viện OpenCV

CV chứa các thuật toán về xử lý ảnh và xác định kích cỡ camera Các chức năng đồ họa máy tính cũng được đặt ở đây

CVAUX là một module trong OpenCV chứa mã cũ đã được thử nghiệm, với các giao diện đơn giản giúp nhận diện ảnh Mã nguồn này đã được ứng dụng rộng rãi trong nhận diện khuôn mặt.

HighGUI nằm trong thư mục "otherlibs" và cung cấp các giao diện nhập/xuất cơ bản, cùng với khả năng mở rộng và nhập/xuất video Thư viện này đi kèm với tài liệu hướng dẫn và các ví dụ mẫu để minh họa một số chức năng của công cụ OpenCV.

Các chức năng của OpenCV tập trung vào thu thập ảnh, xử lý ảnh và các thuật toán phân tích dữ liệu ảnh, bao gồm:

− Truy xuất ảnh và phim: đọc ảnh số từ camera, từ file, ghi ảnh và phim

− Cấu trúc dữ liệu ảnh số và các dữ liệu hỗ trợ cần thiết: ma trận, vector, chuỗi, xâu và cây

− Xử lý ảnh căn bản: các bộ lọc có sẵn, tìm chi tiết cạnh, góc, chỉnh sửa màu, phóng to thu nhỏ, và hiệu chỉnh histograms

Xử lý cấu trúc bao gồm việc tìm kiếm viền, nhận diện chuyển động và thực hiện thay đổi trong không gian 3D Quá trình này cũng liên quan đến việc đối chiếu với bản mẫu và làm tròn các đơn vị hình học cơ bản như mặt phẳng, đa giác, ellipse và đường thẳng.

− Phân tích dữ liệu ảnh: nhận dạng thực thể, theo dõi các chi tiết và phân tích chuyển động

Để tạo giao diện đơn giản, bạn cần hiển thị ảnh và cung cấp các thao tác bằng bàn phím, chuột cùng với thanh trượt để điều chỉnh thông số Nếu cần thiết, có thể tự tạo thêm các phím điều khiển thông qua thao tác chuột hoặc tích hợp các thư viện giao diện như wxWidgets.

− Chức năng vẽ, chú thích lên ảnh

3.3.3 Tổng quan phương pháp Haar-like

Có nhiều phương pháp để xác định khuôn mặt người trong ảnh 2D, trong đó phương pháp Haar-like kết hợp với Adaboost là một trong những hướng tiếp cận hiệu quả.

[39] (viết tắt HA) của hai tác giả Paul Viola và Michael J.Jones là phương pháp xác định mặt người dựa theo hướng tiếp cận trên diện mạo (Hình 3.12)

Hình 3.12: Tổng quan phương pháp phát hiện mặt người bằng Haar-like

Hệ thống nhận dạng khuôn mặt dựa trên diện mạo hoạt động bằng cách học các mẫu khuôn mặt từ một tập ảnh mẫu Sau khi hoàn thành quá trình huấn luyện, hệ thống rút ra các tham số cần thiết cho quá trình nhận dạng Do đó, phương pháp này còn được gọi là tiếp cận theo học máy, và bài viết chủ yếu tập trung vào quá trình nhận dạng sau khi đã thực hiện huấn luyện.

Trong Hình 3.12, về tổng quan, phương pháp HA được xây dựng dựa trên sự kết hợp, lắp ghép của 4 thành phần, đó là:

Các đặc trưng Haar-like được đặt vào các vùng của ảnh để tính toán giá trị của chúng Khi những giá trị này được đưa vào bộ phân loại Adaboost, chúng ta có thể xác định được liệu ảnh đó có chứa khuôn mặt hay không.

− Ảnh tích hợp (Integral Image): là một công cụ giúp việc tính toán các giá trị đặc trưng Haar−like nhanh hơn

Adaboost (Adaptive Boost) là một bộ phân loại hoạt động dựa trên nguyên tắc kết hợp nhiều bộ phân loại yếu để tạo thành một bộ phân loại mạnh mẽ Phương pháp này sử dụng các giá trị đặc trưng Haar-like để phân loại hình ảnh, xác định xem đó có phải là mặt hay không.

− Cascade of Classifiers: bộ phân loại tầng với mỗi tầng là một bộ phân loại Adaboost, có tác dụng tăng tốc độ phân loại

Như vậy bài toán xác định mặt người trong ảnh cũng chính là bài toán phân loại ảnh thành hai lớp: mặt hoặc không phải mặt

Phương pháp nhận dạng khuôn mặt HA được thực hiện trên ảnh xám, trong đó mỗi pixel có giá trị mức xám từ 0 đến 255, tương ứng với không gian màu 8 bit Mặc dù không khai thác đặc điểm màu sắc của khuôn mặt, phương pháp này vẫn đạt hiệu quả cao Để nhận dạng, ảnh màu sẽ được chuyển đổi sang ảnh xám, quá trình này rất đơn giản và chỉ cần một hàm chuyển đổi cùng một câu lệnh trong OpenCV.

Sau khi chuyển đổi thành ảnh xám, ảnh sẽ được xử lý thành "ảnh tích hợp" Trong giai đoạn đầu của quá trình nhận dạng, các đặc trưng Haar−like sẽ hoạt động trực tiếp trên ảnh tích hợp.

Kết luận

Nghiên cứu này đã xác định các biểu hiện và đặc trưng cơ bản của trạng thái buồn ngủ thông qua việc sử dụng camera giám sát khuôn mặt Các biểu hiện này, đặc biệt là từ mí mắt, có thể được áp dụng để phát hiện tình trạng buồn ngủ Bên cạnh đó, nghiên cứu cũng xác định các thông số kỹ thuật cần thiết cho thiết bị giám sát buồn ngủ của lái xe trong điều kiện hoạt động tại Việt Nam, bao gồm các tư thế đầu khi di chuyển và vị trí con ngươi trên khuôn mặt để xác định trạng thái mắt nhắm hay mở.

Rút ra các tham số cơ bản đặc trưng cho trạng thái ngủ gật của lái xe là bước quan trọng, từ đó xác định yêu cầu cho hệ thống phần mềm và phần cứng cần phát triển sau này.

QUY TRÌNH THIẾT KẾ HỆ THỐNG CẢNH BÁO TÀI XẾ NGỦ GẬT

Mô hình hệ thống cảnh báo ngủ gật tài xế cần thiết kế

4.1.1 Yêu cầu của mô hình hệ thống

Thông tin cảnh báo ngủ gật có mức độ tin cậy cao trong điều kiện chiếu sáng khác nhau, ngày hoặc đêm

Để giảm thiểu sai lệch và cảnh báo giả khi tóc rũ che mắt, người lái xe cần chú ý giữ đầu thẳng, không cúi đầu hay nhìn xuống Ngoài ra, việc mở to mắt hoặc nheo mắt trong thời gian đủ lâu cũng giúp cải thiện khả năng nhận diện Hơn nữa, rung động của xe khi di chuyển trên đường cũng ảnh hưởng đến độ chính xác của máy nhận diện.

4.1.2 Mô tả về hệ thống cảnh báo ngủ gật tài xế cần thiết kế

Dựa trên các chức năng và đặc điểm của thiết bị, sơ đồ khối cho thiết bị phát hiện và cảnh báo tình trạng buồn ngủ đã được đề xuất như trong Hình 4.1.

Hình 4.1: Sơ đồ khối thiết bị phát hiện và cảnh báo trạng thái ngủ gật

Bộ xử lý trung tâm (CPU) là thành phần cốt lõi của thiết bị, thực hiện trên chip hoặc bo mạch đã được lựa chọn thông qua các thử nghiệm nhằm xác định các thông số đạt tiêu chuẩn đăng ký.

− Bộ tín hiệu đầu vào từ camera để nhận dạng trạng thái khuôn mặt

− Khối cảnh báo: phát tín hiệu cảnh báo khi nhận được tín hiệu từ CPU

− Khối nguồn: lấy từ nguồn 12/24 VDC của xe

Khối hiển thị cho phép theo dõi các chế độ làm việc của CPU trong quá trình nghiên cứu đề tài Để lựa chọn linh kiện phù hợp, đề tài thực nghiệm đã giải mã với một số board tiêu chuẩn như Samsung Board Jellyfish 4418 và Broadcom BCM2387, sau đó tiến hành thiết kế board mạch nhúng với các linh kiện đã chọn.

Thiết kế tính toán phần điện của mô hình

Tín hiệu đầu vào được thu thập thông qua camera hồng ngoại, hoạt động ổn định kể cả ban ngày và ban đêm

Thông số kỹ thuật camera hồng ngoại Logitech C270:

− Độ phân giải tối đa: 720p/30fps

− Loại tiêu cự: Lấy nét cố định

− Công nghệ thấu kính: tiêu chuẩn

− Micrô tích hợp: đơn âm

− Kẹp phổ dụng phù hợp với máy tính xách tay, LCD hoặc màn hình

4.2.2 Khối nguồn cho hệ thống

Thiết bị phát hiện buồn ngủ lái xe sử dụng nguồn đầu vào trực tiếp từ xe hơi (12V– 24V) lấy từ ổ nguồn châm thuốc lá gắn trong cabine

Thông số kỹ thuật nguồn:

Hình 4.3: Khối nguồn hệ thống

Các bộ phận hệ thống sử dụng khối nguồn:

− Bộ xử lý trung tâm: nguồn 5V

− Camera: sử dụng nguồn tích hợp trên cổng USB của bộ xử lý trung tâm

− Khối cảnh báo: sử dụng nguồn 12V và nguồn 5V

4.2.3 Bộ xử lý trung tâm

Sơ đồ kết nối chip Broadcom BCM2837 cấu hình Board Raspberry Pi 4 trình bày trên Hình 4.4 Thông số kỹ thuật như sau:

− Broadcom BCM2837 chipset running at 1.2 GHz

− 64 − bit quad − core ARM Cortex − A53

− Dual core Videocore IV® Multimedia co-processor

− Supports all the latest ARM GNU/Linux distributions and Windows 10 IoT

− MicroUSB connector for 2.5 A power supply

− 2 x USB 3.0 ports and 2 x USB 2.0 ports

Hình 4.4: Sơ đồ kết nối chip BCM2837 trên Board Raspberry Pi 4

Bảng 4.1: Cấu hình Chip BCM2837 Thông số kỹ thuật Chip BCM2837 (Raspberry Pi 4)

1.2 GHz Quad − Core ARM Cortex-A53

802.11 b/g/n WIFI + Bluetooth 4.1 (Bluetooth Classic + Low Energy) GPU Dual Core VideoCore IV Multimedia Co − Processor

Power Micro USB 5 V, 2.5 A.Power source: Micro USB or GPIO header RTC Battery No

Micro card slot SD Yes

Audio output Audio output 3.5mm jack, HDMI

2 x USB 3.0 ports and 2 x USB 2.0 ports

Chip BCM2837 (Raspberry Pi 4) Camera connector 15 − pin MIPI Camera Serial Interface (CSI − 2)

Display connector Display Serial Interface (DSI)

Other Micro USB is used to supply 5V power and upload code from the host computer

Chip BCM2837 nổi bật với nhiều ưu điểm như kích thước nhỏ gọn, khả năng tích hợp module wifi và bluetooth, cùng với tốc độ xử lý vượt trội (trên 1 MHz) Ngoài ra, chip còn hỗ trợ kết nối với camera và webcam, khiến nó trở thành lựa chọn lý tưởng cho các thiết bị trong đề án.

Công nghệ kỹ thuật ô tô 50 17DOTC3 đã được nghiên cứu, với các thử nghiệm phần cứng sử dụng chip BCM2387 trên Raspberry Pi 4 Kết quả nghiên cứu và thiết kế của đề tài được trình bày chi tiết.

Bảng 4.2: Thông số kỹ thuật khối xử lý trung tâm

TT Tên phần thiết bị Đặc trưng

1 CPU Chip BCM2837 (Raspberry Pi 4)

2 USB phục vụ lập trình USB 3.0 và USB 2.0

3 LED hồng ngoại Tầm hoạt động 800 mm

6 Bộ GPS và bộ truyền thông tin GSM GPRS Sim800A

7 Bộ nguồn chỉnh áp 12 − 24V (xe ô tô) 12 V và 5 V

Raspberry Pi là một máy tính mini có kích thước tương đương với iPhone, hoạt động trên hệ điều hành Linux Được phát triển bởi Raspberry Pi Foundation, một tổ chức phi lợi nhuận, sản phẩm này nhằm mục đích giáo dục về công nghệ máy tính và cung cấp một nền tảng linh hoạt cho nhiều ứng dụng khác nhau.

Tháng 2 năm 2012, Raspberry Pi Foundation tại Anh đã cho ra mắt phiên bản kit nhúng Raspberry model A/A+ dựa trên hệ thống trên một vi mạch (SoC) BCM2835 của Broadcom, với bộ vi xử lý ARM1176JZF-S 700 MHz, VideoCore IV GPU, 256

Raspberry Pi 2, ra mắt vào tháng 2 năm 2015, mang đến những cải tiến đáng kể so với phiên bản Pi 1 Phiên bản này được trang bị vi xử lý Quadcore ARM Cortex A7 với tốc độ 900 MHz và 1 GB RAM, mạnh hơn gấp 4 lần so với Pi 1 Mặc dù có hiệu năng vượt trội, Raspberry Pi 2 vẫn giữ kích thước nhỏ gọn, chỉ lớn hơn một chút so với thẻ ATM, và nhẹ, cùng với 40 chân GPIO hỗ trợ các giao thức như UART, SPI, I2C Raspberry Pi 2 hỗ trợ nhiều ngôn ngữ lập trình như Python, C/C++, Java, Perl, và Ruby, cùng với các cổng USB và Ethernet, tạo điều kiện thuận lợi cho việc phát triển ứng dụng.

Công nghệ Kỹ thuật Ô tô 51 17DOTC3 đã chứng kiến sự tiến bộ vượt bậc với sự ra mắt của Raspberry Pi 4, phiên bản mới nhất từ Raspberry Pi Foundation Raspberry Pi 4 được trang bị CPU ARM Cortex-A53 Quadcore 1.2 GHz 64-bit và 2 GB RAM, đồng thời hỗ trợ Wifi 802.11n và Bluetooth 4.1 Đặc biệt, Raspberry Pi 4 hoàn toàn tương thích với Raspberry Pi 2, cho phép người dùng tiếp tục sử dụng các phụ kiện như vỏ, nguồn, bàn phím và thẻ nhớ cũ mà không cần phải đầu tư mới.

Trong lĩnh vực xử lý tín hiệu số, tốc độ xử lý là yếu tố quan trọng hàng đầu khi chọn chip xử lý Raspberry Pi 4 nổi bật như một lựa chọn lý tưởng cho xử lý ảnh nhờ khả năng xử lý song song và khả năng điều khiển các thiết bị ngoại vi như motor, monitor, sensor, camera và webcam Đặc biệt, với module wifi và bluetooth, Raspberry Pi 4 mang lại lợi thế cho các ứng dụng công nghệ không dây Hình 4.4 minh họa board mạch bộ điều khiển chính và khối xử lý trung tâm được lắp đặt thực tế.

Hình 4.5: Khối xử lý trung tâm 4.2.4 Khối cảnh báo

4.2.4.1 Khối cảnh báo âm thanh

Khi phát hiện trạng thái buồn ngủ, CPU xử lý sẽ xuất tín hiệu để âm thanh cảnh báo được phát ra

Thông số kỹ thuật Loa Kisonli L − 4040:

− Hệ thống loa: 2 Loa, USB 2.0

− Công suất định mức: 3Wx2

− Tỷ lệ tín hiệu trên tạp âm: 58dB

Hình 4.6: Khối cảnh báo âm thanh 4.2.4.2 Khối cảnh báo ánh sáng

Ngoài việc sử dụng âm thanh cảnh báo bên trong xe, việc kích hoạt đèn Hazard Lights là rất quan trọng để thông báo cho các phương tiện xung quanh biết về tình huống khẩn cấp.

Hệ thống cảnh báo ánh sáng tích hợp với đèn Hazard sẽ tự động kích hoạt khi phát hiện tình trạng buồn ngủ, giúp nâng cao an toàn cho người lái CPU xử lý trung tâm đóng vai trò quan trọng trong việc phát tín hiệu cho hệ thống đèn Hazard hoạt động Thông số kỹ thuật của đèn Hazard Lights cũng cần được chú ý để đảm bảo hiệu quả hoạt động tối ưu.

Hình 4.7: Khối cảnh báo ánh sáng

Hệ thống lựa chọn màn hình LCD để theo dõi hoạt động của bộ xử lý trung tâm Thông số kỹ thuật màn hình Waveshare:

Hình 4.8: Màn hình LCD theo dõi hoạt động của hệ thống.

Thiết kế thuật toán và phần mềm phát hiện ngủ gật

4.3.1 Thiết kế các thuật toán xác định trạng thái buồn ngủ của lái xe Để giảm bớt sai số do nhận dạng từ tập ảnh, giải thuật toán được thiết kế tiến hành nhận dạng trực tiếp khuôn mặt, con ngươi, mí mắt,… kết hợp với những xử lý ảnh bổ sung trong những trường hợp khó khăn do đặc điểm của người lái xe cụ thể (ánh sáng phản chiếu khuôn mặt, màu da, tóc rủ, đội mũ,…) Với sự nhận dạng bổ sung các phần của đầu lái xe, quá trình nhận dạng sẽ nhanh hơn, tránh được những trường hợp xử lý kéo dài vì khó phân biệt hình ảnh

4.3.1.1 Xác định khuôn mặt lái xe

Xác định gốc tọa độ khuôn mặt hoặc tư thế lái xe ở vị trí tiêu chuẩn là cần thiết khi phát hiện mặt trong trạng thái ổn định Trong xử lý ảnh, gốc tọa độ của khung hình sẽ được biểu diễn theo hệ trục tọa độ cụ thể.

Hình 4.9: Gốc tọa độ của frame ảnh trong hệ trục tọa độ

Gốc tọa độ O 0 (x, y) được xác định là vị trí tiêu chuẩn của khuôn mặt khi lái xe Vị trí này sẽ được ghi nhận trong khoảng thời gian 10 giây khi lái xe ngồi vào ghế lái và có sự ổn định tương đối.

Để xác định vị trí khuôn mặt của tài xế, cần so sánh độ lệch của khuôn mặt hiện tại với khuôn mặt ở vị trí chuẩn, sử dụng công thức cụ thể.

Trục Ox biểu diễn cho trục ngang (bên trái, bên phải) ta có:

∆Fx 1 = F Lu x − F0 Lu x; ∆Fx 2 = F Ru x − F0 Ru x Trong đó:

∆Fx 1 và ∆Fx 2 là độ lệch của đầu lái xe so với vị trí tiêu chuẩn

F Lu x là tọa độ x của cạnh trên bên trái của khuôn mặt tại vị trí hiện tại, trong khi F0 Lu x là tọa độ x của cạnh trên bên trái của khuôn mặt ở vị trí tiêu chuẩn.

F Ru x là tọa độ x của cạnh trên bên phải khuôn mặt tại vị trí hiện tại, trong khi F0 Ru x là tọa độ x của cạnh trên bên phải khuôn mặt ở vị trí tiêu chuẩn Khi ∆Fx 1 < width * α và ∆Fx 2 < width * α, điều này cho thấy khuôn mặt đã quay sang bên trái, với α = 0,25 là tỷ lệ độ lệch vị trí của khuôn mặt so với vị trí tiêu chuẩn được xác định qua thực nghiệm (Hình 4.11).

Hình 4.11: Khuôn mặt quay sang trái

Nếu ∆Fx 1 > width * α và ∆Fx 2 > width * α, khuôn mặt sẽ quay sang bên phải, với α = 0,25 là tỷ lệ độ lệch vị trí của khuôn mặt so với vị trí tiêu chuẩn được xác định qua thực nghiệm (Hình 4.12).

Hình 4.12: Khuôn mặt đang quay sang bên phải

Trục Oy biểu diễn cho trục dọc (lên, xuống) nên:

∆Fy 1 = F Ld y − F0 Ld y; ∆Fy 2 = F Rd y − F0 Rd y Trong đó:

∆Fy 1 và ∆Fy 2 là độ lệch của đầu lái xe so với vị trí tiêu chuẩn

F Ld y là tọa độ y của cạnh dưới bên trái của khuôn mặt tại vị trí hiện tại, trong khi F0 Ld y là tọa độ y của cạnh dưới bên trái của khuôn mặt ở vị trí tiêu chuẩn.

F Rd y là tọa độ x của cạnh dưới bên phải của khuôn mặt tại vị trí hiện tại, trong khi F0 Rd y đại diện cho tọa độ x của cạnh dưới bên phải của khuôn mặt ở vị trí tiêu.

Nếu ∆Fy 1 < chiều cao * β và ∆Fy 2 < chiều cao * β, thì khuôn mặt sẽ hướng lên trên và ngửa ra phía sau Ở đây, β = 0,2 là tỷ lệ độ lệch vị của khuôn mặt theo trục Oy so với vị trí chuẩn được xác định từ thực nghiệm (hình 4.13).

Hình 4.13: Khuôn mặt ngửa ra sau

Nếu ∆Fy 1 > chiều cao * β và ∆Fy 2 > chiều cao * β, thì khuôn mặt sẽ hướng cúi xuống dưới hoặc ngửa ra phía sau Ở đây, β = 0,2 là tỷ lệ độ lệch vị trí của khuôn mặt theo trục Oy so với vị trí tiêu chuẩn được xác định từ thực nghiệm (hình 4.14).

Hình 4.14: Khuôn mặt cúi xuống dưới

Khi có nhiều khuôn mặt trong vùng quan sát của camera, thuật toán sẽ tính toán tọa độ và diện tích của các khuôn mặt được phát hiện Sau đó, nó xác định khuôn mặt lớn nhất và thực hiện tìm vùng mắt cũng như xác định con ngươi trên khuôn mặt đó, nhằm loại bỏ nhiễu từ các khuôn mặt ngồi phía sau hoặc bên cạnh người lái xe Diện tích khuôn mặt được tính theo công thức cụ thể.

Hình 4.15: Cách tính diện tích khuôn mặt phát hiện được

Area: diện tích của khuôn mặt phát hiện được

Face.width, Face.height: lần lượt là chiều rộng và chiều cao vùng khuôn mặt phát hiện được

Sau khi xác định được khuôn mặt lớn nhất thì thực hiện thuật toán tìm vùng mắt và con ngươi ở dưới

4.3.1.2 Xác định vùng mắt, mí mắt và con ngươi

Dựa vào vùng mặt và mũi, việc xác định vùng mắt và con ngươi cho phép nhận biết trạng thái nhắm hoặc mở của mắt Điều này rất quan trọng để cảnh báo tình trạng buồn ngủ khi mắt nhắm Đầu tiên, cần xác định vùng mắt, sau đó là con ngươi Vị trí của con ngươi khi mắt mở và nhắm được mô tả chi tiết trong hình 4.16 và 4.17 với các thông số đặc trưng.

Hình 4.16: Vị trí con ngươi trong trường hợp mắt đang mở

Hình 4.17: Vị trí con ngươi trong trường hợp mắt đóng

Dựa vào vùng mặt và vùng mũi phóng lớn thì công thức xác định vùng mắt được tính như sau:

Chiều rộng và cao vùng mắt [42]:

H e ; W e lần lược là chiều cao, chiều rộng vùng mắt

F height ; F width lần lượt là chiều cao, chiều rộng vùng mặt

N height ; N width lần lượt là chiều cao, chiều rộng vùng mũi phóng lớn để xác định vùng mặt

Với α * 0,01 và β * 0,01 là tỉ lệ vùng mắt so với vùng mặt xác định được, tỉ lệ này có được nhờ thực nghiệm

Xác định vị trí con ngươi dựa trên tỉ lệ vùng mắt Nếu con ngươi nằm giữa vùng mí mắt trên và chân mày, mắt đang ở trạng thái nhắm Ngược lại, nếu con ngươi nằm trong vùng mắt chứa con ngươi, mắt đang ở trạng thái mở.

Hình 4.18: Xác định trạng thái mắt

Để đảm bảo độ chính xác cao, khoảng cách từ thiết bị đến vùng mắt nên duy trì trong khoảng 20cm – 30cm Nếu khoảng cách xa hơn, kích thước của con ngươi sẽ giảm, dẫn đến việc không thể phát hiện chính xác con ngươi.

Cài đặt phần mềm vào bộ xử lý trung tâm

− Tiến hành Cài đặt chương trình (Hình 4.23)

Hình 4.23: Cài đặt chương trình

− Xây dựng và nạp code xuống thiết bị (Hình 4.24 và Hình 4.25)

Hình 4.25: Nạp code xuống thiết bị

− Chạy chương trình, trên màn hình máy tính hiển thị (Hình 4.26)

Hình ảnh thực nghiệm và kết quả ghi nhận trong code chương trình trên màn hình máy tính (Hình 4.27):

Hình 4.27: Hình ảnh và Code xác định trạng thái của tài xế

THI CÔNG LẮP RÁP VÀ THỬ NGHIỆM

ĐÁNH GIÁ KẾT QUẢ VÀ KẾT LUẬN

Định dạng
Số trang	85
Dung lượng	2,86 MB