Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3d

TỔNG QUAN

ĐẶT VẤN ĐỀ

Theo công bố của Tổng cục thống kê và UNICEF vào ngày 11-1-2019, hơn 7% dân số Việt Nam từ 2 tuổi trở lên, tương đương khoảng 6,2 triệu người, là người khuyết tật Ngoài ra, có 13% dân số, gần 12 triệu người, sống trong hộ gia đình có người khuyết tật Người khuyết tật được phân thành 6 loại, bao gồm: khuyết tật vận động (chân, tay), khuyết tật nghe, nói (câm, điếc), khuyết tật nhìn (khuyết tật về mắt, khiếm thị), khuyết tật thần kinh, tâm thần (người rối loạn thần kinh, người điên), khuyết tật trí tuệ (bại não, động kinh, tự kỷ), và khuyết tật khác (nạn nhân chất độc da cam, người nhiễm virus HIV).

Cơ sở hạ tầng ở nước ta vẫn chưa đáp ứng đầy đủ nhu cầu của người khuyết tật Mặc dù nhà nước đã hỗ trợ các dụng cụ như chân tay giả, xe lăn và máy trợ thính, nhưng người khuyết tật vận động, nghe và nhìn vẫn gặp khó khăn trong việc di chuyển Đặc biệt, xe lăn là vật dụng thiết yếu cho họ, và để người khuyết tật có thể tự đi lại bằng xe lăn, cần có bộ điều khiển giúp xe lăn di chuyển theo ý muốn của họ.

Numerous studies have focused on controllers for electric wheelchairs, including the article "Gyro-Accelerometer based Control of an Intelligent Wheelchair" by authors Rafia Hassani, Mohamed Boumehraz, Maroua Hamzi, and Zineb Habba, which was published on September 9.

Vào năm 2018, nhóm sinh viên từ Đại học Sư phạm Kỹ thuật Đà Nẵng và Đại học Giao thông Vận tải đã phát triển xe lăn điện điều khiển bằng cử động đầu Tuy nhiên, sản phẩm này vẫn còn tồn tại một số nhược điểm, như thiết bị điều khiển chưa hoàn thiện và việc sử dụng quá nhiều cảm biến siêu âm để phát hiện vật cản, gây ảnh hưởng đến tính thẩm mỹ của xe.

Nhằm phát triển một bộ điều khiển hỗ trợ người khuyết tật di chuyển dễ dàng bằng xe lăn, nhóm nghiên cứu đã tập trung vào việc tận dụng các ưu điểm và khắc phục những nhược điểm từ các nghiên cứu trước đây Đề tài được giới thiệu là: “Nghiên cứu, thiết kế”.

CHƯƠNG 1: TỔNG QUAN và thi công bộ điều khiển xe lăn điện bằng cảm biến gia tốc”, do chính nhóm tiến hành nghiên cứu và thực hiện Với mô hình này, chúng ta có thể phát triển bộ điều khiển biến chiếc xe lăn thành một vật dụng hữu ích giúp cho người khuyết tật có thể đi lại dễ dàng hơn

Xử lý ảnh, mặc dù là một ngành khoa học mới mẻ, đang phát triển nhanh chóng nhờ vào sự tiến bộ của khoa học kĩ thuật trong những thập kỷ qua Lĩnh vực này thu hút sự quan tâm lớn từ các nhà khoa học và thúc đẩy nhiều trung tâm nghiên cứu, ứng dụng Ứng dụng của xử lý ảnh rất đa dạng, bao gồm sản xuất và kiểm tra chất lượng, điều khiển robot, phương tiện tự hành, hỗ trợ người mù, an ninh và giám sát, nhận dạng đối tượng và khuôn mặt, cũng như trong y học và chỉnh sửa video.

Camera 3D hiện đang được ứng dụng rộng rãi trong lĩnh vực khoa học kỹ thuật nhờ khả năng ghi nhận chiều sâu của đối tượng, tương tự như cách mà mắt con người hoạt động.

MỤC TIÊU

Mục tiêu nghiên cứu của đề tài "Thiết kế và thi công mô hình xe lăn tự hành trong nhà" là sử dụng camera 3D Realsense kết hợp với laptop để xử lý tín hiệu, sau đó giao tiếp với Arduino Nano nhằm điều khiển động cơ dưới xe lăn điện.

NỘI DUNG NGHIÊN CỨU

Để tài “Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D” Có những nội dung sau:

 NỘI DUNG 1: Tìm hiểu phương pháp nhận dạng vật mốc

 NỘI DUNG 2: Tổng quan về xử lý ảnh

 NỘI DUNG 3: Tìm hiểu camera 3D và các Module liên quan

 NỘI DUNG 4: Viết chương trình trên Python va Arduino

 NỘI DUNG 5: Hoàn thành mô hình

 NỘI DUNG 6: Đánh giá kết quả thực hiện

GIỚI HẠN

Đề tài "Thiết kế và thi công mô hình xe lăn tự hành trong nhà dùng camera 3D" chỉ phù hợp với những khu vực có địa hình bằng phẳng, không gồ ghề và cần tránh ánh sáng trực tiếp từ mặt trời để giảm thiểu nhiễu từ camera Xe lăn có khả năng phát hiện vật cản trong khoảng cách dưới 1.5m, với yêu cầu độ cao của vật cản phải trên 0.5m so với mặt đất.

BỐ CỤC

Chương này giới thiệu lý do chọn đề tài, mục tiêu nghiên cứu, nội dung nghiên cứu, các giới hạn về thông số và bố cục của đồ án.

 Chương 2: Cơ sở lý thuyết

Chương này cung cấp cái nhìn tổng quan về xử lý ảnh, bao gồm các phương pháp cơ bản để nhận dạng và phân loại hình ảnh, cũng như tính kích thước sản phẩm Ngoài ra, chương cũng giới thiệu về camera 3D và các thư viện liên quan đến công nghệ này.

 Chương 3: Thiết kế và tính toán

Chương này sẽ khám phá chi tiết các thuật toán nhận dạng sản phẩm dựa trên hình dạng, cùng với các thuật toán tính kích thước và quy trình thiết kế mô hình sản phẩm.

 Chương 4: Thi công hệ thống

Nội dung chương này là quá trình thi công cùng với việc chạy chương trình về phân loại sản phẩm cũng như tính kích thước sản phẩm

 Chương 5: Kết quả nhận xét và đánh giá

Nội dung chương này là tổng hợp các kết quả đạt được sau khi thi công mô hình và kết quả đạt được khi phân loại sản phẩm

 Chương 6: Kết luận và hướng phát triển

Kết quả nhận được khi hoàn thiện đề tài, đưa ra các hướng phát triển hoàn thiện.

CƠ SỞ LÝ THUYẾT

TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC THƯ VIỆN LIÊN QUAN

2.1.1 Giới thiệu xử lý ảnh

Xử lý ảnh đã trở thành một lĩnh vực quen thuộc, được áp dụng rộng rãi từ các hoạt động hàng ngày đến việc tối ưu hóa sản xuất Công nghệ này không chỉ mang lại lợi ích cho cá nhân và gia đình mà còn được ứng dụng trong nhiều lĩnh vực quan trọng như Chính trị, Y tế và Giáo dục.

Xử lý tín hiệu là một lĩnh vực quan trọng trong kỹ thuật điện tử và viễn thông, liên quan đến việc nghiên cứu và xử lý tín hiệu kỹ thuật số cũng như analog Nó giải quyết các vấn đề về lưu trữ, bộ lọc và các hoạt động khác trên tín hiệu, bao gồm truyền dẫn âm thanh, giọng nói, hình ảnh và nhiều loại tín hiệu khác.

Trong lĩnh vực xử lý tín hiệu, xử lý ảnh là một phương pháp quan trọng, trong đó đầu vào và đầu ra đều là hình ảnh Xử lý ảnh được chia thành hai loại: xử lý hình ảnh tương tự và xử lý hình ảnh kỹ thuật số Để tạo ra một bức ảnh số, quá trình bắt đầu bằng việc chụp ảnh từ máy ảnh, sử dụng ánh sáng mặt trời làm nguồn năng lượng Các cảm biến thu nhận ánh sáng phản xạ từ đối tượng, tạo ra tín hiệu điện áp liên tục Để chuyển đổi tín hiệu này thành hình ảnh kỹ thuật số, cần thực hiện quá trình lấy mẫu và lượng tử hóa, kết quả cuối cùng là một hình ảnh kỹ thuật số.

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 20

2.1.2 Những kiến thức cơ bản trong xử lý ảnh

Điểm ảnh (pixel) là đơn vị cơ bản tạo nên hình ảnh kỹ thuật số, với mỗi điểm ảnh được xác định bởi tọa độ (x,y) Một bức ảnh kỹ thuật số, được tạo ra từ việc chụp hình hoặc qua các phương pháp đồ họa khác, bao gồm hàng ngàn đến hàng triệu pixel Số lượng pixel trong bức ảnh càng nhiều thì độ chi tiết của nó càng cao, với 1 triệu pixel tương đương 1 megapixel.

B Ảnh số: là tập hợp hữu hạn các điểm ảnh với mức xám phù hợp dùng để mô tả ảnh gần với ảnh thật Số điểm ảnh xác định độ phân giải của ảnh Ảnh có độ phân giải càng cao thì càng thể hiện rõ nét các đặt điểm của tấm hình càng làm cho tấm ảnh trở nên thực và sắc nét hơn Một hình ảnh là một tín hiệu hai chiều Nó được xác định bởi hàm toán học f(x, y) trong đó x và y là hai tọa độ theo chiều ngang và chiều dọc Các giá trị của f(x, y) tại bất kỳ điểm nào là cung cấp các giá trị điểm ảnh (pixel ) tại điểm đó của một hình ảnh

Mức xám của điểm ảnh thể hiện cường độ sáng, được gán giá trị tại từng điểm ảnh, với các mức thông dụng như 16, 32, 64, 128 và 256 Trong đó, mức 256, tương ứng với 1 byte, là mức thường được sử dụng nhất để biểu diễn ảnh xám Ngoài ra, ảnh nhị phân chỉ có hai mức là trắng và đen, sử dụng hai giá trị 0 và 1.

Mỗi điểm ảnh trong ảnh số được biểu diễn bởi 1 bit dữ liệu Ảnh đen trắng chỉ có hai màu cơ bản là đen và trắng, với các mức xám khác nhau tại các điểm ảnh Ngược lại, ảnh màu được tạo ra từ sự kết hợp của ba màu cơ bản, mang đến một thế giới màu sắc phong phú Để mô tả mức màu trong ảnh màu, người ta thường sử dụng 3 byte, cho phép tạo ra khoảng 16,7 triệu màu sắc khác nhau.

Hiện nay, xử lý ảnh không chỉ được giảng dạy tại các trường đại học mà còn được ứng dụng rộng rãi trong thực tế thông qua các phần mềm chỉnh sửa hình ảnh và nhận diện khuôn mặt Sự phát triển này đã tạo ra nhiều cơ hội và thách thức trong lĩnh vực công nghệ.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 21 công cụ để chúng ta lập trình ứng dụng vào thực tế, Như phải kể đến Matlap, hay ngôn ngữ Python…

2.1.3 Phương pháp nhận dạng vật mốc

Dự án “Thiết kế và thi công mô hình xe lăn tự hành trong nhà sử dụng camera 3D” tập trung vào việc phát triển một mô hình xe lăn có khả năng nhận diện các vật cản xung quanh Mô hình này sẽ sử dụng công nghệ camera 3D để thu thập thông tin và đưa ra quyết định điều khiển xe lăn một cách tự động, nhằm nâng cao tính tiện lợi và an toàn cho người sử dụng.

Trong cuộc sống hiện đại, mỗi gia đình đều sở hữu nhiều vật dụng với đa dạng màu sắc và hình dáng Mỗi vật dụng đều mang những đặc điểm riêng biệt, tạo nên sự độc đáo cho không gian sống Chúng ta có thể nhận diện các vật dụng này thông qua những đặc điểm nổi bật của chúng.

Giải thuật SIFT (Scale-Invariant Feature Transform) do David Lowe phát minh và đăng ký bản quyền, là một công cụ quan trọng trong lĩnh vực Computer Vision, giúp nhận dạng và mô tả các điểm đặc trưng trong ảnh Được giới thiệu lần đầu vào năm 1999, SIFT cùng với giải thuật SURF đã được ứng dụng rộng rãi trong nhận dạng đối tượng và mô hình hóa 3D.

TRUYỀN DỮ LIỆU BLUETOOTH

Bluetooth là công nghệ truyền dữ liệu không dây tầm gần, cho phép các thiết bị điện tử như điện thoại, tablet và laptop trao đổi thông tin mà không cần dây cáp Công nghệ này hoạt động trên tần số sóng Radio 2.4GHz, tương tự như Wifi, nhưng không gây xung đột nhờ vào bước sóng ngắn hơn của Bluetooth.

Bluetooth là một chuẩn điện tử yêu cầu các nhà sản xuất tuân thủ các tiêu chuẩn kỹ thuật để đảm bảo sản phẩm của họ có khả năng nhận diện và tương tác với nhau Những yêu cầu này giúp các thiết bị sử dụng công nghệ Bluetooth hoạt động hiệu quả và đồng bộ.

Các ứng dụng nổi bật của Bluetooth gồm:

+ Điều khiển và giao tiếp không dây giữa một điện thoại di động và tai nghe không dây

+ Mạng không dây giữa các máy tính cá nhân trong một không gian hẹp đòi hỏi ít băng thông

+ Giao tiếp không dây với các thiết bị vào ra của máy tính, chẳng hạn như chuột, bàn phím và máy in

Thay thế các kết nối truyền thống bằng dây giữa các thiết bị đo lường, thiết bị định vị, thiết bị y tế, máy quét mã vạch và các thiết bị điều khiển giao thông mang lại hiệu quả cao hơn và giảm thiểu sự phức tạp trong hệ thống.

+ Thay thế các điều khiển dùng tia hồng ngoại

+ Gửi các các tập tin qua lại các thiết bị dùng Bluetooth khác

+ Điều khiển từ xa cho các thiết bị trò chơi điện tử

Kết nối Internet cho máy tính bằng cách sử dụng điện thoại di động thay cho modem là một giải pháp tiện lợi Trong nghiên cứu của tôi, công nghệ Bluetooth được sử dụng để truyền lệnh điều khiển từ bộ phận xử lý đến bộ phận động lực, cho phép xe lăn di chuyển một cách linh hoạt mà không cần dây dẫn phức tạp.

2.2.3 Ưu và nhược điểm của công nghệ Bluetooth Ưu điểm:

 Thay thế hoàn toàn dây nối

 Hoàn toàn không nguy hại đến sức khoẻ con người

Công nghệ mã hóa đảm bảo an toàn cho dữ liệu, ngăn chặn việc nghe trộm hoặc đánh cắp thông tin khi kết nối được thiết lập.

 Các thiết bị có thể kết nối với nhau trong vòng 20m mà không cần trực diện (hiện nay có loại Bluetooth kết nối lên đến 100m)

 Kết nối điện thoại và tai nghe Bluetooth khiến cho việc nghe máy khi lái xe hoặc bận việc dễ dàng

 Tốn ít năng lượng, chờ tốn 0.3mAh, tối đa 30mAh trong chế độ truyền dữ liệu

 Không gây nhiễu các thiết bị không dây khác

 Tính tương thích cao nên được nhiều nhà sản xuất phần cứng và phần mềm hỗ trợ Nhược điểm:

 Tốc độ thấp, khoảng 720kbps tối đa

 Bắt sóng kém khi có vật cản

 Thời gian thiết lập lâu.

NGÔN NGỮ PYTHON

Python là một ngôn ngữ lập trình phổ biến, được sử dụng rộng rãi từ môi trường học đường đến các dự án lớn, phát triển nhiều loại ứng dụng như phần mềm desktop, server và ứng dụng web Nó cũng là ngôn ngữ ưa thích trong lĩnh vực trí tuệ nhân tạo, bao gồm machine learning Ban đầu, Python được phát triển cho nền tảng Unix, nhưng hiện nay đã tương thích với nhiều hệ điều hành như MS-DOS, Mac OS, OS/2, Windows và Linux Python được Guido van Rossum tạo ra vào năm 1990 và phát triển dưới dạng mã nguồn mở, do tổ chức phi lợi nhuận Python Software Foundation quản lý.

Bộ môn Điện tử Công nghiệp - Y sinh 24 ghi nhận sự đóng góp của nhiều cá nhân, trong đó Guido van Rossum là tác giả chính của ngôn ngữ lập trình Python Ông đóng vai trò quan trọng trong việc định hướng phát triển Python Với cú pháp đơn giản và ngắn gọn cùng số lượng từ khóa hạn chế, Python trở thành ngôn ngữ dễ học cho người mới bắt đầu Mã lệnh của Python không phức tạp, cho phép người dùng dễ dàng suy đoán ý nghĩa của từng dòng lệnh Python có nhiều ứng dụng đa dạng trên nhiều nền tảng, cho phép chạy các chương trình viết bằng Python trên các hệ điều hành như Windows, Mac OSX và Linux.

OpenCV (Thư viện Thị giác Máy tính Mã nguồn Mở) là một thư viện miễn phí, lý tưởng cho những ai mới bắt đầu tìm hiểu về học thuật Nó được ứng dụng rộng rãi trong các lĩnh vực như thị giác máy tính, xử lý ảnh và máy học Thư viện hỗ trợ nhiều ngôn ngữ lập trình như C++, C, Python và Java, đồng thời tương thích với các nền tảng như Windows, Linux, Mac OS, iOS và Android Được phát triển bởi Gary Bradsky tại Intel vào năm 1999 và ra mắt vào năm 2000, OpenCV có nhiều ứng dụng trong nhận dạng ảnh, xử lý hình ảnh, phục hồi video và thực tế ảo Trong đề tài này, OpenCV được sử dụng chủ yếu với ngôn ngữ Python để xử lý hình ảnh đầu vào và thực hiện nhận dạng ảnh.

OpenCV là một thư viện mã nguồn mở, cho phép người dùng sử dụng miễn phí các thuật toán và đóng góp thêm các thuật toán mới, từ đó giúp thư viện ngày càng phát triển.

Các tính năng của thư viện OpenCV:

+ Đối với hình ảnh, chúng ta có thể đọc và lưu hay ghi chúng

+ Về Video cũng tương tự như hình ảnh cũng có đọc và ghi

+ Xử lý hình ảnh có thể lọc nhiễu cho ảnh, hay chuyển đổi ảnh

+ Thực hiện nhận dạng đặc điểm của hình dạng trong ảnh

+ Phát hiện các đối tượng xác định được xác định trước như khuôn mặt, mắt, xe trong video hoặc hình ảnh

+ Phân tích video, ước lượng chuyển động của nó, trừ nền ra và theo dõi các đối tượng trong video

2.3.3 Ưu điểm và nhược điểm Python Ưu điểm:

+Là một ngôn ngữ có hình thức sáng sủa, cấu trúc roc ràng, cú pháp ngắn gọn

+Có trên tất cả các nền tảng hệ điều hành từ UNIX, MS – DOS, Mac OS, Windows và Linix và các OS khác thuộc họ Unix

+Tương thích mạnh mẽ với Unix, hardware, thirt-party software với số lượng thư viện khổng lồ (400 triệu người sử dụng)

+Python với tốc độ xử lý cực nhanh, python có thể tạo ra những chương trình từ những script siêu nhỏ tới những phần mềm cực lớn như Biender 3D

+Python không có các thuộc tính như :protected,private hay public, không có vòng lặp do…while và switch….case

+Mặc dù tốc độ xử lý của Python nhanh hơn PHP nhưng không bằng JAVA và C++.

ARDUINO

Arduino là nền tảng mã nguồn mở giúp xây dựng các ứng dụng điện tử tương tác, hoạt động như một máy tính nhỏ cho phép người dùng lập trình và thực hiện dự án mà không cần công cụ chuyên biệt để nạp code.

Arduino tương tác với thế giới thông qua các cảm biến điện tử, đèn, và động cơ

+ Phần cứng gồm một board mạch mã nguồn mở (thường gọi là vi điều khiển): có thể lập trình được

+ Các phần mềm hỗ trợ phát triển tích hợp IDE (Integrated Development

Environment) dùng để soạn thảo, biên dịch code và nạp chương cho board

Arduino có khả năng đọc dữ liệu từ các thiết bị cảm biến và điều khiển động cơ, vì vậy nó thường được sử dụng làm bộ xử lý trung tâm cho nhiều loại robot khác nhau.

+ Game tương tác: Arduino có thể được sử dụng để tương tác với Joystick, màn hình,…

+ Máy bay không người lái

+ Điều khiển đèn tín hiệu giao thông, làm hiệu ứng đèn Led nhấp nháy trên các biển quảng cáo…

+ Điều khiển các thiết bị cảm biến ánh sáng, âm thanh

+ Làm đàn bằng ánh sáng

Arduino còn rất nhiều ứng dụng hữu ích khác tùy vào sự sáng tạo của người dùng

The Arduino Integrated Development Environment (IDE) is a text editor designed for writing code to upload to Arduino boards Programs created using the Arduino IDE are referred to as "sketches," and these sketches are saved in the ino file format.

GIỚI THIỆU PHẦN CỨNG

A Giới thiệu về camera Intel RealSense D435

Camera Intel RealSense D435 là sản phẩm của Microsoft, được phát triển dựa trên công nghệ của PrimeSense Thiết bị này hoạt động như một phụ kiện cho Xbox 360, cho phép người dùng tương tác thông qua cử chỉ, mang đến trải nghiệm thú vị cho game thủ Intel RealSense D435 có khả năng nhận diện cử chỉ con người nhờ vào hai tính năng chính: cung cấp thông tin về độ sâu ảnh (depth map) và phát hiện, theo dõi đặc điểm cơ thể người (body skeleton tracking).

Sản phẩm Intel RealSense D435 không chỉ phục vụ cho mục đích chơi game mà còn được ứng dụng trong nghiên cứu xử lý ảnh 3D, nhận diện cử chỉ và theo dõi cơ thể Thành công của Intel RealSense D435 chủ yếu đến từ mức giá hợp lý khoảng 140$, mang lại khả năng cung cấp thông tin 3D với chất lượng chấp nhận được.

B Cấu tạo camera Intel RealSense D435

Hình 4: Cấu tạo camera Intel RealSense D435 3D

+ 2 Camera RGB: Là một camera có 3 kênh dữ liệu có độ phân giải 1280×960 Camera này có khả năng chụp lại ảnh ảnh màu

+ Cảm biến hồng ngoại: Độ sâu thu về nhờ cảm biến IR projector từ đó tính toán ra bản đồ độ sâu

C Nguyên lý hoạt động camera Intel RealSense D435

Camera Intel RealSense D435 3D sử dụng cặp cảm biến camera RGB bên trái và phải để tạo ra giá trị độ sâu cho hình ảnh RGB Sự kết hợp với cảm biến hồng ngoại giúp nâng cao độ chính xác của ảnh độ sâu.

Bộ môn Điện tử Công nghiệp - Y sinh 29 sử dụng công nghệ camera với độ chính xác cao, kết hợp ảnh độ sâu và cảm biến hồng ngoại, giúp xác định khoảng cách của các vật thể phía trước camera một cách hiệu quả.

D Dữ liệu thu được từ camera Intel RealSense D435

Camera Intel RealSense D435 sử dụng cảm biến được điều khiển và xử lý dữ liệu bởi chip Intel RealSense Vision Processor D4 với tần số 24 MHz Dữ liệu sau khi được xử lý sẽ được lưu trữ vào bộ nhớ EEPROM và có thể được truyền vào máy tính thông qua cổng USB 3.0.

Các tín hiệu thu thập bao gồm dữ liệu về độ sâu và màu sắc, trong đó dữ liệu về độ sâu đóng vai trò quan trọng với nhiều ứng dụng Điều này bởi vì nó giúp nhận dạng các vật thể dễ dàng hơn so với xử lý ảnh thông thường, vốn dựa vào sự tương đồng về màu sắc Tuy nhiên, các vật thể có màu sắc tương tự có thể không phải là cùng một đối tượng, hoặc các phần của cùng một vật thể có thể có màu sắc khác nhau, điều này gây khó khăn trong quá trình nhận dạng.

Hình 6: Sơ đồ phần cứng camera Intel RealSense D435 3D

Thông tin về độ sâu giúp phân biệt các vật thể dựa trên vị trí của chúng Những điểm gần nhau thường thuộc về cùng một đối tượng mà không cần phân biệt màu sắc Sự thay đổi trong hình ảnh trên bản đồ độ sâu chỉ xảy ra khi độ sâu giảm đột ngột, chẳng hạn như ở các cạnh hoặc một số phần nhỏ của đối tượng.

Module Bluetooth HC06 với thiết kế nhỏ gọn và tiện lợi, chỉ cần kết nối với vi điều khiển qua 2 chân (Tx và Rx), giúp bạn dễ dàng thực hiện các dự án truyền dẫn và điều khiển từ xa Bằng cách sử dụng thiết bị ngoại vi như điện thoại thông minh hoặc laptop, bạn có thể dò tìm tín hiệu Bluetooth mà HC06 phát ra Sau khi kết nối thành công, bạn có thể gửi tín hiệu từ vi điều khiển đến các thiết bị ngoại vi và ngược lại.

Hình 7: Module HC06 Thông số kĩ thuật:

+ Điện áp hoạt động: 3V3-5V DC

+ Dòng điện tiêu thụ: 20-30mA

+ Sử dụng chip: CSR Bluetooth V2.0

+Hỗ trợ tốc độ baud: 200，2400，4800，9600, 19200，38400，57600，115200 + Kích thước: 28x15x2,35mm

+ Giao tiếp: UART (TX,RX)

+ Bất đồng bộ: 2.1Mbps(Max)/160kbps

+ Bảo mật: mã hóa và chứng thực

Arduino Nano là một bo mạch vi điều khiển nhỏ gọn, dễ sử dụng và có khả năng lập trình trực tiếp từ máy tính giống như Arduino Uno R3 Với kích thước chỉ bằng đồng 2 nghìn gấp lại hai lần (1.85cm x 4.5cm), Arduino Nano rất tiện lợi cho các dự án cần tính di động cao.

4.3cm), rất thích hợp cho các newbie, vì giá rẻ hơn Arduino Uno nhưng dùng được tất cả các thư việt của mạch này Hôm nay, tớ viết bài này nhằm mục đích giới thiệu về mạch Arduino Nano và các thông số kĩ thuật, cùng với đó là những gợi ý ứng dụng khi bắt đầu với mạch này

Vi điều khiển ATmega328 (họ 8bit) Điện áp hoạt động 5V – DC

Tần số hoạt động 16 MHz

Số chân Digital I/O 14 (6 chân PWM)

Số chân Analog 8 (độ phân giải 10bit)

Dòng tối đa trên mỗi chân I/O 40 mA

Kích thước 1.85cm x 4.3cm

2.5.4 Module Điều Khiển Động Cơ BTS7960

Driver sử dụng 2 chip BTS7960 bao gồm mạch điều khiển cầu H và bảo vệ quá dòng, quá áp, quá nhiệt, ngắn mạch

Hình 9: Module điều khiển động cơ BTS7960 Điện áp cung cấp: 6 ~ 27 VDC

Tự động ngắt khi áp dưới 5.5V, và mở lại sau khi áp lớn hơn 5.5V

RPWM: chân đảo chiều hoặc cấp PWM nửa cầu phải, Mức tích cực cao

LPWM: chân đảo chiều hoặc cấp PWM nửa cầu trái, Mức tích cực cao

R_EN: 0 Disable nửa cầu phải, 1 Enable nửa cầu phải

L_EN: 0 Disable nửa cầu trái, 1 Enable nửa cầu trái.

TÍNH TOÁN VÀ THIẾT KẾ

GIỚI THIỆU

Ngày nay, thiết bị điện tử ngày càng tự động hóa và thông minh, giúp chúng giao tiếp và hoạt động theo ý muốn của con người Để đạt được điều này, các thiết bị cảm biến và thuật toán hỗ trợ đã được phát triển Bài viết này giới thiệu về việc "Thiết kế và thi công mô hình xe lăn tự hành trong nhà sử dụng camera 3D", trong đó mô hình bao gồm bộ điều khiển trung tâm là laptop, khối thu tín hiệu hình ảnh từ camera 3D, khối truyền tín hiệu và khối điều khiển động lực.

THIẾT KẾ HỆ THỐNG PHẦN CỨNG

Sơ đồ hệ thống bao gồm một bộ điều khiển trung tâm là laptop, một khối thu tín hiệu hình ảnh từ camera Intel RealSense D435, và kết quả được hiển thị trên màn hình máy tính cùng với bộ phận điều khiển.

+ Khối xử lý trung tâm: là bộ xử lý chính, nhận dữ liệu từ khối thu tín hiệu camera, sau đó xử lý và phân tích nhận dạng

Khối thu tín hiệu hình ảnh có nhiệm vụ chuyển đổi tín hiệu hình ảnh từ thực tế thành tín hiệu điện và truyền dữ liệu đến khối xử lý trung tâm Trong bài viết này, camera Intel RealSense D435 được sử dụng làm thiết bị thu thập tín hiệu hình ảnh.

+ Khối hiển thị: hiển thị kết quả được nhận từ khối xử lý trung tâm Sử dụng màn hình của máy tính để hiển thị kết quả

+ Khối giao tiếp: module HC06

+ Điều khiển động lực : Module Điều Khiển Động BTS7960

+ Khối nguồn: cung cấp nguồn cho toàn bộ hệ thống

CHƯƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ

Khối thu tín hiệu đóng vai trò quan trọng trong mô hình, với nhiệm vụ thu thập dữ liệu từ thực tế và chuyển giao thông tin đó đến khối xử lý trung tâm.

Để đảm bảo chất lượng hình ảnh tốt cho việc xử lý ảnh dễ dàng, việc sử dụng camera có độ phân giải cao và khả năng ghi nhận chiều sâu đối tượng là rất quan trọng Camera Intel RealSense D435 được chọn làm khối thu tín hiệu hình ảnh, vì nó tương tự như cách mà mắt con người hoạt động.

Là thiết bị có ảnh hưởng lớn đến chất lượng ảnh cùng với việc nhận dạng Nên

“camera Intel RealSense D435” được chọn Camera có độ phân giải cao, cùng với kích thước phù hợp cho các hướng phát triển sau này

Các tính năng và đặc điểm của camera:

1 Intel RealSense D435 được điều khiển đồng thời thu thập và xử lý dữ liệu thông qua chip PS1080 có tần số 12MHz

2 Sử dụng trong HĐH Windows, Linux, Android, Mac

3.2.2 Khối xử lý và khối hiển thị

Do yêu cầu xử lý ảnh đòi hỏi nhiều tài nguyên và tốc độ cao, nhóm đã quyết định không sử dụng vi điều khiển thông thường mà thay vào đó sử dụng laptop làm khối xử lý trung tâm.

Máy tính của nhóm sở hữu CPU core i5 với tốc độ xử lý đạt 3.4 GHz, rất phù hợp cho việc sử dụng trong mô hình Nó hỗ trợ tốt cho việc kết nối các thiết bị ngoại vi và module từ bên ngoài, đồng thời có khả năng hiển thị kết quả nhận được từ khối xử lý trung tâm.

Sử dụng màn hình máy tính để hiển thị kết quả

3.2.4 Khối giao tiếp và điều khiển

Sử dụng module HC06 giúp truyền dữ liệu không dây, làm cho mô hình trở nên gọn gàng hơn Với điện áp hoạt động là 5V, cần sử dụng module chuyển đổi điện áp để đảm bảo phù hợp với tải.

❖ Module Điều Khiển Động BTS7960

Thông số kỹ thuật động cơ xe lăn:

Hình 13: Hình ảnh động cơ xe lăn Bảng 1: Thông số cơ bản động cơ Điện áp sử dụng 24VDC

Tốc độ định mức 83 vòng/phút

Mạch điều khiển động cơ BTS7960 sử dụng điện áp 24VDC và hỗ trợ dòng tải lên đến 43A, cho phép vi điều khiển Arduino điều khiển 2 động cơ quay thuận và nghịch Nhờ đó, xe có thể di chuyển dễ dàng về phía trước và phía sau theo tốc độ mong muốn.

Nguồn Acquy 24VDC cung cấp năng lượng cho động cơ thông qua mạch giảm áp, từ đó cấp điện cho cầu H BTS7960, vi điều khiển, cảm biến và module Bluetooth Hai chân L_EN và R_EN được kết nối chung để kích hoạt cầu H, trong khi hai chân RPWM và LPWM điều khiển tốc độ động cơ bằng tín hiệu PWM.

Hình 14: Sơ đồ nguyên lý mạch điều khiển động cơ 3.2.5 Khối nguồn

 Thông số kỹ thuật bình Acquy sử dụng cho xe lăn

Hình 15: Acquy của xe lăn điện

Xe lăn điện được trang bị acquy có dung lượng 12AH và điện áp đầu ra 24VDC, sử dụng bộ nguồn sạc với đầu vào 24VDC Thời gian sử dụng của acquy này phụ thuộc vào công suất tải, bao gồm hai động cơ 250W Thời gian sử dụng ước lượng được tính theo công thức t = (A.V η)/P.

- t: là thời gian sử dụng điện từ acquy (giờ)

- η: Hệ số sử dụng acquy Thông thường η=0,7

 Thực nghiệm cho thấy khi người trên xe có khối lượng trung bình khoảng 65kg với tốc độ đã lập trình sẵn thì đo được như sau

Bảng 2: Thông số đo được Điện áp Dòng điện Động cơ 7.5V 4A

Lúc này thời gian ước tính khi sử dụng xe lăn liên tục không nghỉ là t = 12 Ah x 24 V x 0.7

Nguồn ra của acquy được sử dụng để điều khiển hai động cơ thông qua mạch điều khiển BTS7960 Đồng thời, nguồn 24VDC được cấp vào mạch giảm áp LM2596 3A để tạo ra điện áp 5V, cung cấp nguồn cho các module khác trong bộ điều khiển động cơ.

Sơ đồ nguyên lý khối nguồn acquy 24VDC:

Hình 16: Sơ đồ nguyên lý khối nguồn acquy

CÁC TÍNH TOÁN TRONG XỬ LÝ ẢNH ĐẦU VÀO

Phương pháp nhận dạng dựa trên lý thuyết và cấu trúc phần cứng của camera Intel RealSense D435 bao gồm hai bài toán xử lý ảnh: nhận diện vật mốc thông qua ảnh màu và xác định khoảng cách của camera trong không gian, được cung cấp dưới dạng mảng.

3.3.1 Nhận dạng vật mốc bằng ảnh màu của camera

Nhận dạng ảnh là giai đoạn quan trọng trong hệ thống xử lý ảnh, đóng vai trò phân loại các đối tượng dựa trên mô hình cụ thể Quá trình này bắt đầu bằng việc phân tích ảnh chụp thành các đặc trưng riêng biệt, từ đó tiến hành nhận dạng Mô hình của tôi nhận diện các vật mốc và so sánh hình ảnh từ camera với ảnh vật mốc để đưa ra đánh giá Điểm nổi bật của SIFT (Scale-Invariant Feature Transform) là khả năng cung cấp kết quả ổn định với các tỷ lệ ảnh khác nhau, đồng thời cũng có tính chất rotation-invariant, giúp tăng cường độ chính xác trong nhận dạng.

❖ Các bước của giải thuật

1 Phát hiện cực đoan không gian tỷ lệ (Scale-space extrema detection)

Trong lĩnh vực computer vision, việc xác định kích cỡ cửa sổ để quét ảnh nhằm tìm kiếm các đặc tính là rất quan trọng Một góc nhỏ có thể được nhận diện dễ dàng với cửa sổ phù hợp, nhưng khi góc lớn hơn, việc này trở nên khó khăn hơn Để giải quyết vấn đề này, kỹ thuật scale-space filtering được áp dụng SIFT sử dụng phương pháp DoG (Difference of Gaussians) để tính toán trên từng pixel bằng cách lấy hiệu của Gaussian Blur với hai giá trị sigma khác nhau Sau khi tính toán DoG cho toàn bộ ảnh, mỗi pixel sẽ được so sánh với 8 pixel lân cận và 9 pixel tương ứng ở các tỉ lệ trên và dưới Nếu pixel đó là cực trị địa phương (local extrema), nó sẽ được xác định là một keypoint tiềm năng ở tỉ lệ đó.

2 Nội địa hóa điểm (Keypoint localization)

Sau khi thu thập tất cả các điểm tiềm năng từ ảnh, bước tiếp theo là lọc để có kết quả chính xác hơn SIFT sử dụng chuỗi Taylor mở rộng để xác định vị trí của các cực trị một cách chính xác hơn, và nếu cường độ của cực trị nhỏ hơn giá trị ngưỡng (0.03), điểm đó sẽ bị loại bỏ Ngoài ra, DoG rất nhạy cảm với các đường viền, vì vậy để loại bỏ các keypoint nằm trên đường viền, SIFT áp dụng khái niệm tương tự như bộ phát hiện góc Harris, sử dụng ma trận Hessian 2x2 để tính toán các đường cong chính Khi giá trị riêng lớn hơn một ngưỡng nhất định, keypoint đó sẽ bị loại.

Như trên, SIFT có thể loại được keypoints có tương phản thấp, edge keypoint và giữ lại những keypoint hợp lý hơn

3 Phân công định hướng (Orientation assignment)

Each keypoint will be assigned one or more orientations based on the image gradient Subsequent calculations on the image will correspond to each orientation, scale, and the position of each feature.

4 Mô tả quan trọng (Keypoint descriptor)

SIFT tính toán Keypoint descriptor bằng cách sử dụng khu vực 16x16 xung quanh keypoint, chia thành 16 sub-blocks kích thước 4x4 Mỗi sub-block sẽ tạo ra 8 bin orientation, tổng cộng tạo ra 128 bin, hình thành một vector biểu diễn cho keypoint descriptor.

Để tìm ra các cặp keypoint descriptor có khoảng cách Euclid nhỏ nhất giữa hai bức ảnh, FLANN hỗ trợ chúng ta xác định những cặp keypoint descriptor tương đồng nhất Tuy nhiên, để đảm bảo chất lượng, chúng ta cần lọc ra những cặp không đạt yêu cầu, chỉ giữ lại những cặp tốt Việc này được thực hiện bằng cách giữ lại các cặp có khoảng cách Euclid nhỏ nhất trong số nhiều cặp mà FLANN cung cấp.

Dùng các điểm bất biến với độ sáng, xoay, thu phóng làm đặc trưng so sánh

Tốc độ trích xuất key point và chi phí đối sánh còn lớn

Trong phần phương pháp nhận dạng vật mốc, tôi đã áp dụng thuật toán SIFT để xác định các điểm đặc biệt (keypoint) của hình ảnh vật mốc mà xe lăn đã được lập trình trước Với một vật mốc đã biết, chúng ta sẽ thu được một mảng các keypoint, ký hiệu là A.

Khi xe lăn hoạt động, quá trình thu thập ảnh bắt đầu và mỗi bức ảnh được nhận sẽ được xử lý qua thuật toán SIFT, từ đó tạo ra một mảng các điểm đặc trưng (keypoint) B.

Sau khi xác định mảng B (keypoint), chúng ta tiến hành so sánh với mảng A Nếu một phần tử trong mảng A trùng giá trị với phần tử trong mảng B, chúng ta sẽ tạo ra tập hợp C chứa các phần tử có keypoint giống nhau, từ đó giúp xác minh vật mốc một cách chính xác.

Biểu diễn dưới dạng toán học: A ∩ B = C (3)

3.3.2 Tính khoảng cách dựa vào ảnh độ sau nhận được từ camera

Với ảnh độ sâu nhận được từ camera ta có số chiều MxN:

+ M là số hàng trong ma trận ảnh độ sâu

+ N là số cột trong ma trận ảnh độ sâu

Các giá trị trong mảng độ sâu MxN đại diện cho khoảng cách từ camera đến các điểm tương ứng trong ảnh màu trên trục Oz Từ thông tin này, chúng ta có thể tính toán khả năng tránh vật cản của xe.

Ta tiến hành tìm Min mỗi cột trong mảng nhận được

Zi_min =∑ 𝑁−1 0 min(Z(i)) i: thứ tự các cột trong ma trận Z (4)

Khi có mảng 1 chiều chứa các giá trị tối thiểu của các cột trong mảng độ sâu, chúng ta có thể xác định xem có vật cản phía trước camera hay không, cũng như khoảng cách từ camera đến vật cản đó.

Tiếp theo, nếu gặp vật cản thì tìm Z_min là giá trị nhỏ nhất trong mảng Zi_min

Z_min = min(∑ 𝑁−1 0 Zi_min(j)) j: thứ tự các phần tử trong Zi_min (5)

Với giá trị Z_min, chúng ta phân vùng mảng Zi_min và xác định hướng đi cho xe lăn bằng cách tìm bề rộng lớn nhất trong mảng có giá trị vượt quá Z_min.

Hình 17: Giao giữa 2 tập hợp keypoint

THI CÔNG HỆ THỐNG

GIỚI THIỆU

Ở phần này thực thi trên laptop quá trình lấy các hình mẫu có sẵn sau đó xử lý phân tích và nhận dạng sản phẩm.

THI CÔNG HỆ THỐNG

4.2.1 Các linh kiện và model cần thiết cho mô hình

Mô hình này không đi kèm với sơ đồ mạch in do linh kiện và model đã được nhà sản xuất chuẩn bị sẵn, nhưng có thể tìm thấy sơ đồ kết nối của mô hình.

Bảng 3: Danh sách các model và linh kiện liên quan

STT Tên Giá trị Chú thích

1 Laptop core i5 Tốc độ 3.4GHz Có vỏ bảo vệ

D435 Độ phân giải và khung hình:

Có dây kết nối với cổng

5 Module Điều Khiển Động BTS7960

4.2.2 Kết nối, lắp ráp và kiểm tra mô hình

Mô hình bao gồm bộ điều khiển trung tâm là vi xử lý (CPU) của laptop, cùng với khối thu tín hiệu hình ảnh từ bên ngoài thông qua Camera 3D được kết nối qua cổng USB.

CHƯƠNG 4: THI CÔNG HỆ THỐNG

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH 44 laptop, sau đó kết quả hiển thị trên màn hình laptop, cùng với bộ phận để người giao tiếp và điều khiển

Kết nối Camera với Laptop

Camera được kết nối với cổng USB của laptop

Sau khi kết nối camera với laptop qua cổng USB, kiểm tra xem laptop đã nhận tín hiệu từ camera chưa Tiếp theo, mở IDLE và chạy chương trình để kiểm tra đầu vào của camera, nhằm xác định xem có nhận được tín hiệu đầu vào hay không.

THI CÔNG MÔ HÌNH

4.3.1 Kết nối bộ phận điều khiển động lực

Hình 18: Bộ phận điều khiển Hình 19: Bộ phận điều khiển hoàn chỉnh

Dựa vào sơ đồ nguyên lý, nhóm đã thi công lắp ráp các module thành hộp điều khiển động cơ bằng hộp nhựa PVC kích thước 160x90x57mm, vừa rẻ vừa chắc chắn Các module được cố định bằng vít và kết nối dây tín hiệu cùng nguồn điện Hộp điều khiển chứa đầy đủ các module điều khiển động cơ, bluetooth và vi điều khiển, được cố định chắc chắn Ngoài ra, jack cắm nguồn đầu vào và jack cắm động cơ được đưa ra ngoài để thuận tiện cho việc kết nối.

4.3.2 Kết nối bộ phận điều khiển động lực với nguồn

Khối nguồn và bộ điều khiển động lực được kết nối qua dây dẫn điện, được lắp đặt ở phía sau xe lăn nhằm tạo sự thuận tiện và đảm bảo tính thẩm mỹ Dây dẫn được bọc cẩn thận, giúp tăng tính thực tế cho mô hình xe lăn.

Hình 20: Bộ phận điều khiển với nguồn

4.3.3 Kết nối bộ phận camera với laptop

Camera được lắp đặt ở phía trước xe lăn, lệch tâm khoảng 0.1 m, nhằm đảm bảo quá trình xử lý nhanh chóng và hiệu quả Với tầm quan sát rộng, camera giúp xe lăn hoạt động chính xác mà không gặp phải va chạm Vị trí đặt camera cũng mang lại sự thoải mái cho người ngồi, không làm cản trở tầm nhìn Đây là mô hình thử nghiệm, vì vậy việc đặt laptop trên mô hình là điều không thể tránh khỏi Để đảm bảo tín hiệu ổn định, khoảng cách cáp truyền tín hiệu được giữ ngắn nhất có thể.

Hình 21: Bộ phận camera và laptop

Sau khi kết nối tất cả các bộ phận, chúng ta đã tạo ra một mô hình hoàn chỉnh Mô hình này có thể được chạy trong môi trường có đủ điều kiện ánh sáng để đánh giá chất lượng của nó.

Hình 22: mô hình hoàn chỉnh

LẬP TRÌNH HỆ THỐNG

A Lưu đồ giải thuật chính

Hình 23: Lưu đồ giải thuật chính

Khối thu thập ảnh RGB và ảnh depth có nhiệm vụ lấy dữ liệu đầu vào, bao gồm ảnh RGB và ảnh depth Cả hai loại ảnh này đều có kích thước 480x640 và tần suất 30 fps.

Ảnh RGB là viết tắt của cơ chế hệ màu cộng, phổ biến trong việc hiển thị màu sắc trên TV, màn hình máy tính và các thiết bị điện tử khác như camera kỹ thuật số Hệ màu này sử dụng ba màu cơ bản: đỏ, xanh lá và xanh dương.

OpenCV xử lý ảnh và video ở định dạng 8 bit, số nguyên không dấu với định dạng BGR Hình ảnh được chụp có thể được coi là 3 ma trận tương ứng với ba màu cơ bản: xanh dương, xanh lá và đỏ (BGR), trong đó các giá trị nguyên nằm trong khoảng từ 0 đến 255 Hình ảnh dưới đây minh họa cách biểu diễn màu sắc bằng 3 ma trận.

Hình 24: Ma trận không gian màu RGB cho thấy rằng ảnh độ sâu cũng có một ma trận, nhưng mỗi pixel trong ma trận này đại diện cho khoảng cách từ camera đến các đối tượng trong không gian phía trước Khác với ảnh RGB, ma trận ảnh độ sâu sử dụng kiểu dữ liệu thực.

Chức năng tìm Z min theo cột ảnh depth giúp xác định khoảng cách phía trước của camera bằng cách phân tích từng cột trong ảnh depth Qua đó, hệ thống có thể nhận diện sự hiện diện của vật thể ở khu vực phía trước camera.

Có vật cản: Khối này được so sánh với dữ liệu từ kết quả khoảng cách, cho phép chúng ta xác định sự hiện diện của vật cản trước khi tiến tới khối xử lý tiếp theo.

Khối tìm đặc điểm của ảnh RGB có nhiệm vụ xác định các đặc trưng của hình ảnh được thu thập từ camera Các đặc trưng này sẽ được liệt kê thành danh sách để phục vụ cho các bước xử lý tiếp theo.

Tránh vật cản: Khối có chức năng tính toán gốc di chuyển cho xe lăn để có thể tránh được vật cản trước mặt xe lăn

Khối nhận dạng vật mốc giúp xe lăn nhận diện các vật thể bằng cách so sánh các đặc trưng của ảnh RGB với ảnh mốc đã được thu thập trước đó Qua quá trình này, hệ thống xác định xem có vật mốc nào phía trước hay không và từ đó đưa ra hai hướng giải quyết cho tình huống.

Xác định khoảng cách dừng camera: ở khối này giúp biết được khoảng cách từ xe lăn tới vật mốc

Truyền dữ liệu cho xe di chuyển là bước cuối cùng trong quá trình xử lý thông tin Sau khi xử lý các dữ liệu đầu vào, xe sẽ được điều khiển di chuyển dựa trên những thông tin đã được truyền tải.

B Lưu đồ giải thuật con

 Tìm Z min theo cột ảnh depth

Hình 25: Truyền dữ liệu cho xe di chuyển

Tìm giá trị nhỏ nhất của từng cột trong ảnh depth để xác định Zi min Sau đó, xác định giá trị nhỏ nhất trong tập hợp các Zi min đã nhận được Cuối cùng, trả về số thứ tự cột để cung cấp dữ liệu cho xe lăn di chuyển.

 Xác định khoảng cách dừng camera

Hình 26: Xác định khoảng cách dừng camera

Xác định khoảng cách tới tâm vật mốc: tìm giá trị khoảng cách tâm của vật mốc tới camera

Khoảng cách lớn hơn 1.5m: nếu khoảng cách vừa xác định được lớn hơn

1.5m thì xe lăn di chuyển tới vật mốc, còn nếu ngược lại thì xe lăn dừng trước vật mốc

Trả về số thứ tự cột ảnh RGB chứa tâm: trả về giá trị mà xe lăn cần điều hướng

 Truyền dữ liệu cho xe di chuyển

Hình 27: Truyền dữ liệu cho xe di chuyển

Hc06 có hoạt động: kiểm tra thiết bị phần cứng của xe lăn có sẵn sàng cho việc truyền dữ liệu

Gửi số thứ tự cột Z min: gửi dữ liệu cho xe điều hướng di chuyển tránh vật cản hoặc theo vật mốc

4.4.2 Lập trình ngôn ngữ Python với Sublime Text 3

Sublime Text 3 (ST3) is the latest version of a highly popular text editor widely used by web developers, coders, and programmers It is available for Mac, Windows, and Linux, and can be downloaded and used for free.

Tạo, Lưu, Sửa một file trong Sublime Text 3 Để tạo file mới thì trên thanh công cụ bạn chọn:

File > New File hoặc Phím tắt: Ctrl + N (Command + N trên Mac)

Cách lưu file trong Sublime Text thì trên thanh công cụ bạn chọn:

File > Save hoặc File > Save as hoặc phím tắt Ctrl + S ( Command + S )

Cách mở một file để chỉnh sửa trong Sublime Text

File > Open hoặc phím tắt Ctrl + O ( Command + O ) Chọn đến thư mục chứa file bạn cần chỉnh sửa

Hình 28: Tạo file mới Sublime Text 3

4.4.2 Lập trình Arduino với Arduino IDE

Cấu hình phiên làm việc cho Arduino IDE

Vào menu Tools -> Board -> chọn Arduino nano

Vào menu Tools -> Serial Port -> chọn cổng Arduino đang kết nối với máy tính Ở máy của tôi là COM3.

VIẾT TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC

4.5.1 Viết tài liệu hướng dẫn sử dụng

Bước 1: Lắp camera vào hệ thống và kiểm tra hệ thống đã nhận camera chưa

Sau khi cấp nguồn cho hệ thống, đợi hệ thống khởi động xong ta truy cập vào IDLE để thực thi chương trình test camera

Bước 2: Kiểm tra cài đặt python và cài đặt những thư viện liên quan cho python

Mở cửa sổ command line và gõ lệnh "python" để kiểm tra xem hệ thống đã cài đặt thành công Python hay chưa Một trong những ưu điểm nổi bật của Python là khả năng tái sử dụng nhiều thư viện và package, giúp tiết kiệm thời gian và công sức lập trình.

Mỗi module và package trong lập trình đều được thiết kế để thực hiện những nhiệm vụ chuyên biệt Để cài đặt một package, bạn chỉ cần sử dụng lệnh pip install Việc cài đặt các package trở nên đơn giản và nhanh chóng, không cần tải về phức tạp, chỉ cần một dòng lệnh là đủ.

Để cài đặt các thư viện như OpenCV, Numpy và Scipy cho hệ thống một cách dễ dàng, bạn chỉ cần mở command line và nhập các lệnh pip theo mẫu.

Kiểm tra xem tất cả thư viện ta cần cho chương trình đều đã sẵn sàng chưa:

Hình 30: Kiểm tra thư viện

Bước 3: Mở Sublime Text 3 và chạy chương trình nhận dạng sản phẩm và tính kích thước

Bước 4: Quan sát kết quả thu được khi xe lăn di chuyển khung hình camera ở những vị trí khác nhau

Khởi động hệ thống và chạy chương trình

Quá trình kết nối các thiết bị ngoại vi, như camera 3D, với laptop bắt đầu khi hệ thống nhận diện thiết bị Sau đó, người dùng mở Sublime Text 3 và truy cập file code.py để thực hiện chạy chương trình.

Quan sát kết quả và so với thực tế

Kết quả được hiển thị ngay trên lap với thời gian ngắn và khả năng hoạt động của xe lăn trong thực tế.

KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ

CAMERA 3D

Trong quá trình thực hiện đề tài, nhóm đã sử dụng Camera 3D để thu thập ảnh đầu vào và ảnh độ sâu, đồng thời kết nối với laptop nhằm xây dựng mô hình hiệu quả.

Camera 3D có độ phân giải cao và giá thành hợp lý, mang lại chất lượng ảnh và video tốt cho việc xử lý hình ảnh Tuy nhiên, độ chính xác trong việc đo khoảng cách từ camera vẫn chưa đạt mức tuyệt đối, chịu ảnh hưởng bởi các yếu tố bên ngoài như tốc độ xử lý của laptop và điều kiện ánh sáng.

XÁC ĐỊNH VẬT CẢN

Khi vật cản xuất hiện trong tầm nhìn của camera, thiết bị sẽ gửi tín hiệu cho xe lăn để di chuyển theo hướng tránh vật cản, dựa vào việc tính toán dữ liệu từ ảnh độ sâu Tuy nhiên, hiệu quả của quá trình này phụ thuộc nhiều vào điều kiện môi trường, vì cảm biến hồng ngoại của camera có thể bị ảnh hưởng bởi ánh sáng kém.

CHƯƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ

Hình 32: Kết quả xác định vật cản của camera

Dưới đây là bảng thống kê thực tế về màu sắc của sản phẩm trong điều kiện ánh sáng đầy đủ, với sản phẩm màu đỏ và các màu khác như xanh và vàng.

Sau khi kiểm tra thực tế, khả năng hoạt động của thiết bị như sau:

Thời gian đáp ứng rất nhanh trong điều kiện lý tưởng khi làm khảo sát

Camera nhận diện được gần như 100% các vật cản ở trước.

Bảng 4: Thống kê kết quả xác định khoảng cách tối đa camera nhìn thấy vật cản

STT camera cách đất khoảng cách lớn nhất phát hiện

NHẬN DẠNG VẬT MỐC

Nhận dạng vật mốc là một bước quan trọng trong hệ thống, giúp xe lăn di chuyển đúng hướng theo yêu cầu Hình ảnh từ ảnh RGB được thu nhận và xử lý qua các thuật toán SIFT và FLANN trong thư viện OpenCV để lấy các điểm đặc trưng, từ đó nhận dạng vật thể Sau khi có được các đặc trưng, chúng sẽ được so sánh với mẫu đầu vào; nếu khớp, hệ thống sẽ tính toán góc lệch để xác định vị trí của xe trên bản đồ đã được mô tả trước đó.

Sau đây là những hình ảnh sau khi thí nghiệm :

Hình 33: Kết quả xác định vật mốc của camera trường hợp 1

Từ những hình ảnh trên cho ta thấy được khả năng nhận diện vật mốc của camera gần như chính xác so với thực tế.

KẾT QUẢ TRÁNH VẬT CẢN

Từ kết quả xác định vật cản ở phần 5.2 ta được kết quả của việc tránh vật cản trong nhiều trường hợp trong thực tế như sau:

Hình 36 minh họa vị trí trung tâm của khoảng trống mà camera xác định, nằm ở giữa một đường dọc giúp đo khoảng cách Hai bên rìa của ảnh có khoảng cách nhỏ hơn, dẫn đến nền màu trắng ở giữa thấp hơn so với ảnh đo khoảng cách.

Khi xe rẽ trái, khoảng cách mà camera xác định bên trái cao hơn bên phải, dẫn đến việc tâm xe lệch sang trái, giúp xe dễ dàng thực hiện động tác rẽ.

Khi rẽ phải, nếu có vật cản trước camera như bộ bàn ghế, khoảng cách bên trái sẽ được xác định thấp hơn bên phải Điều này khiến tâm di chuyển lệch về bên phải, giúp xe lăn di chuyển sang hướng đó.

Từ những hình ảnh trên thì ta có thể thấy được khả năng chuyển hướng của vật gần như là chính xác với kết quả của thí nghiệm

5.5 KẾT QUẢ XE LĂN DỪNG TRƯỚC VẬT MỐC

Xe lăn sẽ khởi động quá trình phân tích và nhận dạng khi gặp vật mốc sau khi di chuyển và tránh né vật cản Điều này giúp xe lăn xác định khoảng cách từ vị trí của nó đến tâm vật mốc Trong trường hợp chưa đạt được khoảng cách dừng, xe lăn vẫn tiếp tục di chuyển hướng về vật mốc Khi đạt được khoảng cách dừng, xe lăn sẽ tự động dừng lại.

5.6 KẾT QUẢ ĐO KHOẢNG CÁCH CỦA XE LĂN

Với các hình bố trí bản đồ bố trí các vật trên ta có được bảng về các thông số đo đạc và tính toán như sau :

Bảng 5: Thống kê kết quả xác định khoảng cách vật mốc Đơn vị đo meter

Trường hợp 1 Trường hợp 2 Trường hợp 3

Da Db Dc Da Db Dc Da Db Dc Đủ sáng

Nhận dạng có có có có có có có có có camera 2.39 4.05 2.68 3.67 3.89 3.13 2.68 3.60 2.73

Nhận dạng có có có có có có có có có camera 2.26 3.81 2.49 3.66 3.76 3.16 2.12 3.25 2.26

Dựa trên bảng số liệu, camera có khả năng nhận diện toàn bộ các vật mốc đầu vào, tuy nhiên, các giá trị khoảng cách đo được từ camera so với thực tế có sự chênh lệch nhất định.

Trong lĩnh vực điện tử công nghiệp và y sinh, độ chính xác của camera có thể bị ảnh hưởng bởi điều kiện ánh sáng Khi thiếu sáng, camera thường gặp phải sai số cao hơn so với khi có đủ sáng, điều này có thể ảnh hưởng đến chất lượng hình ảnh và độ tin cậy của dữ liệu thu thập.

KẾT QUẢ ĐO KHOẢNG CÁCH CỦA XE LĂN

Tiêu đề	Thiết Kế Và Thi Công Mô Hình Xe Lăn Tự Hành Trong Nhà Dùng Camera 3D
Tác giả	Huỳnh Tấn Cường
Người hướng dẫn	ThS. Ngô Bá Việt
Trường học	Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
Chuyên ngành	Công Nghệ Kỹ Thuật Điện Tử Truyền Thông
Thể loại	đồ án tốt nghiệp
Năm xuất bản	2019
Thành phố	Tp. Hồ Chí Minh

Định dạng
Số trang	72
Dung lượng	5,13 MB