BỘ THÔNG TIN VÀ TRUYỀN THÔNG HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG ĐỒ ÁN THIẾT KẾ HỆ THỐNG NHÚNG TÊN ĐỀ TÀI: XÂY DỰNG SẢN PHẨM ROBOT KẾT HỢP XỬ LÝ ẢNH BẰNG RASPBERRY PI GIẢNG VIÊN : NGUYỄN NGỌC MINH SINH VIÊN THỰC HIỆN : TRỊNH HUY ĐẠT – B17DCDT034 NGUYỄN ĐỨC PHÚC – B17DCDT142 NGUYỄN NHẬT MINH - B17DCDT126 ĐOÀN TUẤN NHẬT – B17DCDT138 LỚP : D17CQDT02_B HỆ : ĐẠI HỌC CHÍNH QUY HÀ NỘI - 2021 MỤC LỤC Thực nghiệm xây dựng sảng phẩm robot kết hợp xử lý ảnh Raspberry Pi MỤC LỤC HÌNH ẢNH Hình 1.1 Máy tính nhúng Raspberry Pi Model B Hình 1.2 Cấu tạo Raspberry Pi Model B Hình 1.3 Sơ đồ chân Pin Out Raspberry Pi Hình 2.1 Hình ảnh từ webcam Hình 2.2 Stream web sử dụng ngơn ngữ python Hình 2.3 Q trình xử lý ảnh Hình 2.4 Sơ đồ tổng quát hệ thống xử lý ảnh Hình 2.5 Mơ thuật tốn SSD Hình 2.6 Kiến trúc mơ hình Hình 2.7 Hình ảnh vị trí bounding box Hình 2.8 Hình mơ khoảng cách Hình 2.9 Sau phát vật thể Hình 2.10 Dựa vào thuật toán SSD tọa độ để phát vật thể Hình 2.11 Phát đối tượng sử dụng trình dự đốn tích chập Hình 2.12 Hình ảnh tỷ lệ feature Hình 3.0 Hình ảnh sơ đồ khối Hình 3.1 Hình ảnh website điều khiển xe Hình 3.2 Appblynk điều khiển cánh tay Hình 3.3 Hình ảnh ESP 8266 Hình 3.4 Sơ đồ phần xe điều khiển esp8266 Hình 3.5 Hình ảnh Raspberry Pi Hình 3.6 Hình ảnh chân GPIO Raspberry Pi Hình 3.7 Hình ảnh cánh tay robot gắn vào xe Hình 3.8 Hình ảnh Arduino Esp8266 Hình 3.9 Hình ảnh servo motor Hình 3.10 Pin dự phịng cấp nguồn Raspberry Pi Hình 3.11 Pin cấp nguồn cho xe Hình 3.12 Camera cho Raspberry Pi Hình 3.13 Cảm biến sóng âm đo khoảng cách Hình 3.14 Kết hồn thành sau lắp ráp lập trình LỜI MỞ ĐẦU Ngày với phát triển khoa học kĩ thuật đa dạng linh kiện điện tử số, thiết bị điều khiển tự động Các công nghệ cũ thay công nghệ đại Các thiết bị công nghệ tiên tiến với hệ thống điều khiển lập trình vi điều khiển,vi xử lý, PLC thiết bị điều khiển từ xa ứng dụng rộng rãi thực tiễn Trong nghiên cứu phổ biến tại, việc ứng dụng khoa học công nghệ có đóng góp quan trọng đặc biệt lĩnh vực điện tử Ngày sản phẩm thông minh có nghĩa phải có cải tiến ưu việt đời trước, khơng thể thiếu ứng dụng cơng nghệ để làm việc Từ việc nhận dạng đến kiểm soát cơng nghệ giải nhiều tốn thực tế gắp vật, tránh vật cản, dị đường, điều khiển thiết bị,… Đề tài bao gồm nội dung sau: Chương 1: Tổng quan hệ thống máy tính nhúng Raspberry Pi Chương Ứng dụng raspberry pi Chương Thực nghiệm xây dựng sản phẩm robot áp dụng Raspberry Pi Tuy có nhiều cố gắng, vốn kiến thức thời gian cịn hạn chế nên khơng thể tránh khỏi sai sót em mong nhận đóng góp bảo quý thầy cô bạn CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG MÁY TÍNH NHÚNG RASPBERRY PI 1.1 Giới thiệu chung Raspberry Pi 1.1.1 Khái niệm Raspberry Pi Raspberry Pi từ để máy tính có board mạch (hay cịn gọi máy tính nhúng) kích thước bẳng thẻ tín dụng, phát triển Anh Raspberry Pi Foundation với mục đích ban đầu thúc đẩy việc giảng dạy khoa học máy tính trường học nước phát triển Nhà sản xuất tích hợp thứ cần thiết để sử dụng máy vi tính Trên bo mạch Pi có CPU, GPU, RAM, khe cắm thẻ microSD, Wi-Fi, Bluetooth cổng USB 2.0 Khi sử dụng Pi, việc cài hệ điều hành, gắn chuột, bàn phím hình bắt đầu sử dụng Raspberry Pi ban đầu dựa hệ thống vi mạch (SoC) BCM2835 Broadcom, bao gồm vi xử lý ARM1176JZF-S 700 MHz, VideoCore IV GPU, ban đầu xuất xưởng với 256 MB RAM, sau nâng cấp (model B B +) lên đến 512 MB Board có socket Secure Digital (SD) (model A B) MicroSD (model A + B +) dùng làm thiết bị khởi động lưu trữ liên tục Trong năm 2014, Raspberry Pi Foundation phát hành Mơ-đun Compute, đóng gói BCM2835 với 512 MB RAM flash chip eMMC vào module để sử dụng phần hệ thống nhúng Tổ chức cung cấp Debian Arch Linux ARM để người dùng tải Các cơng cụ có sẵn cho Python ngơn ngữ lập trình chính, hỗ trợ cho BBC BASIC (thông qua RISC OS image Brandy Basic clone cho Linux), C, C++, Java, Perl Ruby Hình 1- Máy tính nhúng Raspberry Pi Model B 1.1.2 Ứng dụng Raspberry Pi Raspberry Pi mini computer có đầy đủ vi xử lý vi điển khiển để thực hầu hết chức như: - Đầu coi phim HD giống Android Box, hỗ trợ KODI đầy đủ - Máy chơi game cầm tay, console, game thùng Chơi máy điện tử băng ngày - xưa, giả lập nhiều hệ máy Cắm máy tải Torrent 24/24 Dùng làm VPN cá nhân Biến ổ cứng bình thường thành ổ cứng mạng (NAS) Làm camera an ninh, quan sát từ xa Hiển thị thời tiết, hiển thị thông tin mạng nội Máy nghe nhạc, máy đọc sách Làm thành máy Terminal di động có hình, bàn phím, pin dự phịng để sử dụng lúc nơi, dò pass Wi-Fi Làm thiết bị điều khiển Smart Home, điều khiển thiết bị điện tử nhà Điều khiển robot, máy in không dây từ xa, Airplay 1.1.3 Ưu điểm Raspberry Pi - Giá rẻ: từ USD bạn mua Pi (phiên rút gọn - Raspberry Pi Zero) Bản Pi mạnh tại, có đầy đủ Wi-Fi, Bluetooth, cấu hình cao Đơn giản, dễ dùng, tiết kiệm không gian: dùng làm cơng việc văn phịng đơn giản, gõ Word, Excel hay tạo PowerPoint, lướt web Tự học lập trình app đơn giản Pi, trẻ em học Tiêu thụ điện: Ví dụ tải Torrent, thay cắm máy tính cơng suất hàng trăm Watts liên tục 24/24 cần dùng Pi cơng suất chưa tới 5W làm Có tính di động cao: bỏ vào túi mang khắp nơi, thích hợp để làm máy nghe nhạc di động, máy đọc ebook, máy dò pass Wi-Fi, máy chơi game cầm tay 1.2 Cấu tạo phần cứng Raspberry Pi 1.2.1 Thông số kỹ thuật - Chipset BCM2837 Broadcom chạy tốc độ 1,2 GHz - ARM Cortex-A53 lõi tứ 64 bit - Mạng LAN không dây 802.11 b/g /n - Bluetooth 4.1 (Cổ điển & Năng lượng thấp) - Bộ đồng xử lý đa phương tiện Videocore IV® lõi kép - Bộ nhớ LPDDR2 GB - Hỗ trợ tất phân phối ARM GNU / Linux Windows 10 - IoT Đầu nối MicroUSB cho nguồn điện 2,5 A Cổng Ethernet x 10/100 x đầu nối video / âm HDMI 1.2.2 x đầu nối video / âm RCA cổng USB 2.0 40 chân GPIO Chip ăng ten Đầu nối hình DSI Khe cắm thẻ MicroSD Kích thước: 85 x 56 x 17 mm Sơ đồ khối Raspberry Pi Raspberry Pi Model B có đầy đủ thành phần máy tính thơng thường Hình 1- Cấu tạo Raspberry Pi Model B CPU: “Trái tim” board mạch Raspberry Pi sử dụng vi xử lý BCM2836 Broadcom Đây loại SoC (system on chip) CPU: 900 MHz ,4 nhân, kiến trúc ARM Cortex-A7 Vì sử dụng ARM Cortex-A7 nên Raspberry Pi chạy Ubuntu core Windows 10 core mượt mà SD RAM: GB GPU: Broadcom VideoCore IV @ 250 MHz Hình 1- Sơ đồ chân Pin Out Raspberry Pi Khe cắm thẻ micro SD: Có thể nhận thấy khơng có ổ cứng Raspberry Pi thay vào thẻ nhớ SD Tất liệu lưu trữ thẻ nhớ Cần dùng thẻ 4GB class (4MB/s) cho Raspberry Pi (khuyên dùng thẻ 8GB class 10) Cổng USB: Raspberry Pi có cổng USB 2.0 Đủ để bạn cắm ngoại vi cần thiết chuột, bàn phím usb wifi Cổng Ethernet: Model có cổng Ethernet chuẩn RJ45 Cổng HDMI: Dùng để truyền tín hiệu Video Audio số Có tới 14 chuẩn video hỗ trợ tín hiệu HDMI dễ dàng chuyển đổi thành chuẩn khác DVI, RCA, SCART Ngõ Audio-Video: Ngõ giắc cắm chuẩn 3.5mm, hỗ trợ cho người dùng khơng có hình hỗ trợ HDMI Âm hình ảnh lấy từ cổng có chất lượng chút so với từ cổng HDMI Cổng cấp nguồn Micro USB: Một điều nhận thấy Raspberry Pi khơng có nút nguồn Micro USB chọn làm cổng cấp nguồn Nguồn cấp cho Raspberry Pi 5v điện áp (bắt buộc) dòng nên lớn hớn 1A Cấp nguồn 5v dễ làm cháy board mạch Cổng DSI (Display Serial Interface): Cổng dùng để kết nối với LCD hình OLED Cổng CSI (Camera Serial Interface): Cổng dùng để kết nối với module camera riêng Raspberry Pi Module thu hình ảnh chất lượng lên đến 1080p GPIO (General Purpose Input and Output): Giống chân vi điều khiển, IO Raspberry Pi sử dụng để xuất tín hiệu led, thiết bị… đọc tín hiệu vào từ nút nhấn, cơng tắc,cảm biến… Ngồi cịn có IO tích hợp chuẩn truyền liệu UART, I2C SPI 1.3 Các hệ điều hành Raspberry Pi Raspberry Pi chủ yếu sử dụng hệ điều hành dựa nhân Linux Chip ARM11 trung tâm Pi (mơ hình hệ đầu tiên) dựa phiên ARM Các phiên số phân nhánh phổ biến Linux, bao gồm Ubuntu, không chạy ARM11 Không thể chạy Windows Raspberry Pi gốc, Raspberry Pi chạy hệ điều hành Windows 10 IoT Core Raspberry Pi hỗ trợ Ubuntu Snappy Core, Raspbian, OpenELEC RISC OS Một số hệ điều hành thông dụng cho Raspberry Pi: - Raspbian, Ubuntu Mate, Snappy Core Ubuntu, Windows 10 IoT Core, OSMC, OpenELEC, PiNet, RiscOS,… 2.1 Hiển thị hình ảnh qua Raspberry Pi 2.1.1 Lý thuyết sở hiển thị hình ảnh : - Hình ảnh gửi từ camera tới raspberry hiển thị lên hình máy tính PC, giúp điều khiển xe từ xa trở nên dễ dàng 2.1.2 Cách thức thực : A, stream hình ảnh lên webcam : - Lắp đặt camera cho Raspberry chạy webstream để hiển thị liệu hình ảnh - Kết thực : Hình 2.1 Hình ảnh từ webcam B, Stream python : - cài đặt opencv chop y thon stream qua python cài đặt mặc định raspberry 10 Hình 2.2 Stream web sử dụng ngôn ngữ python 1.4 Ứng dụng raspberry pi xử lý ảnh 1.4.1 Một số sở lý thuyết xử lý ảnh Xử lý ảnh mảng quan trọng kỹ thuật thị giác máy tính, tiền đề cho nhiều nghiên cứu thuộc lĩnh vực Hai nhiệm vụ trình xử lý ảnh nâng cao chất lượng thơng tin hình ảnh xử lý số liệu cung cấp cho q trình khác có việc ứng dụng thị giác vào điều khiển Quá trình việc thu nhận ảnh nguồn (từ thiết bị thu nhận ảnh dạng số tương tự) gửi đến máy tính Dữ liệu ảnh lưu trữ định dạng phù hợp với trình xử lý Người lập trình tác động thuật tốn tương ứng lên liệu ảnh nhằm thay đổi cấu trúc ảnh phù hơp với ứng dụng khác Quá trình xử lý nhận dạng ảnh xem trình thao tác ảnh đầu vào nhằm cho kết mong muốn Kết đầu trình xử lý ảnh ảnh “đã xử lý” kết luận Hình 2- Q trình xử lý ảnh Ảnh xem tập hợp điểm ảnh điểm ảnh xem đặc trưng cường độ sáng hay dấu hiệu vị trí đối tượng khơng gian xem hàm n biến P(c,c1,c2,…) Do đó, ảnh xử lý ảnh xem ảnh n chiều 33 Hình 3.3 Hình ảnh ESP 8266 Thơng số kỹ thuật: • • • • • • • • • IC chính: ESP8266 Phiên firmware: NodeMCU Lua Chip nạp giao tiếp UART: CP2102 GPIO tương thích hoàn toàn với firmware Node MCU Cấp nguồn: 5VDC MicroUSB Vin GIPO giao tiếp mức 3.3VDC Tích hợp Led báo trạng thái, nút Reset, Flash Tương thích hồn tồn với trình biên dịch Arduino Kích thước: 25 x 50 mm 34 Hình 3.4 Sơ đồ phần xe điều khiển esp8266 B Raspberry Pi: Raspberry Pi làm nhiệm vụ truyền hình ảnh xử lý ảnh nhận dạng đối tượng Thơng số kỹ thuật • Broadcom BCM2711, Quad core Cortex-A72 (ARM v8) 64-bit SoC @ 1.5GHz • 2GB, 4GB 8GB LPDDR4-3200 SDRAM (tùy thuộc vào kiểu máy) • 2,4 GHz 5,0 GHz IEEE 802.11ac wireless • Bluetooth 5.0, BLE • Gigabit Ethernet • cổng USB 3.0, cổng USB 2.0 • Đầu cắm GPIO 40 chân tiờu chun Raspberry Pi ã ì cng micro-HDMI (h trợ lên đến 4kp60) • Cổng hiển thị MIPI DSI • Cổng camera MIPI CSI • Cổng video tổng hợp âm stereo cực • H.265 (giải mã 4kp60), H264 (giải mã 1080p60, mã hóa 1080p30) • Đồ họa OpenGL ES 3.0 • Khe cắm thẻ nhớ Micro-SD để tải hệ điều hành lưu trữ liệu • 5V DC qua đầu nối USB-C (tối thiểu 3A *) • 5V DC qua đầu cắm GPIO (tối thiểu 3A *) • Bật nguồn qua Ethernet (PoE) (yêu cầu PoE HAT riêng biệt) • Nhiệt độ hoạt động: 0-50 độ C Công suất tiêu thụ 35 Mức tiêu thụ điện tối đa Pi khoảng 7,6W tải 3,4W không tải Nguồn điện cung cấp Bộ cấp nguồn USB Type-C, mức 5.1V / 3A Hệ điều hành Pi chạy hệ điều hành khác Raspberry OS (tiền thân Raspian), Ubuntu, hệ điều hành đa phương tiện khác Kodi OSMC LibreElec Hình 3.5 Hình ảnh Raspberry Pi GPIO Hình 3.6 Hình ảnh chân GPIO Raspberry Pi 36 C Kit Arduino UNO WIFI - WeMos D1 Arduino Uno Wifi có nhiệm vụ điều khiển cánh tay đọc liệu cảm biến siêu âm hiển thị lên app Blynk Cánh tay điều khiển arduino wifi Hình 3.7 Hình ảnh cánh tay robot gắn vào xe o Hình ảnh Hình 3.8 Hình ảnh Arduino Esp8266 Thơng số kỹ thuật: • Vi điều kiển trung tâm: ATmega328P + ESP8266 37 • • • • • • • 2.2.3 Điện áp sử dụng: 6~9VDC (thông số nhà Sản xuất lên đến 12VDC nên sử dụng 6~9VDC mạch sử dụng IC giảm áp tuyến tính, nóng cấp điện áp cao) Bộ nhớ Flash ESP8266: 32Mb (trên mạch in 8Mb khơng xác) Tích hợp mạch chuyển USB UART CH340G Chuẩn chân cách sử dụng tương tự Arduino Uno Ra chân đầy đủ ESP8266 Tích hợp Dip Switch cấu hình linh hoạt: o CH340G ATmega328P (Nạp code cho ATmega328P qua cổng USB) o CH340G ESP8266 (Nạp code cho ESP8266 qua cổng USB) o CH340G ESP8266 (Kết nối ESP8266 với cổng USB máy tính (khơng nạp code)) o ESP8266 ATmega328P (Kết nối ESP8266 ATmega328P qua giao tiếp UART) Sử dụng cổng Micro USB nhỏ gọn Khối công suất - Là bao gồm: động servo,động giảm tốc A Servo MG90 Làm nhiệm vụ di chuyển khớp nối cánh tay để điều khiển gắp vật Hình 3.9 Hình ảnh servo motor - Động servo loại động cụ thể kết hợp với mã hóa quay (encoder) chiết áp để tạo thành cấu servo Hợp 38 đến lượt tạo thành phần cấu servo khác Một chiết áp dùng để cung cấp tín hiệu analog đơn giản để vị trí, mã hóa cung cấp vị trí thường tốc độ phản hồi, cách sử dụng điều khiển PID cho phép điều khiển xác vị trí đạt vị trí ổn định nhanh (đối với động định) Hình 3.10 Motor xe điều khiển B Động giảm tốc Là loại lựa chọn sử dụng nhiều cho thiết kế Robot đơn giản Động DC giảm tốc vàng có chất lượng giá thành vừa phải với khả dễ lắp ráp đem đến chi phí tiết kiệm tiện dụng cho người sử dụng, bạn mua động giảm tốc vàng mua thêm gá bắt động vào thân Robot bánh xe tương thích THƠNG SỐ KỸ THUẬT • • • • • Điện áp hoạt động: 3-9VDC Dòng điện tiêu thụ: 110140mA Tỉ số truyền: 1:120 Số vòng/1phút: 50 vòng/ phút 3VDC 39 • • 83 vịng/ phút 5VDC Moment: 1.0KG.CM Bánh xe V1 thiết kế để sử dụng với động giảm tốc V1 Bánh xe V1 loại bánh sử dụng nhiều thiết kế robot có giá thành phải chăng, chất lượng tốt, dể lắp ráp ứng dụng thiết kế • • 2.2.4 Chất liệu: Nhựa, cao su, mút Đường kính: 65mm Khối nguồn - Là khối cung cấp nguồn gồm sạc dự phòng 5v pin 9v - Sạc dự phòng 5v : Cung cấp nguồn cho cánh tay Hình 3.10 Pin dự phịng cấp nguồn Raspberry Pi - Pin 9v : Cung cấp nguồn cho xe 40 Hình 3.11 Pin cấp nguồn cho xe 2.2.5 Khối thị giác - Hiển thị xử lý hình ảnh dựa vào camera Raspberry Pi Hình 3.12 Camera cho Raspberry Pi Module Máy Ảnh cho Raspberry Pi V2 (phiên 2) camera board cải tiến, thức từ Raspberry Pi Foundation Module có cảm biến hình ảnh chất lượng cao 8MP, SONY IMX219 (độ phân giải 41 5MP V1), ống kính có tiêu cự cố định Module camera V2 chụp ảnh tĩnh độ phân giải 3280 x 2464 hỗ trợ quay video 1080p @30fps, 720p @ 60fps and 640x480p90 Module máy ảnh giao tiếp với Raspberry Pi thông qua cáp ruy-băng 15 chân (FFC-Flexible Flat Cable) tới cổng kết nối máy ảnh MIPI Camera Serial Interface (CSI), thiết kế đặc biệt để giao tiếp với máy ảnh Bus CSI có khả truyền tải liệu tốc độ cực cao truyền liệu điểm ảnh (pixel) đến xử lý Raspberry Pi Camera kèm với cáp CSI dài 150mm Board nhỏ, có kích thước 25mm x 23mm x 9mm nặng 3g, giúp tăng tính di động thích hợp với dự án cần kích thước trọng lượng nhỏ Thơng tin thêm: Ngồi Raspberry Pi, module camera sử dụng với Jetson Nano Tính Cảm biến hình ảnh 8MP SONY IMX219 Hình ảnh rộng hơn, chụp ảnh tĩnh 3280x2464, quay video 1080p30 Nhỏ nhẹ Tiêu cự cố định Tích hợp lọc IR (hồng ngoại) Đi kèm dây cáp CSI 150mm Hỗ trợ chụp ảnh 8-megapixel trực tiếp từ cảm biến, độ phân giải 3280 x 2464 Hỗ trợ quay video 1080p30, 720p60 640x480p90 Kích thước 25mm x 23mm x 9mm Nặng 3g Kết nối với Raspberry Pi cáp ruy-băng ngắn (đã kèm theo) Phiên Camera v2 hỗ trợ phiên hệ điều hànhRaspberry Pi OS - Xử lý ảnh : Camera truyền hình ảnh trực tiếp thu Raspberry Pi,Pi nhận hình ảnh sau sử dụng mơ hình SSD để nhận dạng vật thể 42 Hình 3.13 Kết nhận dạng đồ vật Khối cảm biến Cảm biến có nhiệm vụ đo khoảng cách từ tay gắp đến vật thể để gắp vật xác 2.2.6 Thơng số kỹ thuật: • Điện áp hoạt động: 5VDC • Dịng tiêu thụ: 10~40mA • Tín hiệu giao tiếp: TTL • Chân tín hiệu: Echo, Trigger (thường dùng) Out (ít dùng) • Góc qt: