vi MỤC LỤC Trang tựa Trang QUYẾT ĐỊNH GIAO ĐỀ TÀI i LÝ LỊCH CÁ NHÂN iii LỜI CAM ĐOAN iv CẢM TẠ v TÓM TẮT vi MỤC LỤC x DANH SÁCH CÁC HÌNH xiii DANH SÁCH CÁC BẢNG CHƯƠNG 1: TỔNG QUAN 1 1.1 Tổng quan về ngôi nhà thông minh 1 1.2 Mục đích của đề tài 4 1.3 Nhiệm vụ và giới hạn của đề tài 4 1.4 Phương pháp nghiên cứu 5 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 6 2.1 Cơ sở lý thuyết về trung tâm xử lý cho tòa nhà thông minh 6 2.1.1 Mô hình tổng quan 6 2.1.2 Một số chức năng cơ bản của tòa nhà thông minh 9 2.1.2.1 Hệ thống điều hòa không khí (HVAC) 9 2.1.2.2 Kiểm soát vào ra 10 2.1.2.3 Điều khiển ánh sáng và tiết kiệm năng lượng 10 2.1.3 Các giao thức sử dụng cho tòa nhà thông minh hiện tại 11 2.1.3.1 X10 11 2.1.3.2 UPB 12 2.1.3.3 INSTEON 12 2.1.3.4 Z-Wave 12 vii 2.1.3.5 ZigBee 13 2.1.4 Lựa chọn giao thức 13 2.1.5 Socket.IO 14 2.1.6 Mô hình điều khiển vào ra dựa trên Socket.IO 16 2.2 Cơ sở lý thuyết về xử lý ảnh 17 2.2.1 Ảnh số 17 2.2.2 Điểm ảnh 18 2.2.3 Mức xám của ảnh 18 2.2.4 Histogram 19 2.2.5 Cân bằng histogram 19 2.3 Biến đổi hình học ảnh 22 2.3.1 Dịch chuyển ảnh (Translation) 22 2.3.2 Dịch chuyển và xoay ảnh 23 2.3.3 Xoay tỉ lệ 23 2.3.4 Phép biến đổi Affine 24 2.4 Làm mịn ảnh 26 2.4.1 Bộ lọc chuẩn hóa 26 2.4.2 Bộ lọc Gaussian 26 2.4.3 Bộ lọc trung vị 27 2.4.4 Bộ lọc Bilateral 27 2.5 Nhận dạng ảnh 28 2.6 Phát hiện đối tượng 30 2.6.1 Phát hiện khuôn mặt 30 2.6.1.1 Phân loại theo từng đợt (Cascade Classification) 31 2.6.1.2 Các đặc trung Haar-like 33 2.6.1.3 Tăng cường (Boosting) 36 2.6.1.4 AdaBoost 37 viii 2.6.1.4.1 Thuật toán AdaBoost [16] 38 2.6.1.5 Huấn luyện Cascade 40 2.6.1.5.1 Thuật toán huấn luyện 40 2.6.1.5.2 Minh họa thuật toán huấn luyện Cascade 41 2.6.1.6 Các bộ phân loại tăng cường nối tiếp 42 2.7 Nhận dạng khuôn mặt 43 2.8 Một số thuật toán nhận dạng khuôn mặt 45 2.8.1 Phương pháp Eigenfaces 45 2.8.2 Fisherfaces 48 2.8.3 Biểu đồ tần suất các mẫu nhị phân cục bộ (LBP) 51 CHƯƠNG 3: THIẾT KẾ HỆ THỐNG ĐIỀU KHIỂN VÀO RA TRÊN HỆ THỐNG NHÚNG LINUX 57 3.1 Nhận dạng khuôn mặt 57 3.1.1 Phân tích giải thuật 57 3.1.2 Phát hiện khuôn mặt 58 3.1.2.1 Chuyển đổi sang ảnh xám: 60 3.1.2.2 Thay đổi kích thước ảnh 60 3.1.2.3 Cân bằng histogram 61 3.1.2.4 Phát hiện khuôn mặt 61 3.1.3 Xử lý dữ liệu khuôn mặt 64 3.1.3.1 Phát hiện đôi mắt 65 3.1.3.2 Các vùng tìm kiếm đôi mắt 66 3.1.3.3 Chuyển đổi hình học 71 3.1.3.4 Cân bằng histogram riêng biệt cho bên trái và bên phải của khuôn mặt . 73 3.1.3.5 Làm mịn 75 3.1.3.6 Mặt nạ hình eclipse 76 3.1.4 Xây dựng cơ sở dữ liệu 77 3.1.4.1 Thu thập ảnh khuôn mặt 77 ix 3.1.4.2 Huấn luyện 81 3.1.5 Nhận dạng khuôn mặt 82 3.1.5.1 Thẩm định khuôn mặt: 83 3.2 Hệ thống máy chủ web thời gian thực 85 3.2.1 Mô hình hệ thống 85 3.2.2 Nguyên lý 86 3.3 Phát triển trên hệ thống nhúng Raspberry 87 3.3.1 Kết quả 87 3.3.2 Hoạt động 92 CHƯƠNG 4: KẾT LUẬN 94 4.1 Đánh giá kết quả 94 4.2 Hướng phát triển của đề tài 95 TÀI LIỆU THAM KHẢO 96 x DANH SÁCH CÁC HÌNH Hình Trang Hình 1.1. Các tòa nhà thông minh nổi tiếng trên thế giới 2 Hình 1.2. Mô hình và hình ảnh thực tế của Raspberry Pi 3 Hình 2.1. Hệ thống quản lý riêng lẻ của tòa nhà thông minh 7 Hình 2.2. Hệ thống điều khiển tích hợp 8 Hình 2.3. Mô hình điều khiển tòa nhà thông minh dựa trên socket.io 14 Hình 2.4. Truyền thông phi trạng thái 14 Hình 2.5. Truy vấn liên tục của client (Long Polling) 15 Hình 2.6. Giao thức truyền thông theo thời gian thực với Socket.IO 15 Hình 2.7. Mô hình kiểm soát vào ra dựa trên socket.io 16 Hình 2.8. Ảnh xám với những ô vuông nhỏ đại diện cho một điểm ảnh 18 Hình 2.9. Biểu diễn giá trị mức xám tại mỗi điểm ảnh từ 0-255 (ảnh gray) 19 Hình 2.10. Biểu đồ histogram của ảnh xám 19 Hình 2.11. Sự khác biệt giữa trước và sau khi cân bằng histogram 20 Hình 2.12. Biểu đồ hàm phân bố tích lũy CDF 21 Hình 2.13. Sử dụng hàm CDF để cân bằng phân bố Gaussian 21 Hình 2.14. Các phép biến đổi 2D cơ bản 23 Hình 2.15. Mối quan hệ các điểm ảnh khi biến đổi Affine 25 Hình 2.16. Nhân của bộ lọc Gaussian 27 Hình 2.17. Bốn đặc trưng Haar-like cơ bản 33 Hình 2.18. Các đặc trưng mở rộng của các đặc trưng Haar-like cơ bản 33 Hình 2.19. Cách tính Integral Image của ảnh 34 Hình 2.20. Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh 35 Hình 2.21. Ví dụ cách tính nhanh tổng điểm ảnh của vùng D trên ảnh với các đặc trưng xoay 45 o 35 Hình 2.22. Bộ phân loại mạnh được kết hợp từ các bộ phân loại yếu hơn 37 xi Hình 2.23. Các bộ phân loại nối tiếp nhau 41 Hình 2.24. Các bộ phân loại tăng cường nối tiếp 42 Hình 2.25. Các khuôn mặt được mô tả bởi thuật toán Eigenfaces 47 Hình 2.26. Ảnh khuôn mặt biểu diễn bởi thuật toán Fisherfaces 51 Hình 2.27. Biểu đồ đánh giá về tỉ lệ nhận dạng của phương pháp Eigenfaces và phương pháp Fisherfaces trên cơ sở dữ liệu AT & T Facedatabase 52 Hình 2.28. Mô tả toán tử LBP 53 Hình 2.29. Toán tử LBP mở rộng (ELBP) 54 Hình 2.30. Biểu diễn khuôn mặt với thuật toán LBP 55 Hình 3.1. Thuật toán thực hiện của chương trình nhận dạng trên Raspi 58 Hình 3.2. Ô vuông màu đỏ đánh dấu khuôn mặt được phát hiện 64 Hình 3.3. Khuôn mặt sau khi tiền xử lý 65 Hình 3.4. Ảnh khuôn mặt được phát hiện cùng với đôi mắt 68 Hình 3.5. Quá trình tiền xử lý khuôn mặt 71 Hình 3.6. Hai nửa khuôn mặt được cân bằng một cách riêng biệt 73 Hình 3.7. Mặt nạ hình eclipse để loại bỏ các phần dư thừa khác 76 Hình 3.8. Ảnh hoàn thiện sau quá trình tiền xử lý khuôn mặt 77 Hình 3.9. Thuật toán thu thập ảnh, lưu cơ sở dữ liệu trên PC 78 Hình 3.10. Tập huấn luyện đã được xử lý và dán nhãn tự động 79 Hình 3.11. Ảnh tái tạo khuôn mặt 84 Hình 3.12. Mô hình thiết kế hệ thống máy chủ Webserver thời gian thực để điều khiển thiết bị và điều khiển vào ra. 85 Hình 3.13. Hệ thống nhận điện khuôn mặt trên Raspberrypi 87 Hình 3.14. Giao diện chương trình hoạt động trên iPad 88 Hình 3.15. Giao diện điều khiển 88 Hình 3.16. Chức năng thêm thiết bị 89 Hình 3.17. Giao diện điều khiển vào ra (nhận dạng và chứng thực) 89 Hình 3.18. Chứng thực không thành công 90 xii Hình 3.19. Một số người dùng khác (1) 90 Hình 3.20. Một số người dùng khác (2) 91 Hình 3.21. Lịch sử nhận dạng và xác thực 91 Hình 3.22. Bảng điều khiển 92 xiii DANH SÁCH CÁC BẢNG Bảng Trang Bảng 3.1. Các vùng tìm kiếm mắt tốt nhất đối với các bộ phát hiện khuôn mặt khác nhau 67 Bảng 3.2. So sánh độ tin cậy và tốc độ giữa các bộ phát hiện đôi mắt 68 Trang 1 CHƯƠNG 1 TỔNG QUAN 1.1 Tổng quan về ngôi nhà thông minh [1] Trong nhiều năm khoảng thế kỷ 19, ngôi nhà thông minh đã là một trong những nét đặt trưng trong các tác phẩm khoa học viễn tưởng, nhưng nó đã dần trở thành hiện thực kể từ những năm đầu của thế kỷ 20 là khi các sản phẩm điện gia dụng được sản xuất hàng loạt và từ khi công nghệ thông tin bùng nổ mạnh mẽ [2, 3]. Các ý tưởng cho các hệ thống cho ngôi nhà tự động bắt nguồn từ Hội chợ thế giới vào những năm 1930 như hội chợ ở Chicago (1930), New York (1939)[4]. Năm 1966, Jim Sutherland, một kỹ sư làm việc cho Westinghouse Electric, đã phát triển hệ thống nhà tự động có tên gọi là “ECHO IV”, đây là dự án riêng của ông và không được thương mại hóa. Ngôi nhà đầu tiên “wired home” được xây dựng vào những năm 1960 bởi một người Mỹ có sở thích đặc biệt, nhưng nó bị giới hạn bởi công nghệ lúc bấy giờ. Thuật ngữ “smart home” đã được đưa ra bởi Hiệp hội Nhà ở của Mỹ vào năm 1984 [3]. Ngày nay, ngôi nhà thông minh đã là khái niệm khá phổ biến. Ngôi nhà thông minh có thể hiểu là ngôi nhà sử dụng các thiết bị điện tử tự động hoàn toàn hoặc bán tự động thay thế con người trong việc quản lý, điều khiển các thiết bị có trong ngôi nhà. Đèn tự động bật sáng khi có người bước vào phòng, tự động sưởi ấm, đánh thức chủ nhà và trước đó đã pha sẵn cà phê, vòi nước tự động xả và ngắt, điều khiển hệ thống điện trong ngôi nhà từ xa, quản lý, và theo dõi được năng lượng tiêu thụ…đó là những tiện ích của ngôi nhà thông minh [5]. Trang 2 a) Tòa nhà năng lượng mặt trời - Dubai, b) Nhà máy nước ngọt hình bong bóng - Tây Ban Nha, c) Tòa nhà One & Ortakoy – Istanbul, d) Tháp nước ngọt chọc trời - Sudan Hình 1.1. Các tòa nhà thông minh nổi tiếng trên thế giới Tại Việt Nam hiện nay, không còn khó để nhìn thấy những tòa nhà sử dụng các thiết bị thông minh từ các trung tâm thương mại, các tòa nhà lớn đến các hộ gia đình. Một số tòa nhà thông minh nổi bật tại Việt Nam trong thời gian qua đó là Tòa nhà VTC online (Hai Bà Trưng, Hà Nội), Petro Vietnam Tower (Lê Duẩn – TpHCM) hay Bitexco Financial Tower (Quận 1 – TpHCM), Keangnam Hanoi Landmark Tower (Từ Liêm – Hà Nội). Các thiết bị và hệ thống cho tòa nhà thông minh hiện nay tại Việt Nam phần lớn là do các hãng nước ngoài cung cấp như Siemens (Đức), Schneider (Pháp), TAC (Mỹ), Nara controls (Hàn Quốc), Mitshubishi (Nhật) và chỉ có BKAV Smarthome là công ty Việt nam duy nhất sản xuất thiết bị này. Tuy nhiên khoảng 50% các thiết bị này vẫn phần lớn hoạt [...]... xử lý cho tòa nhà thông minh 2.1.1 Mô hình tổng quan Tòa nhà thông minh liên quan đến việc xây dựng và tích hợp hệ thống với những công nghệ tiên tiến Các hệ thống này bao gồm việc tự động hóa tòa nhà, an ninh, an toàn, viễn thông, hệ thống người dùng (hệ thống nghe nhìn, truyền thông đa phương tiện) và các hệ thống quản lý cơ sở khác Tòa nhà thông minh phản ánh những tiến bộ và sự hội tụ công nghệ... chính là Xây dựng được bộ xử lý trung tâm cho tòa nhà thông minh sao cho chi phí thấp nhất về sản phẩm thiết bị cũng như về bảo trì bảo dưỡng mà vẫn đảm bảo các tiêu chí của một hệ thống tòa nhà thông minh 1.3 Nhiệm vụ và giới hạn của đề tài Mô hình tòa nhà thông minh có nhiều chức năng với nhiều mục đích khác nhau tùy theo nhu cầu sử dụng của chủ căn nhà Các chức năng của một tòa nhà thông minh bao... nhà thông minh Trang 6 Hình 2.1 Hệ thống quản lý riêng lẻ của tòa nhà thông minh Trang 7 Hình 2.2 Hệ thống điều khiển tích hợp Trang 8 2.1.2 Một số chức năng cơ bản của tòa nhà thông minh 2.1.2.1 Hệ thống điều hòa không khí (HVAC) HVAC là hệ thống duy trì khí hậu trong một tòa nhà Nói cách khác, hệ thống HVAC kiểm soát nhiệt độ, độ ẩm, lưu lượng không khí, và chất lượng không khí tổng thể của tòa nhà. .. pháp xây dựng máy chủ web điều khiển thiết bị theo thời gian thực Trên cơ sở lý thuyết, tiến hành phân tích đánh giá, và đưa ra giải pháp thích hợp cho việc thực thi trên hệ thống  Thực thi trên phần cứng Linux: tiến hành viết chương trình nhận diện khuôn mặt, điều khiển qua nền web, tương tác với người dùng trên hệ thống nhúng linux Trang 5 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 Cơ sở lý thuyết về trung tâm xử. .. ninh cho các tòa nhà Hệ thống kiểm soát vào ra được xây dựng hoạt động cơ bản để một người có thể quẹt thẻ vào đầu đọc để cánh cửa có thể mở ra bằng cách dựa trên thông tin trên thẻ và các thông số của hệ thống cho người đó, cho cánh cửa và các bộ phận khác, hệ thống hoặc sẽ mở cửa để cho phép người đi qua hoặc bị từ chối Ta có thể áp dụng việc này cho các khu vực khác cần được kiểm soát như nhà xe... công nghệ Nó cung cấp thông tin về hoạt động của tòa nhà hoặc không gian bên trong cho phép chủ tòa nhà hoặc người cư ngụ ở đó quản lý toàn bộ tòa nhà hoặc một vùng không gian nào đó Với thiết kế và xây dựng theo kiểu truyền thống, thì tòa nhà được thiết kế, lắp đặt và vận hành theo từng hệ thống riêng biệt (Hình 2.1) Với thiết kế như vậy sẽ làm tốn kém về chi phí và giá thành, hệ thống cồng kềnh và khó... giám sát qua giao thức Socket.IO trên mô hình client và server 2.2 Cơ sở lý thuyết về xử lý ảnh Trong đề tài này, với mục đích nghiên cứu xây dựng hệ thống điều khiển vào ra cho tòa nhà thông minh dựa trên việc nhận dạng khuôn mặt thì đòi hỏi ta phải có nắm vững lý thuyết về xử lý ảnh cũng như các thuật toán về nhận dạng khuôn mặt Trong chương này, tôi sẽ giới thiệu cơ sở lý thuyết cần có để thực hiện... xuất phục vụ cho ngôi nhà thông minh thường là ở dạng hoạt động độc lập sẽ khó khăn trong việc quản lý, còn đối với dự án cho các tòa nhà lớn sẽ có bộ quản lý tập trung (chẳn hạn như BMS, BACnet/EIB, LONMARK) sẽ được lợi về mặt quản lý, nhưng lại có giá thành rất cao so với hệ thống tương đương ở dạng điều khiển trực tiếp (thường đắt hơn ít nhất là 3 lần) Sở dĩ các hệ thống có bộ quản lý tập trung có giá... phát triển mạnh mẽ của hệ thống nhúng, sự ra đời của các kít xử lý nhúng Linux với kích thước nhỏ gọn (bằng với thẻ tín dụng), giá thành rẻ, hiệu năng cao, tiết kiệm điện mà điển hình là kit Raspberry Pi (Hình 1.2) – phiên bản đầu tiên được thương mại hóa vào ngày 29/2/2012 với giá thành là 35USD cho phiên bản B [6], đã làm thay đổi cách nhìn về một trung tâm xử lý cho tòa nhà thông minh Với Raspberry... xe hay thang máy Hệ thống kiểm soát vào ra cũng rất quan trọng cho sự an toàn và nó thường giao tiếp với các hệ thống báo cháy để tạo ra khả năng thoát hiểm trong quá trình di tản Hệ thống kiểm soát vào ra phải liên kết hoặc tích hợp với một số hệ thống khác trong tòa nhà thông minh (camera giám sát, HVAC, và những thứ khác) cũng như chia sẻ dữ liệu với các hệ thống khác như quản lý nhân viên hay khách . SỞ LÝ THUYẾT 2.1 Cơ sở lý thuyết về trung tâm xử lý cho tòa nhà thông minh 2.1.1 Mô hình tổng quan Tòa nhà thông minh liên quan đến việc xây dựng và tích hợp hệ thống với những công nghệ. CƠ SỞ LÝ THUYẾT 6 2.1 Cơ sở lý thuyết về trung tâm xử lý cho tòa nhà thông minh 6 2.1.1 Mô hình tổng quan 6 2.1.2 Một số chức năng cơ bản của tòa nhà thông minh 9 2.1.2.1 Hệ thống. được bộ xử lý trung tâm cho tòa nhà thông minh sao cho chi phí thấp nhất về sản phẩm thiết bị cũng như về bảo trì bảo dưỡng mà vẫn đảm bảo các tiêu chí của một hệ thống tòa nhà thông minh. 1.3