BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC NGUYỄN XUÂN VĨNH XÂY DỰNG CỔNG QUAN TRẮC MÔI TRƯỜNG – DỰ BÁO CHỈ SỐ MÔI TRƯỜNG SỬ DỤNG CÔNG NGHỆ AI &BI LUẬN VĂN THẠC SĨ MÁY TÍNH THANH HĨA, NĂM 2022 BỘ GIÁO DỤC VÀ ĐÀO TẠO UBND TỈNH THANH HÓA TRƯỜNG ĐẠI HỌC HỒNG ĐỨC NGUYỄN XUÂN VĨNH XÂY DỰNG CỔNG QUAN TRẮC MÔI TRƯỜNG – DỰ BÁO CHỈ SỐ MÔI TRƯỜNG SỬ DỤNG CÔNG NGHỆ AI &BI LUẬN VĂN THẠC SĨ MÁY TÍNH Chun ngành: Khoa học máy tính Mã số: 8480101 Người hướng dẫn khoa học: PGS TS Phạm Thế Anh THANH HÓA, NĂM 2022 Danh sách Hội đồng đánh giá luận văn Thạc sỹ khoa học (Theo Quyết định số: /QĐ- ĐHHĐ ngày tháng năm 2022 Hiệu trưởng Trường Đại học Hồng Đức) Học hàm, học vị Cơ quan Chức danh Họ tên Công tác Hội đồng Chủ tịch HĐ UV, Phản biện UV, Phản biện Uỷ viên Uỷ viên, Thư ký Xác nhận Người hướng dẫn Học viên chỉnh sửa theo ý kiến Hội đồng Ngày tháng năm 2022 LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Xây dựng cổng quan trắc môi trường - Dự báo số môi trường sử dụng công nghệ AI&BI” đề tài nghiên cứu cá nhân hướng dẫn PGS.TS Phạm Thế Anh, thực trung thực không chép tác giả khác Các vấn đề trình bày tìm hiểu nghiên cứu cá nhân tơi trích dẫn từ nguồn tài liệu có ghi tham khảo rõ ràng, hợp pháp Tôi xin chịu trách nhiệm cho lời cam đoan Thanh Hóa, ngày 12 tháng năm 2022 Người cam đoan Nguyễn Xuân Vĩnh i LỜI CẢM ƠN Trước tiên em xin gửi lời cảm ơn đến Thầy PGS.TS.Phạm Thế Anh, Trưởng Khoa Công nghệ thông tin Truyền thông, Trường Đại học Hồng Đức tận tình truyền đạt kiến thức, kinh nghiệm hướng dẫn em trình thực luận văn Xin gửi lời cảm ơn đến quý Thầy Cô Khoa Cơng nghệ thơng tin Truyền thơng nói riêng Trường đại học Hồng Đức nói chung tận tâm truyền đạt kiến thức cho em suốt thời gian học tập trường Xin gửi lời cảm ơn tới đồng chí lãnh đạo, đồng nghiệp VNPT Thanh Hoá tạo điều kiện thời gian, phối hợp hỗ trợ để tơi hồn thành chương trình học luận văn Tơi xin gửi lời cảm ơn đến gia đình, bạn bè bạn học viên Lớp thạc sĩ khoa học máy tính K13 ln động viên, khích lệ, giúp đỡ suốt trình học tập làm luận văn Mặc dù thân cố gắng nghiên cứu với khả kiến thức có hạn nên khơng tránh khỏi thiếu sót Rất mong nhận góp ýtừ Q Thầy, Cơ để phát triển nội dung luận văn lên mức độ cao Xin chân thành cảm ơn! Thanh Hóa, ngày 12 tháng năm 2022 Tác giả luận văn Nguyễn Xuân Vĩnh ii MỤC LỤC LỜI CAM ĐOAN - LỜI CẢM ƠN ii MỤC LỤC iii DANH MỤC TỪ VIẾT TẮT v DANH MỤC CÁC BẢNG vi DANH MỤC HÌNH ẢNH vii MỞ ĐẦU 1.Tính cấp thiết đề tài Mục tiêu nghiên cứu 3 Đối tượng, phạm vi nghiên cứu 3.1 Đối tượng nghiên cứu: 3.2 Phạm vi nghiên cứu: Nội dung nghiên cứu: Phương pháp nghiên cứu Dự kiến kết đạt Chương GIỚI THIỆU 1.1.Giới thiệu số số quan trắc môi trường trọng tâm 1.1.1.Bộ số chất lượng không khí AQI 1.2 Bài tốn dự báo số mơi trường ứng dụng thực tiễn 10 1.3 Công nghệ AI & ML phân tích dự báo số tương lai (Data Forecast)…… 11 1.4.Công nghệ PowerBI trực quan hoá liệu (Data Visualization) phân tích liệu (Data Analytics) 14 1.5 Công nghệ PHP xây dựng website nhúng liệu 18 1.6 Thách thức toán 19 1.7 Một số ứng dụng thực tế 20 Chương TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 23 iii 2.1 Tìm hiểu mơ hình dự báo số mơi trường dựa công nghệ Machine Learning (ML) Deep Learning (DL) 23 2.1.1 Các mơ hình dự đốn dựa ML 23 2.1.2 Các mơ hình dự đoán dựa DL 26 2.2 Tìm hiểu mơ hình phân tích đánh giá liệu mơi trường 31 2.2.1 Giới thiệu khung tham chiếu mức độ an toàn số mơi trường 31 2.2.2 Phân tích liệu phương pháp phân cụm 33 2.2.3 Các phương pháp khác 36 Kết luận Chương 41 Chương XÂY DỰNG MƠ HÌNH DỰ BÁO VÀ PHÂN TÍCH CHỈ SỐ MƠI TRƯỜNG 43 3.1 Mơ tả q trình thu thập lựa chọn số môi trường 43 3.2 Xây dựng mơ hình dự báo số mơi trường 46 3.2.1 Chuẩn bị liệu 46 3.2.2 Xây dựng mơ hình dự đốn 49 3.2.3 Các mơ hình dự đốn sử dụng biến đầu vào 50 3.2.4 Các mơ hình dự đoán sử dụng nhiều biến đầu vào 55 3.3 Thiết kế kiến trúc hệ thống cổng quan trắc môi trường 56 3.3.1 Phân tích nghiệp vụ tốn quan trắc mơi trường 56 3.3.2 Thiết kế kiến trúc hệ thống 58 3.3.3 Thiết kế mơ hình chức biểu đồ use-cases 58 3.3.4 Thiết kế sở liệu 60 3.4 Giới thiệu chức hệ thống 60 3.4.1 Chức Quản lý người dùng 60 3.4.2 Chức Quản trị Dashboard 63 3.4.3 Chức xem danh sách Dashboard 66 3.4.4 Chức xem chi tiết Dashboard 66 3.4.5 Chức đổi mật người dùng 67 3.4.6 Chức tạo Dashboard PBI 68 3.4.7 Chức Quản lý số môi trường 70 3.5 Giới thiệu địa hệ thống demo số giao diện 73 Chương KẾT LUẬN VÀ KIẾN NGHỊ 78 4.1 Kết luận 78 iv 4.2 Kiến nghị 79 TÀI LIỆU THAM KHẢO 80 DANH MỤC TỪ VIẾT TẮT AI: Artifical intelligence CNN : Convolutional Neural Network CNTT: Công nghệ thông tin CNTT&TT: Công nghệ thông tin truyền thông DL: Deep Learning Densenet: Dense connected convolutional network ML: Machine Learning PBI: Power BI PHP:Hypertext Preprocessor GAN: Generative Adversarial Networks ResNet: Residual Network v DANH MỤC CÁC BẢNG Bảng 1.1 Chỉ số chất lượng khơng khí (AQI) mức độ ảnh hưởng đến sức khỏe người………………………………………………… Bảng 1.2 Chỉ số chất lượng nước (WQI) mức đánh giá chất lượng nước ……………………………………………………………… Bảng 2.1 Bảng tham chiếu mức độ an toàn số môi trường theo tổ chức United States Environmental Protection Agency (US EPA) Bảng 2.2 Chất lượng khơng khí biến mơi trường nghiên cứu [8]……………………………………………………………………… Bảng 2.3 Tóm tắt liệu nồng độ PO10 năm 2013-2018 địa điểm nghiên cứu ……………………………………………………… Bảng 3.1 Thông tin thống kê từ liệu số môi trường………… vi 32 33 36 47 3.4.6 Chức tạo Dashboard PBI Quản trị dựng dashboard PBI hình sau đăng nhập vào tài khoản đăng ký Hình 3.33 Tạo dựng dashboard PBI Sau tạo dashboard thành công, người dùng thực publish dashboard cổng Hình 3.34 Hình 3.34 Bước thực publish dashboard cổng Màn hình ra, người dùng lựa chọn “Create embed code” 68 Hình 3.35 Bước thực publish dashboard cổng Tiếp theo để thực publish Dashboar to web người dùng cần chọn nút “Publish” sau Hình 3.36 Bước thực publish dashboard cổng Sau người dùng copy mã nhúng vào website bước Thêm dashboard vào web quản trị mục chức quản trị Dashboard website 69 Hình 3.37 Bước thực publish dashboard cổng 3.4.7 Chức Quản lý số môi trường Chọn chức “Chỉ số môi trường” ởMenu bên trái, chức cho phép người dùng thêm số môi trường cần giám sát dự báo cách click vào nút “Thêm” số góc phải hình Hình 3.38 Chức thêm số môi trường Cho phép người dùng xem danh sách số môi trường cần giám sát hình 70 Hình 3.39 Giao diện chức xem danh sách số môi trường Cho phép người dùng tìm kiếm số đo dánh sách cách gõ số vào góc phải hình, hình Hình 3.40 Giao diện chức tìm kiếm số môi trường Hệ thống cho phép người dùng sửa thông tin số môi trường cách click vào biểu tượng bút góc phải hình số hình 71 Hình 3.41 Giao diện chức sửa thông tin số môi trường Hệ thống cho phép quản trị xoá số môi trường không cần thiết cách click vào biểu tường thùng rác góc phải hình số chọn nút “ok, xoá” để xoá số chọn nút “khơng” để huỷ tiến trình xố, hình Hình 3.42 Giao diện chức xóa số số môi trường 72 3.5 Giới thiệu địa hệ thống demo số giao diện Địa hệ thống: http://demo.vnptthanhhoa.vn Hình 3.43 Giao diện hệ thống 73 Hình 3.44 Giao diện chức số mơi trường Hình 3.45 Giao diện chức quản lý người dùng 74 Hình 3.46 Giao diện dashboard giám sát tình hình nhiễm tồn tỉnh Hình 3.47 Giao diện dashboard giám sát tình hình nhiễm nước 75 Hình 3.48 Giao diện dashboard giám sát số khí tượng thủy văn Hình 3.49 Giao diện đồ quan trắc 76 Hình 3.50 Giao diện giám sát tình hình nhiễm nước mặt Hình 3.51 Giao diện giám sát tình hình nhiễm nước thải 77 Chương KẾT LUẬN VÀ KIẾN NGHỊ 4.1 Kết luận Sự phát triển nhanh chóng thị cơng nghiệp kéo theo tác động xấu đến môi trường Môi trường chịu nhiều sức ép từ hoạt động phát triển kinh tế - xã hội Vì việc quản lý thơng qua hoạt động giám sát đặt Chỉ thị 25/CT-TTg ngày 31/8/2016 Thủ tướng Chính phủ; Nghị định 38/2015/NĐ-CP ngày 24 tháng 04 năm 2015 Chính phủ; Nghị định 40/2019/NĐ-CP ngày 13/5/2019 yêu cầu Ủy ban nhân dân cấp tỉnh có trách nhiệm yêu cầu đối tượng có quy mô xả thải lớn lắp đặt thiết bị giám sát hoạt động xả thải truyền số liệu trực tiếp Sở Tài nguyên Môi trường; Sở Tài nguyên Môi trường tiếp tục truyền số liệu Bộ Tài nguyên Môi trường-Tổng cục Môi trường Một hệ thống phần mềm quản lý số liệu quan trắc tự động dùng chung trongphạm vi toàn quốc Bộ Tài nguyên Môi trường đạo Tổng cục Môi trường xây dựng Các hệ thống quan trắc môi trường tự động đem lại số hiệu thiết thực, chất lượng môi trường cảnh báo kịp thời, qua cấp quyền có giải pháp để cảnh báo đến cộng đồng nhằm giảm thiểu tác động ảnh hưởng biến động môi trường Tuy nhiên, dừng lại mức độ phản ảnh cảnh báo chưa giải toán “ngăn chặn” sớm tác hại Vì việc đặt vấn đề xây dựng mơ hình cảnh báo để dự báo trước diễn biến mức độ, phạm vi tác động xảy tác động gây ô nhiễm môi trường thảm họa mơi trường, để từ giúp cho nhà quản lý đưa định sớm để ngăn chặn cần thiết Việc phát triển mạnh mẽ cơng nghệ trí tuệ nhân tạo, mơ hình máy học, cơng nghệ BI cho phép chúng làm điều Trong phạm vi đề án luận văn thạc sỹ khoa học máy tính, tác giả đặt mục tiêu nghiên cứu là(1) Xây dựng mơ hình dự báo số mơi trường ứng dụng cơng nghệ trí tuệ nhân tạo (AI), mơ hình học máy (ML), cơng nghệ (Power BI) (2) Xây dựng ứng dụng (cổng quan trắc môi 78 trường) hỗ trợ dự báo số môi trường Từ tác giả xác định đối tượng phạm vi nghiên cứu Do hạn chế thời gian nguồn lực, nên phạm vi nghiên cứu có hạn chế, lựa chọn số đánh giá mức độ ô nhiễm nguồn nướcgồm: BOD, TSS, COD, pH, NH4-NO3 để dựng mơ hình dự báo phân tích số mơi trường Các nội dung nghiên cứu đặt hoàn thành thể đầy đủ luận văn; bao gồm: Tìm hiểu tốn quan trắc mơi trường dự báo số mơi trường; Tìm hiểu tổng quan mơ hình dự báo số quan trắc mơi trường; Tìm hiểu, nghiên cứu cơng nghệ trí tuệ nhân tạo (AI), mơ hình học máy (ML), cơng nghệ (Power BI); Xây dựng mơ hình dự báo phân tích số mơi trường (Lựa chọn số đánh giá mức độ ô nhiễm nguồn nướcgồm: BOD, TSS, COD, pH, NH4-NO3); Đánh giá phân tích mơ hình Tuy khn khổ luận văn, tác giả xây dựng đưa vào vận hành thành công Cổng quan trắc môi trường dự báo web app Cổng quan mơi trường tiếp tục phát triển phù hợp theo yêu cầu cụ thể để áp dụng xử lý tốn dự báo quan trắc mơi trường thực tế Cách đặt vấn đề kết đạt đề tài phù hợp với yêu cầu thực tế xu hướng công nghệ 4.2 Kiến nghị Trong giai đoạn nay, công nghệ cho phép giải toán quản trị môi trường cách chủ động, từ sớm Dự báo số môi trường sử dụng công nghệ AI&BI hướng Các khía cạnh pháp lý quan trắc môi trường với phát triển cơng nghệ trí tuệ nhân tạo (AI), mơ hình học máy (ML), cơng nghệ (Power BI) cho phép hồn tồn làm chủ việc dự báo số môi trường.Tuy nhiên, khuôn khổ đề án luận văn nhiều hạn chế Trong nghiên cứu cần quan tâm tăng số lượng số, tăng cường thu thập thông tin quan trắc, mở rộng phạm vi rộng để định hướng mơ hình cơng nghệ báo số môi trường tầm quốc gia 79 TÀI LIỆU THAM KHẢO Tài liệu Tiếng Việt: [1] Phạm Thế Anh, Nguyễn Mạnh An, Đỗ Năng Tồn (2017), Giáo trình Xử lý ảnh, NXB Giáo dục [2] Lê Hoài Bắc (2014), Cơ sở trí tuệ nhân tạo, Nhà xuất Khoa học Kỹ thuật [3] Hoàng Văn Dũng (2018), Giáo trình Nhận dạng Xử lý ảnh, Nhà xuất Khoa học Kỹ thuật [4] Lê Anh Tuấn (2021), Quản trị phân tích số liệu từ Excel đến Business Intelligence, Nhà Xuất Bản Thế Giới [5] https://isponre.gov.vn/en/news/policy-dialogues/tong-quan-ve-phuongphap-du-bao-va-kha-nang-ap-dung-mot-so-mo-hinh-trong-du-bao-biendong-tai-nguyen-va-moi-truong-tai-viet-nam-820.html Tài liệu Tiếng Anh: [6] B Ojeda-Magaña, R Ruelas, L Gómez-Barba, M A Corona-Nakamura, J M Barrón-Adame, M G Cortina-Januchs, J Quintanilla-Domínguez, and A Vega-Corona (2011), "Air Pollution Analysis with a Possibilistic and Fuzzy Clustering Algorithm Applied in a Real Database of Salamanca (México)", in Environmental Monitoring, London, United Kingdom: IntechOpen, [Online] Available: https://www.intechopen.com/chapters/22736 doi: 10.5772/27120 [7] Bekkar, A., Hssina, B., Douzi (2021), “S et al Air-pollution prediction in smart city, deep learning approach”, J Big Data8, 161 https://doi.org/10.1186/s40537-021-00548-1 [8] Chen, P (2019), “Visualization of real-time monitoring datagraphic of urban environmental quality”, J Image Video Proc, 42 https://doi.org/10.1186/s13640-019-0443-6 80 [9] Chae, S., Shin, J., Kwon (2021), “S et al PM10 and PM2.5 real-time prediction models using an interpolated convolutional neural network”, Sci Rep11, 11952 https://doi.org/10.1038/s41598-021-91253-9 [10] Dunn, J (1973), “ A fuzzy relative of the isodata process and its use in detecting compact well-separated clusters”, Journal of Cybernetics, 3(3): 32–57 [11] G R Kingsy, R Manimegalai, D M S Geetha, S Rajathi, K Usha and B N Raabiathul (2016), "Air pollution analysis using enhanced KMeans clustering algorithm for real time sensor data", 2016 IEEE Region 10 Conference (TENCON), pp 1945-1949, doi: 10.1109/TENCON.2016.7848362 [12] Kumar, K., Pande, B.P(2022), “ Air pollution prediction with machine learning: a case study of Indian cities”, Int J Environ Sci Technol, https://doi.org/10.1007/s13762-022-04241-5 [13] Krishnapuram, R & Keller, J (1993), “A possibilistic approach to clustering”, International Conference on Fuzzy Systems , 1(2): 98–110 [14] N R Pal, S K Pal, J.C Bezdek(1997), “A mixed c-means clustering model”, IEEE International Conference on Fuzzy Systems, Spain, pp.11– 21 [15] Pal, N R., Pal, S K & Bezdek, J C (1997) A mixed c-means clustering model, IEEE International Conference on Fuzzy Systems, Spain, pp 11–21 [16] P K Sharma, T De and S Saha (2018), "IoT based indoor environment data modelling and prediction," 2018 10th International Conference on Communication Systems & Networks (COMSNETS), pp 537-539, doi: 10.1109/COMSNETS.2018.8328266 [17] R K Grace, K Aishvarya S., B Monisha and A Kaarthik (2020), "Analysis and Visualization of Air Quality Using Real Time Pollutant Data," 2020 6th International Conference on Advanced Computing and Communication Systems (ICACCS), 10.1109/ICACCS48705.2020.9074283 81 pp 34-38, doi: [18] Sooyoung Guak, Kangjin Kim, Wonho Yang, Sungho Won, Hunjoo Lee, Kiyoung Lee (2021), “Prediction models using outdoor environmental data for real-time PM10 concentrations in daycare centers, kindergartens, and elementary schools”, Building and Environment, Volume 187 [19] S M Saad, A Y M Shakaff, A R M Saad, A M Yusof, A M Andrew, A Zakaria, and A H Adom (2017), "Development of indoor environmental index: Air quality index and thermal comfort index", AIP Conference Proceedings ,1808, 020043 https://doi.org/10.1063/1.4975276 [20] S Jeya and L Sankari (2020), "Air Pollution Prediction by Deep Learning Model," 2020 4th International Conference on Intelligent Computing and Control Systems (ICICCS), pp 736-741, doi: 10.1109/ICICCS48265.2020.9120932 [21] Wright, Caradee & Wernecke, Bianca (2020), “ Using Microsoft© Power BI© to visualise Rustenburg Local Municipality’s Air Quality Data”, Clean Air Journal, 30 0.17159/caj/2020/30/1.7512 [22]https://app.powerbi.com/view?r=eyJrIjoiODg4MWFkMzUtMTRjMC00Z DExLWJhMWEtZjliNTdkY2VkZjdkIiwidCI6ImFjZjQxODg3LWJkM zctNDVkMy05ZTY1LTQ3Y2RlNDhkYzg1YSIsImMiOjh9, Ngày truy cập: 29/6/2022 82