ĐẶ T V ẤN ĐỀ
T ổ ng quan v ề quan tr ắc môi trườ ng
Môi trường và chất lượng môi trường có ảnh hưởng trực tiếp đến cuộc sống con người, đóng vai trò quan trọng trong phát triển bền vững Do đó, tất cả các thành phần môi trường như đất, nước, không khí và sinh vật cần được quan trắc thường xuyên theo thời gian và không gian.
Quan trắc môi trường đóng vai trò thiết yếu trong hệ thống quản lý môi trường, cung cấp số liệu và thông tin quan trọng cho các nhà quản lý Những dữ liệu này được sử dụng để đánh giá, kiểm tra và đưa ra các biện pháp quản lý, quy hoạch nhằm ngăn chặn và kiểm soát ô nhiễm, suy thoái môi trường Đây là công cụ quan trọng để kiểm soát chất lượng môi trường, đồng thời là cơ sở thông tin cho ngành công nghiệp môi trường, góp phần vào việc đánh giá chất lượng môi trường một cách hiệu quả.
Quan trắc môi trường là quá trình theo dõi định kỳ chất lượng môi trường, tập trung vào các điểm quan trọng nhằm hỗ trợ hoạt động bảo vệ môi trường và thúc đẩy phát triển bền vững.
Các mục tiêu cụ thể của quan trắc môi trường hướng đến gồm:
1 Cung cấp đánh giá về diễn biến chất lượng của môi trường trên quy mô lớn, tầm cỡ quốc gia, giúp cho việc xây dựng báo cáo hiện trạng môi trường
2 Cung cấp đánh giá về diễn biến chất lượng của môi trường trên từng vùng trọng điểm được quan trắc, nhằm phục vụ các yêu cầu tức thời của các cấp quản lý nhà nước về bảo vệmôi trường
3 Cảnh báo kịp thời những diễn biến bất thường của môi trường hoặc nguy cơ ô nhiễm, suy thoái môi trường
4 Xây dựng lên cơ sở dữ liệu về chất lượng môi trường, phục vụ cho việc lưu trữ, cung cấp và trao đổi thông tin trong phạm vi quốc gia và phạm vi quốc tế
5 Đáp ứng yêu cầu công tác quản lý môi trường của các cơ quan Trung ương và địa phương.
Vậy quan trắc môi trường là gì?
Quan trắc môi trường là quá trình đo đạc định kỳ các chỉ tiêu vật lý, hóa học và sinh học của môi trường Quá trình này được thực hiện theo kế hoạch cụ thể về thời gian, không gian, phương pháp và quy trình đo lường Mục tiêu của quan trắc môi trường là cung cấp thông tin cơ bản với độ tin cậy và chính xác cao, từ đó giúp đánh giá diễn biến chất lượng môi trường hiệu quả.
Các công việc quan trắc môi trường bao gồm theo dõi số lượng và thực trạng các yếu tố ảnh hưởng đến môi trường Điều này bao gồm việc đo đạc và phân tích các yếu tố tác động như môi trường nước mặt, không khí và nước ngầm, dựa trên các tiêu chuẩn kỹ thuật hiện hành.
1.1.2 Vai trò của quan trắc môi trường
Quan trắc môi trường là hoạt động thiết yếu giúp theo dõi biến đổi môi trường, phát hiện và ngăn chặn nguy cơ ô nhiễm, đồng thời đưa ra biện pháp kịp thời cho các khu vực có nguy cơ cao Việc lưu trữ thông tin từ quá trình quan trắc cung cấp cơ sở dữ liệu quan trọng cho các hoạt động sau này Đây cũng là yêu cầu bắt buộc đối với nhiều doanh nghiệp nhằm đảm bảo môi trường được bảo vệ, hướng đến sự phát triển bền vững trong tương lai.
Có thể thấy, quan trắc môi trường là một trong những hoạt động không thể thiếu và có vai trò vô cùng quan trọng, đó là:
- Theo dõi và phòng tránh được những thay đổi của môi trường
- Chủđộng phòng tránh những nguy cơ gây ô nhiễm hoặc suy thoái môi trường
- Kịp thời đưa ra những giải pháp đối với khu vực có nguy cơ bị ô nhiễm cao
- Giúp lưu giữ tất cả thông tin trong quá trình quan trắc để tiến hành xây dựng cơ sở dữ liệu
- Hướng tới sự phát triển bền vững trong tương lai.
Quan tr ắc môi trườ ng nuôi tr ồ ng th ủ y s ả n
1.2.1 Hiện trạng công tác quan trắc môi trường NTTS ở nước ta
Mặc dù ngành nuôi trồng thủy sản (NTTS) Việt Nam đã đạt được nhiều thành tựu quan trọng, nhưng hiện nay vẫn đang phải đối mặt với các vấn đề nghiêm trọng về môi trường và dịch bệnh Tình trạng dịch bệnh thủy sản đang gia tăng và khó kiểm soát, đặc biệt là ở tôm nuôi nước lợ, gây thiệt hại lên đến hàng trăm tỷ đồng mỗi vụ nuôi Theo thống kê, năm 2011, dịch bệnh đã ảnh hưởng đến hơn 97.000 ha tôm nước lợ, chủ yếu tập trung ở Bạc Liêu và Sóc Trăng Năm 2012, diện tích tôm bị bệnh lên tới 100.776 ha, và năm 2013 là 68.099 ha Đầu năm 2012, bệnh sữa ở tôm hùm đã khiến người nuôi thiệt hại hàng trăm tỷ đồng Ngoài ra, năm 2011, ngao nuôi tại Tiền Giang, Bến Tre, Bạc Liêu cũng chết hàng loạt, với tổng diện tích thiệt hại 2.980 ha và giá trị thiệt hại khoảng 648 tỷ đồng Vào đầu tháng 8 năm 2014, có 1.096 ha ngao chết ở Thái Bình, cho thấy tình hình dịch bệnh đang ngày càng nghiêm trọng.
Cá nuôi lồng trên biển tại Quảng Ninh, Hải Phòng, Thừa Thiên Huế, Khánh Hoà và Bà Rịa-Vũng Tàu thường xuyên gặp dịch bệnh, gây chết rải rác và hàng loạt trong điều kiện môi trường bất lợi Đặc biệt, bệnh cá rô phi do vi khuẩn Streptococcus sp đã bùng phát thành dịch trên toàn miền Bắc trong thời gian nắng nóng từ tháng 6 đến tháng 9 Ngoài dịch bệnh, ô nhiễm nguồn nước từ nước thải sinh hoạt, nông nghiệp và công nghiệp cũng đang gây ra suy thoái môi trường nuôi trồng thủy sản Những vấn đề này đòi hỏi sự quản lý chặt chẽ để kiểm soát môi trường và dịch bệnh, nhằm bảo vệ ngành nuôi trồng thủy sản.
Quản lý dịch bệnh trong nuôi trồng thủy sản (NTTS) phụ thuộc chủ yếu vào việc kiểm soát chất lượng môi trường nước Công tác quan trắc môi trường tại các vùng nuôi trồng cung cấp thông tin về diễn biến môi trường, từ đó đưa ra các đề xuất giúp cơ quan quản lý xây dựng lịch mùa vụ và kế hoạch phòng tránh thiệt hại do ô nhiễm môi trường Kết quả quan trắc không chỉ hỗ trợ chỉ đạo sản xuất hiệu quả mà còn đánh giá tác động của NTTS đến môi trường xung quanh.
Quan trắc môi trường xung quanh trong nuôi trồng thủy sản (NTTS) là yếu tố quan trọng giúp cơ quan quản lý quy hoạch vùng nuôi và định hướng phát triển ngành thủy sản Việc theo dõi thường xuyên giúp nắm bắt xu hướng diễn biến môi trường, từ đó dự báo chất lượng nước Ngoài ra, công tác này cũng hỗ trợ người nuôi trong việc quản lý chất lượng nước và phòng ngừa dịch bệnh hiệu quả Do đó, quan trắc môi trường đóng vai trò thiết yếu trong việc nâng cao hiệu quả NTTS, giảm thiểu nguy cơ dịch bệnh và đảm bảo sự phát triển bền vững cho ngành thủy sản.
Từ năm 2001, Bộ Thuỷ sản đã thiết lập các cơ quan chức năng để thực hiện quan trắc và cảnh báo môi trường cũng như dịch bệnh trong ngành thuỷ sản Điều này tạo nền tảng cho việc hình thành mạng lưới quan trắc, cảnh báo phục vụ nuôi trồng thuỷ sản Các cơ quan được giao nhiệm vụ sẽ đóng vai trò quan trọng trong việc bảo vệ và phát triển ngành thuỷ sản bền vững.
Trung tâm Quốc gia quan trắc, cảnh báo môi trường và phòng ngừa dịch bệnh thủy sản (NCQT, CBMT và PNDBTS) thuộc Viện Nghiên cứu NTTS I, hiện có 8 trạm vùng hoạt động, bao gồm các trạm tại Cát Bà, Quý Kim, Hải Dương, Nam Định, Nghệ An, Thừa Thiên Huế, Sơn La và Tuyên Quang.
Trung tâm Quốc gia quan trắc, cảnh báo môi trường và phòng ngừa dịch bệnh thủy sản Nam Bộ, thuộc Viện Nghiên cứu NTTS II, có nhiệm vụ thu thập và phân tích dữ liệu môi trường Trung tâm được tổ chức với hai loại trạm: trạm cấp 1, chịu trách nhiệm thu thập tài liệu cơ bản để đánh giá chất lượng nước tại tiểu vùng; và trạm cấp 2, được mở rộng theo yêu cầu và điều kiện thực tế Các địa điểm chính của trung tâm bao gồm Bán đảo Cà Mau, Đồng Tháp Mười, Sông Tiền, Sông Hậu và Tứ giác Long Xuyên.
Trung tâm Quốc gia quan trắc, cảnh báo môi trường và phòng ngừa dịch bệnh thủy sản miền Trung (QGQT, CBMT và PNDBTS miền Trung) tại Viện
Nghiên cứu NTTS III, thực hiện quan trắc môi trường tại các tỉnh từ Đà Nẵng đến Bình Thuận
Trung tâm Quốc gia quan trắc cảnh báo môi trường biển (QGQT CBMT biển) thuộc Viện Nghiên cứu Hải sản, đóng vai trò quan trọng trong việc tham gia vào trạm quan trắc phân tích môi trường biển quốc gia Trung tâm này chịu trách nhiệm quan trắc môi trường biển tại khu vực Côn Đảo, cũng như các vùng biển Trung, Đông Nam bộ và Tây Nam bộ.
Nhiều tỉnh có hoạt động nuôi trồng thủy sản (NTTS) phát triển mạnh đã thành lập các đơn vị quan trắc môi trường, thực hiện công tác giám sát chất lượng môi trường.
Việt Nam có 12 tỉnh thành chủ yếu phục vụ cho ngành nuôi trồng thủy sản, bao gồm tôm nước lợ, nhuyễn thể, cá biển và cá tra Những địa phương này gồm Kiên Giang, Tiền Giang, Sóc Trăng, TP Hồ Chí Minh, Bà Rịa – Vũng Tàu, Phú Yên, Quảng Ngãi, Quảng Nam, Hà Tĩnh, Thanh Hóa và Nghệ An.
Mặc dù nhiều tỉnh như Bạc Liêu, An Giang, Cần Thơ, Hải Phòng, Hải Dương, Hà Nội và Thái Bình có sản lượng nuôi trồng thủy sản lớn, nhưng vẫn còn thiếu hoạt động quan trắc môi trường thường xuyên, chỉ thực hiện quan trắc khi có dịch bệnh xảy ra.
Một số tỉnh như Thanh Hóa, Nam Định, Bến Tre và Quảng Bình đã giao nhiệm vụ quan trắc môi trường cho các cơ quan như chi cục thú y, trung tâm khuyến nông và chi cục quản lý chất lượng nông lâm sản và thuỷ sản Tuy nhiên, một số địa phương như Phú Thọ, Hà Giang, Cao Bằng, Đak Lak, Lâm Đồng và Tây Ninh gần như không có hoạt động quan trắc môi trường nuôi trồng thủy sản.
Trong bối cảnh ngành nông nghiệp và phát triển nông thôn cùng thủy sản đang tái cấu trúc theo hướng bền vững, Bộ Nông nghiệp và PTNT đã chú trọng vào công tác quan trắc môi trường trong nuôi trồng thủy sản Việc này nhằm quản lý hiệu quả môi trường NTTS, giảm thiểu dịch bệnh, bảo vệ sinh thái, đồng thời đảm bảo an ninh lương thực và tăng cường xuất khẩu Do đó, việc thực hiện quan trắc môi trường nuôi trồng thủy sản một cách thường xuyên và tự động là cần thiết để đáp ứng yêu cầu phát triển bền vững của ngành.
1.2.2 Một số hệ thống quan trắc môi trường NTTS trong nước
Với sự tiến bộ của công nghệ 4.0, các mô hình mạng cảm biến không dây đang được áp dụng rộng rãi trong lĩnh vực nông nghiệp và thủy sản trên toàn quốc.
Tại Quảng Ngãi, mạng cảm biến không dây giám sát môi trường đất cung cấp thông số quan trọng cho sản xuất nông nghiệp như nhiệt độ, độ ẩm không khí, ánh sáng, độ ẩm đất và độ pH Tại Long An, Trường Đại học Kinh tế Công nghiệp Long An đã thiết kế và triển khai hệ thống cảm biến không dây phục vụ nông nghiệp chính xác, cho phép thu thập dữ liệu và truyền tải không dây đến trạm quản lý để phân tích Điều này giúp người sử dụng đưa ra quyết định phù hợp nhằm nâng cao sản xuất và chất lượng cây trồng Ở Đà Nẵng, mạng cảm biến không dây đã được nghiên cứu để giám sát môi trường và tình trạng thiết bị, trong khi Trường Đại học Bách khoa Hà Nội cũng triển khai các dự án thu thập nồng độ khói, địa điểm cháy rừng, độ ẩm và nhiệt độ.
Mô hình t ổ ng th ể c ủ a h ệ th ố ng quan tr ắ c t ự độ ng
Nhóm nghiên cứu đã đề xuất một kiến trúc tổng thể cho hệ thống quan trắc tự động môi trường nuôi tôm hùm tại vịnh Xuân Đài và đầm Cù Mông, tỉnh Phú Yên Hệ thống này được thiết kế dựa trên các công nghệ tiên tiến về cảm biến, truyền thông, tự động hóa, xử lý dữ liệu và phần mềm cảnh báo, hướng tới việc phát triển một hệ thống IoT tích hợp.
Hình 1.3: Mô hình tổng thể hệ thống quan trắc tự động môi trường nuôi tôm hùm
Kiến trúc hệ thống được chia thành các phân hệ với các chức năng chính như sau:
Các trạm quan trắc tự động hoạt động như những nút cảm biến, được trang bị các module cảm biến và hệ thống tự động hóa tiên tiến, cho phép ghi nhận và theo dõi liên tục các thông số môi trường Mỗi trạm quan trắc đều được tích hợp đầy đủ các tính năng cần thiết để đảm bảo độ chính xác và hiệu quả trong việc giám sát môi trường.
16 module định vị GPS và truyền thông vô tuyến (GSM/3G và LORA) cho phép các trạm trao đổi thông tin hiệu quả với nhau và với trạm tập trung thông qua công nghệ hiện đại.
Hệ thống LORA cho phép mỗi trạm tự cấu hình và hoạt động độc lập hoặc theo cấu hình từ xa qua TCP/IP thông qua module GSM/3G Để đồng bộ dữ liệu và cung cấp thông tin về không – thời gian cho mô hình cảnh báo, các trạm sử dụng module định vị GPS Ngoài ra, các trạm quan trắc tự động còn được trang bị module cấp nguồn và lưu trữ năng lượng từ năng lượng mặt trời, đảm bảo khả năng hoạt động liên tục trong thời gian dài.
Các trạm quan trắc tự động được lắp đặt trên hệ thống phao chuyên dụng với cấu trúc cơ khí phù hợp, nhằm giảm thiểu tối đa ảnh hưởng của môi trường như sóng, gió và nước mặn đến hoạt động ổn định và tin cậy của thiết bị quan trắc Kiến trúc và các thành phần chính của trạm quan trắc tự động được minh họa trong Hình 1.4.
Hình 1.4: Kiến trúc trạm quan trắc tự động (nút mạng cảm biến)
1.3.2 Phân hệ trạm gốc Đây là thiết bị tập trung hay trạm thu thập dữ liệu từ các trạm quan trắc tựđộng
Trạm thu thập dữ liệu được trang bị các module định vị GPS và truyền thông GSM/3G, LORA tương tự như trạm quan trắc tự động, nhưng với khả năng xử lý và tính toán mạnh mẽ hơn Điều này cho phép trạm thực hiện các thuật toán phức tạp như đa truy nhập và tập hợp dữ liệu trước khi gửi thông tin về máy chủ trung tâm.
Trạm thu thập dữ liệu được lắp đặt ở vị trí tối ưu để giao tiếp hiệu quả với tất cả các trạm quan trắc tự động thông qua truyền thông vô tuyến LORA Đồng thời, nó cũng kết nối với phân hệ xử lý và cung cấp dịch vụ (máy chủ cổng ứng dụng) qua hạ tầng hệ thống.
17 thống thông tin di động (module GSM/3G) hoặc kết nối trực tiếp với Internet
Trạm thu thập tự động có thể sử dụng nguồn điện từ lưới hoặc năng lượng mặt trời Kiến trúc của trạm thu thập dữ liệu quan trắc được trình bày trong Hình 1.5.
Hình 1.5: Kiến trúc trạm thu thập dữ liệu quan trắc (trạm gốc)
1.3.3 Phân hệ xử lý dữ liệu và cung cấp dịch vụ
Máy chủ cổng ứng dụng chịu trách nhiệm giao tiếp với trạm tập trung để nhận dữ liệu quan trắc và truyền thông tin điều khiển từ hệ thống đến các trạm quan trắc tự động Đồng thời, máy chủ này cũng cung cấp các dịch vụ cho người dùng Máy chủ cơ sở dữ liệu lưu trữ dữ liệu quan trắc và cung cấp dịch vụ truy vấn để biểu diễn dữ liệu theo thời gian thực, cũng như cung cấp thông tin cho các mô hình cảnh báo Cuối cùng, máy chủ dịch vụ đảm nhận các chức năng quản trị hệ thống, quản trị người dùng, quản trị cơ sở dữ liệu, phân tích dữ liệu, chạy các mô hình cảnh báo và hỗ trợ quy trình nghiệp vụ trong công tác quản lý và điều hành nuôi tôm hùm.
1.3.4 Phân hệ vận hành, bảo dưỡng và điều khiển
Cung cấp các chức năng giám sát, cảnh báo, xử lý sự cố Cung cấp các quy trình vận hành, khai thác, và bảo dưỡng hệ thống
Chúng tôi cung cấp phần mềm quản lý, giám sát và cảnh báo qua giao diện Web và ứng dụng trên điện thoại thông minh (hệ điều hành Android và iOS) Các biểu diễn kết quả từ bộ thông số quan trắc sẽ được hiển thị trực quan trên bản đồ GIS hoặc dưới dạng bảng biểu, giúp người dùng dễ dàng theo dõi và phân tích thông tin.
Kiến trúc tổng thể của hệ thống quan trắc tự động môi trường nuôi tôm hùm tại vịnh Xuân Đài và đầm Cù Mông bao gồm sự giao tiếp giữa các phân hệ chính Môi trường giao tiếp chủ yếu giữa 10 trạm quan trắc tự động và trạm thu thập dữ liệu tập trung là công nghệ truyền thông vô tuyến tầm ngắn LORA, cho phép hoạt động độc lập mà không cần hạ tầng viễn thông công cộng và không mất phí viễn thông hàng tháng Trong khi đó, giao tiếp giữa trạm thu thập dữ liệu và máy chủ cổng dịch vụ sử dụng hạ tầng viễn thông di động.
Việc sử dụng phương thức truyền thông cho trạm thu thập dữ liệu tập trung là hợp lý, với chỉ một trạm cần thiết cho hệ thống Trạm này được lắp đặt tại vị trí thuận tiện, dễ tiếp cận và gần khu dân cư để đảm bảo tín hiệu sóng di động luôn ổn định Hơn nữa, trạm thu thập dữ liệu tập trung còn được tích hợp giao tiếp Internet, mở ra khả năng mở rộng cho các chức năng truyền thông đa phương tiện trong tương lai.
Nhóm nghiên cứu đã phát triển phương thức giao tiếp giữa các phân hệ chính nhằm phù hợp với hệ thống quan trắc tự động, đồng thời đảm bảo tính tương thích với các chuẩn viễn thông quốc tế và chuẩn IoT hiện nay Các yếu tố quan trọng bao gồm giao thức và thuật toán đa truy nhập giữa các nút cảm biến và nút tập trung, giao tiếp giữa nút tập trung và máy chủ cổng dịch vụ, cũng như cấu trúc và định dạng các bản tin trao đổi trong hệ thống.
Ph ạ m vi nghiên c ứ u và k ế t qu ả
1.4.1 Phạm vi nghiên cứu của luận văn
Hệ thống quan trắc và dự báo các tham số môi trường nuôi tôm hùm là một hệ thống IoT hoàn chỉnh, bao gồm cảm biến ghi và đo các tham số môi trường, thiết bị thu thập, xử lý và truyền dữ liệu, phần mềm ứng dụng và điều khiển, cùng với hệ thống trạm phao Trong nghiên cứu này, tác giả tập trung vào xây dựng mô hình dự báo sử dụng công nghệ học máy để dự đoán xu hướng thay đổi của các tham số môi trường.
Sơ đồ khối ứng dụng quan trắc và dự báo môi trường trong luận văn này được trình bày rõ ràng trên Hình 1.6 Các tham số môi trường thu thập từ các bộ cảm biến sẽ được cập nhật và lưu trữ trên server, tạo thành cơ sở dữ liệu các tham số đo thực tế Mô hình dự báo được xây dựng và triển khai trên server, sử dụng dữ liệu giá trị các tham số môi trường năm 2019 làm dữ liệu huấn luyện Bộ các dịch vụ cũng sẽ được phát triển để hỗ trợ quá trình này.
19 được thiết kế để cung cấp các dịch vụ API, cho phép hiển thị giá trị đo thực tế và giá trị dự báo của các tham số tương ứng trên thiết bị di động.
1.4.2 Kết quả và đóng góp khoa học của luận văn
Trong bài viết này, tác giả đã xây dựng thành công một mô hình dự báo các tham số môi trường, đồng thời phát triển một ứng dụng di động giúp người dùng theo dõi các tham số môi trường hiện tại và giá trị dự báo trong tương lai.
Các đóng góp chính của luận văn gồm:
- Xây dựng mô hình dự báo dựa trên mạng nơron hồi quy RNN với thuật toán LSTM (Long Short Term Memory) và triển khai thành công trên server
Phát triển dịch vụ cho phép mô hình dự báo tương tác với cơ sở dữ liệu các tham số đo thực tế để thực hiện dự báo, đồng thời cung cấp API hiển thị giá trị đo và kết quả dự báo trên thiết bị di động.
- Phát triển một ứng dụng người dùng trên smartphone để biểu diễn giá trị đo và giá trị dự báo
Hình 1.6: Sơ đồ khối ứng dụng dự báo môi trường trên mobile
CƠ SỞ LÝ THUY Ế T
Ngôn ng ữ l ập trình và thư việ n
2.1.1 Ngôn ngữ lập trình Python
Python là một ngôn ngữ lập trình bậc cao đa năng, được tạo ra bởi Guido van Rossum và ra mắt lần đầu vào năm 1991 Với thiết kế dễ đọc, dễ học và dễ nhớ, Python trở thành lựa chọn lý tưởng cho người mới bắt đầu Cấu trúc rõ ràng và hình thức sáng sủa của Python giúp người dùng viết mã lệnh một cách hiệu quả, với số lần gõ phím tối thiểu.
Các đặc điểm của ngôn ngữ lập trình Python:
Python là một ngôn ngữ lập trình được thiết kế để dễ học và dễ đọc, với mã nguồn rõ ràng và bố cục trực quan Những đặc điểm nổi bật như từ khóa và khối lệnh giúp người dùng dễ dàng hiểu và làm quen với ngôn ngữ này.
Python có nhiều bản hiện thực khác nhau, trong đó bản chính CPython được viết bằng ngôn ngữ C CPython đi kèm với một thư viện chuẩn lớn, được phát triển bằng sự kết hợp giữa C và Python Bản hiện thực này có khả năng chạy trên nhiều nền tảng khác nhau, cho phép tính di động cao.
- Khả năng mở rộng: Python có thể được mở rộng: nếu ta biết sử dụng
C, ta có thể dễ dàng viết và tích hợp vào Python nhiều hàm tùy theo nhu cầu Các hàm này sẽ trở thành hàm xây dựng sẵn (built-in) của Python Ta cũng có thể mở rộng chức năng của trình thông dịch, hoặc liên kết các chương trình Python với các thư viện chỉ ở dạng nhị phân (như các thư viện đồ họa do nhà sản xuất thiết bị cung cấp) Hơn thế nữa, ta cũng có thể liên kết trình thông dịch của Python với các ứng dụng viết từ C và sử dụng nó như là một mở rộng hoặc một ngôn ngữ dòng lệnh phụ trợ cho ứng dụng đó
Python là một ngôn ngữ lập trình thông dịch, mang lại lợi ích tiết kiệm thời gian phát triển ứng dụng nhờ không cần biên dịch và liên kết Trình thông dịch Python cho phép chạy các file script và hoạt động theo cách tương tác giống như shell trên các hệ điều hành Unix, nơi người dùng có thể nhập từng biểu thức và nhận kết quả ngay lập tức Tính năng này rất hữu ích cho người mới học, giúp họ dễ dàng nghiên cứu và thực hành.
Ngôn ngữ lập trình có 21 tính năng quan trọng, cho phép lập trình viên thử nghiệm mã lệnh trong quá trình phát triển phần mềm Điều này không chỉ giúp tối ưu hóa quy trình phát triển mà còn cho phép thực hiện các phép tính tương tự như một máy tính bỏ túi.
Trong Python, mỗi câu lệnh được viết trên một dòng mã nguồn riêng biệt và không cần phải kết thúc bằng bất kỳ ký tự đặc biệt nào Điều này giúp mã nguồn trở nên rõ ràng và dễ đọc hơn.
Python sử dụng hệ thống kiểu dữ liệu duck typing, hay còn gọi là latent typing, cho phép tự động xác định kiểu mà không cần kiểm tra ràng buộc kiểu dữ liệu tại thời điểm biên dịch Thay vào đó, việc kiểm tra kiểu diễn ra khi thực thi, và nếu một thao tác trên đối tượng không thành công, điều đó cho thấy đối tượng đó không phù hợp với kiểu dữ liệu yêu cầu.
Python cho phép chia chương trình thành các module, giúp tái sử dụng mã nguồn trong các ứng dụng khác Nó cung cấp một bộ sưu tập các module chuẩn mà lập trình viên có thể tận dụng, bao gồm các chức năng hữu ích như truy xuất tập tin, gọi hệ thống và hỗ trợ lập trình mạng (socket).
- Đa năng, đa biến hóa
2.1.2 Thư viện xử lý dữ liệu
Dưới đây là một sốthư viện được sử dụng để xử lý dữ liệu trong đề tài này:
Numpy là một thư viện mạnh mẽ trong Python, cung cấp nhiều tính năng hữu ích cho các phép toán trên n-arrays và ma trận Thư viện này cho phép vector hóa các phép toán toán học, giúp cải thiện hiệu suất và tăng tốc độ thực thi chương trình.
- Pandas: Pandas là 1 package Python được thiết kếđể làm việc với dữ liệu đơn giản, trực quan, được “gắn nhãn” và có liên hệ với nhau
Pandas là công cụ lý tưởng để tinh chỉnh và làm sạch dữ liệu, được thiết kế để hỗ trợ các thao tác, tổ chức và trực quan hóa dữ liệu hiệu quả.
- Matplotlib: Một core package của SciPy Stack và 1 thư viện Python khác được xây dựng riêng cho việc tạo ra các visualizations mạnh mẽ, đơn giản là Matplotlib
Scikit-learn là một thư viện mạnh mẽ trong SciPy Stack, được phát triển để cung cấp các chức năng chuyên biệt cho xử lý ảnh và hỗ trợ Machine Learning Thư viện này đặc biệt nổi bật trong lĩnh vực Machine Learning, giúp người dùng dễ dàng triển khai các thuật toán học máy hiệu quả.
22 ưu điểm nổi bật của các packages này là scikit-learn Package được xây dựng trên nền tảng của SciPy và tận dụng các operations về toán
TensorFlow, developed by Google, is an open-source library designed for graph computations within data flows, making it ideal for machine learning applications It meets advanced requirements in Google's environment for training neural networks and serves as the successor to DistBelief, a machine learning system.
Neural Networks Tuy nhiên, TensorFlow không chỉ sử dụng cho mục đích khoa học trong Google mà có thể áp dụng trong các dự án thực tế
Có rất nhiều thư viện hỗ trợ vẽđồ thị trên thiết bịdi động, ví dụnhư:
Các thư viện hỗ trợ vẽ đồ thị trên thiết bị di động thường có giao diện trực quan và đơn giản Mỗi thư viện có cách triển khai và khái niệm riêng, vì vậy việc tìm hiểu kỹ lưỡng trước khi áp dụng vào lập trình ứng dụng là rất cần thiết để kiểm soát cách sử dụng và triển khai hiệu quả.
Biểu đồ đường là công cụ thể hiện giá trị của tham số theo thời gian, cho phép người xem nhận diện xu hướng và phân tích mối tương quan giữa các biến.
• Biểu đồ cột (Barchart) Hình 2.3
M ạng nơ -ron nhân t ạ o
Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) là mô hình xử lý thông tin mô phỏng hoạt động của hệ thống thần kinh sinh vật, bao gồm nhiều nơ-ron liên kết để xử lý dữ liệu Tương tự như bộ não con người, mạng nơ-ron học hỏi từ kinh nghiệm qua quá trình huấn luyện, có khả năng lưu trữ kiến thức và áp dụng chúng để dự đoán thông tin chưa biết.
2.2.2 Kiến trúc, hoạt động của mạng nơ-ron
Một mạng nơ-ron nhân tạo là hệ thống có cấu trúc đồ thị với các nút thực hiện tính toán và được kết nối với nhau.
Hình 2.10: Mô hình tổng quát của mạng nơ-ron nhân tạo
Mô hình mạng nơ-ron bao gồm ba loại lớp: lớp đầu vào (input layer), các lớp ẩn (hidden layer) và lớp đầu ra (output layer) Trong đó, các nút trong mô hình được gọi là node Mỗi mô hình nơ-ron luôn có một lớp đầu vào và một lớp đầu ra, có thể có hoặc không có các lớp ẩn ở giữa.
Tổng số layer trong mô hình được quy ước là số layer – 1 (Không tính input layer) Ví dụ như ở hình trên có 1 input layer, 1 hidden layer và 1 output layer
Sốlượng layer của mô hình là 2 layer [2]
Mỗi node trong hidden layer và output layer:
- Liên kết với tất cả các node ở layer trước đó với các hệ số w riêng.
- Mỗi node có 1 hệ số bias riêng
- Diễn ra 2 bước: tính tổng linear và áp dụng activation function.
Kiến trúc mạng neural nhân tạo được xác định bởi các yếu tố:
- Sốlượng các tín hiệu đầu vào và đầu ra
- Sốlượng nút của mỗi lớp
- Cách thức liên kết giữa các neural trên một lớp hoặc giữa các lớp với nhau
Mạng neural được phân loại thành nhiều nhóm khác nhau dựa trên kiến trúc của chúng, với nhiều tiêu chí phân loại khác nhau.
- Dựa trên sốlượng lớp trong mạng chia thành 2 loại: Mạng neural một lớp và mạng nhiều lớp
- Dựa trên cách thức liên kết, phân thành 3 loại: Mạng truyền thẳng, mạng hồi quy và mạng tự tổ chức
2.2.2.2 Các đặc trưng cơ bản của mạng nơ-ron
- Gồm một tập các đơn vị xử lý (các nơ-ron nhân tạo)
- Trạng thái kích hoạt hay đầu ra của đơn vị xử lý
Mối liên kết giữa các đơn vị được xác định bởi trọng số 𝑊𝑊 𝑗𝑗𝑗𝑗, cho thấy ảnh hưởng của tín hiệu từ đơn vị j lên đơn vị k.
- Một luật lan truyền quyết định cách tính tín hiệu ra của từng đơn vị từ đầu vào của nó
- Một hàm kích hoạt, hay hàm chuyển (activation function, transfer function), xác định mức độ kích hoạt khác dựa trên mức độ kích hoạt hiện tại
- Một đơn vịđiều chỉnh (độ lệch) (bias, offset) của mỗi đơn vị
- Phương pháp thu thập thông tin (luật học - learning rule)
- Môi trường hệ thống có thể hoạt động
2.2.2.3 Thành phần cơ bản của mạng nơ-ron nhân tạo
Một nơ-ron, hay còn gọi là nút, thực hiện chức năng cơ bản là nhận tín hiệu từ các đơn vị phía trước hoặc từ nguồn bên ngoài Sau đó, nó sử dụng các tín hiệu này để tính toán và tạo ra tín hiệu đầu ra, được lan truyền đến các đơn vị khác.
Hình 2.11: Đơn vị xử lý (Processing Unit)
𝑤𝑤 𝑗𝑗𝑖𝑖 : các trọng sốtương ứng với các đầu vào θ 𝑗𝑗 : độ lệch (bias)
𝑎𝑎 𝑗𝑗 : đầu vào mạng (net-input)
𝑔𝑔(𝑥𝑥): hàm chuyển (hàm kích hoạt)
Trong một mạng nơron có ba kiểu đơn vị:
- Các đơn vịđầu vào (Input units), nhận tín hiệu từ bên ngoài
- Các đơn vịđầu ra (Output units), gửi dữ liệu ra bên ngoài
- Các đơn vị ẩn (Hidden units), tín hiệu vào (input) và ra (output) của nó nằm trong mạng
Mỗi đơn vị j có thể nhận một hoặc nhiều đầu vào như 𝑥𝑥0, 𝑥𝑥1, 𝑥𝑥2, , 𝑥𝑥𝑛, nhưng chỉ tạo ra một đầu ra duy nhất 𝑧𝑧 𝑗𝑗 Đầu vào của một đơn vị có thể là dữ liệu từ bên ngoài mạng, đầu ra của một đơn vị khác, hoặc chính đầu ra của nó.
Mỗi đơn vị trong mạng nơron kết hợp các giá trị đầu vào thông qua các liên kết với các đơn vị khác để tạo ra giá trị gọi là net input Hàm kết hợp (combination function) thực hiện nhiệm vụ này theo một luật lan truyền cụ thể Trong hầu hết các mạng nơron, mỗi đơn vị cung cấp một bộ cộng như đầu vào cho đơn vị mà nó liên kết Tổng đầu vào của đơn vị được tính bằng tổng trọng số của các đầu ra từ các đơn vị kết nối, cộng thêm ngưỡng hay độ lệch (bias) 𝑤𝑤 0.
Thường thì đầu vào tổng thểđược tính toán bởi một hàm tuyến tính Tính đầu vào tổng thể theo trọng số và tín hiệu đầu vào như sau:
Trọng số điều chỉnh (Bias) 𝑤𝑤 0 có vai trò quan trọng trong việc phân tách dữ liệu Ví dụ, như trong Hình 2.12, bên trái thể hiện trường hợp không có trọng số điều chỉnh, trong khi bên phải cho thấy sự ảnh hưởng của trọng số điều chỉnh bias.
Hình 2.12: Ý nghĩa trọng số điều chỉnh Bias
Trong mạng nơ-ron, đầu vào thường là các vector, chẳng hạn như vector định dạng nội dung hình ảnh (biểu đồ màu, giá trị pixel) Ở lớp cuối cùng, đầu ra của nút được tính bằng cách tổng hợp các trọng số đã tính toán và áp dụng một hàm tác động để xác định giá trị đầu ra Bài viết tiếp theo sẽ đi sâu vào các loại hàm tác động phổ biến đang được sử dụng.
Trong mạng nơron, hầu hết các đơn vị chuyển đổi đầu vào bằng cách sử dụng hàm kích hoạt, một hàm vô hướng (scalar-to-scalar function) Kết quả của hàm này được gọi là mức độ kích hoạt của đơn vị (unit's activation).
Khi loại trừ khả năng của một đơn vị thuộc lớp ra, giá trị kích hoạt sẽ được chuyển giao đến một hoặc nhiều đơn vị khác Các hàm kích hoạt thường bị giới hạn trong một khoảng giá trị xác định.
30 định, do đó thường được gọi là các hàm bẹp (squashing) Các hàm kích hoạt hay được sử dụng là:
Hàm tác động tính toán giá trị đầu ra của mạng Hàm tác động đơn giản và phổ biến nhất là hàm ngưỡng:
Hàm này tuy đơn giản nhưng không khả vi, điều này có thể gây ra khó khăn trong việc áp dụng phương pháp gradient descent và trong quá trình huấn luyện mạng.
Hàm được sử dụng phổ biến hơn là hàm sigmoid, được cho bởi phương trình:
Hàm sigmod có lợi hơn hàm ngưỡng bởi:
- Nó liên tục và khả vi tại mọi điểm
Hàm sigmod có ưu điểm những cũng có vấn đề của nó:
- Đầu ra của hàm sigmod không đối xứng không
- Các điểm bão hòa về cơ bản có thể diệt gradient vì delta của gradient sẽ cực kỳ nhỏ
Hàm tanh cũng được sử dụng nhiều như một hàm kích hoạt cho đến cuối những năm 1990 Phương trình hàm tanh như sau:
Hàm tanh là đối xứng không, nhưng các điểm bão hòa vẫn diệt gradient
Trong bài báo [3] năm 2000, hàm ReLU (Rectified Linear Unit) được định nghĩa là:
Hàm ReLU có giá trị bằng 0 khi đầu vào âm và tăng dần khi đầu vào dương, không bị bão hòa và có tính tuyến tính Trong nhiều ứng dụng, hàm ReLU thường hoạt động hiệu quả hơn so với hàm sigmoid và tanh Kể từ năm 2015, ReLU đã trở thành hàm kích hoạt phổ biến nhất trong lĩnh vực học sâu Tuy nhiên, một vấn đề tồn tại là khi đầu vào âm, đầu ra của hàm ReLU là 0, dẫn đến việc không thể lấy gradient.
Một biến thể của hàm ReLUs, được gọi là hàm leaky ReLUs cho phép có một gradient nhỏkhi đầu vào bằng 0:
Với sự phát triển nhanh chóng của các hàm kích hoạt, số lượng hàm này ngày càng gia tăng Tuy nhiên, hầu hết các nhà khoa học và bài báo đã công bố đều khuyên dùng hàm ReLU để đạt độ chính xác tối ưu Trước khi thay đổi hàm kích hoạt, các nhà nghiên cứu nên tập trung vào việc điều chỉnh các thông số khác trong mạng Cuối cùng, việc ghi lại và lựa chọn hàm kích hoạt hiệu quả nhất là rất quan trọng.