Giới thiệu về cơ sở dữ liệu phân tán
1.1 1 Các khái niệm về CSDL phân tán
Cơ sở dữ liệu phân tán bao gồm nhiều cơ sở dữ liệu liên kết logic và được phân bố trên một mạng máy tính Hai thuật ngữ quan trọng trong khái niệm này là "liên đới logic" và "phân bố trên một mạng máy tính".
Liên đới logic trong cơ sở dữ liệu phân tán là yếu tố quan trọng, vì nó giúp xác định các thuộc tính kết nối dữ liệu với nhau Điều này phân biệt cơ sở dữ liệu phân tán với các cơ sở dữ liệu cục bộ hoặc các tập tin lưu trữ nằm rải rác trên mạng máy tính.
Cơ sở dữ liệu phân tán được phân bổ trên một mạng máy tính, với toàn bộ dữ liệu không được lưu trữ tại một vị trí duy nhất mà được phân tán trên các trạm trong mạng Điều này giúp phân biệt rõ ràng giữa cơ sở dữ liệu phân tán và cơ sở dữ liệu tập trung đơn lẻ.
Hệ quản trị cơ sở dữ liệu phân tán là một phần mềm giúp quản lý các cơ sở dữ liệu phân tán, đồng thời tạo ra sự "trong suốt" cho người dùng khi truy cập và sử dụng dữ liệu.
Hệ cơ sở dữ liệu phân tán được phát triển từ hai công nghệ chủ yếu là cơ sở dữ liệu và mạng máy tính Nó không chỉ đơn thuần là một hệ thống cơ sở dữ liệu mà còn bao gồm khả năng phân tán dữ liệu qua nhiều địa điểm khác nhau, giúp tối ưu hóa hiệu suất và khả năng mở rộng.
Hệ cơ sở dữ liệu phân tán bao gồm các tập tin được lưu trữ riêng rẽ tại mỗi nút trong mạng máy tính Để đảm bảo tính liên kết logic giữa các tập tin, chúng cần có cấu trúc rõ ràng và được truy xuất thông qua một giao diện chung.
Hệ cơ sở dữ liệu phân tán thuần nhất là mô hình trong đó tất cả các cơ sở dữ liệu cục bộ tại các địa điểm khác nhau đều sử dụng chung một hệ quản trị cơ sở dữ liệu Điều này giúp tăng cường tính nhất quán và khả năng quản lý dữ liệu hiệu quả hơn trong toàn bộ hệ thống.
Hệ cơ sở dữ liệu phân tán không thuần nhất là mô hình trong đó các cơ sở dữ liệu cục bộ tại các địa điểm khác nhau không sử dụng chung một hệ quản trị cơ sở dữ liệu Mỗi site hoạt động độc lập, cho phép quản lý dữ liệu một cách linh hoạt và hiệu quả.
Hình 1.1: Mô hình hệ cơ sở dữ liệu phân tán
1.1.2 Các lý do để sử dụng cơ sở dữ liệu phân tán?
Nhiều tổ chức hiện nay có cấu trúc phân tán, với dữ liệu quản lý ngày càng lớn và phục vụ cho nhiều người dùng Do đó, việc áp dụng cơ sở dữ liệu phân tán là giải pháp phù hợp, giúp tối ưu hóa việc quản lý dữ liệu trong các tổ chức này.
Kết nối các cơ sở dữ liệu hiện có là một giải pháp tự nhiên khi xây dựng ứng dụng toàn cục, đặc biệt là với cơ sở dữ liệu phân tán Trong trường hợp này, cơ sở dữ liệu phân tán được phát triển từ dưới lên dựa trên nền tảng của các cơ sở dữ liệu hiện có Quá trình này yêu cầu tái cấu trúc các cơ sở dữ liệu cục bộ đến một mức độ nhất định để đảm bảo tính đồng bộ và hiệu quả.
Sự phát triển của tổ chức có thể đạt được thông qua việc thành lập các đơn vị mới, vừa tự trị vừa liên kết với các đơn vị khác, giúp mở rộng quy mô và nâng cao hiệu quả hoạt động.
- Giảm chi phí truyền thông: Tăng ứng dụng cục bộ làm giảm chi phí truyền thông
- Nâng cao hiệu suất: Có cơ chế xử lý song song và phân mảnh dữ liệu theo ứng dụng làm cực đại hóa tính cục bộ của ứng dụng
-Tăng độ tin cậy và tính sẵn sàng: Nếu có một thành phần nào đó của hệ thống bị hỏng, hệ thống vẫn có thể duy trì hoạt động.
Các vấn đề cơ bản của cơ sở dữ liệu phân tán
Cơ sở dữ liệu phân tán và cơ sở dữ liệu tập trung có những điểm khác biệt quan trọng, bao gồm điều khiển tập trung, sự độc lập dữ liệu, khả năng giảm thiểu dư thừa dữ liệu, và các cấu trúc vật lý phức tạp nhằm tối ưu hóa việc truy xuất thông tin.
Toàn bộ dữ liệu được tập trung lại nhằm để tránh nhằm tránh sự dư thừa, đảm bảo được tính độc lập của dữ liệu
Dữ liệu được quản lý tập trung bởi người quản trị cơ sở dữ liệu, với chức năng chính là bảo đảm an toàn cho dữ liệu Mặc dù vấn đề điều khiển tập trung không được nhấn mạnh, nhưng sự điều khiển vẫn được thực hiện theo một cấu trúc phân cấp, bao gồm hai loại người quản trị cơ sở dữ liệu.
- Người quản trị Ccơ sở dữ liệu toàn cục;
- Người quản trị cơ sở dữ liệu địa phương – cục bộ
Người quản trị cơ sở dữ liệu cục bộ cần có quyền độc lập riêng đối với cơ sở dữ liệu của mình, điều mà người quản trị cơ sở dữ liệu toàn cục không có Đặc điểm này được gọi là sự độc lập vị trí, thể hiện từ sự độc lập hoàn toàn đến sự điều khiển tập trung.
Tổ chức lưu trữ dữ liệu trong suốt là một giải pháp lý tưởng cho lập trình viên ứng dụng, giúp bảo vệ các chương trình khỏi những thay đổi trong cấu trúc lưu trữ vật lý của dữ liệu Điều này mang lại sự ổn định và tính linh hoạt cho quá trình phát triển ứng dụng.
Tính đúng đắn của các chương trình ứng dụng không bị ảnh hưởng bởi sự di chuyển dữ liệu từ một vị trí này đến vị trí khác
1.2.3 Giảm dư thừa dữ liệu
Các cơ sở dữ liệu phân tán được dư thừa dữ liệu vì:
- Làm tăng tính cục bộ của các úng dụng Các ứng dụng cục bộ được thực hiện nhanh hơn, không cần phải truy xuất dữ liệu từ xa
- Làm tăng tính sẵn sàng của hệ thống ứng dụng, nếu dữ liệu tại vị trí bị hỏng được nhân bản tại các vị trí khác
1.2.4 Độ tin cậy qua các giao dịch phân tán
Hệ cơ sở dữ liệu phân tán nâng cao độ tin cậy thông qua các giao dịch phân tán, nhờ vào việc nhân bản các thành phần để giảm thiểu rủi ro từ các vị trí lỗi riêng lẻ Khi xảy ra lỗi tại một trạm hoặc sự cố truyền thông, khả năng mất liên lạc chỉ ảnh hưởng đến một hoặc một số trạm mà không làm gián đoạn toàn bộ hệ thống.
Việc cải thiện hiệu năng dựa vào hai điểm:
- Hệ quản trị cơ sở dữ liệu phân tán có khả năng phân mảnh cơ sở dữ liệu khái niệm và cho phép cục bộ hóa dữ liệu;
- Tính song song của các hệ thống phân tán có thể được khai thác để thực hiện song song truy vấn và nội bộ
1.2.6 Dễ dàng mở rộng hệ thống
Tăng cường khả năng lưu trữ và xử lý của mạng giúp cải thiện hiệu suất hệ thống Hệ thống có khả năng mở rộng dễ dàng và tiết kiệm chi phí, mang lại lợi ích kinh tế cho doanh nghiệp.
1.2.7 Tính toàn vẹn, phục hồi và điều khiển tương tranh
Các phương pháp cung cấp giao tác, trong đó mỗi giao tác được coi là một nguyên tố Giao tác nguyên tố đóng vai trò quan trọng trong việc đảm bảo tính toàn vẹn của dữ liệu.
Sự phục hồi trong hệ thống liên quan đến việc duy trì tính nguyên tố của giao tác khi xảy ra sự cố kỹ thuật Để đảm bảo tính nguyên tố này, việc điều khiển tương tranh là cần thiết khi có sự xuất hiện của các tình huống tương tranh giao tác.
Giới thiệu bài toán đồng bộ
Đồng bộ hóa dữ liệu là quá trình thiết lập sự thống nhất giữa các hệ thống và duy trì tính nhất quán thông qua việc cập nhật liên tục Cần nhấn mạnh rằng đồng bộ hóa dữ liệu không phải là nhiệm vụ một lần, mà là một quá trình cần được lên kế hoạch, quản lý và kiểm soát để đảm bảo hiệu quả.
Có hai kịch bản đưa ra cho việc đồng bộ hóa dữ liệu đối với một doanh nghiệp:
Việc chia sẻ dữ liệu đồng nhất giữa các bộ phận là rất quan trọng, bao gồm dữ liệu khách hàng, sản phẩm, nhân viên, hệ thống hỗ trợ khách hàng và hệ thống thanh toán Để đảm bảo quá trình sản xuất diễn ra suôn sẻ, mọi hoạt động cần phải được đăng nhập chính xác Mặc dù một số ứng dụng trong hệ thống sử dụng chung dữ liệu, nhưng các dữ liệu này cần được đồng bộ hóa với các hệ thống khác để duy trì tính chính xác và hiệu quả.
Với sự phát triển của Internet và gia tăng kinh doanh quốc tế, nhiều doanh nghiệp đã chọn phân phối hệ thống của họ theo cách địa lý để giảm độ trễ và chi phí sử dụng mạng lưới, đồng thời tăng cường độ tin cậy và giảm thiểu rủi ro từ thiên tai Tại mỗi địa điểm, dữ liệu cần được đồng bộ hóa mặc dù có thể có sự thay đổi ở từng nơi.
Quá trình đồng bộ dữ liệu được theo dõi và đánh giá để đáp ứng nhu cầu của doanh nghiệp, với việc đồng bộ hóa được thể hiện trên mọi cấp độ từ quan điểm kỹ thuật.
Hệ thống/mức độ ứng dụng;
Mức độ tập tin (có thể bao gồm việc kiểm soát phiên bản); Đồng bộ hóa mức ghi
Quá trình đồng bộ hóa dữ liệu bao gồm 5 giai đoạn cơ bản:
Trích xuất dữ liệu từ các nguồn hệ thống/quản lý;
Tải dữ liệu vào hệ thống mục tiêu
Khi hệ thống có dữ liệu lớn, từng bước thực hiện có thể ảnh hưởng đến hiệu suất Do đó, việc lập kế hoạch đồng bộ cần cẩn thận để tránh tác động tiêu cực, đặc biệt trong giờ cao điểm xử lý Để duy trì sự ổn định và giảm thiểu sai sót, quá trình đồng bộ cần được giám sát chặt chẽ, đảm bảo rằng dữ liệu không bị từ chối hay thay đổi trong suốt quá trình.
Kiến trúc đề xuất thử nghiệm
Hệ thống theo dõi diễn biến tài nguyên rừng được thiết kế với kiến trúc khái niệm bao gồm ba thành phần chính: Ứng dụng Desktop, Ứng dụng Web và Bộ cơ sở dữ liệu trung tâm.
Mô hình Hệ thống theo dõi diễn biến tài nguyên rừng được áp dụng theo phân mảnh ngang
Hình 3.1: Kiến trúc khái niệm của Hệ thống theo dõi diễn biến tài nguyên rừng.
Các chức năng chính của Ứng dụng Desktop
- Biên tập thay đổi dữ liệu bản đồ Ứng dụng Desktop
Bộ cơ sở dữ liệu trung tâm
MẠNG INTERNET Đồng bộ hóa Ứng dụng Web
3.3 Các chức năng chính của Ứng dụng Web
- Hiển thị dữ liệu bản đồ
3.4 Các chức năng chính của hệ thống cơ sở dữ liệu trung tâm
Lưu trữ dữ liệu quốc gia về điều tra kiểm kê rừng (ĐTKKR) và theo dõi diễn biến tài nguyên rừng sẽ được thực hiện ở cấp Trung ương Các ứng dụng Desktop sẽ được cài đặt trên máy tính tại các cấp xã, huyện, tỉnh và Trung ương để hỗ trợ quản lý hiệu quả tài nguyên rừng.
Hệ thống dựa trên phần mềm mã nguồn mở
CSDL tài nguyên rừng sử dụng PostgreSQL
Ứng dụng desktop phải dựa trên QGIS
Geoserver được sử dụng để công bố dữ liệu qua các giao tiếp tiêu chuẩn
Hệ thống máy chủ hoạt động trên các máy chủ ảo hiệu năng cao, hỗ trợ hệ điều hành Ubuntu Server và Microsoft Windows Server 2008, cùng với máy chủ ứng dụng Apache Tomcat.
Hiện tại, hệ thống bao gồm hai máy chủ hiệu năng cao, mỗi máy được trang bị 8 vi xử lý Các máy chủ này thực hiện ảo hóa hạ tầng, kết hợp với hệ thống lưu trữ đặc chủng, bao gồm hệ thống SAN, nhằm tối ưu hóa hiệu suất và khả năng mở rộng của hạ tầng công nghệ thông tin.
Người dùng có thể truy cập hệ thống qua giao diện Desktop hoặc trình duyệt Web Thành phần Desktop hoạt động hiệu quả trên máy tính cài đặt hệ điều hành Microsoft Windows XP hoặc các phiên bản mới hơn Đối với ứng dụng Web, hệ thống yêu cầu hỗ trợ các trình duyệt phổ biến như Internet Explorer, Firefox và Google Chrome, với các phiên bản được phát hành từ năm 2010 trở đi.
Thành phần ứng dụng desktop bao gồm ứng dụng QGIS tùy biến và ứng dụng báo cáo cài đặt trên máy tính của cán bộ kiểm lâm cấp huyện, trong khi thành phần ứng dụng Web được cài đặt trên máy chủ tại TCLN Cơ sở dữ liệu đi kèm với ứng dụng desktop được gọi là cơ sở dữ liệu CỤC BỘ, còn cơ sở dữ liệu trên máy chủ tại TCLN được gọi là cơ sở dữ liệu trung tâm Cơ chế đồng bộ dữ liệu đảm bảo tính nhất quán giữa cơ sở dữ liệu CỤC BỘ và cơ sở dữ liệu TRUNG TÂM, với quá trình đồng bộ được thực hiện qua thành phần đồng bộ dữ liệu.
Thành phần đồng bộ dữ liệu cho phép đồng bộ hóa giữa cơ sở dữ liệu cục bộ và cơ sở dữ liệu trung tâm, được phát triển dựa trên mã nguồn mở SymmetricDS Giải pháp này được tùy biến và triển khai trên cả máy chủ trung tâm và máy tính để bàn tại địa phương, cho phép ứng dụng desktop hoạt động ngoại tuyến khi nhập và chỉnh sửa dữ liệu Các thay đổi sẽ được tự động đồng bộ về cơ sở dữ liệu trung tâm khi có kết nối internet Hệ thống hỗ trợ hai chế độ hoạt động: tự động đồng bộ và đồng bộ thủ công.
Hình 3.2 minh họa việc triển khai thành phần đồng bộ dữ liệu, trong đó thành phần đồng bộ phía ứng dụng khách được cài đặt tại máy cục bộ và kết nối với cơ sở dữ liệu cục bộ ở một hướng, đồng thời kết nối với thành phần đồng bộ phía ứng dụng chủ ở hướng còn lại Điều này cho phép đồng bộ dữ liệu khi có kết nối Internet Thành phần đồng bộ phía ứng dụng chủ được liên kết với cơ sở dữ liệu trung tâm nhằm thực hiện chức năng đồng bộ dữ liệu hiệu quả.
Hình 3.2: Mô hình triển khai SymmetricDS
SymmetricDS-Client là thành phần đồng bộ dữ liệu phía ứng dụng khách, được tích hợp với ứng dụng Báo cáo trong Thành phần ứng dụng desktop Chức năng quản lý quá trình đồng bộ này là một phần quan trọng của ứng dụng Báo cáo hoạt động trên máy tính cục bộ.
Thành phần đồng bộ dữ liệu ứng dụng chủ, gọi là SymmetricDS-Server, được cài đặt trên máy chủ trung tâm và kết nối với SymmetricDS-Client qua Internet để thực hiện việc đồng bộ hóa dữ liệu hiệu quả.
SymmetricDS-Client và SymmetricDS-Server theo dõi các thay đổi trong cơ sở dữ liệu cục bộ và trung tâm thông qua cơ chế trigger Các trigger này được lưu trong các bảng đặc biệt do giải pháp SymmetricDS tạo ra khi cài đặt ứng dụng, giúp phát hiện dữ liệu thay đổi Dữ liệu thay đổi từ các bảng khác nhau được đóng gói và truyền qua Internet, với nội dung được nén để tiết kiệm băng thông Giao thức HTTP, một giao thức truyền thống và tin cậy dựa trên TCP, được sử dụng để điều khiển việc truyền dữ liệu Các thay đổi trong cơ sở dữ liệu cục bộ thường được thực hiện qua ứng dụng QGIS hoặc công cụ quản trị như PGAdmin, trong khi các thay đổi tại cơ sở dữ liệu trung tâm thường thông qua ứng dụng FRMS Web hoặc các công cụ quản trị cơ sở dữ liệu khác.
1) Từ cơ sở dữ liệu trung tâm đến cơ sở dữ liệu cục bộ: Các thay đổi trong cơ sở dữ liệu trung tâm được đồng bộ với các cơ sở dữ liệu cục bộ;
2) Từ các cơ sở dữ liệu cục bộ đến cơ sở dữ liệu trung tâm: Các thay đổi ở các cơ sở dữ liệu cục bộ được đồng bộ với cơ sở dữ liệu trung tâm Không phải tất các các bảng trong cơ sở dữ liệu được đồng bộ Các bảng cụ thể được cấu hình để đồng bộ Một bảng có thể được cấu hình để đồng bộ theo một hướng hoặc cả hai hướng tùy thuộc vào đặc tính sử dụng của bảng Bảng 3.1 trình bày các cấu hình đồng bộ chi tiết của các bảng trong cơ sở dữ liệu FRMS
TT Tên bảng Hướng đồng bộ Ghi chú
1 province Trung tâm đến cục bộ Ranh giới hành chính của tỉnh
2 district Trung tâm đến cục bộ Ranh giới hành chính của huyện
3 commune Trung tâm đến cục bộ Ranh giới hành chính của xã
4 config_style Trung tâm đến cục bộ Định nghĩa kiểu cho bản đồ chuyên đề
5 users Trung tâm đến cục bộ Tài khoản người dùng
6 user_role_loc Trung tâm đến cục bộ Gán quyền truy cập phạm vi hành chính cho người dùng
7 forest_monitoring Hai hướng Dữ liệu diễn biến
8 forest_actor Hai hướng Dữ liệu đối tượng sử dụng rừng
9 plot Hai hướng Dữ liệu lô
10 plot_history Hai hướng Dữ liệu lịch sử lô
11 Các bảng lookup Trung tâm đến cục bộ
Bảng 3.1: Cấu hình đồng bộ cho các bảng
3.7 Đồng bộ dữ liệu trong ứng dụng Desktop
Giao diện đồng bộ được tích hợp trong ứng dụng Báo cáo trên máy tính cá nhân Để sử dụng chức năng này, người dùng cần thực hiện đăng nhập vào ứng dụng.
Biểu tượng “Bắt đầu đồng bộ”: Biểu tượng này nằm ở thanh công cụ
Biểu tượng “Dừng đồng bộ”: Biểu tượng này nằm ở thanh công cụ
Biểu tượng “Lấy dữ liệu từ máy chủ”: Biểu tượng này nằm ở Menu chính ở Mục menu “Đồng bộ dữ liệu”
Để bắt đầu quá trình đồng bộ, hãy nhấp vào biểu tượng “Bắt đầu đồng bộ” để khởi động thành phần SymmetricDS-Client Khi thành phần này hoạt động, biểu tượng “Dừng đồng bộ” sẽ xuất hiện trên thanh công cụ Sau khi khởi động thành công, SymmetricDS-Client sẽ phát hiện các thay đổi dữ liệu trong cơ sở dữ liệu cục bộ và đồng bộ hóa với cơ sở dữ liệu trung tâm Các thay đổi diễn ra trong khi SymmetricDS-Client đang chạy sẽ được đồng bộ ngay lập tức lên cơ sở dữ liệu trung tâm, miễn là có kết nối Internet Nếu không có kết nối, các thay đổi sẽ phải chờ cho đến khi có kết nối mới được đồng bộ.
Dừng đồng bộ: Click biểu tượng “Dừng đồng bộ” để dừng thành phần
SymmetricDS-Client Khi thành phần SymmetricDS-Client bị dừng, biểu tượng
Chức năng "Bắt đầu đồng bộ" sẽ hiển thị trên thanh công cụ, cho phép người dùng đồng bộ hóa dữ liệu ngay cả khi SymmetricDS-Client bị dừng Các thay đổi trong cơ sở dữ liệu cục bộ sẽ được phát hiện và lưu trữ trong các bảng đặc biệt của SymmetricDS, và sẽ được đồng bộ khi SymmetricDS-Client được khởi động lại Chế độ ngoại tuyến cho phép người dùng nhập và biên tập dữ liệu mà không cần kết nối Internet; dữ liệu sẽ được lưu cục bộ cho đến khi có kết nối Internet, lúc đó người dùng có thể thực hiện chức năng đồng bộ hóa để cập nhật các thay đổi vào cơ sở dữ liệu trung tâm.
Các chức năng chính của hệ thống cơ sở dữ liệu trung tâm
Lưu trữ dữ liệu toàn quốc về điều tra kiểm kê rừng (ĐTKKR) và theo dõi diễn biến tài nguyên rừng sẽ được thực hiện ở cấp Trung ương Các ứng dụng Desktop sẽ được cài đặt trên máy tính tại các cấp xã, huyện, tỉnh và Trung ương để quản lý hiệu quả thông tin này.
Hệ thống dựa trên phần mềm mã nguồn mở
CSDL tài nguyên rừng sử dụng PostgreSQL
Ứng dụng desktop phải dựa trên QGIS
Geoserver được sử dụng để công bố dữ liệu qua các giao tiếp tiêu chuẩn
Máy chủ
Hệ thống sẽ hoạt động trên các máy chủ ảo có hiệu năng cao, sử dụng hệ điều hành Ubuntu Server và Microsoft Windows Server 2008 Các máy chủ ứng dụng được triển khai bao gồm Apache Tomcat.
Hiện tại, hệ thống bao gồm hai máy chủ hiệu năng cao, mỗi máy được trang bị 8 vi xử lý Các máy chủ này thực hiện ảo hóa hạ tầng, bên cạnh đó còn tích hợp các hệ thống lưu trữ đặc chủng như hệ thống SAN.
Môi trường người dùng
Người dùng có thể truy cập hệ thống thông qua giao diện Desktop hoặc trình duyệt Web Phần mềm Desktop hoạt động hiệu quả trên máy tính cài đặt hệ điều hành Microsoft Windows XP hoặc các phiên bản mới hơn Đối với ứng dụng Web, hệ thống yêu cầu hỗ trợ các trình duyệt phổ biến như Internet Explorer, Firefox và Google Chrome, tất cả đều phải là các phiên bản được phát hành từ năm 2010 trở đi.
Thành phần ứng dụng desktop bao gồm ứng dụng QGIS tùy biến và ứng dụng báo cáo cài đặt trên máy tính của cán bộ kiểm lâm cấp huyện, trong khi thành phần ứng dụng Web được cài đặt trên máy chủ tại TCLN Cơ sở dữ liệu đi kèm với ứng dụng desktop được gọi là cơ sở dữ liệu CỤC BỘ, còn cơ sở dữ liệu trên máy chủ tại TCLN được gọi là cơ sở dữ liệu trung tâm Để đảm bảo tính nhất quán, cơ chế đồng bộ dữ liệu sẽ đồng bộ hóa thông tin giữa cơ sở dữ liệu CỤC BỘ và cơ sở dữ liệu TRUNG TÂM thông qua thành phần đồng bộ dữ liệu.
Thành phần đồng bộ dữ liệu cho phép đồng bộ hóa giữa cơ sở dữ liệu cục bộ và cơ sở dữ liệu trung tâm, được phát triển từ giải pháp mã nguồn mở SymmetricDS Với việc tùy biến và triển khai trên cả máy chủ trung tâm và máy tính để bàn tại địa phương, thành phần này cho phép ứng dụng desktop hoạt động ngoại tuyến khi nhập và biên tập dữ liệu Các thay đổi sẽ được tự động đồng bộ về cơ sở dữ liệu trung tâm khi có kết nối internet Hệ thống hỗ trợ hai chế độ hoạt động: đồng bộ tự động và đồng bộ thủ công.
Hình 3.2 minh họa quá trình triển khai thành phần đồng bộ dữ liệu, trong đó thành phần đồng bộ phía ứng dụng khách được cài đặt trên máy cục bộ, kết nối với cơ sở dữ liệu cục bộ và thành phần đồng bộ phía ứng dụng chủ Khi có kết nối Internet, thành phần đồng bộ này sẽ thực hiện việc đồng bộ dữ liệu với cơ sở dữ liệu trung tâm của ứng dụng chủ để đảm bảo tính nhất quán và cập nhật thông tin.
Hình 3.2: Mô hình triển khai SymmetricDS
SymmetricDS-Client là thành phần đồng bộ dữ liệu phía ứng dụng khách, được tích hợp với ứng dụng Báo cáo trong thành phần ứng dụng desktop Chức năng quản lý quá trình đồng bộ nằm trong ứng dụng Báo cáo hoạt động trên máy tính cục bộ.
Thành phần đồng bộ dữ liệu ứng dụng chủ, được gọi là SymmetricDS-Server, được cài đặt trên máy chủ trung tâm và kết nối với SymmetricDS-Client qua Internet để thực hiện việc đồng bộ hóa dữ liệu.
Các thành phần SymmetricDS-Client và SymmetricDS-Server theo dõi thay đổi trong cơ sở dữ liệu cục bộ và trung tâm thông qua cơ chế trigger Dữ liệu thay đổi được phát hiện và theo dõi bởi các trigger lưu trong các bảng đặc biệt do SymmetricDS tạo ra Những thay đổi này được đóng gói và nén để truyền qua Internet, sử dụng giao thức HTTP, một giao thức tin cậy dựa trên TCP Thông thường, thay đổi trong cơ sở dữ liệu cục bộ diễn ra qua ứng dụng QGIS hoặc các công cụ quản trị như PGAdmin, trong khi thay đổi ở cơ sở dữ liệu trung tâm được thực hiện qua ứng dụng FRMS Web hoặc các công cụ quản trị cơ sở dữ liệu khác.
1) Từ cơ sở dữ liệu trung tâm đến cơ sở dữ liệu cục bộ: Các thay đổi trong cơ sở dữ liệu trung tâm được đồng bộ với các cơ sở dữ liệu cục bộ;
2) Từ các cơ sở dữ liệu cục bộ đến cơ sở dữ liệu trung tâm: Các thay đổi ở các cơ sở dữ liệu cục bộ được đồng bộ với cơ sở dữ liệu trung tâm Không phải tất các các bảng trong cơ sở dữ liệu được đồng bộ Các bảng cụ thể được cấu hình để đồng bộ Một bảng có thể được cấu hình để đồng bộ theo một hướng hoặc cả hai hướng tùy thuộc vào đặc tính sử dụng của bảng Bảng 3.1 trình bày các cấu hình đồng bộ chi tiết của các bảng trong cơ sở dữ liệu FRMS
TT Tên bảng Hướng đồng bộ Ghi chú
1 province Trung tâm đến cục bộ Ranh giới hành chính của tỉnh
2 district Trung tâm đến cục bộ Ranh giới hành chính của huyện
3 commune Trung tâm đến cục bộ Ranh giới hành chính của xã
4 config_style Trung tâm đến cục bộ Định nghĩa kiểu cho bản đồ chuyên đề
5 users Trung tâm đến cục bộ Tài khoản người dùng
6 user_role_loc Trung tâm đến cục bộ Gán quyền truy cập phạm vi hành chính cho người dùng
7 forest_monitoring Hai hướng Dữ liệu diễn biến
8 forest_actor Hai hướng Dữ liệu đối tượng sử dụng rừng
9 plot Hai hướng Dữ liệu lô
10 plot_history Hai hướng Dữ liệu lịch sử lô
11 Các bảng lookup Trung tâm đến cục bộ
Bảng 3.1: Cấu hình đồng bộ cho các bảng.
Đồng bộ dữ liệu trong ứng dụng Desktop
Để sử dụng chức năng đồng bộ trong ứng dụng Báo cáo trên máy tính cục bộ, người dùng cần thực hiện đăng nhập vào ứng dụng trước tiên.
Biểu tượng “Bắt đầu đồng bộ”: Biểu tượng này nằm ở thanh công cụ
Biểu tượng “Dừng đồng bộ”: Biểu tượng này nằm ở thanh công cụ
Biểu tượng “Lấy dữ liệu từ máy chủ”: Biểu tượng này nằm ở Menu chính ở Mục menu “Đồng bộ dữ liệu”
Để bắt đầu quá trình đồng bộ, hãy nhấp vào biểu tượng “Bắt đầu đồng bộ” để khởi động thành phần SymmetricDS-Client Khi thành phần này được khởi động, biểu tượng “Dừng đồng bộ” sẽ hiển thị trên thanh công cụ Sau khi SymmetricDS-Client hoàn tất khởi động, các thay đổi dữ liệu trong cơ sở dữ liệu cục bộ sẽ được phát hiện và đồng bộ ngay lập tức với cơ sở dữ liệu trung tâm, miễn là có kết nối Internet Trong trường hợp không có kết nối, các thay đổi sẽ được lưu lại và đồng bộ khi kết nối được khôi phục.
Dừng đồng bộ: Click biểu tượng “Dừng đồng bộ” để dừng thành phần
SymmetricDS-Client Khi thành phần SymmetricDS-Client bị dừng, biểu tượng
Chức năng "Bắt đầu đồng bộ" sẽ hiển thị trên thanh công cụ, cho phép người dùng đồng bộ hóa dữ liệu ngay cả khi SymmetricDS-Client bị dừng Các thay đổi trong cơ sở dữ liệu cục bộ sẽ được phát hiện và lưu trữ trong các bảng đặc biệt của SymmetricDS, và sẽ được đồng bộ trong lần khởi động tiếp theo Chế độ ngoại tuyến cho phép người dùng nhập và chỉnh sửa dữ liệu mà không cần kết nối Internet, với tất cả dữ liệu được lưu cục bộ Khi có kết nối Internet, người dùng có thể thực hiện chức năng đồng bộ để cập nhật các thay đổi vào cơ sở dữ liệu trung tâm.
Để tải dữ liệu từ máy chủ, người dùng cần thực hiện chức năng đồng bộ bằng cách nhấn vào biểu tượng “Bắt đầu đồng bộ” Sau khi đồng bộ hoàn tất, hãy click vào biểu tượng “Tải dữ liệu từ máy chủ” để nhận tất cả dữ liệu mới từ cơ sở dữ liệu trung tâm Lưu ý rằng phạm vi dữ liệu tải về sẽ phụ thuộc vào quyền hạn của tài khoản người dùng Chẳng hạn, nếu người dùng có quyền cập nhật và biên tập dữ liệu của một huyện cụ thể, thì chỉ dữ liệu của huyện đó sẽ được tải về.
Cảnh báo: Chức năng này sẽ xóa toàn bộ dữ liệu từ cơ sở dữ liệu cục bộ
Chức năng này chỉ được sử dụng trong các trường hợp sau:
Gói cài đặt ứng dụng desktop mới không có dữ liệu trong cơ sở dữ liệu cục bộ;
Người dùng được ủy quyển quản trị huyện mới và dữ liệu cho huyện mới không có trong cơ sở dữ liệu cục bộ.
Các kịch bản kiểm thử đồng bộ
Kịch bản 1: Tải dữ liệu từ máy chủ
Mục đích: Kiểm thử đồng bộ từ cơ sở dữ liệu trung tâm tới cơ sở dữ liệu cục bộ với dung lượng dữ liệu lớn
1 Đăng nhập vào Ứng dụng Báo cáo trên máy cục bộ sử dụng tài khoản kiểm thử cho huyện (tài khoản được cung cấp sẵn trong gói cài đặt);
2 Đảm bảo kết nối Internet sẵn sàng;
3 Click biểu tượng “Bắt đầu đồng bộ”;
4 Click biểu tượng “Tải dữ liệu từ máy chủ”;
5 Đợi cho đến khi tất cả dữ liệu của huyện được tải từ máy chủ trung tâm (kiểm tra trạng thái của cửa sổ đồng bộ dữ liệu) Quá trình tải dữ liệu có thể mất nhiều thời gian Điệu kiện kiểm thử thành công: Tất cả các lô và dữ liệu diễn biến được tải về Đếm số bản ghi của các bảng dữ liệu được liệt kê trong Bảng 3.1: Cấu hình đồng bộ cho các bảng trong cơ sở dữ liệu cục bộ
Kịch bản 2: Đồng bộ dữ liệu ở dụng chế độ trực tuyến
Mục đích của bài kiểm thử này là xác minh chức năng đồng bộ hóa dữ liệu từ cơ sở dữ liệu cục bộ lên cơ sở dữ liệu trung tâm khi người dùng thực hiện việc nhập dữ liệu trong chế độ trực tuyến.
1 Đăng nhập vào Ứng dụng Báo cáo trên máy cục bộ sử dụng tài khoản kiểm thử cho huyện (tài khoản được cung cấp sẵn trong gói cài đặt);
2 Đảm bảo kết nối Internet sẵn sàng;
3 Click biểu tượng “Bắt đầu đồng bộ”;
4 Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng cùng tài khoản ở bước 1;
5 Chọn một lô và bắt đầu biên tập dữ liệu không gian và thuộc tính của lô;
6 Đăng nhập vào thành phần ứng dụng FRMS Web sử dụng tài khoản cấp tỉnh;
7 Kiểm tra lô đã được biên tập ở máy tính cục bộ sử dụng Ứng dụng QGIS tùy biến Điều kiện kiểm thử thành công: Lô được xem trên ứng dụng FRMS Web có cùng giá trị thuộc tính, không gian với lô đã được biên tập ở máy tính cục bộ sử dụng Ứng dụng QGIS tùy biến
Kịch bản 3: Đồng bộ dữ liệu ở dụng chế độ ngoại tuyến
Mục đích của việc kiểm thử này là đảm bảo chức năng đồng bộ dữ liệu từ cơ sở dữ liệu cục bộ lên cơ sở dữ liệu trung tâm khi người dùng thực hiện nhập liệu ở chế độ ngoại tuyến.
1 Đảm bảo chức năng đồng bộ đang không chạy;
2 Đăng nhập vào ứng dụng QGIS tùy chỉnh sử dụng tài khoản kiểm thử cho một tỉnh (tài khoản được cung cấp sẵn trong gói cài đặt);
3 Chọn một lô và bắt đầu biên tập dữ liệu không gian và thuộc tính của lô;
4 Đăng nhập vào Ứng dụng báo cáo trên máy cục bộ sử dụng cùng tài khoản ở bước 2;
5 Đảm bảo kết nối Internet sẵn sàng;
6 Click biểu tượng “Bắt đầu đồng bộ”;
7 Đăng nhập vào thành phần ứng dụng FRMS Web sử dụng tài khoản cấp tỉnh;
8 Kiểm tra lô đã được biên tập ở máy tính cục bộ sử dụng Ứng dụng QGIS tùy biến Điều kiện kiểm thử thành công: Lô được xem trên ứng dụng FRMS Web có cùng giá trị thuộc tính, không gian với lô đã được biên tập ở máy tính cục bộ sử dụng Ứng dụng QGIS tùy biến
Kịch bản 4: Đồng bộ dữ liệu theo hai hướng ở chế độ trực tuyến
Mục đích: Kiểm thử chức năng đồng bộ theo hai hướng khi nhập dữ liệu ở chế độ trực tuyến
Kịch bản này yêu cầu hai máy tính cục bộ: Máy A và Máy B, cả hai đều phải được cài đặt đầy đủ phân hệ Ứng dụng desktop, bao gồm Ứng dụng QGIS và Ứng dụng Báo cáo.
1 Đăng nhập vào Ứng dụng Báo cáo trên máy cục bộ sử dụng tài khoản kiểm thử cho huyện (tài khoản được cung cấp sẵn trong gói cài đặt);
2 Đảm bảo kết nối Internet sẵn sàng’
3 Click biểu tượng “Bắt đầu đồng bộ”;
4 Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng cùng tài khoản ở bước 1;
5 Chọn một lô và bắt đầu biên tập dữ liệu không gian và thuộc tính của lô
1 Đăng nhập vào Ứng dụng Báo cáo trên máy cục bộ sử dụng cùng tài khoản kiểm thử đã được sử dụng cho Máy A (tài khoản được cung cấp sẵn trong gói cài đặt);
2 Đảm bảo kết nối Internet sẵn sàng;
3 Click biểu tượng “Bắt đầu đồng bộ”;
4 Đăng nhập vào Ứng dụng QGIS tùy biến sử dụng cùng tài khoản ở bước 1;
5 Kiểm tra lô đã được biên tập ở Máy A Điều kiện kiểm thử thành công: Lô trên Máy B có dữ liệu thuộc tính và dữ liệu không gian giống với lô đã được biên tập trên Máy A
Các thành phần chính của hệ thống Ứng dụng Desktop
Module QGIS được phát triển dựa trên nền tảng QGIS, sử dụng các plugin viết bằng ngôn ngữ Python, nhằm cung cấp giao diện thân thiện và dễ sử dụng cho người dùng trong việc thao tác với dữ liệu GIS Các chức năng chính của module bao gồm duyệt xem và tìm kiếm dữ liệu, xem bản đồ chuyên đề, biên tập dữ liệu và bản đồ, kết nhập dữ liệu GPS, hợp lệ hóa dữ liệu, in bản đồ, quản lý dữ liệu chủ rừng, và thêm bản đồ chuyên đề.
Module báo cáo là một ứng dụng độc lập được phát triển bằng ngôn ngữ Java, tích hợp máy báo cáo BIRT (Business Intelligence and Reporting Tools) để thực hiện các chức năng linh hoạt như tạo, in và xuất báo cáo Nó cho phép cập nhật trạng thái hoạt động của báo cáo, thêm mẫu báo cáo mới, quản lý tài khoản người dùng, và đồng bộ hóa cơ sở dữ liệu thông qua việc tương tác với phần mềm Symmetricds.
Module CSDL lưu trữ dữ liệu về ĐTKKR (NFIS) và giám sát lâm nghiệp tại các xã, huyện, tỉnh trên cơ sở dữ liệu cục bộ và GIS, sử dụng hệ quản trị CSDL PostgreSQL và PostGIS Ứng dụng web được phát triển theo kiến trúc SOA, cho phép dễ dàng thêm mới các dịch vụ web chuẩn, triển khai trên nền tảng FORMIS Giao diện người dùng được xây dựng bằng các công nghệ hiện đại như OpenLayer3, Jquery, WMS, WFS, WCS, tương tác với các dịch vụ để thực hiện các chức năng như duyệt xem dữ liệu, tìm kiếm, xem bản đồ chuyên đề, tạo và xem báo cáo, in và xuất báo cáo, cập nhật và duyệt xem trạng thái báo cáo hoạt động, cũng như in bản đồ.
Cơ sở dữ liệu trung tâm
Dữ liệu về ĐTKKR (NFIS) và giám sát lâm nghiệp toàn quốc được lưu trữ tại máy chủ trung tâm, sử dụng cơ sở dữ liệu toàn quốc và GIS Hệ quản trị cơ sở dữ liệu PostgreSQL và PostGIS được áp dụng trong module này Để đảm bảo hiệu suất truy cập cơ sở dữ liệu, cần triển khai các giải pháp cân bằng tải.
Thành phần đồng bộ CSDL
Thành phần đồng bộ cơ sở dữ liệu có nhiệm vụ kết nối và đồng bộ hóa dữ liệu giữa các máy cục bộ và máy chủ trung tâm, được phát triển dựa trên giải pháp mã nguồn mở SymmetricDS Các module của SymmetricDS đã được tối ưu hóa và triển khai trên hệ thống máy chủ trung tâm cũng như trên các ứng dụng Desktop cục bộ Hệ thống này cho phép hoạt động ở chế độ ngoại tuyến và thực hiện đồng bộ dữ liệu khi có kết nối internet, với các chế độ đồng bộ có thể được cấu hình như đồng bộ tự động và đồng bộ thủ công.
Máy báo cáo cho phép định nghĩa, tạo và kết xuất các báo cáo một cách linh hoạt Máy báo cáo này được triển khai tại hai nơi:
- Trên hệ thống nền FORMIS: Cung cấp khả năng tạo và kết xuất báo cáo cho phân hệ ứng dụng web;
- Nhúng trong ứng dụng desktop: Cho phép tạo và kết xuất báo cáo từ phân hệ ứng dụng desktop
Mô tả tương tác giữa các thành phần
Tại máy cục bộ, Module QGIS kết nối với cơ sở dữ liệu để hiển thị và lưu trữ dữ liệu, trong khi module báo cáo BIRT lấy dữ liệu cho các báo cáo đã định nghĩa Thành phần đồng bộ cơ sở dữ liệu trong phân hệ desktop thực hiện việc đồng bộ hóa với cơ sở dữ liệu cục bộ và trung tâm khi có kết nối internet Đồng thời, thành phần đồng bộ cơ sở dữ liệu trung tâm đảm bảo chức năng đồng bộ hóa dữ liệu với cơ sở dữ liệu trung tâm.
Máy báo cáo BIRT tại máy chủ trung tâm kết nối với cơ sở dữ liệu để tạo ra các báo cáo có thể truy cập qua dịch vụ chuẩn Thành phần ứng dụng Web sử dụng các dịch vụ chuẩn để kết nối với máy báo cáo BIRT, cho phép hiển thị, in ấn và xuất báo cáo theo yêu cầu người dùng Phân hệ ứng dụng web cũng kết nối với máy chủ GeoServer để lấy và hiển thị dữ liệu bản đồ, đồng thời kết nối với máy chủ ứng dụng để sử dụng các dịch vụ nghiệp vụ Giải pháp kiến trúc này mang lại tính linh hoạt và hiệu quả trong việc quản lý và trình bày thông tin.