Luận văn nghiên cứu một số vấn đề về khai thác và tìm kiếm dữ liệu trên cổng thông tin điện tử

TỔNG QUAN VỀ CỔNG THÔNG TIN ĐIỆN TỬ PORTAL

Các đặc trƣng cơ bản của portal

1.2.1.Chức năng tìm kiếm (search function)

Chức năng tìm kiếm là dịch vụ thiết yếu cho mọi Portal, cho phép người dùng mô tả thông tin cần tìm qua từ khoá hoặc tổ hợp từ khoá Dịch vụ này sẽ tự động tìm kiếm thông tin trên các Website liên quan.

Internet và trả lại kết quả cho người dùng Thời gian thực hiện của dịch vụ tìm kiếm này rất nhanh, do vậy rất tiện lợi cho người dùng

1.2.2.Dịch vụ thƣ mục (Directory service) Đối với những người dùng không muốn tìm kiếm thông tin qua các từ khoá, họ có nhu cầu tìm kiếm thông tin theo một chủ đề, lĩnh vực nào đó, thì có thể sử dụng dịch vụ thƣ mục phân loại thông tin Dịch vụ thƣ mục là dịch vụ thực hiện phân loại và sắp xếp thông tin trên các website theo chủ đề có thể có nhiều chủ đề con trong một chủ đề và có thể tiếp tục phân tách xuống các mức thấp hơn

1.2.3.Ứng dụng trực tuyến(Online desktop application)

Bao gồm các ứng dụng phổ biến nhất của Internet, hiện nay có các ứng dụng điển hình nhƣ :

Các cổng thông tin lớn như Yahoo và Excite thường cung cấp tài khoản email miễn phí cho người dùng, cho phép họ gửi và nhận thư điện tử ở bất kỳ đâu trên Internet Dịch vụ này mang lại nhiều tiện ích, giúp người dùng kết nối dễ dàng và thuận tiện hơn.

Nhiều Portal hiện nay cung cấp dịch vụ "lịch cá nhân" miễn phí, cho phép người dùng truy cập và sử dụng lịch cá nhân mọi lúc, mọi nơi trên Internet.

Hội thoại trực tuyến là dịch vụ cho phép người dùng giao tiếp trực tiếp qua Internet, không bị giới hạn bởi khoảng cách địa lý Dịch vụ này bao gồm nhiều hình thức khác nhau, chẳng hạn như hỗ trợ kỹ thuật trực tuyến giữa nhà sản xuất và khách hàng.

Một trong những dịch vụ thu hút người dùng hiện nay là bưu thiếp điện tử Thay vì gửi bưu thiếp truyền thống qua bưu điện, người dùng có thể dễ dàng gửi những bưu thiếp chúc mừng đến người thân thông qua Internet.

1.2.4.Cá nhân hoá dịch vụ (Personalization or Customization)

Cá nhân hóa là dịch vụ quan trọng của Portal, cho phép nhà cung cấp tạo ra các dịch vụ định hướng cá nhân dựa trên thông tin cụ thể của từng khách hàng Điều này giúp đáp ứng yêu cầu và sở thích riêng biệt của từng người dùng.

Các nhà cung cấp có thể củng cố mối quan hệ với khách hàng, từ đó duy trì lòng tin và sự tín nhiệm của họ đối với thương hiệu.

Cá nhân hoá dịch vụ dựa trên dữ liệu thông tin cá nhân của khách hàng, bao gồm nghề nghiệp, thói quen và sở thích Nhờ vào những thông tin này, nhà cung cấp có thể giới hạn các dịch vụ và thông tin mà khách hàng thực sự quan tâm, từ đó tránh việc cung cấp những nội dung không cần thiết, giúp giảm thiểu sự khó chịu cho khách hàng và ngăn ngừa quyết định ngừng sử dụng dịch vụ.

1.2.5.Cộng đồng ảo (Virtual community or Collaboration)

Cộng đồng ảo là một không gian trực tuyến nơi cá nhân và doanh nghiệp có thể tập hợp, hợp tác và hỗ trợ nhau trong các hoạt động thương mại.

Cộng đồng ảo mở ra cơ hội hợp tác cho cá nhân và tổ chức doanh nghiệp, bất chấp ranh giới địa lý Dưới đây là một số ví dụ tiêu biểu về các cộng đồng ảo.

Hội thoại trực tuyến, hay còn gọi là online chat, cho phép tổ chức các hội nghị mà không cần tập trung toàn bộ cán bộ công nhân viên từ khắp nơi về một địa điểm cụ thể Dịch vụ này mang lại sự thuận tiện và linh hoạt, giúp tiết kiệm thời gian và chi phí cho các doanh nghiệp.

Hỗ trợ trực tuyến là dịch vụ cho phép khách hàng nhận tư vấn và hỗ trợ trực tiếp từ các nhà sản xuất về sản phẩm mà họ đã chọn.

1.2.6.Một điểm tích hợp thông tin duy nhất (Comporate Portal) Đặc trưng này cho phép đơn vị cung cấp cho người sử dụng dùng một điểm truy nhập duy nhất để thu thập và xử lý thông tin từ các nguồn khác nhau, hoặc sử dụng các ứng dụng để khai thác kho tài nguyên thông tin chung Nhƣ chúng ta đã biết, có rất nhiều thông tin hàng ngày cần phải được xử lý và chuyển đến người dùng dưới nhiều nguồn khác nhau, ví dụ nhƣ E-mail, news, tài liệu, báo cáo, các bài báo, audio và các video files, v.v… sẽ rất khó khăn cho người dùng nếu các thông tin này được xử lý một cách riêng rẽ; Comporate Portal cho phép sử dụng các công cụ tích hợp để xử lý các nguồn thông tin này, do vậy năng suất lao động xử lý các thông tin của người dùng sẽ đƣợc nâng cao

Portal cũng cho phép xây dựng các liên kết (connector) tới các ứng dụng hoặc

Một Portal khác hoặc một Website thông thường có thể cung cấp nội dung thông tin của mình qua kênh thông tin của Portal Kênh thông tin là một tính năng mới của Portal, cho phép xây dựng dịch vụ truy cập và xử lý thông tin trong mạng Intranet của tổ chức, từ đó hiển thị kết quả xử lý trên kênh thông tin của Portal.

Phân loại portal

Việc phân loại Portal có thể có nhiều cách khác nhau Nếu căn cứ vào đặc trƣng của

Portal người ta chia Portal thành các loại như sau :

Cung cấp đa dạng lựa chọn cho việc tìm kiếm, chuyển tiếp email, tự động sửa định dạng, lựa chọn tin tức, quản lý lịch, địa chỉ liên hệ, các cuộc hẹn, ghi chú, liên kết website, trò chuyện thời gian thực và các chức năng Intranet.

Chuyên cung cấp các thông tin và dịch vụ cho một lĩnh vực chuyên môn, khoa học, kinh tế cụ thể nào (mang tính chuyên ngành)

Nội dung đa dạng và phong phú, đáp ứng nhiều mối quan tâm khác nhau của cộng đồng và tổ chức hành chính, đồng thời hỗ trợ bằng các chức năng dịch vụ hữu ích.

Cơ sở Portal theo chiều ngang

Cơ sở hệ thống Portal theo chiều ngang

Portal cho người lao động

Portal cho các nhà đầu tư

Chúng tôi cung cấp dịch vụ truy xuất thông tin từ tất cả các nguồn tài nguyên trên mạng Intranet của tổ chức thông qua một cổng truy cập duy nhất.

Cung cấp các dịch vụ định hướng theo mối quan hệ tương tác thông tin hai chiều giữa các doanh nghiệp (B2B) trong môi trường thương mại điện tử

Cung cấp dịch vụ hành chính công dựa trên mối quan hệ tương tác thông tin hai chiều giữa các cơ quan hành chính nhà nước (G2G) trong môi trường trao đổi thông tin điện tử là yếu tố quan trọng nhằm nâng cao hiệu quả quản lý nhà nước và phục vụ người dân tốt hơn.

Các kỹ thuật của hệ thống portal

Portlet là giao diện người dùng tương tác đa mức, cho phép tích hợp các ứng dụng web khác nhau vào Portal Những Portlet này tạo ra các đoạn trang, và Portal sẽ kết hợp chúng để tạo thành một trang hoàn chỉnh.

Các thành phần của một trang Portal

Portlet thực thi trong môi trường thời gian thực được gọi là Portlet Container, các

Portlet hiển thị nội dung trong một cửa sổ trên trang Portal, tương tự như cửa sổ trên màn hình máy tính Mỗi cửa sổ Portlet có thanh tiêu đề và các nút điều khiển cho phép người dùng mở rộng hoặc thu nhỏ nó.

Portlet là một thành phần hiển thị trên trang web, hoạt động như một cửa sổ nhỏ cá nhân Nội dung bên trong Portlet chính là thông tin được trình bày, không phải bản thân cửa sổ đó.

Các Portlet bao gồm nhiều mức, cho phép người sử dụng giao tiếp với nó để thực hiện công việc trong môi trường Portal

Các mức của Portlet có thể có trong Portal

1.4.2.Phân loại portlet và các dịch vụ web

Giống như dịch vụ web hướng dữ liệu, các Portlet dựa trên kiến trúc dịch vụ cho phép doanh nghiệp tái sử dụng các thành phần phần mềm, giúp nhanh chóng phát triển ứng dụng cho các cổng thông tin mới.

Khác với các dịch vụ web tập trung vào dữ liệu, Portlet cung cấp tóm tắt các dịch vụ tác nghiệp ở cấp độ cao, bao gồm tương tác người dùng, lưu đồ và các trình diễn tùy chỉnh.

Các Portlet địa phương hoạt động bên trong máy chủ Portal, thực hiện việc sinh ra các trang và các thành phần cần thiết Khi máy chủ Portal tạo ra một trang, nó sẽ gọi mã Portlet và sử dụng giao diện đã được định nghĩa trước JSR168 cung cấp các tiêu chuẩn cho giao diện này.

Portlet địa phương chuẩn cho môi trường J2EE

Các Portlet địa phương gọi tới Code Portlet

Portlet từ xa là các Portlet hoạt động bên ngoài máy chủ Portal, có thể nằm trong một máy chủ của tổ chức hoặc ở vị trí từ xa Khi Portal cần hiển thị nội dung, nó sẽ gọi Portlet từ xa thông qua giao thức SOAP.

Trang Portal gọi đến từ một Portlet từ xa

Giao thức WSRP cung cấp định nghĩa một chuẩn giao diện SOAP cho các Portlet từ xa

Vấn đề quan trọng của Portlet từ xa là tách các Portlet ra khỏi tổ chức và môi trường

Khung làm việc của hệ thống Portal

Hình ảnh về khung làm việc của hệ thống Portal đƣợc mô tả nhƣ sau:

Khung làm việc hệ thống Portal

1: Là các nguồn dữ liệu có cấu trúc, không cấu trúc, dữ liệu ứng dụng hoặc nội dung đƣợc cung cấp

2: Tầng truy cập thông tin, làm nhiệm vụ truy cập tới mọi nguồn tài nguyên dữ liệu

3: Tầng dịch vụ Portal, những dịch vụ đặc trƣng tiêu biểu của Portal nhƣ: cá nhân hóa, tích hợp, dịch vụ tìm kiếm và phân loại, dịch vụ xuất bản và đặt báo, dịch vụ hợp tác, các ứng dụng, xử lý, quản trị và bảo mật

4: Tầng trình diễn, ở đó Portal có nhiệm vụ tổng hợp thông tin thành một trang web và hiển thị theo yêu cầu của người dùng

5: Các thiết bị truy cập mạng; Các thiết bị này truy cập Portal thông qua các kênh của Portal đó là các kênh dành cho mạng Intranet, mạng Internet, mạng không dây, v.v…

TỔ CHỨC DỮ LIỆU, CƠ CHẾ CHUYỂN ĐỔI DỮ LIỆU TRONG CỔNG THÔNG TIN PHỤC VỤ CHO VIỆC KHAI THÁC VÀ TÌM KIẾM DỮ LIỆU

Cơ chế chuyển đổi thông tin giữa các Server trong portal

Thông tin trong Portal có cấu trúc đa dạng và được tích hợp từ nhiều nguồn trong hệ thống máy chủ phân tán Để thiết lập chuyển đổi thông tin hiệu quả, dữ liệu trong hệ thống cần được chuẩn hóa, điều này phản ánh xu hướng hiện tại trong việc trao đổi thông tin trong môi trường phân tán.

Hiện nay, nhiều phương thức đã được áp dụng trên thế giới để chuẩn hoá thông tin trong quá trình trao đổi Trong số các công cụ này, công cụ chuẩn hoá thông tin đóng vai trò quan trọng trong việc nâng cao hiệu quả giao tiếp và đảm bảo tính chính xác của dữ liệu.

XML và XSLT đƣợc sử dụng nhiều nhất Vậy XML và XSLT là gì ? Tại sao chúng đƣợc sử dụng khá phổ biến ?

XML (eXtensible Markup Language) được xem như một giải pháp chuẩn hóa thông tin, giúp trao đổi dữ liệu hiệu quả trong các hệ thống cơ sở dữ liệu phân tán.

Văn bản XML có cấu trúc dữ liệu đơn giản dạng flat-text, dễ dàng được xử lý bởi các trình soạn thảo ASCII thông thường và có thể được con người đọc hiểu một cách dễ dàng Một trong những ưu điểm nổi bật của XML là khả năng linh hoạt trong việc lưu trữ và truyền tải dữ liệu.

Tách phần dữ liệu ra khỏi sự thể hiện của nó mang lại nhiều lợi ích, đặc biệt khi nhiều ứng dụng và thiết bị cùng hiển thị một văn bản XML Chẳng hạn, khi truy cập thông tin thể thao, người dùng có thể nhận được thông tin ngắn gọn về tỉ số trận bóng đá trên điện thoại di động mà không cần những chi tiết phức tạp như hình ảnh hay định dạng đẹp mắt như trên trình duyệt máy tính.

XML được phát triển nhằm chuẩn hóa cấu trúc dữ liệu, giúp trao đổi thông tin hiệu quả giữa các module trong hệ thống phân tán mà không cần lo lắng về cách mà bên nhận xử lý thông tin Khi nhận thông tin, văn bản XML thường được chuyển đổi thành định dạng phù hợp hơn để phục vụ cho quá trình xử lý tiếp theo.

Công nghệ XSLT (eXtensible Stylesheet Language Transformations)

XSLT, được phát triển bởi W3C, là ngôn ngữ chuyển đổi dữ liệu XML từ mô hình này sang mô hình khác, bao gồm cả các cấu trúc không phải XML Nó là một phần của một ngôn ngữ khác.

XSL (eXtensible Stylesheet Language) is designed to format and present XML data in various ways, with XSL-FO being a key component of XSL.

(XSL Formatting Objects) có nhiệm vụ làm nốt chức nǎng định dạng dữ liệu trong vǎn bản XML

XSLT cho phép chuyển đổi dữ liệu từ XML sang các định dạng khác như HTML, giúp hiển thị nội dung XML trên trình duyệt Việc chuyển đổi giữa các mô hình dữ liệu XML khác nhau cũng được áp dụng trong các hệ thống thương mại điện tử phân tán.

XSLT is created as a simple flat-text document known as a stylesheet, which consists of multiple templates that function like programming functions.

XPath là một ngôn ngữ độc lập, nhưng thường được sử dụng trong các XSL stylesheet và được coi là ngôn ngữ con của XSLT Nếu dữ liệu nguồn không ở định dạng XML, nó cần được chuyển đổi thành cấu trúc tương thích.

Trước khi sử dụng XSLT, cần phải hiểu rõ về XML và các thư viện hỗ trợ chuyển đổi, chẳng hạn như chuyển đổi HTML thành XML hoặc định dạng các cấu trúc dữ liệu cũ XSLT có những đặc điểm cơ bản giúp xử lý và chuyển đổi dữ liệu hiệu quả.

- Cú pháp của XSL/XSLT tuân theo cú pháp XML

Ngôn ngữ lập trình không gây ảnh hưởng phụ là một đặc điểm quan trọng nhưng ít được đề cập, vì hầu hết các ngôn ngữ lập trình truyền thống thường có tính năng side-effect.

Các hàm (template) trong XSLT không có tính chất side-effect, tức là chúng không thay đổi giá trị của các biến trong stylesheet Kết quả trả về của các hàm này luôn cố định và không bị ảnh hưởng bởi số lần gọi hay thứ tự gọi.

XSLT stylesheet là một tập hợp các template, mỗi template sử dụng luật với biểu thức Xpath để xác định các thành phần dữ liệu XML cụ thể cần xử lý Mỗi node trong văn bản XML thường tương ứng với tiêu chí xử lý của một template trong stylesheet.

- Kết quả chuyển đổi không phụ thuộc vào ngôn ngữ lập trình:

XSLT là một chuẩn công nghệ, các nhà cung cấp muốn sản phẩm của mình hỗ trợ

Một số thuật toán tìm kiếm dữ liệu trong hệ thống thông tin phân tán

2.4.1.Cấu trúc cơ bản của máy tìm kiếm

Máy tìm kiếm bao gồm các thành phần cơ bản sau đây:

Bộ tìm duyệt (Crawler) là chương trình nhỏ thiết yếu cho hoạt động của máy tìm kiếm, có nhiệm vụ cung cấp dữ liệu từ các trang web Chúng duyệt web, tìm kiếm mối liên hệ giữa các trang và thu thập các URL từ trang đã phân tích Sau khi thu thập, bộ tìm duyệt gửi các URL này đến bộ điều khiển tìm duyệt (Crawl control), nơi quyết định URL nào sẽ được duyệt tiếp theo Đồng thời, các trang web đã duyệt cũng được lưu trữ vào kho trang web để phục vụ cho các truy vấn tìm kiếm sau này.

Repository), các bộ tìm duyệt tiếp tục đi thăm các trang web khác trên Internet cho đến khi các nguồn chứa cạn kiệt

Mô hình cấu trúc máy tìm kiếm

Bộ tạo chỉ mục (Indexer module) khảo sát tất cả từ khoá trên từng trang web trong kho dữ liệu, ghi lại các địa chỉ URL tương ứng Kết quả tạo ra một bảng chỉ mục lớn, giúp máy tìm kiếm cung cấp nhanh chóng các URL khi có yêu cầu từ khóa Chỉ mục này, được gọi là chỉ mục nội dung, cho phép máy tìm kiếm tìm ra tất cả các trang web liên quan đến từ khoá Tuy nhiên, việc tạo chỉ mục cho một hệ thống web là một thách thức lớn do kích thước đồ sộ của nó.

Bộ phân tích tập (Collection analysis module) hoạt động dựa vào các thuộc tính của bộ truy vấn (Query Engine), giúp tối ưu hóa quá trình tìm kiếm Khi bộ truy vấn yêu cầu tìm kiếm trong một số website đặc biệt, việc xây dựng bảng chỉ mục kết nối tên miền với danh sách các trang web thuộc miền đó sẽ mang lại hiệu quả cao hơn Bộ phân tích tập thực hiện công việc này bằng cách sử dụng thông tin từ hai loại chỉ mục cơ bản: chỉ mục nội dung và chỉ mục cấu trúc, cùng với thông tin từ khoá trang web Những thông tin này được áp dụng trong phương pháp tính hạng (ranking) để tạo ra các chỉ mục tiện ích.

Bộ truy vấn (Query Engine) đảm nhận vai trò nhận yêu cầu từ người sử dụng, hoạt động chủ yếu dựa vào bảng chỉ mục và thỉnh thoảng tham chiếu kho trang web Với số lượng trang web khổng lồ, người dùng thường chỉ nhập một hoặc vài từ khóa, dẫn đến tập kết quả lớn Do đó, bộ xếp hạng sẽ sắp xếp kết quả theo thứ tự giảm dần về độ liên quan với vấn đề mà người dùng quan tâm, sau đó hiển thị danh sách này cho người dùng.

2.4.2.Phương pháp biểu dữ liệu trong máy tìm kiếm

Biểu diễn chỉ mục nội dung

Chỉ mục nội dung hỗ trợ việc tìm kiếm thông tin, cho phép máy tìm kiếm áp dụng các phương pháp truy cập truyền thống để khai thác dữ liệu Máy tìm kiếm sử dụng chỉ mục liên kết ngược để biểu diễn tài liệu một cách hiệu quả.

Biểu diễn chỉ mục cấu trúc

Trong quá trình tạo chỉ mục, bộ tạo chỉ mục phân tích và lưu trữ thông tin quan trọng về các siêu liên kết từ các trang web vào file neo File này chứa thông tin về nguồn gốc và đích đến của mỗi siêu liên kết, cùng với cụm từ mô tả Một chương trình con của bộ tạo chỉ mục chuyển đổi địa chỉ quan hệ giữa các siêu liên kết thành địa chỉ tuyệt đối và lưu vào thành phần trang web (docID), đồng thời tạo ra cơ sở dữ liệu (CSDL) các siêu liên kết với các định danh trang web tương ứng CSDL siêu liên kết này được sử dụng để tính hạng cho tài liệu.

2.4.3.Hoạt động của máy tìm kiếm Google

Thuật ngữ “Cỗ máy tìm kiếm ” đƣợc dùng chung để chỉ 2 hệ thống tìm kiếm: Một do các chương trình máy tính tự động tạo ra (Crawler-Based Search

Engines) và dạng thư mục internet do con người quản lý (Human-Powered

Directories).Hai hệ thống tìm kiếm này tìm và lập danh mục website theo 2 cách khác nhau a Crawler-Based Search Engines - Hệ thống tìm kiếm trên nền tự động

Các cỗ máy tìm kiếm tự động như Google sử dụng các chương trình máy tính, được gọi là "robots", "spiders" hoặc crawlers, để thu thập thông tin trên internet Khi người dùng thực hiện tìm kiếm, những chương trình này sẽ lần tìm và tạo ra danh sách kết quả phù hợp.

Các công cụ tìm kiếm nhanh chóng hiển thị thông tin lưu trữ liên quan Khi bạn thay đổi trang web, các máy tìm kiếm sẽ tự động phát hiện những thay đổi này, ảnh hưởng đến thứ hạng của bạn Các yếu tố như tiêu đề trang, nội dung văn bản và các thành phần khác đều đóng vai trò quan trọng Ngoài ra, các thư mục do con người quản lý và cập nhật cũng góp phần vào việc cải thiện khả năng hiển thị của bạn trên mạng.

Các thƣ mục Internet - ví dụ nhƣ Dự án thƣ mục mở - Open Directory Project

Dmoz.org hoàn toàn phụ thuộc vào quản lý của con người, nơi bạn có thể đăng ký website của mình vào các danh mục với mô tả ngắn gọn Các biên tập viên của danh mục sẽ viết phần mô tả phù hợp với nội dung và chủ đề của từng danh mục.

Việc thay đổi trang web của bạn không ảnh hưởng đến danh mục của bạn Cải thiện vị trí xếp hạng trên công cụ tìm kiếm không liên quan đến việc nâng cao vị trí trong danh mục Tuy nhiên, một trang web chất lượng với nội dung tốt có thể được xem xét cao hơn so với một trang web kém "Hybrid Search Engines" là các hệ thống tìm kiếm tổng hợp.

Trước đây, các cỗ máy tìm kiếm sử dụng những thuật toán riêng biệt để tạo sự khác biệt Hệ thống tìm kiếm tự động không cần một thư mục internet đi kèm Tuy nhiên, hiện nay, hầu hết các hệ thống tìm kiếm đều kết hợp giữa tìm kiếm tự động và thư mục do con người quản lý, điển hình như Yahoo.

Google có thư mục Google Directory, được xây dựng dựa trên danh bạ Dmoz, cùng với MSN và các hệ thống tìm kiếm khác Các thành phần chính của một cỗ máy tìm kiếm tự động bao gồm việc thu thập, lập chỉ mục và xử lý thông tin để cung cấp kết quả tìm kiếm chính xác và nhanh chóng.

Các cỗ máy tìm kiếm tự động bao gồm ba phần tử chính, trong đó spider (hay còn gọi là crawlers) là phần quan trọng Spider sẽ truy cập vào một trang web, đọc nội dung và theo dõi các liên kết đến các trang khác trong cùng website Khi người dùng tìm kiếm một trang, các spider sẽ ghi nhớ thông tin đó và quay lại kiểm tra định kỳ sau 1-2 tháng Do đó, nếu trang web được truy cập nhiều, spider sẽ quay lại thường xuyên hơn, giúp cải thiện thứ hạng tìm kiếm của bạn.

Mọi thông tin mà spider tìm thấy sẽ được đưa vào phần chỉ mục của cỗ máy tìm kiếm, nơi lưu trữ bản sao của tất cả các trang web Chỉ mục, hay còn gọi là tài liệu, sẽ được cập nhật khi có sự thay đổi trên trang web Tuy nhiên, việc lập chỉ mục cho một trang mới hoặc trang đã thay đổi có thể mất thời gian, dẫn đến tình trạng trang web chưa được lập chỉ mục và không xuất hiện trên công cụ tìm kiếm trong khoảng thời gian đó.

Phần mềm tìm kiếm là thành phần quan trọng trong cỗ máy tìm kiếm, hoạt động như một chương trình máy tính để lọc thông tin từ hàng triệu trang web tương tự Chức năng của nó là sắp xếp và xác định vị trí của từng trang một cách tối ưu nhất, giúp các công ty dễ dàng tiếp cận thông tin cần thiết.

SEO khai thác để đƣa một website nào đó lên vị trí Top khi đƣợc tìm kiếm với một hay nhiều từ khóa chỉ định.

ÁP DỤNG NGHIÊN CỨU CHƯƠNG TRÌNH GIẢI QUYẾT BÀI TOÁN KHAI THÁC VÀ TÌM KIẾM THÔNG TIN TRONG CỔNG THÔNG TIN NGÀNH GIÁO DỤC VÀ ĐÀO TẠO

Tối ƣu hoá hệ thống cơ sở dữ liệu

server các Sở Giáo dục và Đào tạo

Việc tìm kiếm thông tin trên Cổng thông tin giáo dục có thể được minh họa qua ví dụ sau: Một cơ quan cần thu thập thông tin về một học sinh, và để thực hiện điều này, cơ quan sẽ sử dụng Cổng thông tin giáo dục để truy cập dữ liệu cần thiết.

Internet kết nối đến cổng thông tin của ngành Giáo dục và Đào tạo, cho phép người dùng gửi yêu cầu tìm kiếm hoặc khai thác thông tin Khi nhận được yêu cầu, máy chủ của Bộ Giáo dục và Đào tạo sẽ nhanh chóng yêu cầu các máy chủ của các Sở cung cấp thông tin cần thiết, tập hợp kết quả và trả lại cho người sử dụng.

Việc lập báo cáo của các cơ quan quản lý giáo dục diễn ra một cách thuận tiện; khi có yêu cầu về một loại báo cáo, người dùng chỉ cần chọn thông tin cần thiết, và máy chủ sẽ tự động thu thập các số liệu thống kê liên quan từ các nguồn dữ liệu khác nhau.

Sở Giáo dục và Đào tạo Rất nhanh chóng có ngay một báo cáo tổng hợp

3.2.Tối ƣu hoá hệ thống Cơ Sở Dữ Liệu

Từ các yêu cầu quản lý tại các cấp chúng ta thấy:

80% các yêu cầu tìm kiếm và thống kê thông tin được xử lý trực tiếp tại máy chủ của các đơn vị cơ sở, cụ thể là cấp Sở Giáo dục và Đào tạo.

15% yêu cầu tìm kiếm thống kê đƣợc xử lý phân tán trên hệ thống máy chủ của

Bộ Giáo dục và Đào tạo

5% là các yêu cầu khác

Hệ thống cơ sở dữ liệu chi tiết sẽ được triển khai chủ yếu tại các máy chủ của Sở Giáo dục và Đào tạo, nơi cũng sẽ cài đặt các cơ sở dữ liệu thống kê để đáp ứng nhanh chóng nhu cầu thống kê tổng thể.

Từ đó chúng tôi đã tiến hành tổ chức, phân tích, thiết kế xây dựng một hệ thống

CSDL đóng vai trò quan trọng trong việc hỗ trợ quản lý giáo dục, từ Bộ Giáo dục và Đào tạo đến các Sở Giáo dục và Đào tạo, với cấu trúc CSDL được thiết kế phù hợp để đáp ứng nhu cầu quản lý hiệu quả.

3.2.1 Tại Bộ Giáo dục và Đào tạo :

Có CSDL HOSOBO.MDF với các bảng cấu trúc nhƣ sau:

Bảng 3.1 Thông tin về danh mục các Sở GD&ĐT (DMSOGD_DT)

STT Tên trường Mô tả

1 MA_SO Mã Sở Giáo dục và Đào tạo

2 TEN_SO Tên Sở Giáo dục và Đào tạo

3 URL Địa chỉ máy chủ của các Sở Giáo dục và Đào tạo

4 DIEN_THOAI Số điện thoại trực thi, báo cáo của các Sở

5 DIA_CHI Địa chỉ liên hệ của các cơ sở Giáo dục và Đào tạo

Bảng 3.2 Thông tin về cấp học (caphoc)

1 MA_CH Mã cấp học

2 TEN_CH Tên cấp học

Bảng 3.3 Thông tin về năm học (namhoc)

1 MA_NH Mã năm học

2 TEN_NAMHOC Tên năm học

Bảng 3.4 thông tin về loại hình trường(truong)

STT Tờn trường Mô tả

1 MA_DT Mã đào tạo

2 TEN_DT Tên loại hình đào tạo

Bảng 3.5 Thông tin về vùng ƣu tiên(vung)

1 MA_VUNG Mã vùng ƣu tiên

2 TEN_VUNG Tên vùng ƣu tiên

Bảng 3.6 Thông tin về dân tộc (dantoc)

1 MA_DT Mã dân tộc

2 TEN_DT Tên dân tộc

Bảng 3.7 Thông tin về môn học (Mon hoc)

2 TEN_MON Tên môn học

Bảng 3.8 Thông tin về số liệu thống kê theo Sở Giáo dục và Đào tạo

TT Tên trường Mô tả

1 MA_SO Mã sở Giáo dục và Đào tạo

2 SL_TRUONG Số lượng trường

3 TRUONG_CHUYEN Số lượng trường chuyên

4 TRUONG_CONG LAP Số lượng trường công lập

5 TRUONG_BAN CONG Số lượng trường bán công

6 TRUONG_DANLAP Số lượng trường dân lập

7 TRUONG_TUTHUC Số lượng trường tư thục

8 SL_LOP Số lƣợng lớp

9 LOP_CHUYEN Số lƣợng lớp chuyên

10 LOP_CONG LAP Số lƣợng lớp công lập

11 LOP_BAN CONG Số lƣợng lớp bán công

12 LOP_DANLAP Số lƣợng lớp dân lập

13 LOP_TUTHUC Số lƣợng lớp tƣ thục

14 SL_HS Số lƣợng học sinh

15 HS_CHUYEN Số lượng học sinh trường chuyên

16 HS_CONG LAP Số lượng học sinh trường công lập

17 HS_BAN CONG Số lượng học sinh trường bán công

18 HS_DANLAP Số lượng học sinh trường dân lập

19 HS_TUTHUC Số lượng học sinh trường tư thục

20 SHS_NU Số lƣợng học sinh nữ

21 SHS_DANTOC Số học sinh người dân tộc ít người

22 SL_XA_01 Số xã thuộc vùng 01

25 SL_HK_YEU Số lƣợng học sinh hạnh kiểm Yếu

26 SL_HK_TB Số lƣợng học sinh hạnh kiểm Trung bình

27 SL_HK_KHA Số lƣợng học sinh hạnh kiểm Khá

28 SL_HK_TOT Số lƣợng học sinh hạnh kiểm Tốt

29 SL_HL_YEU Số lƣợng học sinh học lực Yếu

30 SL_HL_TB Số lƣợng học sinh học lực Trung bình

31 SL_HL_KHA Số lƣợng học sinh học lực Khá

32 SL_HL_GIOI Số lƣợng học sinh học lực Giỏi

33 SL_LOP01 Số lƣợng lớp năm thứ nhất (THCS lớp 5, THPT lớp

34 SL_LOP02 Số lƣợng lớp năm thứ hai (6,11)

35 SL_LOP03 Số lƣợng lớp thứ ba (7,12)

36 SL_LOP04 Số lƣợng lớp thứ tƣ (8)

37 SL_LOP05 Số lƣợng lớp thứ năm (9)

Bảng 3.9.Thông tin về học sinh (hosohs)

Số TT Tên trường Mô tả

2 HOCSINH_ID Chỉ số học sinh

3 HO_TEN Họ tên học sinh

6 HS_LOP Học sinh lớp

7 DIA_CHI Địa chỉ nhà riêng

9 MA_DTOC Mã dân tộc

11 VUNG_MIEN Vùng miền ƣu tiên

12 DTB_TOAN Điểm trung bình môn Toán

13 DTB_LY Điểm trung bình môn Vật lý

14 DTB_HOA Điểm trung bình môn Hoá học

15 DTB_SINH Điểm trung bình môn Sinh học

16 DTB_VĂN Điểm trung bình môn Văn

17 DTB_SỬ Điểm trung bình môn Lịch sử

18 DTB_DIA Điểm trung bình môn Địa lý

19 DTB_TIN Điểm trung bình môn Tin học

20 DTB_TD Điểm trung bình môn Thể dục

21 DTB_GDCD Điểm trung bình môn Giáo dục công dân

22 DTB_NN Điểm trung bình môn Tiếng nước ngoài

23 DTB_KH1 Điểm trung bình các môn học kỳ 1

24 DTB_HK2 Điểm trung bình các môn học kỳ 2

25 DTB_CN Điểm trung bình môn chung cả năm

26 XL_HK1 Xếp loại hạnh kiểm học kỳ 1

27 XL_HL1 Xếp loại học lực học kỳ 1

32 NTS Năm Vào đầu cấp

34 XL_TN Xếp loại tốt nghiệp

36 KHEN_KY Khen thưởng, kỷ luật

37 NHAN_XET Nhận xét của GV chủ nhiệm về học sinh

Bảng 3.10 Thông tin về giáo viên (TK_Giaovien)

Số TT Tên trường Mô tả

2 TONG_SO Tổng số cán bộ, cán bộ công nhân viên

3 TREN_CHUAN Trình độ đạt trên chuẩn

4 DAT_CHUAN Trình độ đạt chuẩn

5 CHUA_CHUAN Trình độ chƣa đạt chuẩn

6 SL_TOAN Số lƣợng giáo viên Toán

7 SL_LY Số lƣợng giáo viên Vật lý

8 SL_HOA Số lƣợng giáo viên Hoá học

9 SL_SINH Số lƣợng giáo viên Sinh học

10 SL_VAN Số lƣợng giáo viên Văn

11 SL_SU Số lƣợng giáo viên Lịch Sử

12 SL_DIA Số lƣợng giáo viên Địa lý

13 SL_TIN Số lƣợng giáo viên Tin

14 SL_GDCD Số lƣợng giáo viên GDCD

15 SL_TD Số lƣợng giáo viên Thể dục

16 SL_ANH Số lƣợng giáo viên Tiếng Anh

17 SL_NGA Số lƣợng giáo viên Tiếng Nga

18 SL_PHAP Số lƣợng giáo viên Tiếng Pháp

19 SL_TRUNG Số lƣợng giáo viên Tiếng Trung

20 HIEU_TRUONG Số lượng hiệu trưởng

21 HIEU_PHO Số lƣợng hiệu phó

22 DOAN_DOI Số lƣợng cán bộ đoàn đội

23 THU_VIEN Số lƣợng cán bộ thƣ viện

24 THI_NGHIEM Số lƣợng cán bộ thí nghiệm

25 KT_NV Số kỹ thuật viên kỹ thuật nghiệp vụ

26 PHUC_VỤ Số nhân viên phục vụ còn lại

3.2.2 Tại Sở Giáo dục và Đào tạo :

Cã CSDL HOSOSO.MDF với các bảng cấu trúc đƣợc thiết kế nhƣ sau:

Bảng 3.11 Thông tin về danh mục các trường : (Truong)

4 MA_DT Mã loại hình đào tạo của nhà trường

5 DIEN_THOAI Số điện thoại thường trực thi hoặc lập báo cáo

6 DIA_CHI Địa chỉ liên hệ

7 TEN_HT Tên hiệu trưởng

8 TEN_HP Tên các hiệu phó

Bảng 3.12 Thông tin về cấp học (caphoc)

STT Tên tr-ờng Mô tả

2 TEN_CH Tên cấp học

Bảng 3.13 Thông tin về năm học (namhoc)

1 MA_NH Mã cấp học

2 TEN_NAMGOC Tên năm học

Bảng 3.14 Thông tin về loại hình tr-ờng (loaihinhtruong)

1 MA_DT Mã đào tạo

2 TEN_DT Tên loại hình đào tạo

Bảng 3.15 Thông tin về vùng miền (vungut)

1 MA_VUNG Mã vùng ƣu tiên

2 TEN_VUNG Tên vùng -u tiên

Bảng 3.16 Thông tin về dân tộc (dantoc)

1 MA_DT Mã dân tộc

2 DAN_TOC Tên dân tộc

Bảng 3.17.Thông tin về môn học (monhoc)

Số Tên tr-ờng Mô tả

Bảng 3.18 Thông tin về thống kê theo Sở GD&ĐT (hososo)

TT Tên tr-ờng Mô tả

2 SL_TRUONG Số lượng trường

3 TRUONG_CHUYEN Số lượng trường chuyên

4 TRUONG_CONG LAP Số lượng trường công lập

5 TRUONG_BAN CONG Số lượng trường bán công

6 TRUONG_DANLAP Số lượng trường dân lập

7 TRUONG_TUTHUC Số lượng trường tư thục

8 SL_LOP Số lƣợng lớp

9 LOP_CHUYEN Số lƣợng lớp chuyên

10 LOP_CONG LAP Số lƣợng lớp công lập

11 LOP_BAN CONG Số lƣợng lớp bán công

12 LOP_DANLAP Số lƣợng lớp dân lập

13 LOP_TUTHUC Số lƣợng lớp tƣ thục

14 SL_HS Số lƣợng học sinh

15 HS_CHUYEN Số lượng học sinh trường chuyên

16 HS_CONG LAP Số lượng học sinh trường công lập

17 HS_BAN CONG Số lượng học sinh trường bán công

18 HS_DANLAP Số lượng học sinh trường dân lập

19 HS_TUTHUC Số lượng học sinh trường tư thục

20 SHS_NU Số lƣợng học sinh nữ

21 SHS_DANTOC Số học sinh người dân tộc ít người

25 SL_HK_YEU Số lƣợng học sinh hạnh kiểm Yếu

26 SL_HK_TB Số lƣợng học sinh hạnh kiểm Trung bình

27 SL_HK_KHA Số lƣợng học sinh hạnh kiểm Khá

28 SL_HK_TOT Số lƣợng học sinh hạnh kiểm Tốt

29 SL_HL_YEU Số lƣợng học sinh học lực Yếu

30 SL_HL_TB Số lƣợng học sinh học lực Trung bình

31 SL_HL_KHA Số lƣợng học sinh học lực Khá

32 SL_HL_GIOI Số lƣợng học sinh học lực Giỏi

33 SL_LOP01 Số lƣợng lớp năm thứ nhất (THCS lớp 5, THPT lớp

34 SL_LOP02 Số lƣợng lớp năm thứ hai (6,11)

35 SL_LOP03 Số lƣợng lớp thứ ba (7,12)

36 SL_LOP04 Số lƣợng lớp thứ tƣ (8)

37 SL_LOP05 Số lƣợng lớp thứ năm (9)

Bảng 3.19.Thông tin về học sinh (hosohs)

1 MA_HS Mã học sinh

3 HO_TEN Họ tên học sinh

6 HS_LOP Học sinh lớp

9 MA_DTOC Mã dân tộc

12 DTB_TOAN Điểm trung bình môn Toán

13 DTB_LY Điểm trung bình môn Vật lý

14 DTB_HOA Điểm trung bình môn Hoá học

15 DTB_SINH Điểm trung bình môn Sinh học

16 DTB_VAN Điểm trung bình môn Văn

17 DTB_SU Điểm trung bình môn Lịch sử

18 DTB_DIA Điểm trung bình môn Địa lý

19 DTB_TIN Điểm trung bình môn Tin học

20 DTB_TD Điểm trung bình môn Thể dục

21 DTB_GDCD Điểm trung bình môn Giáo dục công dân

22 DTB_NN Điểm trung bình môn Tiếng nước ngoài

23 DTB_KH1 Điểm trung bình các môn học kỳ 1

24 DTB_HK2 Điểm trung bình các môn học kỳ 2

25 DTB_CN Điểm trung bình môn chung cả năm

30 NTS Năm truyển sinh vào đầu cấp

32 XL_TN Xếp loại tốt nghiệp

34 BANG_TN Số hiệu bằng tốt nghiệp đƣợc cấp

35 NHAN_XET Nhận xét của giáo viên chủ nhiệm

Bảng 3.20 Thông tin về lượt truy cập của học sinh (luotID)

Bảng 3.21.Thông tin về giáo viên (HOSOGV)

1 MA_GV Mã giáo viên

2 GV_ID Chỉ số giáo viên

3 HO_TEN Họ tên giáo viên

7 MA_TRUONG_CT Mã trường đang giảng dạy

8 MA_TRUONG_DT Mã trường nơi đào tạo

9 Ma_TOC Mã dân tộc

11 NAM_CT Năm bắt đầu vào biên chế chính thức

12 DH_TD Danh hiệu thi đua

13 HS_LUONG Hệ số lƣợng cơ bản hiện tại

14 MA_MON Giảng dạy môn (mã môn)

15 CHUC_VU Chức vụ đang đảm trách

17 KT_KL Khen thưởng, kỷ luật trong quá trình giảng dạy

18 TD_CM Trình độ chuyên môn

Xây dựng chương trình

3.3.1.Các modul sẽ đƣợc xây dựng

Chương trình phục vụ tìm kiếm và xử lý thông tin giáo dục trong hệ thống thông tin giáo dục đƣợc chúng tôi chia làm các module sau :

1) Module cài đặt tại các Sở Giáo dục và Đào tạo :

Module này đƣợc cài đặt vào trang web của Sở Giáo dục và Đào tạo bao gồm các chức năng sau :

+ Cập nhật về danh sách các trường

+ Cập nhật về danh sách học sinh từ các trường

+ Cập nhật về danh sách giáo viên từ các trường

+ Cập nhật các thông tin liên quan quản lý từ các trường

2) Module cài đặt tại Bộ Giáo dục và Đào tạo, đƣợc thiết kế giao diện web bao gồm các chức năng sau :

+ Trang chủ: Đƣa thông tin hoạt động của ngành Giáo dục và Đào tạo

+ Tìm kiếm: Tìm kiếm thông tin về học sinh, giáo viên

- Cập nhật tự động số liệu thống kê từ các Sở Giáo dục và Đào tạo

- Thông tin chi tiết về giáo viên của các Sở Giáo dục và Đào tạo

- Thông tin chi tiết về học sinh, trường, lớp các Sở Giáo dục và Đào tạo

- Lập báo cáo: lập các báo cáo của ngành Giáo dục và Đào tạo

- Thảo luận chuyên môn của giáo viên các bộ môn (định kỳ)

- Thảo luận quản lý của các lãnh đạo (họp trực tuyến)

+ Lịch làm việc : của Bộ và các Sở Giáo dục và Đào tạo

+ Thƣ viện điện tử: bài giảng, sách giáo khoa, thời khoá biểu, tranh ảnh đồ dùng dạy học và các sách tham khảo, E-learning

+ Văn bản chỉ đạo : Các văn bản hướng dẫn chỉ đạo ngành Giáo dục của Bộ

Giáo dục và Đào tạo

+ Hỗ trợ trực tuyến : Các hỗ trợ về công nghệ, giải đáp các thắc mắc trong tổ chức hoạt động của ngành

3.3.2 Giao diện cổng thông tin Giáo dục a) Giao diện trang chủ của cổng thông tin giáo dục

Giao diện trang chủ Cổng thông tin giáo dục b) Giao diện trang tìm kiếm học sinh theo tên

Giao diện trang tìm kiếm học sinh c) Giao diện trang kết quả tìm kiếm học sinh theo tên

Giao diện trang tìm kiếm học sinh d) Giao diện trang thông tin chi tiết về một học sinh

Giao diện trang thông tin chi tiết về một học sinh e) Giao diện trang tìm kiếm nâng cao:

Giao diện trang tìm kiếm học sinh nâng cao cung cấp thông tin chi tiết về giáo viên từ các Sở Giáo dục và Đào tạo trên toàn quốc.

Giao diện trang khai thác thông tin giáo viên g) Giao diện trang thông tin chi tiết về giáo viên của Sở Giáo dục và Đào tạo thành phố

Giao diện trang thông tin tổng hợp về giáo viên của Sở Giáo dục và Đào tạo thành phố Hà Nội cung cấp cái nhìn tổng quát và chi tiết về các giáo viên, trong khi giao diện trang thông tin về trường và lớp của các Sở GD&ĐT giúp người dùng dễ dàng tra cứu thông tin liên quan đến các cơ sở giáo dục và lớp học.

Giao diện trang thông tin chi tiết về học sinh, trường, lớp j) Giao diện lựa chọn thông tin để lập báo cáo

Giao diện trang lựa chọn thông tin để lập báo cáo k) Giao diện báo cáo về các thông tin đã đƣợc chọn

Giao diện trang thông tin báo cáo

Định dạng
Số trang	72
Dung lượng	1,9 MB