1. Trang chủ
  2. » Luận Văn - Báo Cáo

Nghiên cứu cải tiến mô hình kho dữ liệu đáp ứng khả năng xây dựng báo cáo theo tiêu chuẩn của NH nhà nước tại NH TMCP hàng hải việt nam khoá luận tốt nghiệp 324

103 18 0

Đang tải... (xem toàn văn)

Tài liệu hạn chế xem trước, để xem đầy đủ mời bạn chọn Tải xuống

THÔNG TIN TÀI LIỆU

Thông tin cơ bản

Tiêu đề Nghiên Cứu Cải Tiến Mô Hình Kho Dữ Liệu Đáp Ứng Khả Năng Xây Dựng Báo Cáo Theo Tiêu Chuẩn Của Ngân Hàng Nhà Nước Tại Ngân Hàng TMCP Hàng Hải Việt Nam
Tác giả Nguyễn Thị Phương Linh
Người hướng dẫn Ths. Mai Tấn Tài
Trường học Học viện Ngân hàng
Chuyên ngành Hệ thống thông tin quản lý
Thể loại khóa luận tốt nghiệp
Năm xuất bản 2017
Thành phố Hà Nội
Định dạng
Số trang 103
Dung lượng 2,85 MB

Cấu trúc

  • CHƯƠNG I: TỔNG QUAN VỀ HỆ JHONG THÔNG TIN VÀ CÁC VĂN BẢN PHÁP LUẬT CÓ ẢNH HƯỞNG ĐẾN VIỆC TỔ CHỨC DỮ LIỆU TRONG CÁC NGÂN HANG THƯƠNG MẠI (0)
    • 1.1 Hạ tầng hệ thống thông tin cung cấp dữ liệu trong các ngân hàng thương mại (15)
      • 1.1.1 Hệ thống ngân hàng lõi Core Banking (15)
      • 1.1.2 Hệ thống quản lý thẻ (18)
      • 1.1.3 Hệ thống quản lý rủi ro (19)
    • 1.2 Tổng quan về Kho dữ liệu (20)
      • 1.2.1 Định nghĩa và tính chất của kho dữ liệu (20)
      • 1.2.2 Một số mô hình kho dữ liệu (21)
      • 1.2.3 Phương pháp mô hình hoá của Bill Inmon và Ralph Kimball (23)
    • 1.3 Các văn bản pháp luật có ảnh hưởng đến việc tổ chức dữ liệu tại các ngân hàng thương mại (25)
      • 1.3.1 Thông tư số 35/2015/TT-NHNN (25)
      • 1.3.2 Các nhóm báo cáo của thông tư 35 (26)
      • 1.3.3 Một số văn bản liên quan đến quy định báo cáo thống kê (28)
  • CHƯƠNG II: NGHIÊN CỨU CẢI TIẾN MÔ HÌNH KHO DỮ LIỆU ĐỂ ĐÁP ỨNG KHẢ NĂNG XÂY DỰNG BÁO CÁO THEO TIÊU CHUẨN CỦA NGÂN NHÀ NƯỚC TẠI NGÂN HÀNG TMCP HÀNG HẢI VIỆT NAM (30)
    • 2.1 Thực trạng hạ tầng hệ thống thông tin tại Ngân hàng MSB (30)
      • 2.1.1 Nguồn dữ liệu (Data Source) (30)
      • 2.1.2 Khu lưu trữ dữ liệu tạm thời (Staging Area) (35)
      • 2.1.3 Kho dữ liệu (Data warehouse) (35)
    • 2.2 Cải tiến mô hình kho dữ liệu để đáp ứng khả năng xây dựng báo cáo theo tiêu chuẩn Ngân hàng nhà nước tại ngân hàng MSB (39)
      • 2.2.1 Mô hình DWH cải tiến (39)
      • 2.2.2 Quá trình trích xuất, chuyển đổi, truyền tải dữ liệu (ETL) trong kho dữ liệu (41)
      • 2.2.3 Tạo báo cáo gửi NHNN từ DWH 2 (46)
  • CHƯƠNG III: XÂY DỰNG BÁO CÁO HUY ĐỘNG VỐN THEO CHUẨN NHNN DỰA TRÊN KHO DỮ LIỆU NGÂN HÀNG MSB (50)
    • 3.1 Báo cáo huy động vốn từ khách hàng theo ngành kinh tế (50)
      • 3.3.2 Phân tích dữ liệu (53)
    • 3.3 Thực hiện thử nghiệm xây dựng báo cáo huy động vốn theo chuẩn NHNN (56)
      • 3.3.1 Thu thập dữ liệu từ nguồn dữ liệu (56)
      • 3.3.2 Chuẩn hóa dữ liệu đưa về Staging (59)
      • 3.3.3 Chuẩn hóa dữ liệu đưa về Datawarehouse (61)
      • 3.3.4 Thực hiện truy vấn dữ liệu (63)
      • 3.3.5 Kết quả (68)
  • KẾT LUẬN (70)
  • TÀI LIỆU THAM KHẢO (71)
  • PHỤ LỤC (25)
    • 1. Mã ngành kinh tế (74)
    • 2. Mã loại hình tổ chức DN và CN (88)
    • 3. Mã loại hình tổ chức tín dụng (90)
    • 4. Mã đồng tiền các nước (91)
    • 5. Mã đồng tiền quy đổi (92)
    • 6. Mã các loại giấy tờ có giá (93)
    • 7. Mã tỉnh thành phố phân vùng kinh tế (94)

Nội dung

TỔNG QUAN VỀ HỆ JHONG THÔNG TIN VÀ CÁC VĂN BẢN PHÁP LUẬT CÓ ẢNH HƯỞNG ĐẾN VIỆC TỔ CHỨC DỮ LIỆU TRONG CÁC NGÂN HANG THƯƠNG MẠI

Hạ tầng hệ thống thông tin cung cấp dữ liệu trong các ngân hàng thương mại

Hệ thống thông tin trong ngân hàng bao gồm nhiều yếu tố quan trọng, từ phần cứng như máy chủ và mạng máy tính đến phần mềm như hệ thống ngân hàng lõi và giải pháp ngân hàng điện tử Trong khuôn khổ khóa luận này, chúng tôi sẽ tập trung nghiên cứu ba nhóm giải pháp phần mềm có ảnh hưởng lớn nhất đến việc tổ chức dữ liệu trong ngân hàng: hệ thống ngân hàng lõi, hệ thống quản lý thẻ và hệ thống quản lý rủi ro.

1.1.1 Hệ thống ngân hàng lõi Core Banking

Hệ thống ngân hàng lõi (Core Banking) là nền tảng xử lý dữ liệu back-end, chịu trách nhiệm quản lý và xử lý tất cả các giao dịch ngân hàng trong ngày Nó cập nhật dữ liệu vào máy chủ trung tâm, bao gồm các phân hệ quản lý tài khoản, xử lý tín dụng và tiền gửi, cũng như các công cụ hỗ trợ hạch toán và tạo báo cáo.

Môi trường vận hành của hệ thống Core Banking bao gồm các máy chủ cơ sở dữ liệu lưu trữ toàn bộ dữ liệu của ngân hàng, máy chủ ứng dụng cài đặt phần mềm cần thiết cho các nghiệp vụ xử lý, và cơ sở hạ tầng công nghệ hỗ trợ các dịch vụ hiện đại như ATM và Internet Banking Ngoài ra, hạ tầng công nghệ cũng đảm bảo vấn đề bảo mật cho dữ liệu lưu trữ và dữ liệu được truyền qua hệ thống mạng.

Application supporting the bank's delivery channels.

Integrates into the customer relationship management and core systems Ễ 5

Imaging and workflow capabilities e g for the commercial lending process

Integration infrastructure to link the bank's systems A modern architecture is built around an enterprise service bus utilising an SOA

Internet-based virtual delivery channels, including

Data Warehouse & Data Marts Enterprise data warehouse with relevant data marts

Relationship & Risk Management Infrastructure Common customer view and central customer liability ’The customer belongs to the bank" and not a booking unit

Data Mining Utilise existing information in the data warehouse e g to find customer behaviour pattern

Hình 1.1: Mô hình CoreBanking [1] Đăc tính cơ bản của Core Banking:

- Xử lý tập trung, trực tuyến các giao dịch phân tán trên toàn hệ thống ngân hàng với tốc độ cao (hàng nghìn giao dịch/giây).

- Tập trung hoá dữ liệu của toàn bộ ngân hang.

- Mở tải khoản tại một nơi nhưng có thể giao dịch ở bất kỳ điểm giao dịch nào của ngân hàng vào bất cứ thời điểm nào (24/7).

Ngân hàng có khả năng quản lý hàng chục triệu tài khoản khách hàng, giúp mở rộng mạng lưới tới hàng ngàn chi nhánh cả trong nước lẫn toàn cầu.

- Hỗ trợ giao dịch một cửa, hỗ trợ những yêu cầu kinh doanh quốc tế đa ngôn ngữ, đa tiền tệ.

Chúng tôi cung cấp đa dạng kênh phân phối hỗ trợ, bao gồm chi nhánh, máy ATM, điểm bán hàng, trung tâm chăm sóc khách hàng, thiết bị di động và dịch vụ ngân hàng trực tuyến.

- Mức độ tham số hoá cao, cho phép ngân hàng dễ dàng tạo ra sản phẩm mới.

Core banking đóng vai trò then chốt trong sự phát triển dịch vụ ngân hàng, cung cấp nền tảng vững chắc cho các hoạt động tài chính Nó giúp tối ưu hóa quy trình giao dịch, nâng cao trải nghiệm khách hàng và gia tăng hiệu quả quản lý Nhờ vào core banking, các ngân hàng có thể triển khai dịch vụ đa dạng, đáp ứng nhanh chóng nhu cầu của thị trường và duy trì tính cạnh tranh.

- Cho phép khách hàng gửi một nơi rút mọi nơi, đây là tiền đề cơ bản, cốt lõi để phát triển dịch vụ ngân hàng.

Lưu trữ dữ liệu tập trung và khả năng giao dịch 24/7 là yếu tố cốt lõi cho sự phát triển của các kênh phân phối điện tử như ATM, Mobi banking, Internet banking và POS.

- Giúp cho các ngân hàng mở rộng mạng lưới phân phối một cách dễ dàng.

- Tính tham số hoá cao cho phép ngân hàng phát triển một dịch vụ, sản phẩm sẽ dễ dàng.

- Đầy đủ thông tin để phân tích đánh giá, lựa chọn dịch vụ cần được phát triển.

Core banking giúp ngân hàng phát triển đa dạng sản phẩm dịch vụ hiện đại, mang lại tiện ích và giá trị gia tăng mới Điều này không chỉ tối ưu hóa thời gian và chi phí cho khách hàng mà còn cho chính ngân hàng, góp phần nâng cao hiệu quả hoạt động.

Một số Core Banking - Hệ thống phần mềm lõi của ngân hàng hiện nay đang áp dụng ở Việt Nam:

Siba là một hệ thống core banking có tuổi thọ lâu dài, được phát triển trên nền tảng FOX for DOS Mặc dù từng gây ra nhiều tranh cãi, Siba vẫn gắn liền với thương hiệu FPT Trước đây, hệ thống này được sử dụng rộng rãi trong ngành ngân hàng, nhưng hiện tại, nó không còn đáp ứng được nhu cầu của các ngân hàng.

Silver Lake SIBS Axis là hệ thống core banking ngoại đầu tiên được triển khai tại Việt Nam và hiện vẫn được sử dụng rộng rãi tại nhiều ngân hàng quốc doanh, bao gồm Vietcombank, MSB và BIDV, trước đây được tài trợ bởi Ngân hàng Thế giới.

- Temenos: Techcombank là ngân hàng đầu tiên sử dụng giải pháp của Teminos

(2002) (Phần mềm Globus), và cho tới hiện tại khá nhiều NH đang triển khai giải pháp này: Sacombank, SeAbank, Pvcom Bank, NH Quân đội, VP Bank, BIDV [13]

- TCBS của Unisys triển khai ở ACB Symbol System: Là giải pháp của hãng Sun Gard System Access, được triển khai ở VIBank, HDBank,

- Huyndai: Hiện đang triển khai tại NH Nông nghiệp TI core ( Transinfotech - Singapore) : đang được MHB, Đại Á,

- Flex là giải pháp của hãng - I-Flex Solutions (nay là Oracle Financial Services Limited hiện đang được triển khai ở Habubank, PG Bank, Liên Việt, và Indovina

- Ngoài ra còn có 1 số phần mềm nội như: Bank2000, Smartbank (sản phẩm của FPT).

Việc áp dụng hệ thống Corebanking tại các ngân hàng thương mại (NHTM) ở Việt Nam đang trở thành xu thế tất yếu Phần mềm này hỗ trợ ngân hàng cung cấp dịch vụ toàn diện và nâng cao hiệu quả hoạt động.

ACI Card and Merchant Management (CMM) Suite

Compass Plus TranzAxis and TranzWare

Worldline Asccend, Cardlink II và Pay cung cấp giải pháp thanh toán đa kênh thông qua mạng lưới máy ATM, Internet Banking và Mobile Banking Những công nghệ này giúp mở rộng quy mô hoạt động ngân hàng, xử lý khối lượng giao dịch lớn mà không làm tăng chi phí tài nguyên và hạ tầng.

1.1.2 Hệ thống quản lý thẻ

Ngày nay, sự phát triển của công nghệ và dịch vụ mới cùng với nhu cầu đa dạng của khách hàng đang làm thay đổi mạnh mẽ thị trường thanh toán Những biến động này ảnh hưởng đến toàn bộ chuỗi giá trị thanh toán, dẫn đến những tác động sâu sắc đến cơ sở hạ tầng của hệ thống thanh toán, bao gồm các chức năng chính như phát hành thẻ, xử lý giao dịch và thanh toán.

Hệ thống quản lý thẻ đóng vai trò quan trọng trong việc hỗ trợ các sản phẩm và dịch vụ thanh toán bằng thẻ của nhà phát hành Nó cung cấp nền tảng tập trung để điều phối các hoạt động và dịch vụ liên quan đến thẻ, đồng thời mở rộng các kênh dịch vụ và công cụ thanh toán mới nhằm đáp ứng nhu cầu đa dạng của khách hàng.

Bảng xếp hạng các giải pháp quản lý thẻ năm 2015 theo Ovum.com cho thấy những nhà cung cấp tiên phong với công nghệ mạnh mẽ và khả năng triển khai trong môi trường tài chính phức tạp Các hệ thống này nổi bật với nền tảng công nghệ mạnh mẽ về kiểm soát người dùng doanh nghiệp, cho phép thực hiện các chức năng mô đun trên nền CMS Mục tiêu của nền tảng thanh toán là cung cấp các chức năng hiện đại, đáp ứng nhu cầu đa dạng của người dùng cuối.

Một số hệ thống quản lý thẻ và thanh toán của các ngân hàng Việt Nam:

- Hệ thống SmartVista: được cung cấp bởi BPC Banking Technologies hiện đang được triển khai tại ngân hàng LienVietPostBank, TP Bank, SHB [14]

- Way 4: là giải pháp của hãng Open Group đang được triển khai tại ngân hàng MSB, SeAbank, Bảo Việt Bank, VP Bank [15]

- Prime: đang được triển khai tại các ngân hàng: Eximbank,

Tổng quan về Kho dữ liệu

Ngày nay, sự phát triển nhanh chóng của các tổ chức tài chính ngân hàng đã dẫn đến sự gia tăng đáng kể về khối lượng dữ liệu lưu trữ Việc tổ chức và khai thác kho dữ liệu hiệu quả là rất quan trọng, giúp ngân hàng cải thiện công tác điều hành, quản trị rủi ro, hỗ trợ ra quyết định và hoạch định chiến lược kinh doanh Do đó, kho dữ liệu trở thành một thành phần thiết yếu trong hệ thống ngân hàng, xây dựng nền tảng dữ liệu và công nghệ mạnh mẽ, tin cậy, đáp ứng nhu cầu hiện tại và phát triển trong tương lai.

1.2.1 Định nghĩa và tính chất của kho dữ liệu

Kho dữ liệu (data warehouse - DWH) là một tập hợp dữ liệu theo hướng chủ đề, được tích hợp và ít thay đổi, với mỗi đơn vị dữ liệu được gán với một khoảng thời gian cụ thể Định nghĩa này được Bill Inmon, kiến trúc sư đầu tiên xây dựng kho dữ liệu, đưa ra Kho dữ liệu được thiết kế nhằm hỗ trợ quản trị hệ thống ra quyết định hiệu quả.

Việc áp dụng Kho Dữ liệu Doanh nghiệp (DWH) giúp tạo ra sự đồng nhất về thông tin trong tổ chức, cho phép doanh nghiệp dễ dàng truy xuất các chỉ tiêu phân tích và sử dụng các công cụ hỗ trợ để theo dõi những chỉ tiêu quan trọng.

Kho dữ liệu là một kiến trúc và công cụ thiết yếu cho việc phát triển dữ liệu trong các hệ thống hỗ trợ ra quyết định Dữ liệu tác nghiệp, phát sinh từ các hoạt động hàng ngày, được cập nhật và xử lý để phục vụ cho các công việc cụ thể trong tổ chức Quá trình thu thập và xử lý dữ liệu tác nghiệp được gọi là xử lý giao dịch trực tuyến (OLTP), trong khi kho dữ liệu được sử dụng để phân tích và tạo báo cáo đáp ứng nhu cầu doanh nghiệp Hệ thống thông tin xử lý loại dữ liệu này được gọi là xử lý phân tích trực tuyến (OLAP).

Theo Bill Inmon kho dữ liệu có bốn đặc tính cơ bản [3]:

Trong cơ sở dữ liệu, tính hướng chủ đề đề cập đến việc sắp xếp các dữ liệu sao cho tất cả các yếu tố liên quan đến cùng một sự kiện thực tế hoặc đối tượng cụ thể được liên kết chặt chẽ với nhau Điều này giúp tối ưu hóa khả năng truy xuất thông tin và nâng cao hiệu quả trong việc quản lý dữ liệu.

Thời gian - biến đổi (tính biến đổi theo thời gian) là khái niệm quan trọng trong quản lý dữ liệu, nơi mọi thay đổi liên quan đến dữ liệu trong cơ sở dữ liệu đều được theo dõi và ghi lại Điều này giúp tạo ra các báo cáo từ hệ thống, thể hiện sự biến động và thay đổi của dữ liệu theo thời gian một cách rõ ràng và chính xác.

Dữ liệu trong cơ sở dữ liệu có tính ổn định cao, không bị ghi đè hoặc xóa sau khi được phê duyệt Những thông tin này ở dạng tĩnh, chỉ có thể xem và sẽ được lưu trữ để phục vụ cho việc báo cáo trong tương lai.

Cơ sở dữ liệu tích hợp là hệ thống lưu trữ thông tin bao gồm dữ liệu từ hầu hết hoặc toàn bộ các ứng dụng liên quan đến hoạt động của tổ chức, đảm bảo tính nhất quán trong việc thiết lập dữ liệu.

1.2.2 Một số mô hình kho dữ liệu

Trên thực tế, một số kiểu sắp xếp của kho dữ liệu và các siêu dữ liệu đã phát triển dựa trên yêu cầu riêng của các tổ chức.

Hình 1.2: Một số kiểu kho dữ liệu [4]. ị Kho dữ liệu tập trung (Centralized Data Warehouse)

Kiểu kiến trúc này được thiết kế để đáp ứng các yêu cầu thông tin của doanh nghiệp, với một cơ sở hạ tầng tổng thể được thiết lập Dữ liệu được chuẩn hóa ở mức cơ bản nhất và sau đó được lưu trữ trong kho dữ liệu trung tâm Các truy vấn và ứng dụng sẽ truy cập vào dữ liệu đã được chuẩn hóa trong kho dữ liệu này, mà không có datamarts lưu trữ dữ liệu riêng biệt.

-I- Datamarts độc lập (Independent Data Marts)

Kiểu kiến trúc này được áp dụng trong các công ty và tổ chức nhằm phát triển siêu dữ liệu theo từng chủ đề cụ thể, phục vụ cho các mục đích riêng Mỗi bản ghi dữ liệu chỉ phục vụ cho một đơn vị tổ chức cụ thể, dẫn đến việc các siêu dữ liệu trở nên độc lập với nhau Hệ quả là, các datamarts khác nhau có thể chứa dữ liệu không thống nhất về các tiêu chuẩn, gây cản trở cho việc phân tích dữ liệu trên các datamarts này.

Nếu có hai trung tâm dữ liệu độc lập, một cho thông tin bán hàng và một cho thông tin sản phẩm, việc phân tích dữ liệu sẽ trở nên khó khăn do các datamarts riêng biệt, mặc dù doanh số bán hàng và sản phẩm có mối liên hệ chặt chẽ.

Nhiều công ty phải đối mặt với thách thức khi kế thừa một kho dữ liệu phức tạp với nhiều loại dữ liệu có cấu trúc khác nhau Việc sắp xếp dữ liệu để đáp ứng nhu cầu và ngăn ngừa sự dư thừa trở nên khó khăn Giải pháp hiệu quả cho vấn đề này là áp dụng một kiến trúc liên kết, cho phép tích hợp dữ liệu về mặt vật lý hoặc logic thông qua các khóa chính chung, siêu dữ liệu tổng thể, truy vấn phân tán và các phương pháp tương tự Trong kiến trúc này, không tồn tại một kho dữ liệu chung.

Mô hình Hub-and-Spoke, theo Bill Inmon, là một kho dữ liệu tập trung cho toàn bộ doanh nghiệp, nơi dữ liệu sau khi ETL được lưu trữ Điểm khác biệt chính là sự hiện diện của các datamarts, nơi thu thập dữ liệu từ kho dữ liệu trung tâm, phục vụ cho các mục đích phân tích, truy vấn chuyên biệt và khai thác dữ liệu Các datamarts có thể có cấu trúc dữ liệu khác nhau như dữ liệu tổng hợp, dữ liệu tóm tắt hoặc dữ liệu đa chiều, tùy thuộc vào yêu cầu nghiệp vụ Mặc dù kho dữ liệu trung tâm có thể được sử dụng để truy vấn, hầu hết các truy vấn đều được chuyển đến các datamarts Kiến trúc này phản ánh cách tiếp cận từ trên xuống trong phát triển kho dữ liệu.

Mô hình Data-Mart Bus là một phương pháp tiếp cận để phân tích yêu cầu cho các chủ đề kinh doanh cụ thể như đơn đặt hàng, lô hàng và hóa đơn Doanh nghiệp sẽ xây dựng siêu dữ liệu dựa trên các tham số và chỉ số kinh doanh Điểm nổi bật của mô hình này là xác định kích thước giữa các trung tâm dữ liệu khác nhau, từ đó tạo ra siêu dữ liệu hợp nhất giúp doanh nghiệp có cái nhìn tổng quan hơn về dữ liệu hiện có Các kho dữ liệu được tổ chức theo mô hình dữ liệu đa chiều.

Mỗi mô hình kho dữ liệu phù hợp với nhu cầu của từng tổ chức khác nhau Hiện nay, hai mô hình phổ biến nhất là Hub-and-Spoke và Data-mart Bus Doanh nghiệp cần một kho dữ liệu trung tâm thường chọn mô hình Hub-and-Spoke, trong khi Data-mart Bus là lựa chọn hợp lý cho những doanh nghiệp muốn chia sẻ dữ liệu và thông tin giữa các phòng ban.

1.2.3 Phương pháp mô hình hoá của Bill Inmon và Ralph Kimball

Việc tổ chức dữ liệu trong cơ sở dữ liệu của kho dữ liệu được tiếp cận theo 2 hướng sau:

1.2.3.1Phương pháp mô hình hoá dạng chuẩn hoá của Bill Inmon (lược đồ bông tuyết):

Cơ sở dữ liệu được tổ chức dưới dạng chuẩn hoá, tuân theo luật chuẩn hoá như đối với cơ sở dữ liệu quan hệ thông thường (dạng chuẩn 3).

+ Dữ liệu được nạp từ nguồn vào đích dễ dàng.

+ Dạng chuẩn cao giúp bảo đảm các ràng buộc toàn vẹn của dữ liệu, tránh trùng lắp.

+ Việc kết các bảng để cho ra kết quả truy vấn mong muốn phức tạp

Các văn bản pháp luật có ảnh hưởng đến việc tổ chức dữ liệu tại các ngân hàng thương mại

Thông tư 35 hiện đang là văn bản quan trọng nhất trong hệ thống báo cáo định kỳ gửi lên Ngân hàng Nhà nước, cùng với các văn bản bổ sung như thông tư 36/2014/TT-NHNN và thông tư 02/2013/TT-NHNN Bài viết này sẽ phân tích những điểm chính trong thông tư 35 liên quan đến chế độ báo cáo thống kê áp dụng cho các tổ chức tín dụng và ngân hàng thương mại tại Việt Nam.

1.3.1 Thông tư số 35/2015/TT-NHNN

Vào ngày 31/12/2015, Thống đốc Ngân hàng Nhà nước đã ban hành Thông tư số 35/2015/TT-NHNN, quy định chế độ báo cáo thống kê áp dụng cho các tổ chức tín dụng và chi nhánh ngân hàng nước ngoài, nhằm thay thế Thông tư 31/2013/TT-NHNN.

Thông tư số 35/2015/TT-NHNN được xây dựng nhằm phát triển và hoàn thiện những ưu điểm của mô hình và quy trình báo cáo đã có tại Thông tư 31 Do đó, TT35 kế thừa và nâng cao các quy định của Thông tư 31 cùng với các văn bản hướng dẫn liên quan, đảm bảo tính hiệu quả trong thực tiễn.

❖ Kết cấu Thông tư 35/2015/TT-NHNN gồm: 03 Chương, 24 Điều và 04 Phụ lục, cụ thể như sau:

- Chương I Những quy định chung: Gồm 14 Điều.

- Chương II Trách nhiệm của các đơn vị thuộc NHNN và các TCTD trong việc thực hiện báo cáo thống kê: Gồm 7 Điều.

- Chương III Tổ chức thực hiện: Gồm 3 Điều.

- Phụ lục 1: Các mẫu biểu báo cáo.

- Phụ lục 2: Hướng dẫn báo cáo.

- Phụ lục 3: Mã số thống kê áp dụng trong công tác thống kê ngân hàng.

- Phụ lục 4: Hướng dẫn phân loại hình tổ chức và cá nhân, doanh nghiệp nhỏ và vừa.

❖ Một số điểm khác biệt so với thông tư 31: [6]

Thông tư 35/2015/TT-NHNN đã được sửa đổi về tên gọi, phạm vi điều chỉnh và đối tượng áp dụng, trong đó chỉ quy định các tổ chức tín dụng (TCTD) là đơn vị báo cáo, không bao gồm các chi nhánh của Ngân hàng Nhà nước (NHNN) trong danh sách đối tượng báo cáo.

Hoàn thiện hệ thống báo cáo thống kê cần thực hiện theo định dạng mẫu biểu báo cáo điện tử, loại bỏ định dạng báo cáo theo chỉ tiêu Việc này nhằm tích hợp các loại báo cáo của NHNN hiện đang áp dụng đối với các TCTD, bao gồm báo cáo thống kê theo Thông tư 31, các báo cáo thu thập ngoài Thông tư 31, báo cáo tài chính, báo cáo cân đối tài khoản kế toán, và xây dựng mới một số báo cáo thống kê cần thiết.

Các Quỹ tín dụng nhân dân cần hoàn thiện mô hình báo cáo tập trung hoàn toàn, trong đó thực hiện việc gửi báo cáo trực tiếp tới Ngân hàng Nhà nước (Cục Công nghệ tin học), thay vì thông qua các đơn vị trung gian là các chi nhánh Ngân hàng Nhà nước như quy định tại Thông tư 31.

Quỹ tín dụng nhân dân (TDND) sẽ không còn thời hạn gửi báo cáo riêng, mà sẽ tuân theo thời hạn chung như các tổ chức tín dụng khác Đồng thời, thời hạn gửi báo cáo Quý cũng được rút ngắn so với Thông tư 31 để đáp ứng nhu cầu tổng hợp thông tin kịp thời của các đơn vị thuộc Ngân hàng Nhà nước (NHNN).

Quy trình tra soát mẫu biểu báo cáo điện tử cần được hoàn thiện để trở nên rõ ràng và chặt chẽ hơn Đồng thời, cần điều chỉnh thời gian tra soát báo cáo nhằm đáp ứng với sự gia tăng số lượng báo cáo so với quy định trong Thông tư 31.

- Sửa đổi, hủy bỏ 09 Phụ lục tại Thông tư 31 thành 04 Phụ lục ban hành kèm Thông tư 35/2015/TT-NHNN.

Hoàn thiện mã số thống kê trong công tác thống kê ngân hàng là cần thiết, đặc biệt là việc bổ sung mã phân vùng kinh tế tại Bảng 8 “Mã tỉnh, thành phố và phân vùng kinh tế” Điều này sẽ giúp cải thiện tính chính xác và hiệu quả trong việc thu thập và phân tích dữ liệu thống kê ngân hàng.

Bổ sung mã quốc gia vào Bảng 7 “Mã quốc gia” nhằm hỗ trợ việc theo dõi và phân tích luồng chuyển tiền kiều hối trong cán cân thanh toán quốc tế.

1.3.2 Các nhóm báo cáo của thông tư 35

Thông tư 35 có 7 nhóm báo cáo chính:

Báo cáo đầu tư đối với nền kinh tế bao gồm các thông tin về tín dụng, phân loại nợ và xử lý nợ xấu Các ngân hàng thương mại cần gửi báo cáo cho NHNN về tình hình hoạt động tín dụng, quy mô và tốc độ tăng trưởng, cùng với nguyên nhân dẫn đến tăng trưởng tín dụng cao Việc kiểm soát và đảm bảo chất lượng tín dụng là rất quan trọng, đồng thời cần cân đối giữa quy mô và tốc độ tăng trưởng tín dụng với huy động vốn Ngoài ra, các ngân hàng cũng phải định kỳ lập báo cáo phân loại nợ và xử lý nợ xấu để NHNN xem xét cấp phép mở rộng mạng lưới và kiểm soát tăng trưởng tín dụng Các tổ chức tín dụng cần rà soát và tiết giảm chi phí hoạt động, tập trung vào xử lý nợ xấu Đối với những tổ chức có nợ xấu lớn và hiệu quả kinh doanh thấp, cần kiểm soát chặt chẽ chi phí quản lý, không tăng lương hay thưởng, và không chia cổ tức cho cổ đông.

Ngân hàng Nhà nước yêu cầu các tổ chức tín dụng báo cáo về tình hình huy động vốn bằng vàng và VND, đảm bảo giá trị theo giá vàng, bao gồm loại vàng và hình thức huy động Cần đánh giá tình hình cho vay bằng vàng và VND, diễn biến lãi suất huy động và cho vay, cùng các yếu tố ảnh hưởng Đồng thời, cần xem xét tình hình chuyển đổi nguồn vốn huy động bằng vàng sang nguồn vốn bằng tiền, mục đích của việc chuyển đổi và các biện pháp phòng ngừa rủi ro về giá vàng.

Lãi suất huy động và cho vay đóng vai trò quan trọng trong việc xác định chi phí lãi phải trả cho vốn huy động từ người gửi tiền và người cho vay, ảnh hưởng đến lãi suất cho vay đầu ra và các khoản thu lãi Lãi suất cơ bản là cơ sở để các tổ chức tín dụng ấn định lãi suất kinh doanh, trong khi lãi suất liên ngân hàng giúp cơ quan quản lý nhà nước theo dõi nhu cầu vốn của các ngân hàng NHNN yêu cầu các TCTD báo cáo thường niên về các loại lãi suất, bao gồm lãi suất tiền gửi và cho vay bình quân, lãi suất đối với nền kinh tế, tình hình giao dịch đối ứng, và hoạt động kinh doanh cung ứng và sử dụng sản phẩm phát sinh lãi suất.

Nghiệp vụ ngân quỹ của tổ chức tín dụng bao gồm việc cung ứng dịch vụ ngân quỹ thông qua thu, chi tiền Ngân hàng Nhà nước (NHNN) thực hiện phát hành và thu hồi tiền từ lưu thông, đồng thời giám định tiền thật và tiền giả cho cá nhân, tổ chức theo Thông tư số 28/2013/TT-NHNN Ngoài ra, NHNN cũng thu đổi tiền không đủ tiêu chuẩn lưu thông và công khai mẫu tiền cùng quy định liên quan theo Thông tư số 25/2013/TT-NHNN.

Hoạt động ngoại hối là các phương tiện thanh toán bằng ngoại tệ hoặc các khoản phải thu, phải chi bằng ngoại tệ, bao gồm cả vàng theo tiêu chuẩn quốc tế Quản lý ngoại hối là nhiệm vụ quan trọng của Ngân hàng Nhà nước Việt Nam (NHNN) nhằm ổn định giá trị đồng tiền, tỷ giá và cải thiện cán cân thanh toán quốc tế, góp phần vào sự ổn định kinh tế vĩ mô và phát triển kinh tế - xã hội Các ngân hàng thương mại cần định kỳ gửi báo cáo cho NHNN về các hoạt động như vay và cho vay nước ngoài, cung ứng dịch vụ ngoại hối, báo cáo trạng thái ngoại tệ và kinh doanh vàng.

NGHIÊN CỨU CẢI TIẾN MÔ HÌNH KHO DỮ LIỆU ĐỂ ĐÁP ỨNG KHẢ NĂNG XÂY DỰNG BÁO CÁO THEO TIÊU CHUẨN CỦA NGÂN NHÀ NƯỚC TẠI NGÂN HÀNG TMCP HÀNG HẢI VIỆT NAM

Thực trạng hạ tầng hệ thống thông tin tại Ngân hàng MSB

Ngân hàng TMCP Hàng Hải Việt Nam (Maritime Bank) được thành lập theo giấy phép số 0001/NHGP vào ngày 08/06/1991 với vốn điều lệ ban đầu 40 tỷ đồng từ 24 cổ đông Sau khi khai trương tại Hải Phòng vào ngày 12/07/1991, Maritime Bank trở thành một trong những ngân hàng thương mại cổ phần đầu tiên tại Việt Nam Hiện tại, ngân hàng đã phát triển mạnh mẽ với vốn điều lệ đạt 8.000 tỷ VNĐ và tổng tài sản vượt 110.000 tỷ VNĐ, cùng với mạng lưới giao dịch mở rộng từ 16 điểm năm 2005 lên gần 100 điểm hiện nay, tạo dựng niềm tin vững chắc từ khách hàng.

230 điểm giao dịch trên toàn quốc.

Năm 1996, Maritime Bank gia nhập hệ thống thanh toán liên ngân hàng toàn cầu SWIFT, và đến năm 2000, ngân hàng tham gia Dự án Hiện đại hóa ngân hàng do Ngân hàng Thế giới tài trợ, hợp tác với Silverlake Hiện nay, hệ thống Core Banking SIBS vẫn được MSB sử dụng và nâng cấp với nhiều tính năng mới để đáp ứng nhu cầu đa dạng của khách hàng Ngoài hệ thống Core Banking, MSB còn sử dụng các hệ thống quản lý thông tin thẻ, quản trị rủi ro và nhiều hệ thống con khác để vận hành hiệu quả.

2.1.1 Nguồn dữ liệu (Data Source)

2.1.1.1 Hệ thống ngân hàng lõi SIBS

Hệ thống SIBS của MSB là một nền tảng dữ liệu tập trung, tập trung vào khách hàng và xử lý giao dịch trực tuyến Hệ thống này cho phép MSB nhanh chóng phát triển các sản phẩm mới và mở rộng các kênh phân phối như Home Banking, Mobile Banking, Internet Banking và ATM Đồng thời, SIBS cũng giúp hiện đại hóa công nghệ, đổi mới nghiệp vụ và nâng cao hiệu quả quản lý kinh doanh của MSB.

Core Banking của MSB là hệ thống quản lý tập trung và xử lý trực tuyến (online) gồm các phân hệ sau:

- Phân hệ tiền gửi: Do dữ liệu được quản lý tập trung, phân hệ tiền gửi cho phép

Ngân hàng cung cấp dịch vụ gửi và rút tiền mọi nơi, đồng thời thực hiện giao dịch một cửa, với hệ thống phát triển theo định hướng khách hàng Mỗi khách hàng đều có tài khoản mở tại ngân hàng, giúp quản lý chi tiết số dư tiền gửi theo từng khách hàng, sản phẩm, kỳ hạn và lãi suất tại từng chi nhánh cũng như toàn hệ thống Hệ thống được xây dựng dựa trên các tham số, tăng cường tính linh hoạt trong quản lý, bổ sung và chỉnh sửa.

Hệ thống mới mang đến sự đa dạng và phong phú cho các sản phẩm tiền gửi, bao gồm tính năng chuyển tiền tự động, chuyển tiền giữa các tài khoản và dịch vụ thấu chi.

Tiền gửi được chia làm hai loại: Tiền gửi không kỳ hạn (Tiền gửi thanh toán, tiền gửi tiết kiệm) và tiền gửi có kỳ hạn.

Phân hệ tín dụng của MSB cung cấp cho mỗi khách hàng một mã số CIF và mã số tín dụng (A/A) duy nhất, giúp quản lý hạn mức tín dụng tối đa Khách hàng có thể vay vốn tại nhiều chi nhánh khác nhau dựa trên các mã số này Hệ thống cho phép thiết lập thông tin về tài sản thế chấp và các thông tin liên quan đến khoản vay một cách linh hoạt Nếu chính sách cho phép, MSB còn hỗ trợ giao dịch trực tuyến và giao dịch liên chi nhánh Quản lý khoản vay được thực hiện với nhiều cấp độ khác nhau, đảm bảo tính hiệu quả và thuận tiện cho khách hàng.

■ CIF: Thông tin khách hàng - Duy nhất trong toàn hệ thống.

■ A/A: Mã số tín dụng - Duy nhất trong toàn hệ thống.

■ Facility: Hợp đồng (Hạn mức vay hoặc bảo lãnh).

Quản lý đa cấp độ giúp theo dõi hạn mức của khách hàng từ tổng thể đến chi tiết từng loại Ngoài phân hệ tiền vay, hệ thống còn cung cấp phân hệ Quản lý tài sản đảm bảo kết nối với hạn mức trong phân hệ tiền vay Hệ thống phân biệt giữa tài khoản khách hàng và tài khoản GL, với mỗi khoản vay được theo dõi riêng biệt trên một tài khoản Nợ quá hạn được giám sát thông qua các trạng thái mà không cần chuyển đổi giữa các tài khoản kế toán như hệ thống hiện tại.

Phân hệ tài trợ thương mại cung cấp các dịch vụ quan trọng cho các giao dịch liên quan đến tài trợ thương mại, bao gồm phát hành thư tín dụng nhập khẩu, thanh toán chứng từ theo thư tín dụng, phát hành bảo lãnh nhận hàng, ký hậu vận đơn, chiết khấu chứng từ, thông báo thư tín dụng và cho vay theo hình thức biên lai tín thác.

Hệ thống cho phép cập nhật và sao chép giao dịch thương mại, kiểm tra và cập nhật hạn mức khi thực hiện giao dịch Nó cung cấp chức năng kiểm soát và phê duyệt trực tuyến cho những người có thẩm quyền Người sử dụng có thể thu và tra cứu quỹ, hoàn trả hoặc sử dụng quỹ để thanh toán Hệ thống tự động tạo bút toán tổng hợp theo quy định kế toán và tính toán lãi, phí phạt, hoa hồng cùng các phí dịch vụ khác Ngoài ra, nó tính lãi cộng dồn hàng ngày cho các khoản vay thương mại và cung cấp báo cáo cho quản lý, kiểm toán Hệ thống có khả năng tham số hoá, cho phép tự động thực hiện giao dịch tài trợ thương mại dựa trên bảng tham số do người dùng định nghĩa Để đảm bảo kiểm soát và an toàn, hệ thống kiểm soát giao dịch theo hai cấp độ và hỗ trợ giao dịch đa tiền tệ với bảo mật tập trung.

Nghiệp vụ chuyển tiền mới cho phép thực hiện các hoạt động như mua bán ngoại tệ tiền mặt, phát hành séc ngân hàng ra nước ngoài và thanh toán chuyển tiền mặt cho khách vãng lai Mỗi giao dịch chuyển tiền được thiết lập với một sản phẩm cụ thể và gắn với một số chuyển tiền (RM No) Giao dịch viên có hạn mức giao dịch, và trưởng phòng chỉ phê duyệt khi hạn mức bị vượt hoặc có thay đổi về tỷ giá, phí chuyển tiền Hệ thống tự động tính phí chuyển tiền theo bảng phí và hỗ trợ khách hàng thanh toán tại nhiều nơi, đồng thời ngăn chặn chuyển tiền đến quốc gia bị cấm vận.

Hệ thống giao dịch tại chi nhánh ngân hàng cho phép thực hiện các giao dịch mà không cần khai báo lại, nhờ vào mã giao dịch giúp hạch toán tự động và in thông tin xác nhận cho khách hàng Điều này giảm thiểu sai sót trong giao dịch và hạch toán Mỗi giao dịch được quản lý theo hạn mức tiền mặt, tạo thuận lợi cho việc rút và nộp tiền Tất cả giao dịch đều được lưu lại trong nhật ký điện tử, và tài khoản chi nhánh được tổng hợp và phân bổ để đối chiếu Khách hàng mở tài khoản tại các điểm triển khai sẽ được hưởng nhiều dịch vụ tiện lợi như thực hiện giao dịch tại bất kỳ chi nhánh nào với chỉ một cửa, và có thể kiểm tra tính chính xác của giao dịch qua chứng từ in ra.

Phân hệ ngân quỹ (Treasury) được thiết kế theo hệ thống mở, tự động hoá và tập trung, cho phép thiết lập hạn mức cho từng khách hàng, giao dịch viên và loại tiền tệ Hệ thống này tự động kiểm soát việc tuân thủ hạn mức theo thời gian thực hoặc trong các tình huống bất thường Ngoài ra, nó thực hiện các bút toán hạch toán vào GL, tạo thư xác nhận, tính toán giá cả và lãi suất, đồng thời cung cấp báo cáo phân tích và đánh giá mức độ rủi ro khi có biến động thị trường Hoạt động ngân quỹ được thực hiện tập trung tại Hội sở chính.

2.1.1.2 Hệ thống quản lý thẻ Way 4

WAY4 là hệ thống quản lý thẻ và giao dịch mới được áp dụng bởi ngân hàng Maritime Bank, mang đến một khung xử lý thanh toán hiện đại với kiến trúc tập trung vào khách hàng, hợp đồng, tài khoản và sản phẩm Hệ thống này cho phép linh hoạt trong quy tắc kinh doanh, không bị giới hạn WAY4 được xây dựng trên nền tảng phần cứng mạnh mẽ từ các nhà cung cấp hàng đầu như Sun, HP và IB, hoạt động trên nền tảng Oracle với công nghệ UNIX cao cấp, cùng với Java, C và XML, nhằm phục vụ cho một lượng lớn khách hàng với các sản phẩm chuyên biệt.

Lõi xử lý giao dịch WAY4 hỗ trợ nhiều mô-đun phần mềm và giải pháp, cho phép đồng thời chạy thẻ trả trước và thẻ tín dụng, quản lý sản phẩm và triển khai các giải pháp sẵn có WAY4 có khả năng trao đổi yêu cầu phức tạp qua các ngôn ngữ như ISO8583, DDC và XML / IFX Nhờ đó, khách hàng của Maritime Bank có thể dễ dàng truy cập các sản phẩm và dịch vụ từ hệ thống chi nhánh, hóa đơn qua nhiều kênh như ATM, POS, kiosk, web, IVR và dịch vụ ngân hàng di động, cùng với các chương trình thanh toán của Visa, MasterCard, American Express, Diners Club và CUP.

Và hơn hết, WAY4 có thể quản lý nhiều loại tiền tệ, ngôn ngữ và múi giờ

Kiến trúc WAY4 được xây dựng trên nền tảng quản lý giao dịch trực tuyến thống nhất và hệ thống kế toán Core Hệ thống Core này được hỗ trợ bởi nhiều mô đun ứng dụng nhằm đáp ứng đa dạng các yêu cầu chức năng WAY4 Core chứa thông tin quan trọng về tài khoản, hợp đồng, khách hàng, sản phẩm và giao dịch, tất cả đều được sử dụng thông qua các loại thẻ thanh toán.

2.1.1.3 Hệ thống quản lý rủi ro Kondor

Cải tiến mô hình kho dữ liệu để đáp ứng khả năng xây dựng báo cáo theo tiêu chuẩn Ngân hàng nhà nước tại ngân hàng MSB

2.2.1 Mô hình DWH cải tiến

Mô hình kho dữ liệu DWH tại MSB đã được cải tiến để đáp ứng yêu cầu xây dựng báo cáo theo tiêu chuẩn của Ngân hàng Nhà nước, như thể hiện trong hình vẽ dưới đây.

Hình 2.4: Hệ thống DWH cải tiến tại ngân hàng MSB

Hình 2.4 là mô hình tổng quát của kho dữ liệu cải tiến phục vụ cho hệ thống báo cáo của ngân hàng MSB bao gồm:

- Hệ thống nguồn dữ liệu: Core Banking SIBS, hệ thống quản lý thẻ Way4, hệ thống quản lý rủi ro Kondor,

- Khu vực Staging lưu trữ dữ liệu thô được tổng hợp từ các nguồn khác nhau thông qua các công cụ trích lọc dữ liệu IBM Data Stage

- Khu vực DWH: SOR là linh hồn của kho dữ liệu bao gồm tầng automic và summary được thiết kế theo chuẩn IBM DataStage.

Khu vực DWH MSB bao gồm các DataMarts chuyên lập báo cáo phân tích dữ liệu theo chủ đề, sử dụng hệ thống IBM Cognos để khai thác và phân phối báo cáo tập trung Trong khi đó, khu vực DWH TT35 thực hiện việc lập báo cáo theo chuẩn gửi về Ngân hàng Nhà nước (NHNN), sử dụng hệ thống cổng giao tiếp thông tin của NHNN.

Mô hình kho dữ liệu cải tiến hoạt động như sau:

Hình 2.5: Mô hình hoạt động của kho dữ liệu cải tiến

Luồng xử lý dữ liệu trong hệ thống:

(1) : Xử lý dữ liệu từ nguồn đưa vào khu vực Staging:

Xử lý dữ liệu thô từ các nguồn (Core Banking, Kondor Plus, Way4, ) vào bảng Today.

Chạy lệnh Minus để so sánh dữ liệu thay đổi giữa bảng Today và bảng PreData.

Cập nhật dữ liệu vào bảng Minus Data trong khu vực Staging.

(2) : Thực hiện ETL (Trích xuất - Chuyển đổi - Truyền tải) dữ liệu từ Staging sang kho dữ liệu DWH:

Kết hợp nhiều nguồn dữ liệu và tham số từ các bảng tham số giúp tổng hợp tự động dữ liệu chỉ tiêu và biểu mẫu.

(4) : Đẩy dữ liệu báo cáo:

Dữ liệu chỉ tiêu và biểu mẫu tự động sau khi được tổng hợp sẽ được chuyển giao cho chương trình TT35 để thực hiện nghiệp vụ xử lý và tạo file gửi đến Ngân hàng Nhà nước.

2.2.2 Quá trình trích xuất, chuyển đổi, truyền tải dữ liệu (ETL) trong kho dữ liệu

Thiết kế và triển khai quy trình ETL là bước quan trọng nhất trong việc xây dựng kho dữ liệu tập trung, bao gồm việc "Trích xuất, chuyển đổi, truyền tải" dữ liệu từ các hệ thống tác nghiệp vào kho dữ liệu và từ kho dữ liệu đến các kho dữ liệu cục bộ Mỗi khi thêm ứng dụng hoặc cơ sở dữ liệu mới, quy trình ETL sẽ trở nên phức tạp hơn Để đảm bảo sự phối hợp hiệu quả, nên sử dụng một công cụ ETL duy nhất cho toàn bộ hệ thống Chất lượng và chức năng của quy trình ETL sẽ quyết định thành công trong việc xây dựng kho dữ liệu tập trung cho ngân hàng.

Quy trình ETL nhằm mục đích hỗ trợ việc trích xuất dữ liệu từ các nguồn dữ liệu đa dạng, chuyển đổi chúng thành dữ liệu chất lượng cao, và truyền tải dữ liệu đã được chuyển đổi vào kho dữ liệu tập trung và các kho dữ liệu chủ đề, từ đó tạo điều kiện thuận lợi cho việc truy cập thông tin.

Hình 2.6: Mô hình ETL dữ liệu trong DWH TT35

Dữ liệu thô từ các nguồn như Core Banking, Kondor Plus và Way4 được lấy từ STAGING và chuyển đến bảng tương ứng trên CIRCULAR thông qua quy trình ETL Cụ thể, thông tin tài khoản GL nội bộ (Chart of Account) được lưu trữ tại bảng SVPARPV51.GLACCT trên STAGING và SI-PAR-GLACCT trên CIRCULAR.

Silverla e ke SVDATPV51.GLMAST STAGING SI-DAT-GLMAST Báng dữ liệu số dư kế toán Replac

Silverla e ke SVHIS PV51.GLHIST STAGING SI-HIS-GLHIST Báng Iich sử giao dịch GL _ Replac

Silverla e ke SVDATPV51.GLSTRN STAGING SI-DAT-GLSTRN Báng lịch sử giao dịch GL trong một ngày Replac

Silverla e ke SVDATPV51.GLPAR1 STAGING SI-DAT-GLPAR1 Replac

Silverla e ke SVPARPV51.GLEXCH STAGING SI-PAR-GLEXCH Currency Exchange Replac

Silverla e ke SVPARPV51.GLPAR5 STAGING SI-PAR-GLPAR5 Tham so GL Group Replac e

2.2.2.1 Trích xuất dữ liệu (Data Extraction) (ETL chuẩn bị/ ETL Staging)

Bước đầu tiên trong quy trình ETL là chiết xuất dữ liệu, bao gồm việc chọn lựa, thu thập và kết hợp dữ liệu từ nhiều nguồn khác nhau Dữ liệu được chiết xuất có thể là dữ liệu có cấu trúc và không cấu trúc, được lấy từ các nguồn trong và ngoài ngân hàng, và được lưu trữ tạm thời trước khi được làm sạch và chuyển đổi.

Các nguồn dữ liệu có cấu trúc bao gồm: Các hệ tác nghiệp như hệ thống Core

Ngành ngân hàng bao gồm nhiều lĩnh vực quan trọng như quản lý ngân quỹ, quản lý nội bộ và nguồn nhân lực, cùng với quản lý thẻ và hệ thống chuyển tiền Ngoài ra, các kênh phân phối như Contact Center, Internet Banking và Mobile Banking cũng được quản lý chặt chẽ Hệ thống báo cáo kết quả hoạt động kinh doanh giúp theo dõi hiệu quả Thông tin từ các tổ chức tài chính như Trung tâm Thông tin ứng dụng (CIC) và Công ty Thông tin Tín dụng Việt Nam (PCB) cũng đóng vai trò quan trọng trong việc mua hoặc thuê thông tin.

Các nguồn dữ liệu không cấu trúc bao gồm thông tin và báo cáo từ các chi nhánh, các văn bản và báo cáo nội bộ, cùng với các nguồn thông tin và tin tức bên ngoài ngân hàng.

Dữ liệu từ nguồn sẽ được tổng hợp vào cuối ngày và tự động cập nhật qua các Job của công cụ DataStage vào khu vực Staging vào sáng hôm sau.

Ví dụ các giao dịch kế toán được lưu trữ trong nguồn dữ liệu với đầu tên

“SVPARPV51.” Khi chuyển vào Staging sẽ được đổi đầu tên “SI_PAR”

Hình 2.7: Quy ước đặt tên khi chuyển đổi dữ liệu từ nguồn dữ liệu vào Staging

Sau khi trích xuất dữ liệu từ nguồn vào Staging, hệ thống tiếp tục việc chuyển đổi dữ liệu và sẵn sàng truyển tải dữ liệu vào DWH.

2.2.2.2 Chuyển đổi dữ liệu (Data Transformation)

Bước chuyển đổi dữ liệu là giai đoạn quan trọng nhất trong quy trình ETL, chiếm tới 80% tổng thời gian thực hiện Dữ liệu cho kho dữ liệu (DWH) đến từ nhiều nguồn khác nhau, và việc chuyển đổi dữ liệu không chỉ đối mặt với những thách thức lớn mà còn phải xử lý các thay đổi liên tục từ các hệ thống nguồn Điều này có nghĩa là các quy trình chuyển đổi đã thiết lập cho dữ liệu ban đầu cần được điều chỉnh để phù hợp với các phiên bản dữ liệu đang diễn ra.

Trong quá trình chuyển đổi dữ liệu, các kỹ thuật quan trọng được áp dụng để đảm bảo chất lượng dữ liệu bao gồm: đồng dạng/dồng bộ dữ liệu, giúp định dạng lại dữ liệu từ nhiều ứng dụng khác nhau; chỉnh hợp/đối chiếu dữ liệu, nhằm loại bỏ sự thừa thãi và trùng lặp để đạt sự nhất quán; làm sạch dữ liệu, kiểm tra và chỉnh sửa dữ liệu không chính xác theo quy tắc nghiệp vụ; và tổng hợp dữ liệu, để biến dữ liệu thành dạng tổng hợp phù hợp với cấu trúc đa chiều của kho dữ liệu, phục vụ cho nhu cầu truy xuất và báo cáo.

Sau khi hoàn tất chức năng chuyển đổi dữ liệu, các dữ liệu đã được tích hợp sẽ trải qua quá trình làm sạch, chuẩn hóa và tổng hợp Hiện tại, hệ thống đã sẵn sàng để tải dữ liệu vào từng bộ dữ liệu trong kho dữ liệu.

2.2.2.3 Truyền tải dữ liệu (Data Load)

Sau khi hoàn tất thiết kế và xây dựng kho dữ liệu, hệ thống bắt đầu tải dữ liệu ban đầu vào kho lưu trữ Quá trình này tiêu tốn nhiều thời gian do khối lượng dữ liệu lớn Khi kho dữ liệu chính thức hoạt động, hệ thống sẽ liên tục cập nhật các thay đổi từ dữ liệu nguồn và thực hiện chuyển đổi các bản sửa đổi này trong kho dữ liệu.

Hình 2.9: Kiểu dữ liệu thông dụng được chuyển vào kho dữ liệu

2.2.2.4 Hệ thống thực hiện trích xuất, chuyển đổi, truyền tải dữ liệu IBM

XÂY DỰNG BÁO CÁO HUY ĐỘNG VỐN THEO CHUẨN NHNN DỰA TRÊN KHO DỮ LIỆU NGÂN HÀNG MSB

Ngày đăng: 29/03/2022, 23:02

TỪ KHÓA LIÊN QUAN

TRÍCH ĐOẠN

TÀI LIỆU CÙNG NGƯỜI DÙNG

TÀI LIỆU LIÊN QUAN

w