S Y BAN NHÂN DÂN TP.HCM KHOA H C VÀ CÔNG NGH TRƯ NG ð I H C BÁCH KHOA TP.HCM KHOA KHOA H C & K THU T MÁY TÍNH BÁO CÁO NGHI M THU (Theo yêu c u ch nh s a c a h i ñ ng s ) XÂY D NG CÔNG C L P TRÌNH CHO TÍNH TỐN THÍCH NGHI HI U NĂNG CAO TRÊN MƠI TRƯ NG TÍNH TỐN LƯ I Ch nhi m: TS TR N VĂN HỒI THÀNH PH H CHÍ MINH THÁNG 12/ 2009 TÓM T T N I DUNG NGHIÊN C U Hi n t i chúng tơi v i Trư ng K Sư Ki n Trúc Fribourg, Th y Sĩ nghiên c u phát tri n m t cơng c tính tốn hi u cao POP-C++ [20, 28] d a khái ni m ñ i tư ng phân b hư ng tài nguyên POP-C++ hi n t i ñang phiên b n 1.1.1 ñư c xây d ng dư i d ng mã ngu n m ñ ng s h u b i hai tác gi TS Nguy n Tu n Anh GS Pierre Kuonen (Trư ng K Sư Ki n Trúc Fribourg, Th y Sĩ) Vi c phát tri n ng d ng d a POP-C++ ñơn gi n hi u qu POPC++ m r ng C++ ch v i m t vài t khóa m i cho phép khai báo đ i tư ng ch y phân b d a yêu c u cao v ch t lư ng d ch v c a tài nguyên (QoS) POP-C++ cung c p m t ki u cú pháp ñ hi n th c phương th c c a ñ i tư ng phân b C++ Vi t m t chương trình ch y mơi trư ng lư i ñơn gi n vi c vi t m t chương trình ch y b ng C++ Phiên b n 1.1.1 POP-C++ hi n t i m i cung c p m t s ch c b n nh t như: trình biên d ch cho phép d ch source code sang ngôn ng ANSI C++, m t compiler front-end cho phép t ñ ng hóa q trình d ch t POP-C++ sang ngơn ng máy, thư vi n truy n thông gi a ñ i tư ng song song phân b d a TCP/IP d ng nh phân XDR, m t s d ch v th c thi cho phép giao ti p v i PreWS GRAM c a b cơng c Globus Toolkit đ th c thi ng d ng Vi c h tr ña phương th c giao ti p (muti-protocols) chu n d li u (multi-encoding) hi n t i chưa ñư c h tr POP-C++ Phương th c giao ti p gi a ñ i tư ng song song phân b lư i tính tốn hi n s d ng k t n i TCP/socket nên v n g p v n đ tài ngun tính tốn n m m ng o ho c ngăn cách b i firewall Các chu n giao ti p lư i OGSA, WSRF hi n v n chưa ñư c h tr Các n i dung nghiên c u c a đ tài g m: Tìm hi u chu n OGSI WSRF Xây d ng cơng c h tr l p trình WSRF b ng cách m r ng POP-C++: • Tìm hi u kh kích ho t phương th c POP-C++ thơng qua giao th c HTTP/SOAP • Tìm hi u kh m r ng c a thư vi n h th ng POP-C++ • M r ng thư vi n h tr ñ ng th i giao th c truy n thông khác dư i d ng plugin • Xây d ng h th ng thơng ñi p kích ho t ñ i tư ng d a SOAP/WSRF • Xây d ng cơng c chuy n ñ i t ñ i tư ng song song POP-C++ sang d ng WSDL ngư c l i Công c cho phép d ch v chu n WSRF khơng vi t b ng POP-C++ có th g i d ch v WSRF/POPii C++ ngư c l i, d ch v tính tốn c a POP-C++ có th g i d ch v WSRF khác (e.g GT4 GRAM) Tích h p POP-C++ n n lư i EDAGRID (Campus Grid) n i chia s tài ngun tính tốn c a ðHBK TPHCM Xây d ng phát tri n ng d ng lư i tri n khai th nghi m mơi trư ng lư i EDAGRID: • Song song hóa ng d ng cho phép s d ng tài nguyên phân b v m t v t lý • Xây d ng Grid portal cho ng d ng • Ch y, đo đ c đánh giá hi u qu iii SUMMARY OF RESEARCH CONTENT At the moment, depending on the concept of resources oriented distributed objects, we, along with the College of Engineering and Architecture of Fribourg, Switzerland, have been studying and developing a tool for high performance computing - POP-C++ [20, 28] The current open source version 1.1.1 of POP-C++ is owned by Dr Tuan-Anh Nguyen and Prof Pierre Kuonen (College of Engineering and Architecture of Fribourg, Switzerland) Developing an application using POP-C++ is quite simple POP-C++ extends C++ by adding some new keywords that allow declaring distributed objects based on requirements of quality of services (QoS) POP-C++ supplies the same syntax with C++ to implement methods of distributed objects Writing a distributed program in POP-C++ is as simple as writing a traditional program in C++ The current version of POP-C++ (1.1.1) only supplies fundamental components such as: a pre-compiler to convert POP-C++ source code to ANSI C++ language; a front-end compiler to automatically compile POP-C++ code to machine code, to distributed objects communication libraries based on TCP/IP connection and XDR format, to some services that allow communicating to PreWS GRAM of Globus Toolkit to launch an application It has not supported multi-protocol and multiencoding in this version yet Communicating between parallel objects based on TCP/IP connections is not allowed when computing resources are located in virtual networks or separated by firewall Grid communicating standard such as OGSA, WSRF has not been supported yet The project focuses on these main points: Study OGSI and WSRF standards Build a tool supporting programming using WSRF by extending POP-C++: • Study how to invoke a remote method by using HTTP/SOAP • Study how to extend POP-C++ libraries • Extend POP-C++ libraries to support multi-protocol and multi-encoding as plugins • Implement message-encoding based on SOAP/WSRF • Implement a tool that supports converting POP-C++ objects to WSDL and vice versa This tool makes standard WSRF services that are not written in POP-C++ can invoke a service written in WSRF/POP-C++ and vice versa, it also makes POP-C++ computing services be able to invoke other services based on WSRF (e.g GT4 GRAM) Integrate POP-C++ into EDAGRID (Campus Grid) to connect and share computing resources of HCMUT Build and develop grid applications and test them on EDAGRID: iv • Parallel application to utilize physical distributed resources • Build a Grid portal for that application • Make some experiments to evaluate performance v M CL C TÓM T T N I DUNG NGHIÊN C U ii SUMMARY OF RESEARCH CONTENT iv M C L C vi DANH SÁCH CÁC CH VI T T T viii DANH SÁCH B NG ix DANH SÁCH HÌNH x PH N M ð U xii CHƯƠNG 1: T NG QUAN 1.1 T ng quan tình hình nghiên c u thu c lĩnh v c ñ tài 1.1.1 Ngoài nư c: 1.1.2 Trong nư c: 1.2 Tính c p thi t c a ñ tài 1.3 Ý nghĩa tính m i v khoa h c th c ti n CHƯƠNG 2: N I DUNG NGHIÊN C U 2.1 Phân tích yêu c u toán 2.2 Phân tích tìm hi u công ngh /h th ng liên quan 2.2.1 Tìm hi u chu n WSRF 2.2.2 Tìm hi u giao th c SOAP c a Web Services 14 2.2.3 Tìm hi u thư vi n x lý XML hi n có 16 2.2.3.1 2.2.3.2 2.2.3.3 2.2.3.4 Document Object Model (DOM) .17 Simple API for XML (SAX) .18 So sánh hai mơ hình DOM SAX 18 Xerces-C++ 19 2.2.4 Tìm hi u thư vi n h th ng POP-C++ 19 2.2.5 Cơ ch kích ho t phương th c t xa đ nh d ng thơng p c a POPC++ 22 2.2.5.1 Cơ ch kích ho t phương th c t xa 23 2.2.5.2 Cơ ch ñ nh d ng thơng p c a POP-C++ 24 2.3 M r ng POP-C++ h tr l p trình lư i 26 2.3.1 Thi t k m r ng POP-C++ h tr ñ ng th i nhi u network protocol 26 2.3.2 Xây d ng h th ng truy n thông POP-C++/HTTP 31 2.3.3 Thi t k m r ng POP-C++ h tr ñ ng th i nhi u buffer 34 2.3.4 Thi t k h th ng ñ nh d ng d li u theo chu n WSRF 36 2.3.5 Xây d ng h th ng trao ñ i d li u SOAP/XML 39 2.3.6 Tích h p h th ng vào POP-C++ 41 2.4 Tích h p POP-C++ lên h t ng lư i EDAGrid 42 2.4.1 Mơ hình th c thi ng d ng POP-C++ 42 2.4.2 Qui trình th c thi ng d ng 43 vi 2.4.3 M r ng tích h p POP-C++ vào EDAGrid 44 2.4.4 C i ti n API giao ti p gi a ng d ng POP-C++ môi trư ng th c thi 45 2.4.4.1 Runtime API hi n t i 45 2.4.4.2 Nâng c p m r ng API hi n có .46 2.4.5 Nâng c p d ch v ng d ng h tr service plugin 47 2.4.6 Tích h p POP-C++ EDAGrid 48 2.5 Công c h tr 50 2.5.1 Cơng c chuy n đ i giao ti p (API) WSRF POP-C++ 51 2.5.1.1 Ki n trúc POP-C++ compiler 51 2.5.1.2 Công c t o WSDL t source POP-C++ 52 2.5.2 Cơng c t đ ng sinh đ i tư ng song song t ñ c t WSDL/WSRF 53 2.5.2.1 C u trúc file WSDL 54 2.5.2.2 Cách hi n th c 56 2.6 ng d ng POP-C++ cho toán thi t k vi m ch 56 2.6.1 Song song hóa gi i thu t 56 2.6.2 Xây d ng Grid portal cho ng d ng 57 2.6.2.1 2.6.2.2 2.6.2.3 2.6.2.4 Tìm hi u EDAGrid 57 Tìm hi u tốn thi t k vi m ch 59 Tìm hi u Grid portal 60 Thi t k giao di n Portlet cho toán thi t k vi m ch 62 CHƯƠNG 3: K T QU VÀ TH O LU N 66 3.1 ðánh giá k t qu d a s n ph m KH&CN 66 3.2 ðánh giá k t qu d a vi c chuy n giao công ngh 67 3.3 ðánh giá k t qu d a vi c xây d ng phát tri n hư ng nghiên c u 68 CHƯƠNG 4: K T LU N VÀ ð NGH 70 PH L C 72 TÀI LI U THAM KH O 73 vii DANH SÁCH CÁC CH VI T T T DOM Document Object Model SAX Simple API for XML SOAP Simple Object Access Protocol WSDL Web Services Description Language WSRF Web Service Resource Framework XDR External Data Representation Standard viii DANH SÁCH B NG B B B B ng - 1: So sánh kích thư c thơng p XDR SOAP 19 ng - 2: M t s thư vi n h th ng c a POP-C++ 21 ng - 1: S n ph m c a ñ tài so v i b n ñăng ký 66 ng - 2: S n ph m khoa h c c a ñ tài 67 ix DANH SÁCH HÌNH Hình - 1: Mơ hình l p trình lư i (d a [3]) Hình - 1: Cách ti p c n h th ng POP-C++ phiên b n 1.1.1 mơi trư ng có firewall Hình - 2: Mơ hình đ xu t h th ng POP-C++ phiên b n m i mơi trư ng có firewall Hình - 3: M t l i g i Web Service b n [2] Hình - 4: L i g i Web Service khơng có tr ng thái [2] 10 Hình - 5: L i g i Web Service có tr ng thái [2] 11 Hình - 6: M i quan h gi a OGSA, GT4, WSRF, Web [2] 12 Hình - 7: WS-Resource [2] 13 Hình - 8: G i nh n thơng p thông qua giao th c SOAP 14 Hình - 9: Trao đ i thơng p dùng giao th c SOAP [7] 15 Hình - 10: C u trúc c a m t SOAP message [12] 16 Hình - 11: C u trúc c a DOM [38] 17 Hình - 12: Quá trình t o ñ i tư ng POP-C++ [19] 20 Hình - 13: Lư c ñ l p m t s ñ i tư ng POP-C++ 21 Hình - 14: Giao ti p gi a ñ i tư ng POP-C++ 23 Hình - 15: G i nh n thơng p gi a ñ i tư ng Interface Object 24 Hình - 16: ð nh d ng c a buffer 25 Hình - 17: Mơ hình k t n i gi a ñ i tư ng combox POP-C++ 27 Hình - 18: Quá trình k t n i gi a ñ i tư ng POP-C++ s d ng combox 29 Hình - 19: Quá trình load combox plugin c a h th ng POP-C++ 30 Hình - 20: Giao ti p gi a ñ i tư ng s d ng combox_http 32 Hình - 21: G i nh n thơng p gi a đ i tư ng thơng qua buffer 34 Hình - 22: Q trình trao đ i d li u POP-C++ 36 Hình - 23: Request message theo ñ nh d ng c a WSRF 38 Hình - 24: Response message theo ñ nh d ng c a WSRF 39 Hình - 25: Request SOAP message 41 Hình - 26: Response SOAP message 41 Hình - 27: Ki n trúc phân l p c a POP-C++ 42 Hình - 28: Tương tác gi a d ch v ng d ng (service A) d ch v toàn c c (service B) 43 Hình - 29: Các bư c kh i t o th c thi parallel object 44 Hình - 30: T ch c l i API c a POP-C++ runtime service 46 Hình - 31: Cơ ch plugin d ch v m i vào POP-C++ 48 Hình - 32: Tích h p POP-C++ vào EDAGrid 49 Hình - 33: POP-C++ compiler 51 Hình - 34: Các thành ph n c a POP-C++ parser 52 x m ng lư i bán l , ngân hàng, website bán hàng c l n hay qu n lý tài nguyên công ty M t s portal chuyên nghi p nh t lo i có th k đ n Microsoft SharePoint, Oracle ApplicationServer, IBM WebSphere • Website Portal: Portal lo i khơng khác website có th tùy bi n ñư c V i lo i này, ngư i s d ng có th d a theo chu n vi t portal ñ t xây d ng tích h p thêm module m i Các portal ñư c xây d ng thư ng th a mãn tính sau: • ðăng nh p m t l n: Khi ñăng nh p, portal s qu n lý thông tin ngư i dùng thông qua session, v y c n ph i l y thông tin hay m t kh u ngư i dùng cho m t ng d ng m i, ngư i dùng không c n ph i nh p l i thơng tin • Cá nhân hóa: Khi mu n s d ng h th ng portal, ngư i dùng s ñư c cung c p m t tài kho n riêng V i tài kho n h có th tùy bi n giao di n theo ý thích, thêm b t module hay g b chúng, … Nói chung h có th thao tác portal theo ý thích mà khơng s nh hư ng ñ n ngư i khác • D ch v t ho t ñ ng (self-service): Các module c a h th ng Portal có kh t ho t đ ng m t cách đ c l p, khơng ph thu c hay nh hư ng ñ n module khác M i đư c thêm vào, chúng có ngu n d li u khác nhau, vịng đ i khác phương th c ho t ñ ng khác h n ð làm ñư c ñi u ngư i phát tri n h th ng ph i vi t t t c module theo m t chu n nh t đ nh • Tùy bi n ngơn ng : Cơng ngh portal có h tr phương pháp ñ giúp ngư i phát tri n ng d ng xây d ng portal d ng nhi u ngôn ng khác v i công s c b nh t Khi s d ng ngư i dùng có th tùy ý s d ng ngôn ng mà portal cung c p V i nh ng tìm hi u trên, ta có th k t lu n Web Portal có nh ng ưu m so v i website thơng thư ng Ngư i dùng Web Portal có th tùy bi n giao di n, l a ch n ngôn ng s d ng, t thêm b t module tùy thích, … Grid Portal m t khái ni m m i, ta có th hi u nơm na có tính đ y đ c a m t Web Portal, nhiên Grid Portal ñư c phát tri n ñ làm m t c ng ñi n t cho m t h th ng lư i Ngoài vi c cung c p d ch v thông thư ng thơng báo, upload/download file, tìm ki m, … Grid Portal cung c p d ch v lư i d ch v khám phá tài nguyên lư i, d ch v th c thi m t ng d ng môi trư ng lư i, d ch v chuy n file môi trư ng lư i, … M i m t Grid Portal ph i g n v i m t h th ng lư i xác ñ nh Khi ngư i dùng mu n s d ng m t d ch v lư i h ph i có tài kho n h th ng lư i tài kho n ph i có quy n s d ng d ch v 61 Cũng gi ng Web Service, ngư i phát tri n ng d ng có th xây d ng module đ c l p v i theo m t chu n xác ñ nh M i m t module ñó ñư c hi u m t portlet Như v y m t portal có ch a nhi u portlet, ngư i s d ng có th tùy bi n đ ch s d ng m t s portlet nh t ñ nh Hi n t i có chu n đ xây d ng m t portlet jsr-168 jsr-268 Chu n jsr-268 ñ i sau ñư c xem phiên b n c i ti n c a chu n cũ jsr-168 M t vài c i ti n c a chu n jsr-268 bao g m: • Các portlet giao ti p v i thơng qua s ki n (event) tham s tồn c c (public renter parameter) • T o tài nguyên ñ ng m t cách tr c ti p thơng qua portlet • AJAX JSON đư c ph c v tr c ti p thơng qua portlet • Thêm khái ni m b l c l ng nghe portlet (portlet filter, portlet listener) 2.6.2.4 Thi t k giao di n Portlet cho toán thi t k vi m ch Portlet cho toán thi t k vi m ch ñư c dùng m t c ng truy xu t giúp qu n lý file vi m ch input c a ngư i dùng, cho phép ngư i dùng upload file bilf d ng thơ lên portal, t i ưu hóa file vi m ch download file ñã ñư c t i ưu v Portlet cho toán thi t k vi m ch ch m t module nh toàn c c h th ng tốn lư i tính tốn VN-Grid, portlet c n ph i ñư c xây d ng cho có kh tích h p vào portal VN-Grid ñã ñư c xây d ng Portal VN-Grid m t grid portal xây d ng d a framework OGCE, cho phép ngư i dùng có kh qu n lý thông tin c a h , tri u g i d ch v lư i VN-Grid, ch y ng d ng có s d ng lư i VN-Grid ð có th s d ng m t portlet VN-Grid, ngư i dùng c n ph i có tài kho n portal, đ ng th i ngư i ph i có tài kho n lư i VN-Grid ñ ñư c xác th c c p quy n lư i VN-Grid đ có th truy xu t vào lư i VN-Grid Hi n t i portal VN-Grid vi t portal s d ng chu n jsr-168, đ tích h p portlet cho tốn thi t k vi m ch vào portal VN-Grid, portlet ph i ñư c vi t theo chu n jsr-168 Qua q trình tìm hi u phân tích, chúng tơi thi t k portlet cho tốn thi t k vi m ch có nh ng ch c sau: • Cho phép ngư i dùng upload file blif lên h th ng • Qu n lý file blif ñã ñư c upload lên h th ng, ngư i dùng có kh xóa ho c xem thơng tin v file h upload • Cho phép ngư i dùng t i ưu hóa file blif h upload 62 • Trong q trình t i ưu m t vi m ch, ngư i dùng có th ch n thơng s đ u vào (s lư ng file script, m i file script gì, nh p vào workflow đ có k t qu t i ưu hơn, …) 2.6.2.5 K t qu tính tốn ð minh h a cho vi c s d ng POP-C++, v i thư vi n h tr l p trình metaheuristic, nhóm th c hi n đ tài s d ng m t t p toán t i ưu t h p chu n IWLS’93 ñã ñư c nhi u nhóm nghiên c u s d ng ñánh giá k t qu nghiên c u (xem thêm [22]) Các tốn đư c s d ng đư c trình bày b ng sau Trong khuôn kh c a báo cáo ch m t tính tốn tiêu bi u đư c trình bày đ minh h a kh c a s n ph m mà thơi N u ngư i đ c có nhu c u tham kh o tính tốn khác có th liên h tr c ti p nhóm tác gi đ có th đư c gi i thi u k (ho c xem xét qua báo mà nhóm đ cơng b ) - Tính tốn 1: m t tính tốn tu n t ñư c th c hi n workflow dư i ñây, ch s d ng m t nhánh tính tốn Trong đó, HC Hill Climbing, SA Simulated Annealing, TS Tabu Search (các tham s m c đ nh đư c s d ng cho tính tốn) M ch MIS RAMBO Pert/Sim LogicOpt C3540 2778 2145 1976 1876 1548 C7552 6583 3513 3521 2851 2125 C6288 7184 5237 4666 3766 3490 des 7657 6095 6145 5718 3664 apex6 - #lit(in) 1422 1260 1291 1086 788 Trong b ng trên, c t #lit(in) xác ñ nh s lư ng literal c a v m ch nh p vào, c t MIS, RAMBO, Pert/Sim k t qu tính tốn đư c trình bày báo cáo c a Chang ñ ng tác gi K t qu tính tốn cho th y vi c s d ng ph i h p thu t tốn metaheuristic (c t LogicOpt) đem l i nhi u hi u qu (vi m ch có s lư ng literal nh trư ng h p) Tính tốn 2: m t tính tốn phân b đư c th c hi n EDAGrid, v n s d ng l i workflow tính tốn ði u có nghĩa ngư i dùng ngh 63 POP-C++, thư vi n h tr metaheuristic không c n ph i thay đ i nhi u tri n khai tính tốn h t ng lư i K t qu tính tốn cho m t s tốn trình bày b ng sau: M ch C3540 C7552 C6288 des apex6 nhánh #lit Time (giây) 1382 161 2458 461 3378 222 3597 1241 756 110 16 nhánh #lit Time (giây) 333 1379 2281 >4000 723 3300 3583 2569 186 736 32 nhánh #lit Time (giây) 1383 525 1623 2263 3300 1451 3593 3591 749 284 Trong b ng sau, rõ ràng nghi m t t tìm đư c n u s d ng nhi u nhánh tính tốn ði u d hi u tính đa d ng tìm kiêm đư c tăng lên Tuy nhiên, m t v n đ mà nhóm c n ph i kh c ph c tương lai th i gian tính tốn M c dù tài ngun tính tốn dư th a (có nghĩa vi c c p phát có th đư c th c hi n l p t c có yêu c u), mà phí t n c a thư vi n metaheuristic l n th c hi n m t tính tốn l n ðánh giá hi u su t truy n tin: b ng dư i ñây trình bày k t qu ño ñ c th c hi n m t l n tri u g i hàm m ng có kích thư c khác nhau, s d ng t h p phương th c truy n nh n/mã hóa: SOCKET/XDR, HTTP/XDR, HTTP/SOAP Chi ti t th i gian, dùng SOCKET/XDR 100% 80% 60% 40% 20% 0% send data 4096 1024 256 64 16 encode/decode Time (%) - nhánh #lit Time (giây) 1548 150 2506 220 3490 160 3664 851 755 110 Array size (INTEGER) 64 100% 80% 60% 40% 20% 0% send data 4096 1024 256 64 16 send HTTP header Time (%) Chi ti t th i gian dùng HTTP/XDR encode/decode Array size (INTEGER) 100% 80% 60% 40% 20% 0% send data 4096 1024 256 64 16 send HTTP header Time (%) Chi ti t th i gian dùng HTTP/SOAP encode/decode Array size (INTEGER) Rõ ràng phương th c s d ng HTTP/XDR, m t phí t n xu t hi n làm gi m t c ñ truy n nh n ðó ph n HTTP header, nh hư ng c a khơng l n l m S nh hư ng th hi n rõ nh t t h p HTTP/SOAP th i gian dành cho mã hóa gi i mã d li u g n chi m h t t ng th i gian truy n tin (nh t kích thư c d li u l n) ðây m t m mà nhóm s ý ñ nh hư ng cho nh ng nghiên c u tương lai mã s nói rõ chương k ti p 65 CHƯƠNG 3: K T QU VÀ TH O LU N Ph n ch khái quát l i k t qu ñã ñ t ñư c toàn b ñ tài Báo cáo chi ti t v k t qu c a kh i cơng vi c đư c trình bày ph n chuyên sâu phía trư c ð giúp cho vi c ñánh giá k t qu ñã ñ t ñư c m t cách d dàng xác, báo cáo s trình bày k t qu d a tiêu chí riêng bi t m ng KH&CN 3.1 ðánh giá k t qu d a s n ph m KH&CN ð cho ngư i ñ c th y ñư c nh ng k t qu ñ t ñư c chưa ñ t ñư c c a ñ tài, ph n trình bày s cung c p nh ng k t qu ñã ñăng ký [14] s n ph m ñ t ñư c dư i d ng b ng sau B ng - 1: S n ph m c a ñ tài so v i b n ñăng ký TT S n ph m Chương trình parser t ñ ng t o Grid service interface t ñ i tư ng song song POP-C++ Chương trình t đ ng chuy n interface c a WSRF Grid Service (WSDL) thành interface c a ñ i tư ng song song POP-C++ Xây m i thư vi n kích ho t phương th c t xa c a POP-C++ cho phép h tr nhi u giao th c truy n thơng p đ ng th i Xây d ng module truy n thơng p d a giao th c HTTP Xây d ng module mã hố thơng p theo chu n WSRF D ch v th c thi ng d ng POPC++ môi trư ng lư i EDAGrid K t qu Chú thích Hồn thành S n ph m ñư c cung c p dư i d ng m t ti n ích h tr gói POP-C++ Hồn thành S n ph m ñư c cung c p riêng l m t cơng c h tr Hồn thành S n ph m đư c tích h p vào phiên b n hi n t i c a POP-C++ Hồn thành S n ph m đư c cung c p riêng l m t plugin dùng đ c u hinh cho POP-C++ Hồn thành S n ph m ñư c cung c p riêng l m t plugin dùng ñ c u hinh cho POP-C++ Hồn thành POP-C++ đư c b sung th nghi m h th ng tính tốn g m có đ y đ thành ph n g m: firewall, proxy, máy tr m máy c m S n ph m ñư c cung c p dư i d ng m t portal cho ng d ng gi i toán t i ưu vi m ch t h p Như trình bày ph n chun mơn, s n ph m đư c t o khn kh c a đ tài đư c tích h p vào phiên b n hi n t i c a POP-C++ ho c 66 cung c p dư i gói riêng bi t tùy theo nhu c u s d ng Chi ti t có th xem wiki c a POP-C++ t i ñ a ch http://gridgroup.hefr.ch/popc/doku.php V m t khoa h c có nhi u ho t đ ng khoa h c ñáng khích l b ng sau B ng - 2: S n ph m khoa h c c a ñ tài TT ðăng ký K t qu Bài báo khoa h c v mơ hình l p trình lư i (t i thi u bài) - ñã ñư c ch p nh n trình bày đăng k y u c a h i ngh IWACI’09 (IEEE International Workshop on Advances of CyberInfrastructure), 811/12, Shenzhen, China “Extending POP-C++ to Integrate Web Services into Parallel Objects” [21] - ñã ch p nh n trình bày HPSC2009 (Fourth International Conference on High Performance Scientific Computing), 2-6/3, 2009, Hanoi, Vietnam ðang ch k t qu xét t ñ ñăng k y u (Springer) “The Workflow Framework for Metaheuristic Search on Grid Environment” [5] Lu n văn th c ch nhi m c a ñ tài ñã hư ng d n s (2 lu n văn) nhi u ñ tài s d ng POP-C++ lĩnh v c khác nhau, ch y u khoa h c tính tốn Chú thích M c dù chưa đ t đư c hồn tồn k t qu đ ra, nhóm tác gi tin tư ng báo th s ñư c ch p nh n (tuy nhiên th i gian xét t c a k y u HPSC2009 lâu, năm) Trong ph n báo khoa h c, ch li t kê báo có n i dung g n ch t v i k t qu nghiên c u khn kh c a đ tài Tuy nhiên, nhi u báo khác ñã s d ng POP-C++ ho c m t ph n ñư c tài tr ñã ñư c công b [4, 9, 17] ði u ñã ch ng t kh c a POP-C++ nhi u ngành khác nhau, th hi n tính ti n d ng c a POP-C++ lĩnh v c tính tốn Ph n hư ng d n sinh viên làm lu n văn th c s đ i h c, báo cáo khơng trình bày chi ti t có nhi u lu n văn hồn thành theo hư ng th i gian th c hi n ñ tài ñư c hư ng d n b i thành viên tham gia ñ tài POP-C++ 3.2 ðánh giá k t qu d a vi c chuy n giao công ngh ðây m t nh ng ñi m h n ch nh t v m t k t qu c a vi c th c hi n ñ tài M c dù ñã ñ t ñư c nh ng k t qu chuyên môn r t đáng khích l , vi c chuy n giao cơng ngh cịn g p nhi u c n tr Q trình chuy n giao cơng ngh g p ph i m t s v n ñ sau: 67 • Nơi ti p nh n (đơn v s n xu t kinh doanh) chưa th c s có nhu c u Nhóm ch đ ng tìm ki m đ i tác đ có th tri n khai nh ng k t qu nghiên c u (ch ng h n nhóm ti p xúc v i m t s công ty phát tri n ph n m m qu n lý danh m c đ u tư), tình hình kinh doanh c a ñơn v kinh doanh chưa ñ t ñ n m c ñ s d ng k t qu chun gia c a nhóm • Q trình làm vi c c a nhóm cịn mang n ng nghiên c u thu n túy Vi c hoàn thi n ch c c a s n ph m chu n hóa quy trình cơng ngh chưa ñư c quan tâm nhi u ði u gây khó khăn cho ho t đ ng chuy n giao (n u có), cho dù kh c a cơng ngh phát tri n có ti m ng d ng C th s n ph m c a ñ tài m i ch d ng l i m c ngơn ng l p trình, t ñây ñ n vi c xây d ng s n ph m cơng ngh cịn nhi u công vi c ph i làm M c dù v y, nh ng công ngh ph n m m phát tri n b i nhóm r t có ích cho nh ng nghiên c u lĩnh v c tính tốn hi u cao S n ph m c a nhóm b khuy t ph n m i liên k t gi a phát tri n ng d ng xây d ng h t ng tính tốn m nh, c th lư i tính tốn Ngồi vi c chuy n giao cơng ngh cho nhóm nghiên c u khác (s trình bày ph n sau), nhóm chuy n giao k t qu sang lĩnh v c ñào t o C th POP-C++ m t nh ng công c minh h a gi ng c a mơn h c “Tinh tốn lư i” chương trình đào t o th c s c a Khoa Khoa h c K thu t Máy tính, ðH Bách khoa TP.HCM 3.3 ðánh giá k t qu d a vi c xây d ng phát tri n hư ng nghiên c u M t nh ng thành cơng c a đ tài c u n i gi a nhóm nghiên c u xây d ng h t ng tính tốn nhóm nghiên c u ng d ng ðây m t thách th c mà nhi u ñ tài nghiên c u khoa h c cơng ngh chưa đ t ñư c, m c dù có tham v ng K t qu c a đ tài khơng có to tát, đư c c th hóa b ng m t ngôn ng quen thu c, giúp cho ngư i nghiên c u ng d ng b qua nh ng nghiên c u ph (không thu c chuyên ngành) ch t p trung vào ñ i tư ng nghiên c u c a ðó POP-C++ s d ng ngôn ng C++ s m r ng truy n thông dùng WSRF/SOAP, cung c p cho ngư i dùng r t nhi u s ti n l i giai ño n phát tri n Và c giai ño n tri n khai, POP-C++ giúp d dàng th c hi n tính tốn l n lư i, vư t qua ñư c rào c n v truy n thông tư ng l a, m ng riêng o Vi c xây d ng c u n i th hi n r t rõ qua vi c POP-C++ ñư c s d ng nhi u ng d ng khác ( Vi t Nam) như: • Tính tốn m m: thư vi n h tr tính tốn m m lư i [5], • Thi t k vi m ch: t i ưu vi m ch t h p dùng thư vi n tính tốn m m [22], • Thi t k thí nghi m: dùng POP-C++ đ li t kê dãy tr c giao [9] • M t mã: dùng POP-C++ ñ ki m tra ñ m nh c a khóa [6] 68 Các ho t ñ ng nghiên c u phát tri n công ngh su t th i gian c a nhi m v ñã ñư c ñánh d u b i báo khoa h c nhi u h i ngh ngồi nư c ðây ñi u ki n r t quan tr ng giúp cán b nghiên c u tr có đư c h c b ng ñi h c sau ñ i h c t i nư c C th nhóm đã: • C m t cán b tr sang Th y S th c t p làm lu n văn t t nghi p th c s v hư ng checkpointing POP-C++ • C m t cán b tr sang EPFL, Th y S ñ theo h c chương trình cao h c V m t xây d ng quan h nghiên c u nhóm có nh ng k t n i ch t ch v i nhóm nghiên c u khác: • VN-Grid: đ tài tr ng m ðHQG TP.HCM hư ng ñ n vi c xây d ng m t lư i tính tốn gi a trư ng ðH • Nhóm tính tốn lư i ti n ích, University of Applied Sciences of Fribourg, Th y S c a GS Pierre Kuonen: phát tri n POP-C++ Do có s bi n đ ng v nhân s ch nhi m đ tài, nên nhóm Vi t Nam bây gi tương lai s hư ng ñ n phát tri n ng d ng thư vi n ph c v phát tri n ng d ng • Nhóm thi t k vi m ch, khoa KH&KT MT, ðH Bách khoa TP.HCM • Nhóm thi t k thí nghi m, khoa KH&KT MT, ðH Bách khoa TP.HCM • Nhóm nghiên c u mơ ph ng hàng không, khoa Giao thông, ðH Bách khoa TP.HCM 69 CHƯƠNG 4: K T LU N VÀ ð NGH M c dù g p nhi u khó khăn trình th c hi n, nh t nhân s ch nhi m ñ tài b thay ñ i trình th c hi n lý khách quan, đ tài v n hồn thành ti n ñ Sau th i gian d ñ nh năm, đ tài hồn thành v b n nh ng m c tiêu c a m t đ tài khoa h c cơng ngh c a S KH&CN TP.HCM V m t chuyên môn, thách th c khoa h c công ngh ñã ñư c nhóm th c hi n ñào sâu tìm hi u đ xu t ý tư ng khoa h c Có th nh n m nh thêm r ng nh ng thách th c ch m i ñư c quan tâm Vi t Nam vài năm tr l i ñây V i ñ i ngũ khoa h c m nh nh ng ti n ñ t t v h p tác nghiên c u, s v t ch t tính tốn đư c đ u tư t t nhóm nghiên c u ñã m nh d n ñ i m t v i thách th c ñi ñ n k t qu : Xây d ng công c l p trình cho tính tốn thích nghi hi u cao mơi trư ng tính tốn lư i Nh m phát huy tác d ng m nh m c a tính tốn lư i ho c h t ng tính tốn hi u cao, đ tài hư ng ñ n xây d ng c i ti n nh ng cơng c l p trình thích h p V n đ mà đ tài gi i quy t k t h p s m nh m c a ngơn ng C++ nói chung POP-C++ nói riêng v i nh ng ưu th c a công ngh truy n thông ngày nay, Web service, ñ t o m t s n ph m có tính thích nghi cao ði u r t có ý nghĩa s d ng nh ng mơi trư ng đa d ng (v nhi u m t) lư i tính tốn M t ý nghĩa s d ng quan tr ng hi n th c HTTP/SOAP v i ch h tr nhi u protocol cho phép b sung d dàng phương th c truy n nh n khác (dư i d ng plugin) Tuy nhiên, m t m c tiêu mà ñ tài chưa ñáp ng ñ n m c cao nh t chuy n giao ñư c cơng ngh đem l i hi u qu kinh t Hơn n a, nh ng nghiên c u khoa h c bí quy t cơng ngh t o nhi m v xa so v i nh ng ñ nh hư ng kinh doanh th trư ng Vi t Nam K t qu ñã ñ t ñư c quan tr ng nh t m c tiêu chuy n giao công ngh c a ñ tài liên quan ñ n vi c s d ng POPC++ nhi u lĩnh v c ng d ng khác ði u ñem ñ n s khích l l n cho nhóm nghiên c u hy v ng nhóm ng d ng s có h i chuy n giao cơng ngh , s d ng n n t ng l p trình mà đ tài th c hi n Ngồi ra, s n ph m ki n th c ñã n m b t t o ñã ñư c ñúc k t thành môn h c ñ i h c cao h c ñưa vào tri n khai ñào t o t i ðH Bách khoa TP.HCM M t thành công quan tr ng nh t mà ñ tài ñã ñ t ñư c ñã ñ t n n t ng v ng ch c cho nhóm nghiên c u đ n cơng c l p trình ph c v ngư i dùng ðây đ tài khoa h c mà nhi u sinh viên ñ i h c cao h c ñang th c hi n t i ðH Bách khoa TP.HCM Hơn n a, nh ng ho t đ ng nghiên c u khn kh ñ tài ñã t o s k t n i v nghiên c u v i ñ i tác th gi i 70 Tính tốn khoa h c m t hư ng ñang ñư c ñ u tư m nh th gi i c Vi t Nam nh ng năm g n ñây Theo ý ki n ch quan c a nhóm nghiên c u thi m t khó khăn thi u s k t n i gi a nhóm nghiên c u Hơn n a, s k t n i ph i ñư c th hi n c th qua s n ph m m i có th đ t đư c k t qu khoa h c công ngh xa Qua th i gian th c hi n, nhóm nghiên c u ñã rút nh ng kinh nghi m cho hư ng nghiên c u c a nhóm đ n m c tiêu xa sau: • Xây d ng mơi trư ng có giao di n ñ h a phát tri n ng d ng tính tốn s d ng POP-C++ ngơn ng l p trình chính, • Hồn thi n thư vi n tính tốn m m h tr t i ưu t h p, • S d ng POP-C++ mô ph ng, c th mô ph ng giao thông Vi t Nam d a lý thuy t Cellular Automata (ñã ñư c th nghi m thành cơng mơ ph ng tu n t ) • S d ng POP-C++ ñ phát tri n Web service ph c v tính tốn l n, thơng d ng cung c p cho ngư i dùng nhi u d ng khác (Web service, portlet,…) Nhóm nghiên c u mong mu n S KH&CN TPHCM h tr thêm đ nhóm ti p c n đư c v i doanh nghi p có nhu c u gi i quy t tốn tính tốn l n 71 PH L C M t s hình nh liên quan ñ n c ng tác liên k t gi a nhóm nghiên c u nhóm c a giáo sư Kounen t i Trư ng K Sư Ki n Trúc Fribourg, Th y Sĩ ñư c ñăng t i website c a POP POP-C++ 72 TÀI LI U THAM KH O [1] Bernman, F and Hey, T and Fox, G., Grid Computing – Making the Global Infrastructure a Reality, John Wiley & Sons, Ltd., 2003 [2] Borja Sotomayor, Globus Toolkit Programmer's Tutorial, 2005 [3] C Lee et al., A Grid programming primer, Technical report, Advanced Programming Models Research Group, Grid Forum, August 2001 http://www.eece.unm.edu/~apm/docs/APM Primer 0801.pdf [4] D H S Phan, T A Nguyen, POP-Java programming system, Proc International Workshop on Advanced Computing and Applications, Ho Chi Minh City, Vietnam, March 12-14, 2008 [5] D.-K Tran, T V Hoai, The Workflow Framework for Metaheuristic Search on Grid Environment, submitted to Proc of 4rd International Conference on High Performance Scientific Computing (HPSC2009), Mar 2-6, 2009, Hanoi, Vietnam [6] Dat C Nguyen, Thuc D Nguyen, Large integer factoring on grid computing environment, Journal of Sience and Technology, Vol 46, No 5A, VietNam Academy of Science, pp 193-204, 2009 [7] Ferreira, Luis and al., Introduction to Grid Computing with Globus, IBM, 2003 [8] Foster, I and Kesselman, C., The Grid – Blueprint for a new Computing Infrastructure, the 2nd edition, Morgan Kaufmann, 2004 [9] Hien H T Phan, Man V M Nguyen, T A Nguyen, Applying parallel computing for enumeration orthogonal arrays, Proc International Workshop on Advanced Computing and Applications, Ho Chi Minh City, Vietnam, March 12-14, 2008 [10] I Foster, Globus Toolkit Version 4: Software for Service-Oriented Systems, IFIP International Conference on Network and Parallel Computing, SpringerVerlag LNCS 3779, pp 2-13, 2006 [11] Lehning, M., Volksch, I., Gustafsson, D., Nguy n Tu n Anh, Stahli, M., Zappa, M., ALPINE3D: A detailed model of mountain surface processes and its application to snow hydrology, Hydrological Processes (20), 2006 [12] Maozhen Li, Mark Baker, The Grid: Core Technologies, John Wiley & Sons, 2005 73 [13] Nguy n Thanh Sơn, ð ng Tr n Khánh and Tho i Nam, DPPT – a Distributed and Parallel Programming Tool, presented in High Performance Scientific Computing, an International Conference, Hanoi, March 37-31, 2000 [14] Nguyen Tuan Anh et al., Thuy t minh đ tài “Xây d ng cơng c l p trình cho tính tốn thích nghi hi u cao mơi trư ng tính tốn lư i”, 12/2007 [15] Nguy n Tu n Anh, Kuonen, P., ParoC++: Extending C++ to the Grid, The 2005 International Conference on Grid Computing and Applications, 2005, Las Vegas, Nevada, USA [16] Nguy n Tu n Anh, Nguy n Cao ð t, Nguy n Quang Hùng, Tr n Ng c Minh, Tho i Nam, ð ng Tu n Nghĩa, Nguy n Thanh Sơn, EDAGrid@HCMUT: A Campus Grid Infrastructure for Service-centric Grid Applications, International Workshop on Advanced Computing and Applications, Ho Chi Minh City, 2007 [17] Nguyen Tuan Anh, Nguyen Cao Dat, Tran Ngoc Minh, Nguyen Thanh Son, Nguyen Quang Hung, Dang Tuan Nghia, EDAGRID@HCMUT: M t h t ng lư i tính tốn cho ng d ng hư ng d ch v , T p chí Phát tri n Khoa h c Cơng ngh ; Vol 10, No 13 (2007); 52-61 [18] Nguy n Tu n Anh, P Kuonen, Programming the Grid with POP-C++, Journal of Future Generation Computer Systems, No 23, p 23-30, 2007 [19] Nguy n Tu n Anh, POP-C++ Developer Documentation, Draft [20] Nguy n Tu n Anh, Mô hình hư ng đ i tư ng cho tính tốn thích nghi hi u cao mơi trư ng tính tốn lư i, Lu n án Ti n sĩ t i Vi n Công Ngh Liên Bang Th y Sĩ (2004), http://library.epfl.ch/theses/?nr=3079 [21] T.-N Ngo, T.-A Nguyen, T.V Hoai, Extending POP-C++ to Integrate Web Services into Parallel Objects, Procs Of Fifteenth International Conference on Parallel and Distributed Computing, Dec 8-11, Shenzhen, China [22] Tran Van Hoai et al., Báo cáo EDAGrid, 2008 [23] Vũ Lê Hùng and Nguy n Thanh Sơn, A New Approach to Parallel Application Development Using VEPAD, Proceedings of School on Scientific Computing and Applications, Ho Chi Minh City, March 4-6, 2002, pp.108-116 [24] Document Object Model (DOM), http://www.w3.org/DOM/ [25] External Data Representation editor.org/rfc/rfc4506.txt, 2006 Standard (XDR), http://www.rfc- [26] MPI – Message Passing Interface Standard, http://www.mpi-forum.org/ [27] MPICH-G, http://www3.niu.edu/mpi/ 74 [28] POP-C++ project, http://www.eif.ch/gridgroup/popc [29] Portal, http://tincongnghe.com/phan-mem/tim-hieu-portal.html [30] PVM – Parallel http://www.csm.ornl.gov/pvm/pvm_home.html Virtual Machine, [31] SAX, http://en.wikipedia.org/wiki/Simple_API_for_XML [32] Simple API for XML (SAX), http://www.saxproject.org/ [33] The Open Grid Services Architecture, http://www.gridforum.org/projects/ogsa-wg [34] Web Services Resource Framework, open.org/committees/tc_home.php?wg_abbrev=wsrf Version 1.0, http://www.oasis- [35] WSDL, http://www.w3.org/TR/wsdl [36] WSDL2Java, http://ws.apache.org/axis/java/user-guide.html [37] Xerces-C++ XML Parser, http://xerces.apache.org/xerces-c/ [38] XML DOM Tutorial, http://www.w3schools.com/dom/default.asp 75 ... WSDL 56 xi PH N M ð U Tên ñ tài: Xây d ng cơng c l p trình cho tính tốn thích nghi hi u cao mơi trư ng tính tốn lư i Ch nhi m đ tài: TS Tr n Văn Hoài (thay cho TS Nguy n Tu n Anh) Cơ quan ch... m t công c mơ hình l p trình lư i cho tính toán hi u cao v i kh khai thác hi u qu tài nguyên phân b c a lư i tính tốn m t vi c làm c n thi t h t ng lư i c a Vi t Nam ñã ñang ñư c xây d ng Công. .. tr l p trình hi u cao lư i s thúc ñ y khai thác s c m nh tính tốn lư i cho tốn l n, t o đà cho ngành có nhu c u tính tốn cao phát tri n 1.2 Tính c p thi t c a đ tài Nhu c u v tài ngun tính tốn