LỜI CẢM ƠN Trong trình thực đề tài, nhóm xin chân thành cảm ơn GVHD, ThS.Trần Công Tú cung cấp tài liệu cần thiết cho việc nghiên cứu; theo dõi sát tiến độ thực đề tài, kịp thời có điều chỉnh đạo hợp lý Chúng em xin gửi đến thầy lời cảm ơn chân thành thầy động viên, củng cố tình thần cho nhóm, để nhóm hoàn thành đề tài tốt hơn! Với đặc điểm đề tài mẽ Việt Nam, việc thiếu thốn tài liệu điều kiện thực nghiệm điều tránh khỏi Nhóm nghiên cứu biết ơn TS Borja Stomayor, đại học Chicago, Hoa Kỳ cung cấp tài liệu quý báu phần mềm mô phỏng, tận tình dẫn, giải đáp thắc mắc, giúp nhóm thực thí nghiệm liên quan đến thuật toán nêu đề tài! Lời cảm ơn cuối xin gửi tới KS Michael Rutter, người chịu trách nhiệm hỗ trợ cộng đồng người dùng hệ thống phần mềm xử lý liệu R-project giữ liên lạc cung cấp hướng dẫn sửa lỗi tạo khóa xác nhận cho phần mềm hệ điều hành Ubuntu 10.10 (Maverick)! Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO MỤC LỤC Trang ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO HỆ THỐNG CÁC DANH MỤC - Virtual Machine (VM hay máy ảo): kỹ thuật ảo hóa tài nguyên để tạo nhiều môi trường làm việc máy vật lý Mỗi máy ảo môi trường đóng với đầy đủ hệ điều hành cung cấp ánh xạ xác đến phần cứng Khi tạo máy ảo, người dùng xác định cấu hình phần cứng thiết lập liên quan đến giao tiếp mạng cho Mỗi máy ảo lưu ổ đĩa cứng thành tập tin ảnh đĩa VM image - Virtual Workspace - Không gian làm việc ảo: hình thức rộng máy ảo Một không gian ảo bao gồm nhiều máy ảo, liên kết chặt chẽ với để tạo môi trường làm việc hợp đáp ứng yêu cầu phần cứng môi trường phần mềm nghiêm ngặt Không gian làm việc ảo thường triển khai hệ thống máy chủ lớn, thường grid (sẽ giới thiệu chương sau) - Cluster: Cụm máy tính Là hình thức tổ chức không gian làm việc bao gồm nhiều máy tính kết nối chặt chẽ với thông qua kết nội mạng cục để thực thi nhiệm vụ, ví dụ xử lý tập hợp phần mềm liên quan lẫn - Virtual cluster: Là cụm máy tính cấu thành từ máy ảo - lease: hợp đồng thuê tài nguyên Mỗi hợp đồng thuê tài nguyên thỏa thuận nhà cung cấp tài nguyên người thuê tài nguyên tuân theo đặc tả từ phía người dùng Trong đó, nhà cung cấp tài nguyên phải cung cấp khả sử dụng tài nguyên cho người thuê tài nguyên cách xác yêu cầu phần cứng, môi trường phần mềm thời gian sử dụng - best-effort lease: loại hợp đồng thuê tài nguyên không ràng buộc thời gian chạy Thời gian tùy thuộc vào trình lập lịch nhà cung cấp tài nguyên Trong tài liệu này, để đơn giản, số phần, best-effort lease gọi yêu cầu thuê tài nguyên dạng chạy Trang ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO - advance-reservation lease: loại hợp đồng thuê tài nguyên có ràng buộc thời gian chạy, gọi yêu cầu thuê tài nguyên đặt chỗ - deadline: mốc thời gian mà công việc buộc phải hoàn thành - backfilling: kỹ thuật chiến lược lập lịch Trong đó, có nhiều công việc cần thực hàng đợi công việc, kỹ thuật cho phép số công việc đơn giản, tốn chi phi thực trước để tận dụng tài nguyên rảnh, miễn không làm chậm trễ thực thi công việc đặt chỗ trước - site: thuật ngữ đại diện cho tài nguyên cục nhà cung cấp - node: thuật ngữ đại diện cho máy tính vật lý hệ thống máy tính thuộc site Trang ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO MỞ ĐẦU Nhiều năm qua, nhu cầu tài nguyên điện toán trở thành yêu cầu then chốt ngành khoa học lẫn công nghiệp Trong nhiều trường hợp, nhu cầu sử dụng tài nguyên tồn thời gian ngắn Lấy ví dụ, nhà khoa học cần lượng lớn máy tính để chạy trình mô vài vào thời điểm cụ thể; giảng viên muốn tạo cụm máy tính cho sinh viên sử dụng trình thực tập, vào thời điểm định tuần, với cấu hình phần mềm nghiêm ngặt; hay công ty truyền thông cần sử dụng sở hạ tầng để lưu trữ số website, chưa thể tính trước cấu hình máy chủ, điều phụ thuộc vào mức độ truy cập người dùng vào website Nhu cầu cung cấp tài nguyên thời gian ngắn phát sinh vấn đề tận dụng tài nguyên cách hiệu hệ thống cho thuê tài nguyên Có yêu cầu thuê tài nguyên chạy lúc hoàn thành, có yêu cầu thuê tài nguyên với yêu cầu khắt khe thời gian chạy thời hạn hoàn thành, loại yêu cầu có ràng buộc phần cứng phần mềm định Qua khảo sát giải pháp phân phối tài nguyên có, nhóm nghiên cứu nhận thấy, chưa có giải pháp phân phối tài nguyên đáp ứng lúc nhiều trường hợp sử dụng khác người dùng, vấn đề tận dụng tài nguyên chưa giải cách triệt để Cụ thể hơn, đề tài tập trung chủ yếu vào việc kết hợp yêu cầu dạng chạy – người dùng đợi tới tài nguyên rảnh để chạy ứng dụng mình, yêu cầu dạng đặt chỗ - tài nguyên phải sẵn sàng thời điểm định trước Các yếu tố để đánh giá tính hiệu thời gian chờ (hoặc vài tham số tương tự) yêu cầu chạy độ xác yêu cầu đặt chỗ Và trường hợp, tài nguyên phải tận dụng cách tối đa Trước đây, nghiên cứu đáp ứng loại yêu cầu cho kết xác, Trang ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO kết hợp chúng lại hệ thống tổng quát lại làm cho thước đo tính hiệu trở nên mâu thuẫn với Đề tài tập trung khảo sát hệ thống định thời cấp phát tài nguyên có để phân tích hạn chế chúng, đồng thời, tìm hiểu hệ thống – Haizea, giới thiệu vào 04 - 2010 đại học Chicago, bang Illinois, Hoa Kỳ Hệ thống cung cấp kiến trúc quản trị tài nguyên có khả hỗ trợ kịch phân phối tài nguyên ảo đồng thời cách hiệu quả, sử dụng máy ảo (virtual machine) làm công cụ với thuật toán lập lịch để thực mục tiêu Những điểm kiến trúc gồm có: Một mô hình cung cấp tài nguyên theo dạng cho thuê sử dụng máy ảo Hệ thống thuật toán lập lịch yêu cầu có khả tận dụng tài nguyên đáp ứng nhiều loại yêu cầu lúc Một mô hình tính toán trước chi phí phát sinh trình sử dụng máy ảo tìm cách hạn chế chúng cách hiệu Nhiều năm qua, điện toán lưới, điện toán đám mây không ngừng phát triển giới, nói mở kỷ nguyên cho ngành công nghiệp máy tính, Việt Nam, khái niệm mẻ Do tất báo, trang web mà nhóm tham khảo sử dụng tiếng nước ngoài, với hệ thống thuật ngữ mà nước ta chưa thể thống hóa, thức hóa, nên nhóm nghiên cứu xin sử dụng thuật ngữ cách nguyên Phần trình bày sơ lược hệ thống thuật ngữ tiếng Anh sử dụng nghiên cứu Trang ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO CHƯƠNG 1: ĐẶT VẤN ĐỀ 1.1 Grid Cloud Computing: Từ thời điểm máy tính đời, chúng xác định phục vụ cho yêu cầu khoa học quân với hệ thống lớn mạnh mẽ Máy tính cá nhân đời mở kỷ nguyên cho ngành công nghiệp này, “siêu máy tính” hệ thống máy chủ lớn yêu cầu hàng đầu với vấn đề nguyên thủy: thực tính toán với tốc độ nhanh liệu cực lớn Với yêu cầu khắt khe khả tính toán, số giải pháp triển khai, hiệu grid cloud computing Grid1 thuật ngữ dùng để kết hợp nhiều tài nguyên máy tính từ vùng (domain) khác để thực nhiệm vụ Hệ thống grid hiểu hệ thống máy vật lý kết hợp với thông qua kết nối mạng để xử lý luồng công việc (workload) lớn Khái niệm grid thường hay bị nhầm lẫn với Cluster (cũng hệ thống máy tính kết nối với qua mạng cục để xử lý khối công việc với hiệu cao), nhiên, grid thiết kế dành cho ứng dụng đơn chuyên biệt, ràng buộc lỏng không bị bó buộc vị trí địa lý vài mạng cục (LAN) Cloud computing2 thuật ngữ rộng, dùng để việc tài nguyên máy tính (dữ liệu, phần mềm, vv) sử dụng thông qua đường truyền diện rộng (WAN internet) Các dịch vụ trực tuyến cung cấp quản trị “đám mây” – hệ thống tài nguyên Đây bước ngoặc lớn mang tính đột phá thời http://en.wikipedia.org/wiki/Grid_computing http://en.wikipedia.org/wiki/Cloud_computing Trang ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO kỳ máy tính cá nhân, mà nhà cung cấp dịch vụ thực thi hầu hết công việc người dùng, máy tính cá nhân ngày giảm thiểu yêu cầu phần cứng phần mềm Hiện nay, Google phát triển hệ máy tính xách tay sử dụng hệ điều hành Chrome 3, hệ điều hành sử dụng khái niệm “điện toán đám mây” để cung cấp khả tính toán lưu trữ liệu máy chủ máy trạm có nhiệm vụ cung cấp khả truy xuất điều khiển tài nguyên “đám mây” Hiện mẫu thử nghiệm Google Chromebook phân phối cho nhà phát triển ứng dụng hứa hẹn mang lại cách mạng cho máy tính cá nhân hệ Hình 1: Mô trực quan hệ thống Điện toán đám mây 1.2 Vấn đề phân phối tài nguyên điện toán: Từ hệ thống máy tính cực lớn bắt đầu chia sẻ cho nhiều người dùng vào năm 50 kỷ 20, nhiều nhà khoa học nổ lực để tìm giải pháp http://www.google.com/chromebook/ Trang ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO cho vấn đề “Phân phối tài nguyên” Phương pháp cấp phát tài nguyên điện toán vấn đề thực tế kinh điển khoa học máy tính nhiều giải pháp đưa qua hàng thập kỷ Từ hệ điều hành có khả điều khiển người dùng sử dụng CPU, trình lập lịch tinh vi quản lý đến mười ngàn vi xử lý siêu máy tính để mô quỹ đạo thiên thạch diễn biến thời tiết, khí tượng học Bài nghiên cứu tìm hiểu số vấn đề phát sinh cung cấp tài nguyên điện toán với hệ thống grid, phương pháp giải vấn đề sử dụng máy ảo thuật toán lập lịch Phần giới thiệu trình bày ý dẫn nhập nhìn tổng quan đề tài, cấu trúc tóm lược chương báo cáo Khi hệ thống máy tính lưới chia sẻ cho người dùng, yêu cầu đặt phải xác định sử dụng tài nguyên, thời điểm Nếu ta có cụm máy tính với mười máy vật lý, năm người dùng muốn dùng chúng vào thời điểm, để định sử dụng trước? Chiến lược “First come, first serve” hợp lý, lại bất cập số người dùng phải giải công việc có deadline xác định Trở lại năm 50 kỷ trước, giải pháp sơ đẳng áp dụng, người dùng in chương trình họ lên bìa đục lỗ đệ trình lên người quản trị Người xem xét chương trình thời gian nộp để định xem chương trình chạy Ngày nay, công việc xử lý tự động hóa phần mềm Mặc dù nhiều giải pháp đưa phải dựa vào trường hợp riêng biệt để phát triển, hệ thống quản lý vài cụm máy tính hoàn toàn khác so với hệ thống dành cho siêu máy tính với hàng triệu vi xử lý Thời gian gần đây, việc quản lý thực thi hệ thống grid đa phần dựa vào khái niệm “công việc”: người dùng đệ trình tập tin thực thi (“công việc”) kèm với siêu liệu mô tả danh sách tài nguyên điện toán cần thiết Nhà cung cấp tài nguyên lập lịch công việc dựa theo sách Trong hầu hết hệ Trang ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO thống triển khai máy tính lưới nay, người dùng có số quyền hạn chế tài nguyên mà sử dụng Mặc dù hạn chế chấp nhận cho số lượng lớn ứng dụng, lại không khả thi trường hợp đặc biệt Khả điều khiển tài nguyên ngày trở nên quan trọng hơn, cho ứng dụng có deadline – tài nguyên phải khả dụng vào thời điểm định trước, phải xử lý kiện; xuất/nhập liệu từ người dùng Qua khảo sát hệ thống có, nhóm nghiên cứu nhận thấy hệ thống tạo hàng đợi theo thứ tự ưu tiên công việc cách hợp lý (đánh giá dựa vào thời gian chờ mức độ tối ưu tài nguyên) Đây hệ thống lý tưởng cho trường hợp người dùng chờ tới lượt sử dụng tài nguyên có tài nguyên, họ sử dụng chúng khoảng thời gian ngắn (có thể vài phút, vài tiếng vài ngày, vô hạn) Tuy nhiên, hệ thống hoàn toàn không thích hợp với trường hợp sử dụng khác, ví dụ người dùng yêu cầu tài nguyên thời điểm cụ thể cần tài nguyên đảm bảo khoảng thời gian Nói đơn giản hơn, phương pháp cung cấp tài nguyên thời điểm cụ thể tức thời không tương thích với việc chạy công việc khối Có thể nhận rằng, hệ thống cung cấp tài nguyên tổng quát đáp ứng hết trường hợp sử dụng tài nguyên điện toán khác đồng thời Thêm vào đó, kịch lại có thước đo khác mức độ hiệu việc cấp phát Để giải vấn đề này, bước định nghĩa hệ thống yêu cầu trình cấp phát tài nguyên, mà yêu cầu cung cấp tài nguyên cho tất mục đích sử dụng Trong đề tài này, sử dụng khái niệm “lease” để đại diện cho hợp đồng người thuê tài nguyên nhà cung cấp tài nguyên Việc thuê tài nguyên điện toán hiểu yêu cầu sử dụng tài nguyên phần cứng (CPU, Trang 10 ThS Trần Công Tú không hỗ trợ chiếm lấp So sánh với trình lập lịch có hỗ trợ chiếm lấp hiệu dở chút Nhưng bù lại phương pháp cho phép nhà cung cấp tài nguyên yêu cầu nhiều điều kiện hợp đồng linh động hơn, đặc biệt điều kiện liên quan đến môi trường phần mềm họ cung cấp cho khách hàng trình lập lịch không dựa máy ảo có hỗ trợ chiếm lấp yêu cầu ứng dụng hệ điều hành phải có khả checkpointing Tuy nhiên, máy ảo chứng tỏ công cụ hiệu sử dụng để đáp ứng mục tiêu (MT3-RECONCILE) Sử dụng máy ảo nảy sinh nhiều chi phí chuyển ảnh đĩa có khả lớn, hay tạm treo/phục hồi phải lưu phục hồi máy ảo với toàn trạng thái nhớ đến từ đĩa Đề tài chi phí bỏ qua, phải mô hình lập lịch xác (MT4-MODELVIRT) Bỏ qua chi phí chuyển ảnh đĩa gây thời gian đợi lâu không chấp nhận trường hợp đặt chỗ Ta trình bày xử lý chi phí riêng biệt lập lịch đảm bảo ảnh đĩa đến Và chiến lược sử dụng lại ảnh đĩa không hoàn toàn giảm bớt phần chi phí Nói cách khác, bỏ qua chi phí tạm treo phục hồi trì hoãn việc bắt đầu hợp đồng phụ thuộc vào thao tác cần hoàn thành trước thời gian (ví dụ chiếm lấp tài nguyên cho hợp đồng đặt chỗ) Ta trình bày mô hình dự đoán trước thời gian tạm treo phục hồi nhiều điều kiện (nhiều máy ảo máy đơn, hệ thống tập tin cục toàn cục ), cho phép trình lập lịch xếp đủ thời gian cho thao tác Mặc dù mô hình cho kết ước lượng không xác số trường hợp Cuối cùng, việc đáp ứng mục tiêu (MT3-RECONCLIE) yêu cầu phải cung cấp vài dạng điều khiển chấp nhận hợp đồng Mặt khác, người dùng không khuyến khích yêu cầu điều hợp đồng có mức bảo đảm QoS cao (hợp đồng đặt chỗ có thời hạn) Những kết Chương nêu bật việc chèn yêu cầu hợp đồng đặt chỗ vào có ảnh hưởng nghiêm trọng hiệu phía nhà cung cấp tải Tất nhiên, thực nghiệm số hợp đồng đặt chỗ chèn vào ta điều khiển; kịch giới thực, nhà cung cấp tài nguyên cần phải có nhiều cách để định xem nên từ chối hợp đồng Vì vậy, ta tránh tình trạng tải Ta đề xuất phương pháp dựa giá cả, tức nhà cung cấp định giá hợp đồng người dùng có quyền từ chối hay chấp nhận Nhưng bây giờ, ta khảo sát chiến lược nhằm dành doanh thu cao Và hầu hết trường hợp, chiến lược định giá ADAPTIVE sử dụng tài nguyên để dành doanh thu chiến lược khác Đến đây, nhiều công việc để làm sau luận văn này, nhóm nghiên cứu không cho nhắm đến mục tiêu cách rõ ràng Tuy nhiên, luận văn lối tiếp cận dựa máy ảo đến việc hỗ trợ nhiều loại hợp đồng có công lao xứng đáng, ta cung cấp bước tiến thực hướng tới giải pháp cung cấp tài nguyên đáp ứng mục tiêu Hướng phát triển: Khi tiếp tục nghiệp nghiên cứu từ luận văn này, nỗ lực chủ yếu nhóm tập trung vào vấn đề sau: Cải thiện mô hình: Cho đến nay, ta trình bày mô hình tài nguyên trình lập lịch lập lịch thao tác xác hơn, thao tác chuyển ảnh đĩa hay tạm treo/ phục hồi Tuy nhiên, tồn vài khía cạnh mà mô hình cần “tinh chế” lại Đầu tiên vấn đề nêu Chương 7, mô hình dự đoán không xác cho thời gian thực thao tác nhân tố không đoán trước Ví dụ lệnh ban hành cần thời gian lâu để xử lý Có giải pháp làm Haizea khoan dung với sai sót Trong trường hợp bây giờ, có thao tác thời gian lâu mong đợi Haizea xếp vào cách vui vẻ xảy Thay vào đó, trình lập lịch phát sai sót sửa đổi lại thời gian lập lịch cần thiết Như viết này, công việc thực cách thêm chức vào Haizea Tuy nhiên, tự thân mô hình cần phải quan tâm đến việc không dự đoán xác thời gian hoàn thành thao tác Dẫu cho Haizea phát phản ứng lại thao tác thời gian lâu việc trì hoãn tạm treo máy ảo hay chuyển ảnh đĩa gây nên hợp đồng đặt chỗ bắt đầu Ta giảm thiểu bớt cách phân bố số thời gian đệm để đáp trả lại trì hoãn xảy Với đổi chác thao tác hoàn thành giờ, tài nguyên để rảnh suốt thời gian đệm Do đó, ta mong muốn nghiên cứu xác suất vi phạm điều lệ hợp đồng thay đổi với tính chất xâm lược mô (thời gian đệm phân bố nào) cách mà số vi phạm hợp đồng giảm tối thiểu Tiếp theo, mô hình ta giả định môi trường phần mềm triển khai ảnh đĩa triển khai từ kho chứa ảnh đơn Mặc dù giả định hợp lý ta lại muốn mô hình “chuẩn bị hợp đồng” tổng quát Nghĩa có hệ thống chuẩn bị ảnh đĩa chạy phân phối ảnh đĩa qua kỹ thuật P2P (như BitTorrent) mà không phụ thuộc vào kho chứa ảnh đơn Hơn nữa, mô hình chuẩn bị chuyển ảnh đĩa thực thi thực nghiệm chế độ mô không tích hợp với OpenNebula (khi chạy Haizea chế độ OpenNebula, ảnh đĩa phải triển khai trước máy đơn vật lý truy cập qua hệ thống tập tin toàn cục) Ta theo đuổi tích hợp để giống thực nghiệm kiểm tra kỹ thuật tạm treo/phục hồi với OpenNebula, ta sửa đổi tốt trình chuyển ảnh đĩa theo chế độ theo dõi phần cứng thực Cuối cùng, ta chạy Haizea với OpenNebula cấu hình khiêm tốn (64 nhân) ta muốn nghiên cứu xem tự thân Haizea mở rộng không (khoảng hàng ngàn máy đơn), thử thách nảy sinh hỗ trợ nhiều loại hợp đồng cấu hình rộng Tìm hiểu sâu sách dựa giá: Tới phần kết thúc luận văn này, ta bắt đầu khảo sát hữu dụng sách dựa giá để xác định xem hợp đồng có nên đồng ý không Tuy nhiên, hướng tiếp cận ta giới hạn nhìn khía cạnh để nhà cung cấp tài nguyên tối đa doanh thu Tuy nhiên, số nhà cung cấp tài nguyên quan tâm đến tận dụng tài nguyên tối đa hơn, phải kiếm doanh thu đủ để trả dần số tài nguyên họ Chính sách định giá ADAPTIVE trình bày luận văn xác định giá dựa số lượng tài nguyên yêu cầu (với mức giá xác định dựa hành vi người dùng) dựa việc hợp đồng có thời hạn kín hay có bao hàm chiếm lấp tài nguyên khác không (những nhân tố khác trình bày chương trước ảnh hưởng đến tận dụng) Do đó, ta nhắm đến việc khảo sát sách định giá, đặc biệt sách có mức giá xác định dựa cấp độ bảo đảm chất lượng yêu cầu từ người dùng Ta đặt biệt mong muốn kết hợp việc đàm phán giá vào chu kỳ sống hợp đồng Tức người dùng yêu cầu hợp đồng, nhà cung cấp cung cấp giá cho hợp đồng cung cấp giá khác với mức độ bảo đảm dịch vụ khác Nếu hợp đồng vi phạm với giá phạt trả cho người dùng xảy cố, nhà cung cấp tài nguyên cung cấp giá khác dựa tổng số giá phạt: hợp đồng với mức phạt cao đặt cho giá cao khả bị nhà cung cấp vi phạm điều khoản hợp đồng Trong công việc tới ta chỉnh sửa lại mô hình tài nguyên cho kết bước cải tiến đặc trưng cách hợp đồng lập lịch Haizea chấp lượng dịch vụ mà người dùng nhận công việc sách dựa giá mang tính lý thuyết Sẽ thật khó để kết luận hiệu sách không thực nghiệm với người dùng thực Nhưng ta tin với kết có dù chế độ mô cung cấp hiểu biết quý báu cách định giá hợp đồng cho nhà cung cấp tài nguyên Đưa Haizea vào thực tế: Ta có kế hoạch tiếp tục công việc Haizea xa đưa vào môi trường sản xuất Mặc dù việc cần nhiều kỹ thuật trình nghiên cứu ta tin cuối tiết lộ câu hỏi trình nghiên cứu mà sinh ta rời khỏi vỏ bọc giả định môi trường điều khiển, phải xử lý với người dùng giới thực Một số vấn đề ta nhắm đến Haizea nhắc đến trên: giúp Haizea khoan dung với sai sót tích hợp chức lập lịch chuyển ảnh đĩa với OpenNebula Vấn đế khác ảnh hưởng đến việc áp dụng vào môi trường sản xuất ta đặc biệt thích thú vấn đề leasing semantics giao diện đám mây từ xa EC2 OCCI để cung cấp tài nguyên máy ảo tức Ta mong muốn khảo sát cách giao diện but especially OCCI as an open standard mở rộng để hỗ trợ nhiều trường hợp hơn, ví dụ yêu cầu đặt chỗ đám mây Từng bước việc cho kết liên quan siêu lập lịch hợp tác phân phối thông qua đám mây giống nghiên cứu lưới điện toán TÀI LIỆU THAM KHẢO Bcfg2 [Online] http://trac.mcs.anl.gov/projects/bcfg2/ Packman [Online] http://www.archlinux.org/pacman/ J Smith and R Nair Virtual Machines: Versatile Platforms for Systems and Processes s.l : Morgan Kaufmann, 2005 A case for grid computing on virtual machines R J Figueiredo, P A Dinda, and J A B Fortes Washington : s.n., 2003 IEEE Computer Society Tools for growing and scaling grids T Freeman, K Keahey, I T Foster, A Rana, B Sotomayor, and F.Wuerthwein Lecture Notes in Computer Science, s.l : A Dan and W Lamers, ICSOC, 2006, Vol 4294 A Andrieux, K Czajkowski, A Dan, K Keahey, H Ludwig, T Nakata Web services agreement specification (ws-agreement) [Online] https://forge.gridforum.org/projects/graap-wg/ Virtual Clusters on the fly - fast, scalable, and flexible installation H Nishimura, N Maruyana and S Matsuoka Proceeding of Seventh IEEE International Symposium on Cluster Computing and the Grid., s.l : IEEE Computer Society, 2007 Model-based recource selection for efficient virtual cluster deployment S Yamasaki, N Maruyama and S Matsuota Proceedings of the 2ng International Workshop on Virtalization Technology in Distributed Computing, s.l : IEEE Computing Society, 2007, Vol VTDC '07 Science clouds: Early experiences in cloud computing for scientific applications K Keahey, R Figueiredo, J Foster, T Freeman and M Tsugawa Cloud Computing and Applications 2008, s.l : CCA08, 2008 10 Xen and the art of cluster scheduling N Fallenbeck, H.-J Picht, M Smith, and Freiesleben Virtualization Technology in Distributed Computing, s.l : IEEE Computer Society, 2006, Vol VTDC '06 11 Effecient Virtual Machine Caching in Dynamic Virtual Clusters D.Stanzione, W Emeneker and 2007, Vol ICAPDS 2007 Conference 12 Enabling interactive jobs in virtualized data centers J.P Walters, B, Bantwal, V, Chauhary Cloud Computing Applications 2008, 2008, Vol CCA08 13 Autonomic live adaptation of virtual computaion environments in multi-domain infrastructure P Ruth, J Rhee, D.Xu, R.Kennell and S.Goasguen IEEE International Conference on Autonomic Computing, 2006 14 VioCluster: Virtualization for dynamic computation domains D.Xu, P McGachey and Proceedings of the IEEE International Conference on Cluster computing (Cluster'05), 2005 15 From virtualized recources to virtual computing grids: In the VIGO system S Adabala, V Chadha, P.Chawla, R.Figueredo, J Fosters, I Krusl, A, Matsunaga; Future Gener Comput Syst., 2005, Vols 21(6):896-909 16 VMplants: Providing and managing virtual machine execution environments for grid computing I Krsul, A.Ganguly, J Zhang, J.A.B Fortes, J.Figuiredo Conference on Supercomputing, s.l : IEEE Computer Society, 2004, Vol ACM/IEEE 17 Maestro-VC: A paravirtualized execution environment for secure on-demand cluster computing N Kiyanclar, G.A.Koening and W.Yurcurik Sixth IEEE International Symposium on Cluster Computing and the Grid, s.l : IEEE Computer Society, 2006, Vol CCGRID'06 18 Virtual infrastructure for managing scientific tasks in a distributed computing environments B Stomayor, R.S Montero, I.M Llorente and I Foster Challenges of Large Applications in Distributed Environments, 2006 19 The ecalyptus open-source cloud-computing D Nurmi, R Wolski, C Grzegorczyk, G Obertelli, S Soman, L Yourseff and D Zagorodnov In Cloud Computing and Applications 2008 (CCA08), 2008 20 Dynamic placement of virtual machines for managing SLA violations N, Bobroff, A.Knochet and K.Beauty 10th IFIP/IEEE International Symposium on Intergrated Management, pages 119-128, 2007, Vol IM07 21 Recon: A tool to recommend dynamic server consilidation in multi-cluster data centers S Mehta and A Neogi Network Operations and Management Symposium, s.l : IEEE, April, 2008 22 Extensible resouce management for networked virtual computing Grit, L.E PhD thesis, Durham, NC, USA, s.l : Adviser-Jeffry S.Chase, 2007 23 Core algorithms of the maui scheduler D.B Jacson, Q Snell and M.J Clement JSSPP '01: Revised Papers from the 7th International Workshop on Job scheduling strategies for Parallel Processing, London : UK Springer-Verlag, 2001 24 The ANL/INM Sp Scheduling system D.A Lifka The Workshop on Job scheduling strategies for Parallel Processong, London : Springger-Verlag, 1995, Vol IPPS'95 25 Utilizaiton, predictability, workloads, and user runtime estimates in scheduling the IBM SP2 with backfilling A.W Mu'alem and D.G Feitelson Parallel Distrib Syst, s.l : IEEE Trans, 2001 12(6): 529-543 26 Parallel job scheduling - a status report D Feitelson, L/ Rudolph, and U, Schewiegeshohn 10th Workshop on Job scheduling Stragies for Parallel Processing, NY : NewYork, 2004 27 A distributed resource management architecture that supports advance reservation and co-allocation I Foster, C.Kesssleman, C.Lee, R.Lindell, K.Nahrtedt, and A Roy Proceedings of the International Workshop on Quality of Service, 1999 28 The performance impact of advance reservation meta-scheduling Q Snell, M.J Clement, D.B Jackson Proceedings of the Workshop on Job Scheduling Strategies for Parallel Processing, London : Springer-Verlag, 2000, Vol IPDPS '00/JSsPP '00 29 Berkely lab checkpoint/restart (blcl) for linux clusters P.H, Hargrove and J.C Duell Conference Series, s.l : Journal of Physics, 2006 46:494-499 30 Varq: Virtual advance reservations for queues D.C Nurmi, R Wolski, and J,Brevik HDPC '08: The 17th international symposium on High performance distributed computing., NewYork, NY, USA : ACM, 2008 31 Scheduling in hpc resource management systems: Queuing vs Planning M Hovestadt, O.Kao, A.Keller and A.Streit Lecture Notes in Computer Science, s.l : D.G Feitelson, 2003, Vols JSSPP - 2862 32 On the impact of reservations from the grid on planning-based recource management F Heine, M Movestald, O.Kao and Streit 5th International Conference on Computaion Science: Lecture notes, s.l : Springer, 2005, Vol LNCS 33 Condor-G: A computaion management agent for multi-institutional grids J Frey, T.Tannerbaum, M.Livny, I.Foster and S.Tuecke Cluster Computing, 2002 5(3)L237-246 34 Creating personal adaptive clusters for managing scientific tasks in a distributed computing environment E Walker, J.Gardner, V.Litvin, E.Turner In Chellenges of Large Applicaitons in Distributed Enviromnents, 2006 35 Falkon: a fast and light-weight task execution framework I Raicu, Y.Zhao, C.Dumitrercu, I Foster and M.Wildle Hight performance Computing, Netwroking, Storage and Analysis, s.l : IEEE/ACM, 2007 36 Swift: Fast, reliable, lossely coupled parallel computation Y Zhao, M.Hategan, B.Clifford, I.Foster, G von Laszewski, V.Nefedova, I Raicu IEEE International Workshop on Scientific Workflows, s.l : IEEE, 2007 37 Virtual clusters for grid communities I T Foster, K.Keahey, D.Shceftner, B.Stomayor and X.Zhang IEEE Computer Society, s.l : CCGRID, 2006 38 Effictienly scheduling advance reservation on grids U Frooq, S.Majudar Modeling, Analysis, Simulation of Computer Systems, s.l : Technical Report SE05-14, 2005 39 Impact of laxity of scheduling with advance reservation in grids U Farooq, S Majumdar and E.W Parsons Modelling, Analysis and Simulation of C.Systems, International Sympoisim, 2005 40 Online real-time preemtive scheduling of jobs with deadlines B.DasGupta and M.A.Palis APPROX '00 Approximation Algorithms for Combinatorial Optimization, UK : Springer-Verlag, 2000 41 Flexible resource reservation using slack time for service grid C Hu, J Huai, and T.Wo Parallel and Distributed Systems, Washington DC, USA : IEEE Computer Society, 2006 42 Grid capacity planning with negotiation-based advance reservation for optimized qos M Siddiqui, A.Villazon and T.Fahringer Supercomputing ACM/IEEE conference, NewYork, NY, USA : ACM, 2006 43 Efficient implementation of best-fit scheduling for advance reservations and qos in grids C Castillo, G N Rouskas, and K.Harfoush International Workshop on End-to-End virtualization and Grid management, s.l : EVGM, 2007 44 Performance impact of of resource provisioning on workflows G Signh, C.Kesslman, E.Deelman s.l : Technical Report 05-850, 2005, Vols Department of Computer Science, University of South California 45 Final report teragid co-scheduling/metascheduling requirement analysis team [Online] http://www.teragridforum.org/mediawiki/images/b/b4/MetaschedRatReport.pdf 46 Resouce co-allocation in computational grids K Czajkowski, I Foster and C.Kessleman 8th IEEE International Sympoisium on High Performance Distributed Computing, s.l : HPDC'99, 1999 IEEE Computer Society 47 A system for supporting urgent high-performance computing P.Beckman, S.Nadella, N.Trebon and I.Beschasnikh International Federation for Information Processing, Grid based Problem Solving Environment, 2007, Vol IFIP 48 Adcance reservation policies for workflows H.Zhao, R Sakellariou 12th Workshop on Jon Scheduling for Parallel Processing, 2006 49 The reservoir model and architecture for open federated cloud computing B Rochwerger, D Britgand, E.Levy, A Galis, K Nagin s.l : IBM Systems Journal, October 2008 50 The ALN/IBM SP Scheduling System B.A Lifta The International Workshop on Parallel Scheduling, London, UK : Springer-Yanglad, 1995 51 Parallel workloads archive [Online] http://wwww.cs.huji.ac.il/labs/parallel/workload/ PHỤ LỤC: PHƯƠNG PHÁP THỰC NGHIỆM Chương trình bày quy trình thực nghiệm xử lý kết thực nghiệm mô phần mềm mô lập lịch Haizea Môi trường phần mềm cần thiết: • Hệ điều hành nhân Linux Ở đây, nhóm nghiên cứu sử dụng phân phối • Ubuntu 8.10 để chạy thực nghiệm Ubuntu 10.10 để xử lý kết Python (tối thiểu phiên 2.5) Với hệ điều hành Ubuntu 8.10, phiên Python tích hợp sẵn 2.5.5 • mxDateTime 3.1.0 http://www.egenix.com/products/python/mxBase/mxDateTime/) • Mako Templates for Python 0.2.2 (http://makotemplates.org) • R 2.8.x (http://r-project.org) Tại thời điểm bắt đầu làm thực nghiệm (tháng 3/2011), nhóm sử dụng Ubuntu 8.10 tính tương thích cao phiên Python 2.5 tích hợp sẵn phần mềm Haizea Tuy nhiên, bắt đầu xử lý liệu, nhóm nhận thấy phần mềm thông kê R-project16,17 không hỗ trợ phiên nữa, nên chuyển liệu thu sang Ubuntu 10.10 để tiếp tục xử lý Sử dụng lệnh sau để tạo thư mục tải phiên Haizea 18 máy: 16 https://wiki.ubuntu.com/Releases 17 http://cran.csiro.au/ 18 http://haizea.cs.uchicago.edu/ Sau đó, sử dụng Subversion để cập nhật tập tin cấu hình cần thiết cho Haizea: Thiết lập biến môi trường: Tải xử lý sở liệu Blue Horizon: Các dòng lệnh sau trình bày cách tải xử lý liệu từ sở liệu công việc SDSC Blue Horizon: Chèn advance-reservation lease vào CSDL: Tạo tập tin cấu hình cho Haizea dựa vào CSDL vừa xử lý: Tạo script để chạy Haizea: Sử dụng script để chạy thực nghiệm: Xử lý liệu: Vẽ biểu đồ: [...]... năng và điều kiện hạn hẹp, đề tài chỉ dừng lại ở mức mô phỏng 4 http://haizea.cs.uchicago.edu 5 http://www.opennebula.org Trang 13 ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO Tài liệu này trình bày kết quả khảo sát các hệ thống định thời cấp phát tài nguyên ảo đã có; tìm hiểu và thực nghiệm trên một mô hình mới Các chương được phân bố như... đích của bài nguyên cứu này, vì nhóm nghiên cứu chỉ tập trung vào quản lý tài nguyên ngay trong nhà cung cấp đó Trang 35 ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO Hầu hết những hệ thống này đều coi VM do hệ thống Cluster-On-Demand quản lý như là một ví dụ về tài nguyên có khả năng phân chia (mặc dù được nhấn mạnh rằng các hệ thống đó thích... Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO nhớ, băng thông mạng, …) và môi trường phần mềm cần thiết trong một khoảng thời gian nhất định (tính khả dụng) Tất nhiên là có rất nhiều kiểu cung cấp tài nguyên, như một trình lập lịch cho các công việc khối, hệ thống grid, điện toán đám mây, và các trung tâm dữ liệu cho thuê máy chủ Khi thuê tài nguyên ở một trong những nhà cung cấp. .. những hệ thống định thời cấp phát tài nguyên ảo ở CHƯƠNG 4: CÁC MÔ HÌNH VÀ CHIẾN LƯỢC CẤP PHÁT TÀI NGUYÊN ĐÃ CÓ Chương cuối của phần A, CHƯƠNG 5: VẤN ĐỀ TẬN DỤNG TRONG CẤP PHÁT TÀI NGUYÊN, đưa ra một vài nhận xét và các điểm hạn chế cần được khắc phục của những hệ thống kể trên PHẦN B: MÔ HÌNH QUẢN TRỊ VÀ PHÂN PHỐI TÀI NGUYÊN MỚI tập trung vào nghiên cứu một mô hình quản trị và lập lịch tài nguyên. .. nhu cầu cấp phát tài nguyên thường sẽ biến đổi trong toàn bộ quá trình hay chỉ trong một lần triển khai Trang 21 ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO CHƯƠNG 3: KỊCH BẢN QUẢN TRỊ TÀI NGUYÊN Sự đa dạng về trường hợp yêu cầu tài nguyên cũng như môi trường trong một không gian làm việc ảo đã gây tạo nhiều vấn đề cần tìm hiểu cho đề tài này... đề này, đề tài tìm hiểu một một hệ thống cho thuê tài nguyên mới hỗ trợ việc cung cấp tài nguyên đa mục đích đồng thời quản trị tài nguyên một cách hiệu quả theo nhiều tiêu chí khác nhau Hệ thống này tập trung vào vấn đề cung cấp đồng thời những công việc khối có thể chạy nền (khách hàng thuê tài nguyên có thể đợi tới khi tài nguyên rảnh) và đặt chỗ (tài nguyên được thuê phải khả dụng tại thời điểm... xác định bằng việc cấp phát tài nguyên tại thời điểm chính xác mà không bị ngắt, và cả hai cách xác định đều liên quan đến việc sử dụng tối đa tài nguyên phần cứng và mức lợi nhuận hợp lý Mặc dù các cách cấp phát tài nguyên loại best-effort và advance reservation đều được nghiên cứu riêng biệt, nhưng cả hai đều liên quan đến vấn đề tận dụng tài nguyên Đề tài này chủ yếu tìm hiểu một mô hình cấp phát tài. .. Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI CẤP PHÁT TÀI NGUYÊN ẢO Hai tiêu chuẩn về môi trường và tài nguyên của không gian làm việc ảo có thể phát triển lên nhờ tận dụng những tiện ích ở trên Bảo mật, cô lập, và khả năng điều chỉnh tài nguyên đều có thể ảnh hưởng tích cực đến tiêu chuẩn về chất lượng môi trường bằng cách đảm bảo không gian làm việc có đủ tài nguyên (CPU, RAM ) để... định nghĩa chung nào cho từ “lease” Tuy nhiên, lease nói chung trước tiên luôn cung cấp một khái niệm về cấp phát tài nguyên (băng thông mạng, tài nguyên phần cứng thô trong các trung tâm dữ liệu) được tổ chức bởi một chủ cho thuê (hay một nhà cấp phát tài nguyên) và được cung cấp cho người thuê (hay khách hàng Trang 28 ThS Trần Công Tú Huỳnh Thị Ngọc Dung Hồ Nguyên Hãn TÌM HIỂU CÁC HỆ THỐNG ĐỊNH THỜI... bao gồm 3 chỉ tiêu: tài nguyên phần cứng, phần mềm sẵn có trên tài nguyên đó, và thời gian những tài nguyên đó được bảo đảm khả dụng Một mô hình cấp phát tài nguyên hoàn chỉnh phải cho phép người thuê xác định yêu cầu thông qua 3 chỉ tiêu trên, và nhà cấp phát tài nguyên có thể đáp ứng yêu cầu đó một cách hiệu quả 3- Điều hòa yêu cầu từ những loại lease khác nhau (MT3) Cấp phát tài nguyên loại best-effort ... http://www.clusterresources.com/pages/products/maui-cluster-scheduler.php/ http://www.clusterresources.com/pages/products/maui-cluster-suite/workload-manager.php 10 http://platform.com/ 11 http://www.ibm.com/systems/clusters/software/loadleveler.html... VM Tiếp theo phần xem xét phương pháp giải nay, gồm có phương pháp VM-based (2.1), Lease-based (2.2), Job-based (2.3) Phần sau thảo luận thiếu sót phương pháp (2.4) 4.1 Phương pháp VM-based: VM... vụ cho thuê tài nguyên đảm bảo chất lượng (Quality-of-Service - QoS) cách lập lịch công việc kèm theo deadline Phương pháp để thực đảm bảo QoS bao gồm sử dụng kỹ thuật chiếm đóng (38) (39), (40),