NKK-HUST c om Kiến trúc máy tính cu u du on g th an co ng Chương CÁC KIẾN TRÚC SONG SONG Nguyễn Kim Khánh Trường Đại học Bách khoa Hà Nội 2017 Kiến trúc máy tính CuuDuongThanCong.com 481 https://fb.com/tailieudientucntt NKK-HUST Nội dung học phần cu u du on g th an co ng c om Chương Giới thiệu chung Chương Cơ logic số Chương Hệ thống máy tính Chương Số học máy tính Chương Kiến trúc tập lệnh Chương Bộ xử lý Chương Bộ nhớ máy tính Chương Hệ thống vào-ra Chương Các kiến trúc song song 2017 Kiến trúc máy tính CuuDuongThanCong.com 482 https://fb.com/tailieudientucntt NKK-HUST c om Nội dung chương cu u du on g th an co ng 9.1 Phân loại kiến trúc máy tính 9.2 Đa xử lý nhớ dùng chung 9.3 Đa xử lý nhớ phân tán 9.4 Bộ xử lý đồ họa đa dụng 2017 Kiến trúc máy tính CuuDuongThanCong.com 483 https://fb.com/tailieudientucntt NKK-HUST om 9.1 Phân loại kiến trúc máy tính c Phân loại kiến trúc máy tính (Michael Flynn -1966) SISD - Single Instruction Stream, Single Data Stream n SIMD - Single Instruction Stream, Multiple Data Stream n MISD - Multiple Instruction Stream, Single Data Stream n MIMD - Multiple Instruction Stream, Multiple Data Stream cu u du on g th an co ng n 2017 Kiến trúc máy tính CuuDuongThanCong.com 484 https://fb.com/tailieudientucntt NKK-HUST SISD IS DS MU om PU c CU n n ng co du n cu u n on g n an n CU: Control Unit PU: Processing Unit MU: Memory Unit Một xử lý Đơn dòng lệnh Dữ liệu lưu trữ nhớ Chính Kiến trúc von Neumann (tuần tự) th n 2017 Kiến trúc máy tính CuuDuongThanCong.com 485 https://fb.com/tailieudientucntt NKK-HUST SIMD om DS LM1 co ng c PU1 du on g th CU cu u LM2 an PU2 IS 2017 DS DS PUn LMn Kiến trúc máy tính CuuDuongThanCong.com 486 https://fb.com/tailieudientucntt NKK-HUST SIMD (tiếp) om Đơn dòng lệnh điều khiển đồng thời đơn vị xử lý PUs Mỗi đơn vị xử lý có nhớ liệu riêng LM (local memory) Mỗi lệnh thực tập liệu khác Các mơ hình SIMD co n n cu u n du on g n th an n ng c n Vector Computer Array processor 2017 Kiến trúc máy tính CuuDuongThanCong.com 487 https://fb.com/tailieudientucntt NKK-HUST c Một luồng liệu truyền đến tập xử lý Mỗi xử lý thực dãy lệnh khác Chưa tồn máy tính thực tế Có thể có tương lai on cu u n du n g th an n co ng n om MISD 2017 Kiến trúc máy tính CuuDuongThanCong.com 488 https://fb.com/tailieudientucntt NKK-HUST MIMD om c on g n Multiprocessors (Shared Memory) Multicomputers (Distributed Memory) du n cu u n th an co n Tập xử lý Các xử lý đồng thời thực dãy lệnh khác liệu khác Các mơ hình MIMD ng n 2017 Kiến trúc máy tính CuuDuongThanCong.com 489 https://fb.com/tailieudientucntt NKK-HUST MIMD - Shared Memory PU1 IS on du cu u PU2 DS Bộ nhớ dùng chung g CU2 th an CU1 DS co IS ng c om Đa xử lý nhớ dùng chung (shared memory mutiprocessors) CUn 2017 IS PUn DS Kiến trúc máy tính CuuDuongThanCong.com 490 https://fb.com/tailieudientucntt NKK-HUST Các dạng tổ chức xử lý đa lõi CPU Core n CPU Core L1-D L1-I L1-D L1-I L1-D L1-I L1-D L1-I L2 cache L2 cache c ng L2 cache co I/O Main memory an Main memory I/O (b) Dedicated L2 cache on g th (a) Dedicated L1 cache CPU Core n om CPU Core CPU Core n du CPU Core cu u L1-D L1-I L1-D L1-I CPU Core CPU Core n L1-D L1-I L1-D L1-I L2 cache L2 cache L2 cache Main memory L3 cache I/O Main memory (c) Shared L2 cache 2017 I/O (d ) Shared L3 cache Kiến trúc máy tính CuuDuongThanCong.com 498 https://fb.com/tailieudientucntt NKK-HUST 32-kB L1 Caches Execution resources Arch state Arch state Execution resources Thermal control APIC APIC Power management logic du 2MiB shared L2 cache MB L2 shared cache Bus interface cu u n Thermal control g 32KiB instruction and 32KiB data on n 32-kB L1 Caches c ng th n co n 2006 Two x86 superscalar, shared L2 cache Dedicated L1 cache per core an n om Intel - Core Duo Front-side bus 2017 Kiến trúc máy tính CuuDuongThanCong.com 499 https://fb.com/tailieudientucntt NKK-HUST Core Core Core Core Core 32 kB 32 kB L1-I L1-D 32 kB 32 kB L1-I L1-D 32 kB 32 kB L1-I L1-D 32 kB 32 kB L1-I L1-D 32 kB 32 kB L1-I L1-D 32 kB 32 kB L1-I L1-D 256 kB L2 Cache 256 kB L2 Cache 256 kB L2 Cache 256 kB L2 Cache 256 kB L2 Cache 256 kB L2 Cache 12 MB L3 Cache on g th an co ng Core c om Intel Core i7-990X QuickPath Interconnect cu u du DDR3 Memory Controllers ؋ 8B @ 1.33 GT/s 2017 ؋ 20B @ 6.4 GT/s Kiến trúc máy tính CuuDuongThanCong.com 500 https://fb.com/tailieudientucntt NKK-HUST 9.3 Đa xử lý nhớ phân tán Node Memory om CPU … Disk and I/O … ng Local interconnect Disk and I/O co Local interconnect c … th an Communication processor n Máy tính qui mô lớn (Warehouse Scale Computers or Massively Parallel Processors – MPP) Máy tính cụm (clusters) cu u n du on g High-performance interconnection network 2017 Kiến trúc máy tính CuuDuongThanCong.com 501 https://fb.com/tailieudientucntt NKK-HUST c om Mạng liên kết (b) (d) cu u du on g (c) th an co ng (a) 2017 (e) (f) (g) (h) Kiến trúc máy tính CuuDuongThanCong.com 502 https://fb.com/tailieudientucntt NKK-HUST c ng cu u du n on g th n co n Hệ thống qui mô lớn Đắt tiền: nhiều triệu USD Dùng cho tính tốn khoa học tốn có số phép tốn liệu lớn Siêu máy tính an n om Massively Parallel Processors 2017 Kiến trúc máy tính CuuDuongThanCong.com 503 https://fb.com/tailieudientucntt NKK-HUST co ng c om IBM Blue Gene/P (c) (d) th (b) System 72 Cabinets 73728 Cards 73728 Chips 294912 CPUs 144 TB g Cabinet 32 Boards 1024 Cards 1024 Chips 4096 CPUs TB on Board 32 Cards 32 Chips 128 CPUs 64 GB (e) cu u (a) Card Chip CPUs GB du Chip: processors 8-MB L3 cache an 2-GB DDR2 DRAM 2017 Kiến trúc máy tính CuuDuongThanCong.com 504 https://fb.com/tailieudientucntt NKK-HUST Cluster Nhiều máy tính kết nối với mạng liên kết tốc độ cao (~ Gbps) Mỗi máy tính làm việc độc lập (PC SMP) Mỗi máy tính gọi node Các máy tính quản lý làm việc song song theo nhóm (cluster) Tồn hệ thống coi máy tính song song Tính sẵn sàng cao Khả chịu lỗi lớn ng cu u n du on g n th n an co n c om n n n 2017 Kiến trúc máy tính CuuDuongThanCong.com 505 https://fb.com/tailieudientucntt NKK-HUST OC-48 Fiber c OC-12 Fiber om PC Cluster Google 128-port Gigabit Ethernet switch Two gigabit Ethernet links 80-PC rack cu u du on g th an co ng 128-port Gigabit Ethernet switch 2017 Kiến trúc máy tính CuuDuongThanCong.com 506 https://fb.com/tailieudientucntt NKK-HUST 9.4 Bộ xử lý đồ họa đa dụng om th n du n CPU host: thực theo GPGPU: tính tốn song song cu u n on g n an co ng n Kiến trúc SIMD Xuất phát từ xử lý đồ họa GPU (Graphic Processing Unit) hỗ trợ xử lý đồ họa 2D 3D: xử lý liệu song song GPGPU – General purpose Graphic Processing Unit Hệ thống lai CPU/GPGPU c n 2017 Kiến trúc máy tính CuuDuongThanCong.com 507 https://fb.com/tailieudientucntt NKK-HUST cu u du on g th an co ng c om Bộ xử lý đồ họa máy tính 2017 Kiến trúc máy tính CuuDuongThanCong.com 508 https://fb.com/tailieudientucntt NKK-HUST Streaming multiprocessor n cu u du on g th an co ng c om GPGPU: NVIDIA Tesla × Streaming processors n 2017 Kiến trúc máy tính CuuDuongThanCong.com 509 https://fb.com/tailieudientucntt NKK-HUST cu u du on g th an co ng c om GPGPU: NVIDIA Fermi 2017 Kiến trúc máy tính CuuDuongThanCong.com 510 https://fb.com/tailieudientucntt NKK-HUST NVIDIA Fermi Dispatch Unit Dispatch Unit co ng c Warp Scheduler Register File (32,768 x 32-bit) LD/ST Core Core Core Core LD/ST SFU LD/ST Core Core Core Core LD/ST CUDA Core LD/ST Core Core Core Core Dispatch Port LD/ST SFU Operand Collector LD/ST Core FP Unit Core Core Core LD/ST INT Unit LD/ST Core Core Core Core LD/ST Result Queue du on g n an n Có 16 Streaming Multiprocessors (SM) Mỗi SM có 32 CUDA cores Mỗi CUDA core (Cumpute Unified Device Architecture) có 01 FPU 01 IU th n om Instruction Cache Warp Scheduler SFU LD/ST Core Core Core Core LD/ST LD/ST Core Core Core Core cu u LD/ST SFU LD/ST Core Core Core Core LD/ST Interconnect Network 64 KB Shared Memory / L1 Cache Uniform Cache 2017 Kiến trúc máy tính CuuDuongThanCong.com 511 https://fb.com/tailieudientucntt cu u du on g th an co ng Hết c om NKK-HUST 2017 Kiến trúc máy tính CuuDuongThanCong.com 512 https://fb.com/tailieudientucntt ... Chương Giới thiệu chung Chương Cơ logic số Chương Hệ thống máy tính Chương Số học máy tính Chương Kiến trúc tập lệnh Chương Bộ xử lý Chương Bộ nhớ máy tính Chương Hệ thống vào-ra Chương Các kiến. .. kiến trúc song song 2017 Kiến trúc máy tính CuuDuongThanCong.com 482 https://fb.com/tailieudientucntt NKK-HUST c om Nội dung chương cu u du on g th an co ng 9. 1 Phân loại kiến trúc máy tính 9. 2... dùng chung 9. 3 Đa xử lý nhớ phân tán 9. 4 Bộ xử lý đồ họa đa dụng 2017 Kiến trúc máy tính CuuDuongThanCong.com 483 https://fb.com/tailieudientucntt NKK-HUST om 9. 1 Phân loại kiến trúc máy tính c Phân