Pokok Bahasan 4 Model Paralel Prosesor

1. Pokok Bahasan 4Model Paralel Prosesor Matakuliah : H0352/Pemrosesan Paralel Tahun : 2005 Versi : versi/01

2. Pada akhir pertemuan ini diharapkan mahasiswa akan dapat: • menjelaskan model pemrosesan paralel • menjelaskan topologi jaringan interkoneksi paralel • prosesor. Learning Outcomes

3. Menurut Quinn, ada tiga model • penting dalam paralel prosesor: • Processor Arrays • Multiprocessors • Multicomputers Oak Ridge National Laboratory, multicomputer. FLUENT, multiprocessors ASCI White, Massively Parallel Processor (MPP), processor arrays Model Paralel Prosesor

4. Processor array Processing element Processing element Processing element Processing element Data memory Data memory Data memory Data memory Front end computer Program and data memory Interconnection network CPU I/O processor data instruksi I/O I/O Processor Array Bagan umum processor arrays

5. Front end Processor array Processor Array • Front end computer: • skwensial vektor komputer • yang dibantu oleh processor • array untuk melakukan tugasnya. • Processor arrays: bertindak selaku co-processor • menerima perintah dan data dari front end computer. • System data parallel, dimana setiap prosesor • melaksanakan instruksi yang sama untuk data yang • berbeda, dilaksanakan oleh processor array. • Interconnection network: jaringan ini yang menentukan • topologi prosesor yang digunakan. Contoh: Connection Machine CM-200, menggunakan 65536 prosesor, dengan topologi hypercube.

6. CPU 1 CPU 1 CPU 1 Switching mechanism Memory banks I/O Devices Multiprocessors • Berdasarkan memory nya, dibagi mejadi: • Uniform Memory Acces (UMA) multiprocessor • Nonuniform Memory Acess (NUMA) multiprocessor UMA

7. Ethernet UMA Console Terminal SCED Board Memory 8 – 240 MBytes CPU 2 – 30 32-bit Multibus Adapter Board Multibus Interface Board MULTIBUS System Bus Printer SCI Bus Dual-Channel Disk Controller Disk Target Adapter Tape Target Adapter Contoh: Multiprocessor X.25 Multiprocessors

8. NUMA Memory CPU 1 Memory CPU 1 Memory CPU 1 Switching mechanism I/O Devices Contoh: TC 2000, 128 processors Multiprocessors

9. Contoh: - nCube, 8192 processors, topologi hypercube. - CM-5, 16384 processors, topology 4-ary hypertree. Multicomputers

10. Disk Disk Parallel I/O Devices Front-end computer I/O Processor Processor Processor Processor I/O Processor Processor I/O Processor Processor Multicomputers nCube 2

11. CM-52 Diagnostic Network Control Network Data Network I/O I/O High-bandwidth I/O interfaces and devices Hundreds or thousands of processing nodes, each with its own memory Ones or tens of control processors: used for logins, I/O, and administration CP CP CP CP CP CP CP M M M M M M M HIPPI or VME Interface P P P P P P P P M M M M M M M M Graphics output Multicomputers

12. Paragon XP/S Application Processor i860 XP Memory 16 – 64 MBytes Network Interface Message Processor i860 XP Performance Monitor Expansion Port Transfer Engines (2) Multicomputers

13. Flynn mengelompokan komputer berdasarkan data dan instruksi nya sebagai berikut. Data Instruksi Taxonomi Flynn

14. x data x y z data P1 P1 P2 P3 sin(x) sin(x) sin(y) sin(z) hasil hasil hasil hasil SISD SIMD x x y z data data P1 P2 P3 P1 P2 P3 sin(x) log(x) x*x + 2 sin(x) log(y) z*z+2 hasil hasil hasil hasil hasil hasil MISD MIMD Taxonomi Flynn

15. Untuk MIMD dapat dilaksanakan aturan sebagai berikut: Taxonomi Flynn • EREW (Exclusive Read Exclusive Write). • Membaca dan menulis bersamaan tidak diperbolehkan. • CREW (Concurrent Read Exclusive Write). • Membaca bersamaan diperbolehkan tapi menulis bersamaan tidak diperbolehkan. • CRCW (Concurrent Read Concurrent Write). • Membaca dan menulis bersamaan diperbolehkan. Ada tiga aturan yang dapat dilakukan untuk CRCW ini: • COMMON. Data yang ditulis harus sama. • ARBITRARY. Secara acak hanya satu processor yang berhak • menulis. • PRIORITY. Setiap processor mempunyai index. Index terendah • mempunyai prioritas tertinggi untuk menulis.

16. Taxonomi Flynn SIMD • Example: • for (i=0; i<10; i++) ~ if (a[i]<b[i]) ~ c[i] = a[i]+b[i]; ~ else ~ c{i] = 0; a[] 4 1 7 2 9 3 3 0 6 7 b[] 5 3 4 1 4 5 3 1 4 8 c[] p0 p1 p2 p3 p4 p5 p6 p7 p8 p9

17. Taxonomi Flynn SIMD • Example: • for (i=0; i<10; i++) pardo ~ if (a[i]<b[i])~ c[i] = a[i]+b[i]; ~ else ~ c{i] = 0; a[] 4 1 7 2 9 3 3 0 6 7 b[] 5 3 4 1 4 5 3 1 4 8 c[] p0 p1 p2 p3 p4 p5 p6 p7 p8 p9

18. Taxonomi Flynn SIMD • Example: • for (i=0; i<10; i++) pardo ~ if (a[i]<b[i]) ~ c[i] = a[i]+b[i]; ~ else ~ c{i] = 0; a[] 4 1 7 2 9 3 3 0 6 7 b[] 5 3 4 1 4 5 3 1 4 8 c[] 9 4 8 1 15 p0 p1 p2 p3 p4 p5 p6 p7 p8 p9 p0 p1 p2 p3 p4 p5 p6 p7 p8 p9

19. Taxonomi Flynn SIMD • Example: • for (i=0; i<10; i++) pardo ~ if (a[i]<b[i]) ~c[i] = a[i]+b[i]; ~ else ~c{i] = 0; a[] 4 1 7 2 9 3 3 0 6 7 b[] 5 3 4 1 4 5 3 1 4 8 c[] 9 4 0 0 0 8 0 1 0 15 p0 p1 p2 p3 p4 p5 p6 p7 p8 p9 p0 p1 p2 p3 p4 p5 p6 p7 p8 p9 p0 p1 p2 p3 p4 p5 p6 p7 p8 p9

20. Connection Network • static networks • Komunikasi point-to-point menghubungkan antar prosesor. • Komunikasi ini disebut juga dengan direct networks. • dynamic networks • Komunikasi dijalankan secara dinamis menggunakan switch untuk • membangun jalur antar prosesor dan memory bersama. • Komunikasi ini disebut juga dengan indirect networks.

21. Connection Network Static/direct network Dynamic/indirect network p p p p p p p p switching element network interface/switch prosesor

22. Dynamic network

23. Cross bar Dynamic network

24. Central Data Bus Prosesor dan global memory dihubungkan menggunakan bus bersama Keuntungan: sederhana dan low cost. Kerugian: hanya satu prosesor dapat menghubungi global memory dalam waktu satu waktu. Dynamic network

25. Interchange Box 0 0 1 0 0 1 0 1 0 0 0 1 Upper Broadcast Straight 0 1 1 1 1 1 0 1 1 0 0 1 Lower Broadcast Swap Interchange box dipakai sebagai switch Dynamic network

26. Hypercube Connection 1 N = 2m 3 N = jumlah input atau output m = jumlah tingkat Setiap tingkat terdiri dari N/2 interchange box. 2 1: 0 – 4, 1 – 5, 2 – 6, 3 – 7 2: 0 – 2, 1 – 3, 4 – 6, 5 – 7 3: 0 – 1, 2 – 3, 4 – 5, 6 - 7 4 5 0 1 6 7 2 3 Dynamic network

27. Contoh: Untuk 8 input atau output maka diperlukan: 8 = 2m , m = 3, jadi 3 tingkat Tiap tigkat terdiri dari 8/2 = 4 interchange box. Hypercube Connection 123 0 0 0 0 0 0 0 0 4 4 1 1 2 2 1 1 1 2 2 1 1 1 1 2 2 3 3 5 3 3 5 3 3 3 2 4 4 2 2 4 4 4 4 4 5 5 6 6 5 6 6 5 5 0 1 3 6 6 5 3 5 6 6 6 7 7 7 7 7 7 7 2 7 7 3 Dynamic network

28. Shuffle Connection Contoh untuk N = 8 Diperlukan 4 interchange box Hanya 1 tingkat, berisi N/2 interchange box N = jumlah input atau output. Rumus koneksi: i dihubungkan dengan 2i modulo (N-1) 0 0 1 1 2 2 Untuk N = 8 3 3 0  0 mod(7) = 0 1  2 mod(7) = 2 2  4 mod(7) = 4 3  6 mod(7) = 6 4  8 mod(7) = 1 5  10 mod(7) = 3 6  12 mod(7) = 5 7  14 mod(7) = 7 4 4 5 5 6 6 7 7 Dynamic network

29. 0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3 4 4 4 4 5 5 5 5 6 6 6 6 7 7 7 7 Dynamic network Omega Connection Untuk kaskade m = log N tingkat dari shuffle connection ini disebut Omega connection. Untuk N = 8, maka m = 3

30. Butterfly Connection 1 1 2 2 3 3 1 1 4 4 2 2 (b) 3 (a) 3 4 4 Untuk butterfly connection, 2 interchange box dirangkai seperti rangkaian (a) diatas. Dua tingkat kaskade dari rangkaian (a) biasa juga digunakan sebagai butterfly switch. Switch ini digunakan pada BBN Advanced Computers Inc. Dynamic network

31. 00 01 10 11 00 01 10 11 Contoh butterfly connection yang digunakan pada BBN Advanced Computers Inc. Butterfly Connection 00 01 10 11 00 01 10 11 Data Data 1110 11 00 01 10 11 00 01 10 11 Data 00 01 10 11 00 01 10 11 Dynamic network

32. Telah dibahas: Model paralel komputer dan taxonomy Flynn: • Processor Arrays • Multiprocessors • Multi computers • Taxonomi Flynn: SISD, SIMD, MISDI, dan MIMDI. Jalur komunikasi dalam pemrosesan paralel: bus, cross bar, dan jaringan. Untuk jaringan dibahas komunikasi berbasis interchange box: hypercube, shufflel, omega, dan butterfly. RESUME