1 / 30

LAN(ethernet switch) 기반 클러스터 시스템

LAN(ethernet switch) 기반 클러스터 시스템. 김 동 승 컴퓨터구조 / 병렬 컴퓨팅 연구실 고려대학교. 1999.5.29. IBM SP2 • Distributed memory multiprocessor • RS/6000 processors, routing processors • Multistage interconneciton network with wormhole routing.  PC cluster (Beowulf)

rian
Download Presentation

LAN(ethernet switch) 기반 클러스터 시스템

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. LAN(ethernet switch) 기반 클러스터 시스템 김 동 승 컴퓨터구조/ 병렬 컴퓨팅 연구실 고려대학교 1999.5.29 고려대컴퓨터구조/병렬컴퓨팅 연구실

  2. 고려대컴퓨터구조/병렬컴퓨팅 연구실

  3. IBM SP2 • • Distributed memory multiprocessor • • RS/6000 processors, routing processors • • Multistage interconneciton network • with wormhole routing 고려대컴퓨터구조/병렬컴퓨팅 연구실

  4.  PC cluster(Beowulf) High-performance, low-cost microprocessors WITH • Low cost network (Switchied ethernet, Fast ethernet, Myrinet) • Linux, Windows NT, ... • MPI, PVM, BSP 고려대컴퓨터구조/병렬컴퓨팅 연구실

  5. 저비용 고성능 실현 설치가 용이한 운영체제 활용 Networking의 편리성 각 노드가 하나의 온전한 컴퓨터 대규모 시스템으로 확장가능 통신 속도가 느림 관리 책임이 사용자에게 클러스터용 전문 프로그램의 미비 이기종간에는 설치/ 운영이 힘듦 장점 단점 고려대컴퓨터구조/병렬컴퓨팅 연구실

  6. PC clusters • Avalon - Los Alamos N. Lab. #315/500 super computers 70 Alpha 164 LX(533Mhz) - 19 TFlops • Hyglac -JPL 16 Pentium Pro’s - 3.2 GFlops • Naegling - JPL 120 Pentium Pro’s - 24 GFlops 고려대컴퓨터구조/병렬컴퓨팅 연구실

  7. 소요비용 총 제작비(16 PCs): 약 3,800 만원- 1998.10월 • ethernet switch (24 ports) - 400만원 • PC 9대 x 260 만원 (완벽) • PC 7대 x 150 만원 - No monitor, keyboard, CD ROM drive 고려대컴퓨터구조/병렬컴퓨팅 연구실

  8. Our system configuration • 16 Pentium II PCs • CPU : Pentium II - 300 MHz • RAM : 64M Bytes • Fixed Hard Disk 4.3G • VGA : PCI S3 Virdge/DX • Motherboard : ABIT BX6 • LAN card : Intel Ethernet Express+(100Mbps) 고려대컴퓨터구조/병렬컴퓨팅 연구실

  9. Ethernet Switch • Bay Networks Baystack 450-24T • High speed forwarding rate: max. 3M packets per second • Autosensing and autonegotiation: 10/100 Mbps • Frame length: 64 to 1518 bytes • Segment switch application 고려대컴퓨터구조/병렬컴퓨팅 연구실

  10. 공유 HUB vs.스위치 고려대컴퓨터구조/병렬컴퓨팅 연구실

  11. 프로세서간 통신성능/한계 • 준비시간(setup time - ts) • 점대점 통신 대역폭 (bandwidth - B) • 통합 대역폭 고려대컴퓨터구조/병렬컴퓨팅 연구실

  12. 고려대컴퓨터구조/병렬컴퓨팅 연구실

  13. Modeling of message passing communication T(m) = ts + tb m(microsecond) SP2: ts = 46 tb= 0.035(28.6MB/s) T3E: ts = 17 tb= 0.006(167MB/s) Cluster: ts = 177 tb= 0.105 (9.52MB/s) 고려대컴퓨터구조/병렬컴퓨팅 연구실

  14. 점대점 통신 성능 고려대컴퓨터구조/병렬컴퓨팅 연구실

  15. Network Bandwidth 고려대컴퓨터구조/병렬컴퓨팅 연구실

  16. 1e+06 1e+06 1e+05 1e+05 time[usec] 1e+04 1e+04 time[usec] 1e+03 1e+03 1e+02 1e+02 2 4 8 16 32 64 128 256 512 1024 2 4 8 16 32 64 128 256 512 1024 generic generic pipe2 pipe2 Kseg Kseg nEBST nEBST broadcast on SP2 (P=8) broadcast on SP2 (P=16) message size[KBytes] message size[KBytes] 고려대컴퓨터구조/병렬컴퓨팅 연구실

  17. 1e+06 1e+06 1e+05 1e+05 time[usec] time[usec] 1e+04 1e+04 1e+03 1e+03 2 4 8 16 32 64 128 256 512 1024 2 4 8 16 32 64 128 256 512 1024 generic generic pipe2 pipe2 broadcast on cluster (P=8) broadcast on cluster (P=16) Kseg Kseg nEBST nEBST message size[KBytes] message size[KBytes] 고려대컴퓨터구조/병렬컴퓨팅 연구실

  18. 1e+06 1e+06 1e+05 1e+05 time[usec] time[usec] 1e+04 1e+04 1e+03 1e+03 2 4 8 16 32 64 128 256 512 1024 2 4 8 16 32 64 128 256 512 1024 generic generic scan on SP2 (P=8) scan on SP2 (P=16) rootp rootp brent brent pipe pipe message size[KBytes] message size[KBytes] 고려대컴퓨터구조/병렬컴퓨팅 연구실

  19. 1e+07 1e+07 generic generic 1e+06 1e+06 time[usec] 1e+05 1e+05 time[usec] 1e+04 1e+04 1e+03 1e+03 2 4 8 16 32 64 128 256 512 1024 2 4 8 16 32 64 128 256 512 1024 message size[KBytes] message size[KBytes] rootp rootp scan on cluster (P=8) scan on cluster (P=16) brent brent pipe pipe 고려대컴퓨터구조/병렬컴퓨팅 연구실

  20. Matrix multiplicatoin SP2 (16 porcessors) PC Cluster (8 processors) 고려대컴퓨터구조/병렬컴퓨팅 연구실

  21. Analytic prediction & experimental resutlts (bitonic sort) SP2 - 8 processors PC cluster - 8 processors 고려대컴퓨터구조/병렬컴퓨팅 연구실

  22. FFT SP2 (8 processors) PC Cluster (8 processors) 고려대컴퓨터구조/병렬컴퓨팅 연구실

  23. Parallel radix sort 1. Count : bucket sort, and get key counts. 2. Plan : gather key count information, then determine: Who will be in charge of each bucket of keys? 3. Exchange: move keys to selected owner processors 고려대컴퓨터구조/병렬컴퓨팅 연구실

  24. Load-balanced radix sort [Sohn98] versusPartitioned radix sort[Lee99] 고려대학교 전기전자전파공학부

  25. Times for communication (SP-2) Time The number of porcessors 고려대컴퓨터구조/병렬컴퓨팅 연구실

  26. Execution times: (SP-2) 고려대컴퓨터구조/병렬컴퓨팅 연구실

  27. Execution times: (PC cluster) 고려대컴퓨터구조/병렬컴퓨팅 연구실

  28. 결 론 • PC cluster - 저비용, 고성능 • Slow interprocessor communication (Gigabit ethernet, 광통신) • 소용처- Compute-bound 응용분야 고려대컴퓨터구조/병렬컴퓨팅 연구실

  29. 클러스터형 WWW 서버 고려대컴퓨터구조/병렬컴퓨팅 연구실

  30. 참고문헌/정보제공처 Beowulf 시스템 제작 방법 - Beowulf Project at CESDIS, http://beowulf.gsfc.nasa.gov/ - Beowulf HOWTO , http://www.sci.usq.edu.au/staff/jacek/beowulf/HOWTO/ - How to Build a Beowulf: a Tutorial, http://www.cacr.caltech.edu/beowulf/tutorial/ 리눅스 관련 - Linux Homepage, http://www.linux.org - Red Hat, http://www.redhat.com/ - Beowulf Ethernet Channel Bonding, http://beowulf.gsfc.nasa.gov/software/ bonding.html MPI& PVM 관련 - The Message Passing Interface (MPI) , http://www.erc.msstate.edu/mpi/, http://www-unix.mcs.anl.gov/mpi/index.html - MPICH(MPI Chameleon), http://www-unix.mcs.anl.gov/mpi/mpich/ - PVM(Parallel Virtual Machine), http://www.epm.ornl.gov/pvm/pvm_home.html 고려대컴퓨터구조/병렬컴퓨팅 연구실

More Related