Grid Computing 개요

Grid Computing 개요 2005. 6. 27. 세미나 발표 정 현 종 MAI Lab.

Contents • Grid computing의 개념 및 이해 • Grid computing의 분류 및 적용 • Grid computing Architecture • Grid computing Problem • Why Grid?

Grid Computing • Grid • 지리학적으로 분산되어 있는 고성능 Computing 자원을 네트워크로 상호 연동하여 조직과 지역에 관계없이 사용할 수 있는 환경. • 단순 자료 뿐 아니라, 프로세서, 스토리지 등 다양한 자원을 공유하여 고성능 Computing 제공

Property • Grid computing 최소 요구사항 • 분산 자원을 통합하여 제어할 수 있다. • 표준화된 개방형 프로토콜과 인터페이스를 사용한다. • 양질의 서비스를 제공한다. • Grid computing 적용 가능성 • 부하가 가변적인 경우 • 데이터의 연합 및 통합이 필요한 경우

관련 용어 • 클러스터링 • 여러 대의 머신을 고정된 형태의 구성으로 엮어서 단일 머신처럼 운영하고 관리하는 기술. 그리드 컴퓨팅이 클러스터링과 다른 점은, 그리드는 필요할 때마다 자원을 더하거나 뺄 수 있다는 것. • 분산 컴퓨팅(Distributed Computing) • CPU 파워를 통합하기 위해 네트웍을 통해 컴퓨팅 자원들을 연결하는 것. 한정된 예산으로 처리 파워를 높이려는 과학계 및 기술계 사용자들의 필요에 의해 개발된 기술. • 그리드 컴퓨팅(Grid Computing) • 여러 시스템의 CPU뿐 아니라 저장장치와 데이터까지 연결해 중앙집중적으로 유연하게 관리할 수 있는 컴퓨팅 환경. 진정한 그리드는 이기종 시스템들 사이의 분산형 자원 관리 능력까지 제공한다.

Presenter mic 분산 슈퍼컴퓨팅 High-Throughput 컴퓨팅 Presenter camera On Demand 협업 환경 Ambient mic (tabletop) 멀티미디어 Audience camera Categorization 컴퓨팅 파워를 공유하지는 않으며, 대신 표준화된 방식을 통해 데이터를 내외부적으로 교환해 데이터 채굴과 의사결정지원에 사용할 수 있도록 해 준다.(LimeWire와 Kazaa 같은 음악 공유 시스템들이 그 사례) 계산 그리드 여러 곳에 흩어져 있는 원격지의 사용자들이 초대형의 데이터 세트들을 공유해 함께 일할 수 있게 해 준다.(예를 들면, NEESgrid 는 지진 연구자들이 인터넷을 통해 가상팀을 구성한 후 데이터뿐 아니라 더나가 조사장비도 함께 공유할 수 있게 해 준다.) 그리드 시스템 데이터 그리드 액세스 그리드

~PBytes/sec ~100 MBytes/sec Offline Processor Farm ~20 TIPS There is a “bunch crossing” every 25 nsecs. There are 100 “triggers” per second Each triggered event is ~1 MByte in size ~100 MBytes/sec Online System Tier 0 CERN Computer Centre ~622 Mbits/sec or Air Freight (deprecated) Tier 1 FermiLab ~4 TIPS France Regional Centre Germany Regional Centre Italy Regional Centre ~622 Mbits/sec Tier 2 Tier2 Centre ~1 TIPS Tier2 Centre ~1 TIPS Caltech ~1 TIPS Tier2 Centre ~1 TIPS Tier2 Centre ~1 TIPS HPSS HPSS HPSS HPSS HPSS ~622 Mbits/sec Institute ~0.25TIPS Institute Institute Institute Physics data cache ~1 MBytes/sec 1 TIPS is approximately 25,000 SpecInt95 equivalents Physicists work on analysis “channels”. Each institute will have ~10 physicists working on one or more channels; data for these channels should be cached by the institute server Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Pentium II 300 MHz Tier 4 Physicist workstations Data Grids forHigh Energy Physics

Advanced Photon Source wide-area dissemination desktop & VR clients with shared controls archival storage Advanced Photon Source real-time collection tomographic reconstruction

GRAM: 원격 할당, 자원 예약, 관리 및 제어 • GridFTP: 고성능 자료 접근 및 전송 지원 • GRIS: 자원 상태 및 구조에 대한 정보 제공 *GRAM: Grid Resource Allocation Management *GRIS: Grid Resource Information Service 통신을 위한 프로토콜은 IP, DNS, Routing 등에 의해 이루어진다. 보안관련 사항은 GSI에서 제공된다. 인증과 권한설정 서비스 제공. 공개키, Single sign-on, SSL 등 제공 *GSI: Grid Security Infrastructure *SSL: Secure Socket Layer Grid Computing Architecture • Index Server 및 Metadirectory service 제공 • 자원 할당에 대한 중재 (Broker) • 원하는 자원을 찾고 할당하는 서비스 • 자원의 중복에 대한 정보 개인 PC, 고성능 컴퓨터, 클러스터 시스템, 파일 시스템, 메타데이터 카달로그, 네트워크, 센서

Applications Languages/Frameworks Collective Service APIs and SDKs Collective Service Protocols Collective Services Resource APIs and SDKs Resource Service Protocols Resource Services Connectivity APIs Connectivity Protocols Local Access APIs and Protocols Fabric Layer • Protocols, Services, and APIs Occur at Each Level

API SDK C-point Protocol Checkpoint Repository API SDK Access Protocol Compute Resource High-ThroughputComputing System App High Throughput Computing System Dynamic checkpoint, job management, failover, staging Brokering, certificate authorities Access to data, access to computers, access to network performance data Resource Communication, service discovery (DNS), authentication, authorization, delegation Connect Storage systems, schedulers Fabric

Data Grid Architecture App Discipline-Specific Data Grid Application Collective (App) Coherency control, replica selection, task management, virtual data catalog, virtual data code catalog, … Collective (Generic) Replica catalog, replica management, co-allocation, certificate authorities, metadata catalogs, Access to data, access to computers, access to network performance data, … Resource Communication, service discovery (DNS), authentication, authorization, delegation Connect Storage systems, clusters, networks, network caches, … Fabric

The Grid Problem • Flexible, secure, coordinated resource sharing among dynamic collections of individuals, institutions, and resource. • Enable communities (“virtual organizations”) to share geographically distributed resources as they pursue common goals -- assuming the absence of… • central location, • central control, • existing trust relationships.

Elements of the Problem • Resource sharing • Computers, storage, sensors, networks, … • Sharing always conditional: issues of trust, policy, negotiation, payment, … • Coordinated problem solving • Beyond client-server: distributed data analysis, computation, collaboration, … • Dynamic, multi-institutional virtual orgs • Community overlays on classic org structures • Large or small, static or dynamic

Why Grid? • The Internet and burgeoning wired and wireless provide universal connectivity • Changing modes of working and problem solving emphasize teamwork, computation • Network exponentials produce dramatic changes in geometry and geography

Network Exponentials • Network vs. computer performance • Computer speed doubles every 18 months • Network speed doubles every 9 months • 1986 to 2000 • Computers: x 500 • Networks: x 340,000 • 2001 to 2010 • Computers: x 60 • Networks: x 4000

Grid computing 성능

Grid 프로젝트

SETI@Home(우주생명체 탐색 작업) • 수십만 대의 가정용 PC를 이용하여 전파망원경을 통해 외계에서 수신된 기호를 해석 • HGP(인간게놈지도작성사업) • DoE와 NIH의 산하 연구소에서 슈퍼컴퓨터와 대용량 저장시스템을 이용 게놈해석 • European Data Grid • 슈퍼컴퓨터와 대용량 DB서버를 이용. 이탈리아, 프랑스, 영국, 네덜란드 등이 공동참여 • AP Grid(아시아 국가 슈퍼컴퓨터 연결사업) • 일본이 중심이 되어 분산 Computing, 디지털 라이브러리, 원격교육 등을 구축하기 위해 추진 중

관련 기사 • Computer News Daily : 2002년 06월 19일 연구원들은 미래의 컴퓨팅 기술이 테러리스트들의 공격을 포함한 최악의 경우를 정부기관이 준비할 수 있게 도움을 줄 것이라고 지적했다. 여기서 말하는 기술이란 '그리드 컴퓨팅'을 말하는 것인데, 여기서는 퍼듀 대학과 인디애나 대학교에 있는 두 대의 IBM 슈퍼컴퓨터 파워를 연결하여 배가시키는 것이다. 즉, 두 대의 강력한 기계를 초고속 화이버 옵틱 네트워크로 연결함으로써, 그리드가 초당 1조 번 이상의 연산을 수행할 수 있도록 해줄뿐만 아니라, 천 만개 이상의 소설 전체 길이와 맘먹는 양의 데이터를 저장할 수 있게 되었다. 복잡한 애플리케이션을 수많은 작은 조각으로 쪼개어, 두 대의 슈퍼컴퓨터 안에 있는 수백 개의 프로세서에 골고루 분산시킴으로써, 작업을 처리하는 방식을 취하는 것이 '그리드 컴퓨팅'의 기본이다. 분할된 각각의 조각들은 개별적으로 처리되고 난 다음 다시 서로 합쳐진다. 전문가들의 말에 따르면, 그리드를 이용하면 질병 통제센터와 그 외의 여러 가지 다양한 정부기관들의 연구원들로 하여금 실제 상황이 아닌 모의 환경에서 시뮬레이트 할 수 있도록 만들어 준다고 설명한다. 이렇게 함으로써, 수백만의 사람들이 생물학적이거나 원자탄 공격, 또 다른 응급상황에서 어떻게 반응하는지를 알 수 있도록 도와준다.

IT업계가 정보기술(IT)을 전기·전력·수도처럼 판매하는 ‘유틸리티 컴퓨팅(utility computing)’에 승부수를 던지고 있다.이같은 추세에 부응해 사용자들도 유틸리티 컴퓨팅에 서서히 눈을 뜨고 있는 상황이다. 아이스크림 업체인 웰즈 데어리의 킴 노비 최고정보책임자(CIO)는 “2년 전 부터 HP 서버를 임대해 쓰고 있는데 프로세싱 사용 시간 만큼 비용을 지불하고 있다”며 “이를 통해 IT 비용을 연간 10만달러 가량 절감하고 있다”고 말했다. 애비스 렌트카 시스템은 세일즈포스닷컴을 통해 판매 및 영업 관리 SW를 이용하면서 새로운 서버를 구입해야 하는 걱정에서 해방됐다. 홀마크 카드는 연말에 급증하는 홀마크닷컴의 인터넷 트래픽을 관리하는 데 애를 먹다 IBM에게 인터넷 IT시스템 관리를 맡겼다. 요금은 프로세싱·데이터 저장·네트워킹 사용량을 기준으로 지불한다. 이처럼 유틸리티 컴퓨팅은 대기업에게 수백만 달러의 비용 절감 혜택을, 중소기업에게는 경제적으로 부담되는 정밀 IT시스템을 활용할 수 있는 기회를 준다. 현재 선·IBM·HP·EDS 등은 데이터 저장 용량에 따라 고객들에게 요금을 부과하는 IT서비스를 제공 하고 있다. 세일즈포스닷컴과 인튜잇 같은 SW회사들도 급여 및 고객을 관리하는 IT서비스를 제공중이다. 3만여 중소기업들에게 온라인을 통해 재무관리 IT도구를 제공하는 인튜잇은 샌디에이고에 있는 자사의 데이터센터에서 고객들의 데이터를 저장 관리하고 있다. IBM은 미국 콜로라도주의 볼더를 포함해 밀라노·싱가포르 등지에 12개의 주문형 데이터 센터를 운영하고 있으며 HP는 휴스턴·보이시 등 도시에 80여개의 데이터센터를 운영하고 있다. …(이하 생략) • 전자신문 : 2005년 03월 2일

Discussion • Grid와 Cluster의 차이는? • Grid가 Cluster보다 scale이 더 크다고 보면 될 것이다. Cluster 역시 다 기종의 머신을 하나로 묶어 생각할 수 있다. 단, Grid는 WAN을 통해 통신하는 데 비해 Cluster는 LAN을 통해 머신 간 통신을 한다. • Grid Computing 성능 비교 그래프는 무슨 기준인가? • 국내에서 실험한 결과로 계산 그리드를 구현했을 때의 성능이다. 슈퍼컴퓨팅이 가능한 클러스터들의 메모리와 CPU를 도시하였고, 그것들을 이용하여 구성한 그리드 환경에서 가용 자원을 도시한 것이다. • Cluster가 Grid보다 성능이 더 뛰어난가? • 동일한 하드웨어 사양을 가진 클러스터 시스템과 그리드 시스템을 비교할 때 그리드 환경의 경우 분산된 자원들이 네트워크를 통해 통신을 하기 때문에, LAN 상에서 구축되는 클러스터보다 통신 시간의 지연으로 인한 성능 저하를 가지고 올 수 있다. • Grid 환경이 제조업 분야에 득이 될 수 있는가? • RFID, Vision System과 같은 센서 기술의 발달은 실시간으로 엄청나게 많은 정보를 제공할 수 있다. 때문에 과거에 비해 많은 Data 처리 능력과 계산 능력을 필요로 하게 되고, Grid 환경이 이것을 가능케 할 것이다.

Grid Computing 개요