ГРИД - технологии и облачные вычисления

1. ГРИД-технологии и облачные вычисления Кореньков В.В. (ЛИТ ОИЯИ, университет «Дубна») Конференция INTRUS, Дубна, 12.10.2010

2. КонцепцияГрид «Грид - это система, которая: ·координирует использование ресурсов при отсутствии централизованногоуправления этими ресурсами ·использует стандартные, открытые, универсальные протоколы и интерфейсы. ·обеспечивает высококачественное обслуживание» (Ian Foster: "What is the grid? ", 2002г.) Cоздание компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе управляющего и оптимизирующего программного обеспечения (middleware) нового поколения. Междисциплинарный характер грид: развиваемыетехнологии применяются вфизике высоких энергий, космофизике, микробиологии, экологии, метеорологии, различныхинженерных и бизнес приложениях. Виртуальные организации (VO)

3. Distributed Computing || synchronous processing High-Throughput Computing || asynchronous processing On-Demand Computing || dynamic resources Data-Intensive Computing || databases Collaborative Computing || scientists Five Emerging Models of Networked Computing From The Grid Ian Foster andCarl Kesselman, editors, “The Grid: Blueprint for a New Computing Infrastructure,” Morgan Kaufmann, 1999, http://www.mkp.com/grids

4. Грид широко применяется • Физика высоких энергий (LHC, CERN) • UK Science Grid • TeraGrid • HealthGrid (GEMSS, MammoGrid, Pharma Grid, BioGrid, Infogenmed) • Молекулярная биологии для моделирования структуры белка,анализа последовательностей ДНК • Бизнес — нефтяная отрасль, геологоразведка • В банковском деле • В автомобильной промышленности Grid позволяет ускорить и удешевить расчет виртуальныхкрэштестов • Airbus и Boeing используют технологию для постоянного контроля состояния двигателей и другихагрегатов и узлов самолета показаниядатчиков, непрерывно собирающих информацию, черезспутник передаются на землю, где анализируются в сетях Grid • IBM активно использует технологию Grid для внутренних нужд (моделирование при созданиимикропроцессоров следующих поколений

5. Large Hadron Collider Start-up of the Large Hadron Collider (LHC), one of the largest and truly global scientific projects ever, is the most exciting turning point in particle physics. CMS LHCb ALICE ATLAS LHC ring: 27 km circumference

6. Параметры детектора АТЛАС Энергия центра масс 14 TeV Частота столкновений пучков 40 MHz Светимость : • начальная: 1031 см-2с-1 • низкая: 2*1033 см-2с-1 • целевая: 1034 см-2с-1 Вес 7000 тонн, Диаметр 22м, Длина 46м Количество регистрирующих каналов 140 000 000

7. SDX1 dual-CPU nodes CERN computer centre 6 ~1800 ~100 ~ 500 Local Storage SubFarm Outputs (SFOs) Event Filter (EF) Event Builder SubFarm Inputs (SFIs) LVL2 farm Event rate ~ 200 Hz Second- level trigger Data storage SDX1 pROS DataFlow Manager Network switches stores LVL2 output Network switches Gigabit Ethernet Event data requests Delete commands Requested event data USA15 Regions Of Interest USA15 Data of events accepted by first-level trigger 1600 Read- Out Links UX15 ~150 PCs VME Dedicated links Read- Out Drivers (RODs) Read-Out Subsystems (ROSs) RoI Builder First- level trigger Timing Trigger Control (TTC) Event data pushed @ ≤ 100 kHz, 1600 fragments of ~ 1 kByte each Trigger / DAQ architecture LVL2 Super- visor Event data pulled: partial events @ ≤ 100 kHz, full events @ ~ 3 kHz

8. Потоки данных от физических установок БАК до вычислительного центра ЦЕРН (Tier 0 at CERN) 1.25 GB/sec (ions) Ian.Bird@cern.ch

9. Взаимодействие уровней Tier 0 – Tier 1 – Tier 2 • Tier-0 (CERN): • Прием данных • Начальная реконструкция данных • Распределение данных Tier-1 (11 centres): • Постоянное хранение данных • Реконструкция и обработка • Анализ • Tier-2 (>200 centres): • Моделирование • Физический анализ 9 Ian.Bird@cern.ch

10. Комната управления СMS (CERN)

11. GlobalCommunity

12. Some history 1999 – Monarc Project Early discussions on how to organise distributed computing for LHC 2001-2003 - EU DataGrid project middleware & testbed for an operational grid 2002-2005 – LHC Computing Grid – LCG deploying the results of DataGrid to provide a production facility for LHC experiments 2004-2006 – EU EGEE project phase 1 starts from the LCG grid shared production infrastructure expanding to other communities and sciences 2006-2008 – EU EGEE-II Building on phase 1 Expanding applications and communities … 2008-2010 – EU EGEE-III 2010-…- EGI-NGI CERN

13. EGEE (Enabling Grids for E-sciencE) The aim of the project is to create a global Pan-European computing infrastructure of a Grid type. - Integrate regional Grid efforts - Represent leading grid activities in Europe 10 Federations, 27 Countries, 70 Organizations

14. 350 sites 55 countries 150,000 CPUs 26 PetaBytes (Disk) 40 PetaBytes (Tape) >15,000 users >300 Vos 12 mln jobs/month • Астрономия и астрофизика • Безопасность населения • Вычислительная химия • Вычислительные науки/Программирование • Физика конденсированного состояния • Науки о Земле • Синтез • Физика высоких энергий • Науки о жизни

15. The Map of OSG Sites (in the US) HARVARD ALBANY RIT MIT BU BUFFALO T UMICH BNL UWM WSU CORNELL MSU WISC UIC PSU FNAL LEHIGH UCHICAGO UNI GEORGETOWN NERSC ANL UNL ND UIOWA PURDUE NSF UMD LBL UIUC IUPUI UDAVIS UVA CU IU STANFORD KU RENCI ORNL UCSB VANDERBILT CALTECH UCLA UNM UCR CLEMSON OU UMISS SDSC TTU LTU UTA SMU LSU UFL FIT 15 Ruth Pordes, FNAL

16. WLCG depends on two major science grid infrastructures EGEE - Enabling Grids for E-Science OSG - US Open Science Grid EGEE & OSG

17. Collaborating e-Infrastructures Potential for linking ~90 countries by 2010

18. European e-Infrastructure Need to prepare permanent, common Grid infrastructure Ensure the long-term sustainability of the European e-infrastructure independent of short project funding cycles Coordinate the integration and interaction between National Grid Infrastructures (NGIs) Operate the European level of the production Grid infrastructure for a wide range of scientific disciplines to link NGIs The EGEE project - Bob Jones - EGEE'08 - 22 September 2008 18

19. What future holds • ARC consortium (NorduGrid, NDGF, KnowARC et al), together with gLite and UNICORE, contribute to creation of the Universal Middleware Distribution (UMD) for the European Grid Initiative (EGI) • Sites and VOs that use ARC will get an access to the European e-Science infrastructure, just like those that use gLite or UNICORE • What about Clouds? • Technically, very similar to Grids: distributed, service-oriented • However, Clouds business model is closer to that of HPC • Single administrative domain, carefully selected resources

20. The Future of Grids From e-Infrastructures to Knowledge Infrastructures Network infrastructure connects computing and data resources and allows their seamless usage via Grid infrastructures Federated resources and new technologies enable new application fields: Distributed digital libraries Distributed data mining Digital preservation of cultural heritage Data curation → Knowledge Infrastructure Major Opportunity for Academic and Businesses alike GRID . INFRASTRUCTURE KNOWLEDGE . INFRASTRUCTURE NETWORK . INFRASTRUCTURE 20

21. Grids, clouds, supercomputers.. Grids, clouds, supercomputers, etc. • Grids • Collaborative environment • Distributed resources (political/sociological) • Commodity hardware (also supercomputers) • (HEP) data management • Complex interfaces (bug not feature) • Supercomputers • Expensive • Low latency interconnects • Applications peer reviewed • Parallel/coupled applications • Traditional interfaces (login) • Also SC grids (DEISA, Teragrid) Many different problems: Amenable to different solutions No right answer • Clouds • Proprietary (implementation) • Economies of scale in management • Commodity hardware • Virtualisation for service provision and encapsulating application environment • Details of physical resources hidden • Simple interfaces (too simple?) • Volunteer computing • Simple mechanism to access millions CPUs • Difficult if (much) data involved • Control of environment  check • Community building – people involved in Science • Potential for huge amounts of real work Mirco Mazzucato DUBNA-19-12-09 Ian Bird 21

22. Концепция «Облачных вычислений» •  Все есть сервис (XaaS) • AaaS: приложения как сервис • PaaS: платформа как сервис • SaaS: программное обеспечение как сервис • DaaS: данные как сервис • IaaS: инфраструктура как сервис • HaaS: оборудование как сервис •  Воплощение давней мечты о компьютерном обслуживаниина уровне обычной коммунальной услуги:  масштабируемость •  оплата по реальному использованию (pay-as-you-go)

23. Everything as a Service (XaaS) Software-as-a-Service (SaaS) Platform-as-a-Service (PaaS) Infrastructure-as-a-Service (IaaS)

24. DNA-Array Radiology Application MACS Lab Application Layer Virtual Laboratory layer. Grid Layer

25. Some Desktop Grids • World Community Grid - IBM (http://www.worldcommunitygrid.org/) 300.000 PCs • Leiden Classical Grid - Education on Grid (http://boinc.gorlaeus.net/) 17.000 PCs • SZTAKI - Hungarian initiative(http://www.desktopgrid.hu/) 70.000 PCs • AlmereGrid (http://almeregrid.nl) 3.000 PCs • PS3GRID (Based on Playstations) • (http://ps3grid.net/)

26. Суперкомпьютер МГУ “Ломоносов”

27. Суперкомпьютер МГУ “Ломоносов” 420 Тфлопс 350 Тфлопс 83% 4 446 8 892 35 776 T-Blade2, T-Blade 1.1, PowerXCell 8i Intel Xeon 5570, 2.93 GHz 56,5 ТБайт QDR Infiniband 1,35 ПБайт Clusrtx T-Platforms Edition 252 м2 1.5 МВт Пиковая производительность Реальная производительность Эффективность Число вычислительных узлов Число процессоров Число процессорных ядер Типы вычислительных узлов Основной процессор Оперативная память Коммуникационная сеть Система хранения данных Операционная система Занимаемая площадь Энергопотребление вычислителя

28. Japan Courtesy of Satoshi Matsuoka, Tokyo Institute of Technology, Japan, ISC-2010

29. The RDIG infrastructure В настоящее время RDIG –инфраструктура состоит из 17 ресурсных центров, в которых доступно около 5000 CPU и3200 TB дискового пространства. • RDIG Resource Centres: – ITEP – JINR-LCG2 – RRC-KI – RU-Moscow-KIAM – RU-Phys-SPbSU – RU-Protvino-IHEP – RU-SPbSU – Ru-Troitsk-INR – ru-IMPB-LCG2 – ru-Moscow-FIAN – ru-Moscow-GCRAS – ru-Moscow-MEPHI – ru-PNPI-LCG2 – ru-Moscow-SINP - Kharkov-KIPT - BY-NCPHEP

30. Структурные элементы грид-инфраструктуры в России ROC – региональный операционный центр в России • Обеспечение функционирования базовых грид сервисов 24х7 • Мониторинг и реагирование на черезвычайные ситуации • Учет ресурсов и выполненных работ (accounting) • Управление и поддержка виртуальных организаций • Поддержка безопасности инфраструктуры, CA • Сертификация (валидация) грид ПО • Поддержка пользователей • Операционная поддержка ресурсных центров VO – виртуальные организации: • физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, HONE … • биомед • Fusion • российские VOs: e-Earth (геофизика), • химфизика (Черноголовка, МГУ ++), нанотехнологии и наноиндустрия

31. Russian NGI is e-ARENA The national association of research and educational е-Infrastructures «e-ARENA» has been established in August 2009 as a legal body for coordinating efforts of different organizations in Russian Federation in creating and developing the e-infrastructures, including networking and grids, to serve science and higher education. The e-Arena Association is recognized by the Ministry of Communications as a legal body for coordination of the e-infrastructure efforts at national level. In scope of the EGI stream the Russian NGI include five organizations, actively participated in the EGEE/EGEE-II/EGEE-III projects: RRC KI (Moscow), SINP MSU (Moscow), JINR (Dubna), PNPI RAS (Gatchina) and ITEP (Moscow).

32. Центральный информационно-вычислительный комплекс ЦИВК ОИЯИ Производительность ЦИВК ОИЯИ составляет 2800 kSI2K Емкость дискового хранилища составляет1068TB (>1PB) Scheme of the CICC network connections

33. ОИЯИ в проектах WLCG/EGEE Протокол между ЦЕРН, Россией и ОИЯИ об участии в проекте LCGбыл подписан в 2003 году.MoUоб участии в проекеWorldwide LHC Computing Grid (WLCG) был подписан в 2007 году. Задачи ОИЯИ в проектах WLCG/EGEE Поддержка и развитиеWLCG/EGEE инфраструктуры; Участие в тестировании и сертификации нового промежуточного ПО (middleware testing/evaluation), Участие в Data and Service Challenges, Развитие систем grid мониторинга и учета ресурсов; Развитие системы FTS-monitoring; Развитие информационной системы MCDB; Участие в проекте ARDA; Развитие приложений в области физики высоких энергий; Организация обучения пользователей и системных администраторов Поддержка стран-участниц ОИЯИ в развитии грид-технологий

34. USER- INTERFACE AND VISUALIZATION SERVICE DEVELOPMENT FOR VIRTUAL ORGANIZATION SUPPORT IN HIGH ENERGY PHYSICS S. Mitsyn (LIT) Grid Monitoring: Deals with decentralized structures involving a large amount of data. Its proper representation is an essential part of the monitoring process. Google Earth offers a quite informative and visually attractive representation which mapping Grid infrastructure objects, processes and events on a geographic map. LHC Project Support

35. JINR CMS Remote Operation Centre Founded in 2009 as a part of GRID-based JINR Tier-2 • Monitoring of detector systems • Data Monitoring / Express Analysis • Shift Operations (except for run control) • Communications of JINR shifter with personal at CMS Control Room (SX5) and CMS Meyrin centre • Communications between JINR experts and CMS shifters • Coordination of data processing and data management • Training and Information

36. Статистика использования CPU time по странам (июнь 2009 - октябрь 2010) 36

37. Статистика по CPU time среди грид-сайтов в России (июнь 2009 - октябрь 2010)

38. gLite user trainings for students of Dubna University and University Centre of JINR,grid site administrators trainings for JINR member-states,testbed for grid developers,testbed for middleware evaluation,GILDA cooperation Grid training and education – distributed training infrastructure:

39. ParticipationinGridNNNproject • GridsupportforRussiannationalnanotechnologynetwork • Toprovideforscienceandindustryaneffectiveaccesstothedistributedcomputational, informationalandnetworkingfacilities • Expectingbreakthroughinnanotechnologies • Supportedbythespecialfederalprogram • Mainpoints • basedonanetworkofsupercomputers (about 15-30) • hastwogridoperationscenters (mainandbackup) • isasetofgridserviceswithunifiedinterface • partiallybasedonGlobusToolkit 4

40. GridNNNinfrastructure 10 resourcecentersatthemomentindifferentregionsofRussia • RRC KI, «Chebyshev» (MSU), IPCP RAS, CC FEB RAS, ICMM RAS, JINR, SINP MSU, PNPI, KNC RAS, SPbSU

41. 4-rd International Conference"Distributed Computing and Grid-technologies in Science and Education“28 June – 3 July, 2010 http://grid2010.jinr.ru

42. Useful References: Grid Café: http://www.gridcafe.org/ OPEN GRID FORUM:http://www.ogf.org GLOBUS: http://www.globus.org TERAGRID: http://www.teragrid.org Open Science Grid: http://opensciencegrid.org/ LCG: http://lcg.web.cern.ch/LCG/ EGEE: http://www.eu-egee.org EGEE-RDIG: http://www.egee-rdig.ru EGI: http://web.eu-egi.eu/ International Science Grid this Week: http://www.isgtw.org/

43. The blind men and the elephant in the room Cyberinfrastructure SaaS Web 2.0 Shared Infrastructure/ Shared Services SOA Grids Automation Virtualization