GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI VIITORUL

1. 1st RENAM UC – 2007 National Research and Education Network User’s Conference 14 - 15 May, 2007 GRID DE CALCUL: TEHNOLOGIA, ARHITECTURA ŞI VIITORUL Dr. Veaceslav Sidorenco RENAM, UTM www.renam.md www.utm.md UC2007, V.Sidorenco

2. Evoluţie: Valul nr cinci 21stCentury Distributed Computing Enterprise Productivity Mainframe PC Client/Server Internet Operational Productivity Personal Productivity Departmental Productivity Channel Productivity UC2007 V.Sidorenco2

3. Principiul Grid Computing constă în utilizarea optimizată a infrastructurii informatice eterogene prin considerarea reţelei de calculatoare cao maşină virtuală unică UC2007 V.Sidorenco3

4. Evoluţie: Distributed Computing Computing Ubiquity Internet Grid Computing Grid Research JobScheduler Parallel Analyzer MultiCluster Distributed Batch Queuing NQS, DQS, Condor, … LSF Batch DC Research System Arch Trend : UNIX workstations & supercomputers 2 Vaxen + Ethernet SMPs & UNIX workstations Linux & Windows farms with commd. chips 1992 1996 2000 2006 1985 UC2007 V.Sidorenco4

5. Obiectivul Grid Computing Obiectivul principal al grid computingului este acela de a trata reţeaua mondială de sisteme de calcul drept o vastă resursă computaţională a cărei putere de calcul să fie oferită utilizatorilor, în aceeaşi manieră în care serviciile reţelei de electricitate sunt oferite clienţilor acesteia. Gridul îşi propune să furnizeze infrastructura şi mijloacele care fac posibilă partajarea pe scară largă, sigură a resurselor, dar şi o putere de procesare impresionantă. UC2007 V.Sidorenco5

6. Grid Computing: proprietăţi • Colaborare– capacitatea de a partaja resurse în mod distribuit, acoperind transparent mai multe domenii de administrare. Colaborarea inspiră o sinergie pozitivă în relaţiile dintre utilizatori şi furnizori de servicii. Există chiar şi o concepţie aparte de grid de colaborare (Collaboration Grid). • Agregare – gridul uneşte mulţimi de resurse individuale într-o resursă virtuală de capacitate mare. Resursele individuale putând fi unite atât static cât şi dinamic. • Virtualizare – serviciile grid sunt dotate cu interfeţe ce ascund complexitatea internă a resurselor din substrat. Virtualizarea formează un strat abstract amplasat între clienţi şi resurse de diferite tipuri: • Grid folosit pentru virtualizarea fluxului de lucru (workflow virtualization); • Grid de Date folosit pentru virtualizarea datelor (Data Grid); • Grid Semantic folosit pentru virtualizarea informaţiilor. UC2007 V.Sidorenco6 Bit+ 2007, V.Sidorenco 6

7. Grid Computing: proprietăţi • Orientare spre servicii– gridul realizează concepţia arhitecturii orientate spre servicii. • Eterogenitate – gridul tipic constă din resurse de calcul eterogene: componente hardware şi software cu diferite performanţe şi latenţe. • Gestiune descentralizată– gridul nu are un singur punct de gestiune, realizând mecanisme de gestiune distribuită. Componentele gridului pot fi gestionate din partea mai multor entităţi. • Standardizare şi interoperabilitate– gridul promovează standardizarea interacţiunii şi interfeţelor dintre componente şi servicii eterogene. Succesul dezvoltării tehnologiilor grid este dependent mult de gradul de standardizare în acest domeniu. Pentru gridul ştiinţific sunt specifice standarde deschise. UC2007 V.Sidorenco7 Bit+ 2007, V.Sidorenco 7

8. Grid Computing: proprietăţi • Transparenţa accesului – prin virtualizare utilizatorii accesează resursele gridului fără să apeleze la studierea detaliată a arhitecturii din substraturi şi topologiilor de reţele. • Scalabilitate – gridul posedă mecanisme de extindere flexibilă a resurselor necesare pentru executarea unei aplicaţii cu cerinţe variabile de elemente de calcul, elemente de stocare, de număr de utilizatori etc. • Reconfigurabilitate– gridul trebuie să fie reconfigurabil în mod dinamic: o specificaţie fundamentală stipulată în CoreGRID. • Securitate– accesul securizat la resursele gridului este furnizat prin intermediul infrastructurii gridului securizat (Grid Security Infrastructure – GSI). • Suportul aplicaţiilor– gridul este capabil să posede şi să execute mulţimi de aplicaţii variate. Dezvoltarea şi testarea aplicaţiilor de asemenea face parte din serviciile de suport aplicaţii grid. UC2007 V.Sidorenco8 Bit+ 2007, V.Sidorenco 8

9. Grid Computing: proprietăţi • Modelul de calcule– gridul este capabil să realizeze mai multe modele de calcule: în lot de lucrări (batch), interactive, distribuite, paralele ş.a. • Modelul de licenţe– gridul provine din surse academice. Modelul de bază este Open Source Software, care este respectat şi de câteva companii, care activează în dezvoltarea gridului. Există şi soluţii de grid corporative cu licenţe comerciale. • Proceduri şi politici– utilizatorii şi furnizorii (providerii) de servicii grid interacţionează în condiţiile pieţii deschise urmând regulile ei. Deja există modele de proceduri şi de politici şi în acest domeniu nou. • Audit– toate activităţile în cadrul gridului se înregistrează şi pot fi analizate multilateral ulterior. UC2007 V.Sidorenco9 Bit+ 2007, V.Sidorenco 9

10. Principiul Grid Computing UC2007 V.Sidorenco10

11. Domenii de aplicaţie • Circa 20 applicaţiidin 7 domenii se folosesc în EGEE – grid pentru e-ştiinţă • High Energy Physics • 4 LHC experiments (ALICE, ATLAS, CMS, LHCb) • BaBar, CDF, DØ, ZEUS • Biomedicine • Bioinformatics (Drug Discovery, GPS@, Xmipp_MLrefine, etc.) • Medical imaging (GATE, CDSS, gPTM3D, SiMRI 3D, etc.) • Earth Sciences • Earth Observation, Solid Earth Physics, Hydrology, Climate • Computational Chemistry • Astronomy • MAGIC • Planck • Geo-Physics • EGEODE • Financial Simulation • E-GRID UC2007 V.Sidorenco11

12. Domenii de aplicaţie UC2007 V.Sidorenco12

13. Domenii de aplicaţie Imaginea Universului reconstruită în cadrul resurselor TeraGrid UC2007 V.Sidorenco13

14. Domenii de aplicaţie Search Engine for South-East Europe (SE4SEE) for Grid-aided web-crawling & data indexing. UC2007 V.Sidorenco14

15. UC2007 V.Sidorenco15

16. Climate Simulation grpc_call server front node - public IP - Globus - gatekeeper - jobmanager - pbs, grd, sqms - NAT client Sim. Server backend nodes - private IP or public IP - Globus SDK - Ninf-G Lib Sequential Run: 8000 sec Execution on Grid: 300 sec (100cpu) Vis. Server UC2007 V.Sidorenco16

17. Arhitectura Grid Computing UC2007 V.Sidorenco17

18. Arhitectura Grid Computing UC2007 V.Sidorenco18

19. Arhitectura Grid Computing UC2007 V.Sidorenco19

20. Structura TeraGrid UC2007 V.Sidorenco20

21. Structura EU Data Grids for High Energy Physics UC2007 V.Sidorenco21

22. Structura EU Data Grids for High Energy Physics UC2007 V.Sidorenco22

23. Proiectul UE EGEE UC2007 V.Sidorenco23

24. Principii de funcţionare • Open Source • Middleware • Security • Job brokering • Resources management • SOA – Services Oriented Architecture (XML, SOAP, WS) UC2007 V.Sidorenco24

25. Principii de funcţionare • Grid Service Architecture • GRAM- Grid Resource Access and Management • Remote allocation, reservation, monitoring, control of compute resources • GridFTP protocol(FTP extensions) • High-performance data access & transport • GRIS - Grid Resource information Service • Access to structure & state information • Network reservation, monitoring, control • All integrated with GSI: authentication, authorization, policy, delegation. UC2007 V.Sidorenco25

26. Pilonii tehnicii Grid Computing • OGSA - Open Grid Services Architecture - model arhitectural. Defineşte noţiunea de serviciu Grid. Concepe mediul grid ca o colecţie de servicii, conferind avantajele unei arhitecturi orientate pe servicii (SOA – Service Oriented Architecture). • GGF - Global Grid Forum. Încearcă crearea unor standarde în domeniu. • Globus Toolkit - mediu de dezvoltare a aplicaţiilor grid, resurse gratuite. UC2007 V.Sidorenco26

27. Infrastructura multistrat Applications Application Toolkits GlobusView Testbed Status DUROC MPI Condor-G HPC++ Nimrod/G globusrun Grid Services Nexus GRAM GSI-FTP I/O HBM GASS MDS GSI Grid Fabric Condor MPI TCP UDP DiffServ Solaris LSF PBS NQE Linux NT UC2007 V.Sidorenco27

28. ArchitecturaProtocoluluiGrid UC2007 V.Sidorenco28

29. Calculul în reţeaGrid UC2007 V.Sidorenco29

30. Calculul în reţeaGrid constă în punerea în comun a puterii tuturor calculatoarelor dintr-o reţea prin distribuirea resurselor de calcul în funcţie de necesităţile fiecărui client UC2007 V.Sidorenco30

31. Calculul în reţeaGrid GRID UC2007 V.Sidorenco31

32. Calculul în reţeaGrid UC2007 V.Sidorenco32

33. Principii de funcţionare • User Interface (UI) • Information Service (IS) • Computing Element (CE) • Frontend Node • Worker Nodes (WN) • Storage Element (SE) • Replica Catalog (RC,RLS) • Resource Broker (RB) UC2007 V.Sidorenco33

34. Principii de funcţionare Replica Catalogue Input “sandbox” DataSets info Information Service UI JDL Output “sandbox” grid-proxy-init Resource Broker SE & CE info Output “sandbox” Expanded JDL Job Submit Event Author. &Authen. Job Query Input “sandbox” + Broker Info Publish Job Status Storage Element Globus RSL Job Submission Service Job Status Computing Element Logging & Book-keeping Job Status UC2007 V.Sidorenco34

35. Managementul infrastructurii Helpdesk, database, wiki / UC2007 V.Sidorenco35

36. Monitorizare în timp real http://gridportal.hep.ph.ic.ac.uk/rtm/ UC2007 V.Sidorenco36

37. Monitorizare în timp real http://gridportal.hep.ph.ic.ac.uk/rtm/ UC2007 V.Sidorenco37

38. GSI: Grid Security Infrastructure User CREDENTIAL User Proxy Single sign-onvia “grid-id” Assignment of credentials to “user proxies” Globus Credential Mutual user-resource authentication Site 1 Site 2 Mapping to local ids Authenticated interprocess communication Process Process GRAM GRAM GSI GSI GSSAPI: multiple low-level mechanisms Process Process Certificate Ticket Process Process Public Key Kerberos UC2007 V.Sidorenco38

39. Tehnologia Grid de Noua Generaţie Arhitectura Gridului de calcul de generaţia a treia NGG3 este definită ca soluţie total distribuită, scalabilă, reconfigurabilă în mod dinamic destinată aplicaţiilor ştiinţifice şi de afacere, ce oferă nu numai putere de calcul dar şi acces la informaţii şi cunoştinţe prin intermediul unei mulţimi de servicii orchestrate. UC2007 V.Sidorenco39

40. Service Oriented Knowledge Utility • Nucleul NGG3 reprezintă Utilitatrul de Cunoştinţe Orientat spre Servicii - Service Oriented Knowledge Utility (SOKU). • Concepţia SOKU se bazează pe evoluţia naturală şi convergenţa următoarelor TI: • Web-Servicii, • Tehnologii grid, • Web semantic, • Sisteme analitice distribuite,cu auto-organizare (self-organising). UC2007 V.Sidorenco40

41. Service Oriented Knowledge Utility UC2007 V.Sidorenco41

42. Pilonii concepţiei SOKU • Orientare spre servicii – ce pot fi instanţiate şi asamblate în mod dinamic: structura, comportarea şi locaţia modulelor de programe se determină şi se modifică în procesul execuţiei (at run-time); • Cunoştinţe– serviciile interpretează semantica informaţiilor pentru a facilita şi automatiza livrarea către utilizatori a serviciilor avansate, de nivel superior; • Utilitateimediată – SOKU este un serviciu imediat utilizabil având funcţionalitatea, performanţa şi dependenţele prestabilite, axate pe necesităţile şi preferinţele utilizatorului. UC2007 V.Sidorenco42

43. Concepţia “Grid” ne orientează aici… … unde suntem acum? UC2007 V.Sidorenco43

44. Mulţumesc pentru atenţie ! Întrebări ? Veaceslav Sidorenco SVV@RENAM.MD UC2007 V.Sidorenco44

45. UC2007 V.Sidorenco45