Slovensko nacionalno omrežje grid

1. Slovensko nacionalno omrežje grid • Barbara Krašovec, Arnes • Jan Jona Javoršek, IJS

2. VSEBINA • Grid in mrežno računalništvo • Slovenska iniciativa za nacionalni gridin razvoj slovenskega omrežja • Kako do dostopa? • Kako vključite svojo gručo?

3. Grid in mrežno računalništvo • Kaj je grid/HPC/cloud/HTC/... • Kdaj je primeren • Kako uporabiti in vzpostaviti

4. Kaj je grid? • Vmesna programska oprema za mrežno računalništvo • Razpršeno omrežje računskih centrov in virtualnih skupin, ki uporabljajo vmesno programsko opremo grid • Ekosistem soopravilnih mrežnih tehnologij (gruče, uporabniki, naloge, knjižnice, podatkovni sistemi, nadzor dostopa, delovanja uporabe in porabe ipd.)

5. Kdaj mrežno računalništvo? • Ko imamo opravkaz veliko količino podatkov, • ko izvrševanje nalog zahtevaveliko procesorsko moč, • ko gre za velikoštevilo nalog.

6. Kaj je mrežno računalništvo? ?

7. Različni pristopi • ad-hoc omrežja delovnih postaj:tipično raziskovalni in univerzitetni centri,vozlišča ethernet • superračunalniški centri:od superračunalnikov do gruč HPC s hitrimi povezavami, vozlišča Infiniband • oblak: virtualizirani strežniki v gručah, upravljalni sistemi: tipično iz komericalnega okolja gostovanjaspletnih strežnikov in podpore, virtualizacija, zamenljivost centrov

8. Podobni rezultati • Postavitev:namenski podatkovni centri, omare (1U ali blade) • Omrežna povezava:hitre zunanje linije, SAN do diskovnih kapacitet, hitre notranje povezave (eth 1-10 GB/s ali Infiniband) • Diskovna polja:namenska polja, scratch disk na enotah ali namenska + razpršena polja

9. Različnost konfiguracij • Vozlišča:jedra/vozlišče: HPC/NUMA, prepustnost omrežja • Podatkovna prepustnost:potrebe/velikost nalog, lokalni/zunanji podatki, trajanje hrambe podatkov, metapodatki • Naloge, skupine nalog in način dela:virtualne organizacije, vmesniki zaupravljanje, avtomatizacija nalog,potrebe paralelizacije

10. Zakaj grid? • Lažja uporaba mrežnih računalniških kapacitetenotni, standarziirani vmesniki, samodejna izbira gruče, upravljanje z nalogami in podatki • Omogačnje uporabe novih tehnologijhigh througput computing, nameščanje programske opreme, virtualizacija na različnih stopnjah ipd. • Lažje znanstveno-raziskovalno sodelovanje: virtual research communities

11. Kako deluje? • Gruča dostopna lokalno in preko grida • Vmesna programska oprema omogoča komunikacijo računalnikov po vsem svetu (heterogena programska in strojna oprema deluje homogeno). • Varnost: sistem certifikatov invirtualnih organizacij. • Dodatki: nadzor,metapodatki, prenos podatkov

12. Komponente grida • Virtualne organizacije: VO • Računski centri (grid sites) • Vmesna programska oprema (middleware) • Servis za upravljanje z nalogami(job manager) • Drugi servisi (ticketing, monitoring, accounting, VO task managers ...)

13. Organizacija grida • Uporabniki in projekti organiziraniv virtualne organizacije (VO),npr. ALICE, ATLAS ... • Vsaka gruča podpira različne VO. • Za uporabo gruče mora biti uporabnik član VO. • Vmesna uporabniška oprema omogoča, da sistem za uporabnika deluje homogeno.

14. Virtualna organizacija • Člani: uporabniki in projekti • Identifikacija: certifikat • Strežnik VOMS: avtorizacija in vloge • Vpis v posredniški certifkat(proxy certificate) • Vsaka gruča podpira različne VO • Gruča lahko podpira specifični certifikat lokalno (brez VO)

15. Vmesna uporabniška oprema • Overjanje uporabnikov: - certifikati x.509 in SSL/TLS - VOMS in MyProxy • SE (storage element): dCache/DPM • CE (computing element): ARC, Cream • Informacijski sistem (GIIS, BDII etc.) • Nadzorni sistem: nacionalni Nagios • Sistem za popis uporabe: APEL

16. Področja uporabe • medicina, • meteorologija, • farmakologija, • bioinformatika ... • fizika, • astrofizika, • biokemija, • nanotehnologija,

17. SLING • Slovenska iniciativa za nacionalni grid • Slovensko omrežje • Mednarodno sodelovanje

18. Slovenska iniciativa za nacionalni grid EGI/NGI: European/National Grid Initiative • Razlogi: • vzpostavitev stalne nacionalne infrastrukture • vključitev v mednarodno infrastrukturo EGI • Predhodnik:sodelovanje v EGEE in NorduGrid • Naloge Arnesa v NGI: • upravljanje slovenskih osrednjih servisov • testna gruča in splošna VO: gen.vo.sling.si

19. InfrastrukturaSlovenskega omrežja grid • informacijski servisi • nadzorni sistem • sistem za popis porabe • nacionalni izdajatelj potrdil • podpora za nacionalne VO • tehnična podpora, dokumentacija idr. • podpora za NorduGrid Arc in gLite

20. Trenutno stanje: http://www.sling.si/ • 5 gruč, <5000 jeder • 1 PB diskovja • > 3.000.000 nalogv 2011 (10.000/dan) • Arnes: 1808, 832 TB • VO:- Gen VO SLING - Atlas, Belle, Belle II - Pierre Auger

21. Sodelovanje v EU • (DataGrid) 2002-2004 • EGEE I – III 2004-2010 • ustanavljanje EGI 2009-2010 • zagon EGI: maj 2010

22. EGI.eu • Evropska iniciativa za grid. • Koordinacija evropske infrastruktureza grid + sorodni projekti • 50 partnerjev: 37 NGI, CERN in EMBL, 9 partnerjev iz Azije • 223 VO, 20706 aktivnih uporabnikov • Uporaba omrežja GÉANT (EU prednost)

23. Razvoj EGI • EGI skrbi za dolgoročno delovanje evropskega omrežja grid • mednarodno sodelovanje nacionalnih omrežij za delovanje evropskih raziskovalnih institucij • uporabo standardov • osrednje servise • EGI sodeluje z drugimi projekti: • za razvoj programske opreme in standadov • za razvoj evropskih razpršenih računskih infrastruktur (DCI), PRACE za HTC ipd.

24. Prihodnost evropskega grida • Prednost: high throughput computing(GÉANT + boljša vmesna prog. oprema) • Cilj: integracija različnih modelovv eno infrastrukturo(isti osrednji informacijski, varnostni,podatkovni servisi) • paralelizacija • HPC • virtualizacija (clouds)

25. Servisi in trenutni razvoj • Servisi: • monitoring, accounting, ticketing, info systems • EGI CSIRT • EMI in UMD:en repozitorij, prenosljivost, kvaliteta • Interoperabilnost: UI orodja skušajo govoriti protokole različnih oprem

26. SLING: cilji • Vpeljati grid tehnologije v različna področja. • Zagotoviti pogoje za razvoj kompetitivne znanosti. • Vzpostavitev in koordinacija slovenskega omrežja grid (dinamično omrežje z razpršenimi viri in vsemi tipi servisov – HPC in virtualizacija). • Zagotoviti tehnično podporo pri vzpostavitvi gruče in podporo končnim uporabnikom. • Predstavljati interese nacionalne skupnosti grid v Sloveniji in Evropi.

27. SLING: uporabniki in partnerji • Posamezniki • študentje in profesorji • raziskovalci akademskih ter industrijskih razvojnih in raziskovalnih centrov • samostojni raziskovalci, doktorski študentje ipd. • Organizacije • javne izobraževalne in raziskovalne organizacije • industrijski raziskovalni in razvojni centri

28. Kako do grida • Kot uporabnik • Kot organizacija

29. Kako do uporabe grida? • Članstvo v VO(področje, projekt, testna) • Za članstvo potreben certifikat(mreža izdajateljev International Grid Trust Federation, http://signet-ca.ijs.si/). • VO poda navodila glede dela (kako prilagoditi programsko opremo ipd.) • Podpora VO na sl. gručah(lahko tudi uporaba tujih gruč)

30. Kako do uporabe grida? • Navodila za uporabnikegen.vo.sling.si: nacionalna testna VOhttp://www.sling.si/users.html • Programska oprema:samostojni paket NorduGrid ARC • Prilagoditev lastnih programov in oblikovanje nalog • Podpora SLING:poštni seznam: grid.users@arnes.si

31. hellogrid.xrsl &(executable=hellogrid.sh) (jobname=hellogrid (stdout=hello.out (stderr=hello.err) (gmlog=gridlog) (architecture=i686) (cputime=10) (memory=32) (disk=1) Uporaba grida hellogrid.sh #!/bin/sh echo “Hello Grid!” • arcsub • arcstat • arccat • arcget

32. Kako priključiti gručo v grid? • Tehnične zahteve: strežniki za upravljanje gruče, omrežna povezava (vsaj1Gb, HPC več + infiniband) • Podpis SLA (varnostno-tehnični pogoji) • Certifikati(administrator, strežniki, servisi)

33. Namestitev programske opreme • Običajna osnova: Scientific Linux 6 x64 • Raven gruče: PBS / Torque / SLURMNFS (ali Lustre), LDAP za unix users • Raven vmesne opreme:ARC Grid Manager: ARC CElahko gLite CREAM CE • Worker nodes: ARC in gLite WN • User Interface z orodji ARC (in gLite) • Opcije: SRM/dCache, MPI, VM

34. Nadzor servisov

35. Registracija gruče Podpis SLA za registracijo v EGI.

36. Kontakt • Splošne informacije:info@sling.si • Tehnična podpora:support@sling.si • Upravitelji centrov:grid.site.managers@arnes.si • Administratorji centrov:grid.site.admins@arnes.si • Uporabniki:grid.users@arnes.si