Grid Computing van onderzoek naar onderzoeksfaciliteit

1. Grid Computingvan onderzoek naar onderzoeksfaciliteit David Groep NIKHEF

2. ICT & Grid • Drie eigenschappen van een grid • De bouw van een grid faciliteit • software • hardware • ‘peopleware’ applicaties infrastructuur informaticaonderzoek NWO Themadag - ICT en Grids

3. The GRID: networked data processing centres and ”middleware” software as the “glue” of resources. Researchers perform their activities regardless geographical location, interact with colleagues, share and access data Connecting Resources Basis voor Resource Sharing Scientific instruments and experiments provide huge amounts of data Federico.Carminati@cern.ch NWO Themadag - ICT en Grids

4. De belangrijkste kenmerken op een rij ‘Een grid is meer dan een clustercomputer’ Het Grid brengt resources bij elkaar, die • niet door één organisatie worden beheerd • wel een gemeenschappelijk, open protocol spreken … dat algemeen bruikbaar is • voor de gebruiker één transparant, samenwerkend geheel vormen NWO Themadag - ICT en Grids

5. Organisatie in grids NWO Themadag - ICT en Grids

6. De Virtuele Organisatie • Gebruikers en providers vormen tijdelijk samen één gemeenschap • Gebruikers nemen vaak deel als individu • De provider kent niet van tevoren alle gebruikers:trusted third parties zorgen voor identificatie • Virtuele organisaties zullen overlappen NWO Themadag - ICT en Grids

7. Standaardisatie • beperkt aantal standaard protocollen (‘web services’) • algemeen bruikbaar voor verschillende applicaties • samenhang:Open Grid Services Architecture (OGSA) NWO Themadag - ICT en Grids

8. user Standaard protocollen GridFTP server Grid Security Infrastructure GSI Security Client/App SW tape robotDMF+CXFS Metadata Catalogue Security Infrastructure disk-basedstorage • GSI in common • common authentication • multiple implemen-tations, same interface • one information systemper VO / infrastructure RLS CASTOR Job InfoSys NWO Themadag - ICT en Grids

9. Collectieve services Eén uniform systeem • single sign-on • resource brokering • foutbestendigheid • self-healing • redundancy grid NWO Themadag - ICT en Grids

10. Op weg naar een faciliteit Integratie van infrastructuur en ICT onderzoek • authenticatie/autorisatie • ‘gemeenschapsvorming’ • beveiliging, indicent handling, operaties • infrastructuur bouw en –beheer • integratie, stabiliteit, ‘quality of service’ en installatie • resources en hardware • disseminatie & ondersteuning – voor gebruikers én beheerders NWO Themadag - ICT en Grids

11. Authenticatie en autorisatie • Schaalbare Public Key Infrastructure (‘paspoort’) • identiteits providers los van de virtuele organisatie • wereldwijd coördinatie nodig! • Virtuele Organisaties (‘visa’) • gemeenschappelijke gebruikvoorwaarden • interne organisatiestructuur en rechten • los van instituten en van de resourceaanbieders • VO organiseert rechten van zijn leden, zonder tussenkomst van resourceaanbieders • Resources policies (‘marechaussee’) • systeemeigenaar heeft altijd het laatste woord • accountingmaakt gebruik inzichtelijk en berekenbaar NWO Themadag - ICT en Grids

12. PoC Release n Release Candidaten+1 Developers Heaven/Haven Integration tests Functionality tests Adventurous application people Stable, reliable, tested Cert. releases Grid MW & VL-software Flexible, test environment Characteristics Flexible, ‘unstable’ Virtual Lab. rapid prototyping (interactive simulation) GT3.2 Application development Test & Cert. Grid MW & VL-software Compatibility Usage NL-Grid production cluster Central mass-storage facilities+SURFnet GT2 GT2 NL-Grid Fabric Research Cluster Tagged Release Candidates DAS-2, local resources Initial compute platform VL-e Rapid Prototyping Environment Download RepositoryPoC InstallerCluster Tools Developer CVSNightly buildsUnit tests VL-e Certification Environment VL-e Proof of Concept Environment Environments stable, tested releases Infrastructuur: integratie Integratie van software • veel van de tools en concepten zijn er al … ‘alleen nog maar integreren’ • maar alleen met implementatie, uitrol & testen vindt je de zwakheden Aandacht voor specifieke grid eigenschappen • policy-constraint gedistribueerde computing • verhoogde dynamiek in het systeem • fault tolerance eisen En daadwerkelijk installeren • Software engineering verbeteren • VL-e Proof-of-Concept Installer • Grid cluster tools (quattor) P4 Scaling & Validation Programme NWO Themadag - ICT en Grids

13. Infrastructuur: hardware resources • Een ‘leeg’ grid heeft weinig nut • complexe faciliteiten worden wel beter toegankelijk • maar grid is geen vervanging voor hardware aanschaf • wel: schaalvoordelen & efficienter gebruik • ‘Gegridificeerde’ resources, b.v. • NCF NL-Grid project: clusters & opslag • SARA: Matrix cluster + storage • NIKHEF Data Processing Facility • AMOLF MassStore • in toekomst: Nationaal Cluster LISA@SARA • bereikbaar via SURFnet NWO Themadag - ICT en Grids

14. Gebruikers! • Betrokkenheid is essentieel voor succes • ‘brug’ tussen grid en gebruikers nodig • hands-on training + support • pilots met nieuwe technologie • intensieve samenwerking met applicaties • voor gebruikers ‘interessante’ resources • grid gebruikers in VL-e en NL-Grid nu aard-observatie, radioastronomie, medical imaging, 3D-elektronenmicroscopie, (astro-) deeltjesfysica, informaticaonderzoekers, massaspectroscopie • maar dit kan/moet veel verder groeien … Alleen gebruikers maken grid tot een succes! P4 NWO Themadag - ICT en Grids