150 likes | 305 Views
Grid Computing AliEn og Condor. Hvem, hva, hvor. Jeg heter André Waage Sørensen Er tilknyttet Alice prosjektet på CERN Jobber med Grid teknologier som skal brukes for å distribuere eksperiment resultater for videre analyse. Hva er Grid?.
E N D
Grid Computing AliEn og Condor
Hvem, hva, hvor • Jeg heter André Waage Sørensen • Er tilknyttet Alice prosjektet på CERN • Jobber med Grid teknologier som skal brukes for å distribuere eksperiment resultater for videre analyse
Hva er Grid? • ”Grid computing is an emerging computing model that provides the ability to perform higher throughput computing by taking advantage of many networked computers to model a virtual computer architecture that is able to distribute process execution across a parallel infrastructure.” -- wikipedia.org
Eksempel på Grid AliEn Grid rammeverk LCG LHC Computing Grid ARC Advanced Resource Connector PBS Batch system Condor Batch system
Hvorfor Grid? • Et av prosjektene på CERN er ”The LHC Computing Grid project” (LCG). Dette prosjektet går ut på å håndtere alle dataene som blir generert i sammenheng med LHC (Large Hadron Collider) eksperimentene. • Når dette prosjektet starter i 2007, så vil det generere ca. 15 Petabytes (15 millioner Gigabytes) med data årlig. • Disse datamengdene ville vært uhåndterlige med ”tradisjonelle” metoder. • Grid er løsningen!
AliEn • AliEn: ALIce ENvironment • Grid-prototype utviklet for ALICE-eksperimentet • I utgangspunktet komplett Grid-prototype videreutviklet som grensesnitt mot bl.a. LCG • Ble laget før andre gode alternativer var tilgjengelige
ARC • ARC: Advanced Resource Connector • GRID prototype utviklet av NorduGrid (nordisk gruppe tilknyttet ATLAS-eksperimentet på CERN) • Brukes som ”middleware” primært i Skandinavia • ARC bruker Condor til lokal jobbhåndtering • Trenger AliEn ARC grensesnitt for å kjøre ALICE-jobber på nordiske maskiner
CERN Grid-organisering • CERN • Eksperiment data • 24/7 – operasjon • Permanent datalagring (tape) • Sentrale sentre (5 – 10 pr. eksperiment) • Regneressurser • Tilknyttet institutt / laboratorium etc.
NDGF – Nordic Data Grid Facility • NorduGrid/ARC
Hva er Condor • ”Condor is a specialized workload management system for compute-intensive jobs. Like other full-featured batch systems, Condor provides a job queueing mechanism, scheduling policy, priority scheme, resource monitoring, and resource management.” * Fra Condor sin hjemmeside
Hva er Condor (2) • Condor er et batch-system for distribuering av parallelle jobber over et (lokalt) nettverk • Er tilgjengelig for mange platformer (Linux, Windows, MacOS, etc) • Kan kjøre alle typer programmer (kompilert med C/C++, Java, Fortran, Pascal, etc) • Lett tilgjengelig administrasjon av jobber
Hva er Condor (3) • Mulighet for å sette minstekrav for utføring av jobber (f.eks. operativsystem, prosessorhastighet, ledig minne, etc) • Maskinene jobber bare når bruker er inaktiv / ikke logget inn • God skaleringsevne • Støtte for prioritering av jobber
Condor arkitektur 2. Jobb annonseres 1. Jobb sendes 3. Ledig maskin svarer 4. Jobb og filer overføres 5. Jobb utføres 6. Resultat og evt endrede filer returneres
Hva jeg har jobbet med til nå • Studert og satt meg inn i grid-teknologi og alle konseptene som dette innebærer (grid-miljø, grid-verktøy, sertifikater, etc.) • Denne kunnskapen har så blitt brukt i praksis ved å gjøre følgende: • Sette opp Condor i et Windows/Linux miljø for å kunne tilby Høgskolen et batchsystem på datalabene • Har begynt å sette opp et AliEn og Condor miljø på ”Hansaklyngen” på Fysisk inst.
Hva jeg skal gjøre videre • Jobbe videre med Alien ARC Condor oppsettet på Fysisk inst. slik at det kan brukes i sammenheng med ALICE • Utvikle produksjonsmiljø for et heterogent Grid-system (ARC+AliEn) på Fysisk inst. • Utvikle diverse programvaremoduler tilknyttet disse teknologiene