Úvod do použití Gridů

1. Úvod do použití Gridů Jan Kmuníček CESNET

2. Obsah • Definice a vlastnosti Gridů • Schéma služeb a jejich funkce • Detaily gridové architektury • Virtuální organizace • Bezpečnostní prvky Gridů • Evropské gridové prostředí Seminář projektu EGEE-II, 12. prosinec, 2006

3. Definice a vlastnosti Gridů • Definice Gridu • „A computational grid is a hardware and software infrastructure that provides dependable, consistent, pervasive, and inexpensive access to high-end computational capabilities.“ • „Výpočetní grid je hardwarová a softwarová infrastruktura, která poskytuje spolehlivý, standardizovaný, všudypřítomný a levný přístup ke špičkovým výpočetním službám. “ (I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1998) • rozsáhlý distribuovaný systém organizačně samostatných elementů, kterými mohou být individuálnípočítače (paměti, pevné disky) a informační systémy vzájemně propojeny počítačovou sítí Seminář projektu EGEE-II, 12. prosinec, 2006

4. Definice a vlastnosti Gridů • Grid versus distribuované prostředí • Distribuované aplikace jako specializované systémy pro jediný cíl nebo skupinu uživatelů. • Gridy rozšiřují původní distribuované aplikace o nové vlastnosti • různé druhy zdrojů • nevyžadován striktně stejný hardware, data a aplikace • různé druhy interakcí • různé uživatelské skupiny a aplikace interagují s Gridem různě • dynamická povaha • zdroje a uživatelé často přibývají / ubývají / mění se Seminář projektu EGEE-II, 12. prosinec, 2006

5. Definice a vlastnosti Gridů • Vlastnosti Gridu/Gridů • velmi početné výpočetní zdroje • výpočetní zdroje jsou • heterogenní • geograficky separované • spojeny heterogenními sítěmi • plně pod kontrolou jejich vlastníků • vlastnictví vzájemně nezávislými organizacemi & jedinci • vyžadovány různé bezpečnostní požadavky a pravidla • vyžadována různá pravidla správy zdrojů • potenciální zahrnutí vadných zdrojů Seminář projektu EGEE-II, 12. prosinec, 2006

6. Definice a vlastnosti Gridů • Výpočetní Grid • Grid poskytující výpočetní servis • poskytuje zabezpečené služby pro spouštění aplikací na distribuovaných výpočetních zdrojích • jedná se o „virtuální distribuovaný počítač“ pro řešení výpočetně náročných aplikací • dynamicky agreguje výpočetní kapacitu velkého počtu individuálních počítačů Seminář projektu EGEE-II, 12. prosinec, 2006

7. Definice a vlastnosti Gridů • Datový Grid • principiálně jde o zpracování rozsáhlých datových sad pomocí služeb „výpočetního Gridu“ • charakterizován sdílením velkého množství dat, poskytováním zabezpečeného přístupu k těmto datům a umožnění jejich následné správy • řešeno formou replikovaných datových katalogů vytvářejících iluzi jednotného hromadného datového úložiště Seminář projektu EGEE-II, 12. prosinec, 2006

8. Definice a vlastnosti Gridů • Informační / Znalostní Grid • často také nazýván jako kolaborativní nebo aplikační Grid • charakterizován snahou o rozšíření možností datových Gridů o poskytování kategorizace dat, ontologií, sdílení znalostí a tvorby workflow • součástí informačních Gridů jsou virtuální prostředí pro spolupráci resp. virtuální laboratoře umožňující vzdálenou kontrolu a správu senzorů a zařízení Seminář projektu EGEE-II, 12. prosinec, 2006

9. Informace & monitorování Správa dat Správa zatížení zdrojů Výpočetní & datové kapacity Aplikace Schéma služeb a jejich funkce • Zjednodušené schéma fungování • funkce jednotlivých prvků víceméně společné všem Gridům • pojmenování jednotlivých elementů podle projektu EGEE Bezpečnost Seminář projektu EGEE-II, 12. prosinec, 2006

10. Detaily gridové architektury • Jednotlivé prvky UI – User Interface • zprostředkovává uživatelům „přístup“ do Gridu • tvoří rozhraní ke službám Gridu (grafické nebo pomocí příkazové řádky) • UI umožnuje • přihlásit se do Gridu • zadávat výpočetní úlohy (ve formátu JDL – Job Description Language) • sledovat stav zadaných úloh • zjišťovat informace o volných zdrojích • získávat & vizualizovat výsledky zadaných výpočetních úloh • správu uživatelských dat Seminář projektu EGEE-II, 12. prosinec, 2006

11. Detaily gridové architektury • Jednotlivé prvky CE – Computing Element • tvoří frontend pro konkrétní skupinu výpočetních uzlů • hlavní funkce CE jsou • přijímat joby určené pro konkrétní cluster/farmu (homogenní uzly) • poskytovatdetailní informace o výpočetní kapacitě a nainstalovaném systémovém / aplikačním softwaru • přijaté výpočetní úlohy následně předatlokálnímu dávkovému plánovacímu systému (PBS, LFS, NQE, LoadLeveler, Condor, …), který pošle úlohy ke zpracování na výpočetní prvky (WNs) Seminář projektu EGEE-II, 12. prosinec, 2006

12. Detaily gridové architektury • Jednotlivé prvky SE – Storage Element • tvoří jednotné rozhraní k ukládaní dat uživatelůGridu a umožňuje přístup k jednotlivým souborům • soubory je možné replikovat a přistupovat k „nejbližší“ replice (tvoří také zálohu pro případ výpadku některého z SEobsahujícího instancisouboru) • každý registrovaný soubor má svoji identifikaci v Gridu, přes kterou se k němu přistupuje (nezávislé na jménu a umístění) • znalost přesného umístění souboru (kolekce souborů/dat) není nezbytná Seminář projektu EGEE-II, 12. prosinec, 2006

13. Detaily gridové architektury • Jednotlivé prvky WNs – Worker Nodes • tvoří vlastní výpočetní prvky – slouží ke zpracování jednotlivých úloh • charakteristiky WN • musí mít přístup k aplikačnímu softwaru – řeší se většinou mountem z nějakého sdíleného prostředku • musí mít nainstalován software pro I/O dat na SE (grid-ftp) • jediné nemusí být dosažitelné „zvenku“, ale pouze z CE Seminář projektu EGEE-II, 12. prosinec, 2006

14. Virtuální organizace • Gridového počítání • „Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations.“ (I. Foster, C. Kesselman. -The Grid: Blueprint for a New Computing Infrastructure, 1998) • Virtuální organizace (VO) • souhrn výpočetních zdrojů a lidí pracujících na společném projektu • Cíle virtuálních organizací • sdílení datových zdrojů a výpočetních kapacit použitelných pro zpracování výpočetních úloh Seminář projektu EGEE-II, 12. prosinec, 2006

15. Virtuální organizace • Principy fungování • uživatelé by si měli z Gridu vzít prostředky, které zrovna potřebují, když je potřebují, tam kde je potřebují • procesory resp. jejich výkon • diskový prostor • přenosová kapacita sítí • speciální hardware (mikroskopy, senzory, …) • Grid zajistí • unifikovaný přístup, bezpečnost, spolehlivou dodávku • vyúčtování za spotřebu Seminář projektu EGEE-II, 12. prosinec, 2006

16. Bezpečnostní prvky Gridů • Autentizace • proces ověření identity komunikujících partnerů (uživatel – služba) Jste opravdu tím, kým tvrdíte, že jste? • certifikace – mechanismus pro ustavení důvěry mezi partnery • Autorizace Máte přístup ke zdrojům, které požadujete? • Šifrování • utajení citlivých uživatelských dat (biomedicínské Gridy) • Accounting Co jste udělali, kdy jste to udělali a odkud jste to udělali? Seminář projektu EGEE-II, 12. prosinec, 2006

17. Evropské gridové prostředí • rozvoj gridových technologií a reálné nasazení Gridů podporováno Evropskou Unií (EU) - 5., 6. rámcový program EU • heterogenita gridových projektů EU • infrastrukturní budování jednotné evropské gridové infrastruktury (Damien, DataTAG, DEISA, SEE-GRID, EGEE/EGEE-II) • výzkumné rozvoj gridového middlewaru a gridových nástrojů (GRIP, Eurogrid, GridLab, DataGrid) • aplikační specifické aplikačně orientované projekty (GRIA, EGSO, Crossgrid, Diligent, BioInfogrid)  http://egee.cesnet.cz/cs/grid/links.html Seminář projektu EGEE-II, 12. prosinec, 2006