DemoGRID

1. DemoGRID Heterogén rendszerek összekapcsolása adat- és számításigényes feladatok megoldására Benczúr András abenczur@ludens.elte.hu Frohner Ákosszamcsi@caesar.elte.hu Kacsuk Péter kacsuk@sztaki.hu www.lpds.sztaki.hu

2. Áttekintés • Célkitűzések • Résztvevők • Részletesebb tervek • Nemzetközi kapcsolatok • Összefoglalás DemoGRID NI2000

3. Célkitűzések Szuperszámítógépek és klaszterek teljesítményének egyesítése nagysebességű hálózatokkal. DemoGRID célja ennek magyarországi előkészítése: • nyolc központ összekapcsolása - metacomputer • Grid middlewarekutatása és továbbfejlesztése • pilot alkalmazások fejlesztése adatintenzív és számításintenzív feladatokra A kialakuló technológiát a magyarországi akadémiai szféra, és nagy erőforrásigényű magyar cégek is hasznosíthassák. DemoGRID NI2000

4. Innováció/hasznosítás • GRID környezetben még nem megoldott feladatok • adatok perzisztens kezelése • monitorozás és vizualizáció • biztonságtechnikai kérdések • Európai GRID-hez való kapcsolódás • Részecskefizikai és csillagászati adatok • terra- és petabájtos adatmennyiségek tárolása • keresés, adatbányászat ezekben az adatbázisokban • Neurális adatbázisok, neuroszimulátor készítése DemoGRID NI2000

5. Résztvevők • ELTE • Informatika Tanszékcsoport • Elméleti Fiziaki Tanszék, Kvantumelméleti kutatócsoport • Fizikus Tanszékcsoport, Asztrofizikai kutatócsoport • Információtechnológiai Központ • SZTAKI • Párhuzamos és Elosztott Rendszerek Laboratórium • Rendszerfejlesztési Osztály • MTA KFKI Részecske és Magfizikai Kutatóintézet • SzIF, Matematika Tanszék • MTA Műszaki Fizikai és Anyagtudományi Kutatóintézet DemoGRID NI2000

6. GRID Általános architektúra Tároló alrendszer Biztonsági alrendszer Monitorozó alrendszer RDB OODB DFS GDB ALKALMAZÁSOK Dekomp Adat Szoros Laza Hardver CPU Tároló Hálózat Tervek • GRID általános architektúra • tanulmányozása, alkalmazása és továbbfejlesztése • GRID alrendszerek tanulmányozása és fejlesztése • Tároló alrendszer: relációs adatbázis, objektum-orientált adatbázis, geometriai adatbázis, elosztott fájlrendszer • Monitorozó alrendszer • Biztonsági alrendszer DemoGRID NI2000

7. Mi is a GRID? • A GRID olyan számítógépek, tárolóegységek és egyéb készülékek együttese, amelyek • heterogének minden szempontból • dinamikusan változnak • földrajzilag elosztottak • távolsági hálózattalvannak összekötve • egyetlen komputer képétalkotják (SSI) • Az általánosított metaszámítási technológia (GRID) jelentése: • hálózat alapú • elosztott adatfeldolgozási technológia DemoGRID NI2000

8. DemoGRID NI2000

9. Távoli megfigyelés és monitorozás Ferihegyről Távoli víz. Los Angelesben Távoli víz. és beavatkozás Berlinből Előző szimuláció eredményeinek víz.-ja egy bécsi kávéházból Ekvi-felületek http HDF5 T3E: Jülich (Németo.) Origin: NCSA (USA) Globus 1. Cactus web portálról indított szimuláció (Róma) Grid kiterjesztésű Cactus futása elosztott szuperszámítógépeken Az “álom” alkalmazás DemoGRID NI2000

10. Tervek - GRID • Cél: meglévő klaszterek és szuperszámítógépek összekapcsolása - heterogén komponensek! • Eszköz: Globus, vagy hasonló technológia • Probléma: “közös hang” megtalálása tecnológiai és adminisztratív értelemben. DemoGRID NI2000

11. Tervek - tárolás Megoldandó problémák: • Nehezen skálázható megoldások terra- és petabájtos tartomány • Elosztott hozzáférés a végfelhasználó az egész adattömegnek csak töredékét használja • Alkalmazáshoz igazított adattárolási forma Élő példa lehet: tüdőszűrési röntgenképek tárolása (Budapesten is terrabájtos helyigényű) DemoGRID NI2000

12. Tervek - monitorozás Az erőforrások felhasználásának követése. Célok: • Felhasználói tájékoztatás • Hibakeresés könnyítése • Visszajelzések hatékonyabb programok fejlesztéséhez • GRID hatékonyabb kihasználása DemoGRID NI2000

13. Tervek - biztonság Alapvető probléma: felhasználók/adatok védelme vs. erőforrások könnyű felhasználása Cél: nyilvános forráskódú rendszer létrehozása • bizalom növelése • integráció a meglévő megoldásokkal DemoGRID NI2000

14. Tervek - alkalmazások • Adatintenzív terrabájtos adatmennyiségek feldolgozása data-mining, döntéstámogatás • Szorosan csatolt sok részeredményt kell kicserélni nagy kommunikációs igény • Lazán csatolt “önálló” számítások halmaza nagy CPU igény • Tartomány dekompozíciós szorosan csatolt részfeladatok lazán csatolt halmaza Pl: belső égésű motorok működésének optimalizálása DemoGRID NI2000

15. Tervek - hardware • Tároló rendszer költséghatékony fejlesztés 3-5 terrabájtig jelenlegi helyzet nem kielégítő • CPU farmok jelenlegi kb. 200 CPU frissítése fejlesztés kb. 300 CPU-ig jelenlegi állapot kisebb feladatokra elegendő • Hálózat helyi: switch-elt architektúra bevezetése intézményközi: NIIF nagy sávszélességű programja DemoGRID NI2000

16. Nemzetközi kapcsolatok • Európai DataGRID - CERN • NA49-es kísérlet: évente terrabájtos adatmennyiség • CMS - 2005-ben induló LHC egyik kísérlete: petabájtos adatmennyiség, melyhez a DemoGRID csak előtanulmány • SDSS - Sloan Digital Sky Survey • 1999 óta az égbolt térképezése 2004-ig • 40 terrabájt adat az égbolt negyedéről • cél: európai központ - teljes adatmennyiség tükrözése DemoGRID NI2000

17. CERN – Tier 0 2.5 Gbps IN2P3 622 Mbps RAL FNAL Tier 1 155 mbps 155 mbps 622 Mbps Uni n Lab a Tier2 Uni b Lab c   Department  Desktop CERN DataGrid projekt Cél: Petabyte méretű adatok feldolgozása több ezer tudós által DemoGRID NI2000

18. Hol tart ma az USA? NSF National Technology Grid DemoGRID NI2000

19. Összefoglalás A célkitűzésekben megfogalmazott részfeladatokon ma is dolgoznak a résztvevők, de a megvalósítás üteme és mértéke csökkentett. Az erőforrásigényes feladatok megoldása GRID tecnológiával lehetővé teszi az országban rendelkezésre álló elszórt eszközpark hatékonyabb kihasználását. A célkitűzések megvalósításával Magyarország tudományos adatok forrássává válhatna akár európai szinten is. Ennek informatikai technológiája a kereskedelmi szférában is könnyen hasznosítható lenne. DemoGRID NI2000