Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával

1. Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával Kacsuk Péter kacsuk@sztaki.hu www.lpds.sztaki.hu

2. A projekt jellemzői • Partnerek: • Koord.: MTA SZTAKI • BME IIT (Irányítástech. és Inf. Tsz.) • BME IK (Inf. Központ) • INNOTECH Kft. • Célok: • Virtuális szuperszámítógép (metacomputer) létrehozására használható különböző eszközök és módszerek vizsg.-a • a Globus és Condor rendszerek tesztelése, értékelése • rájuk alapozva egy hazai grid infrastrukturális szolgáltatás kidolgozása klaszterek összekapcsolásával.

3. Globus-MPI Condor A metaszámítógép eredeti két célja • Nagyobb teljesítményt elérni, mint az egyedi szuperszámítógépek és klaszterek tudnak biztosítani (high-speed computing) • A gridben lévő számítógépek szabad ciklusainak kihasználása (high throughput computing)

4. Alkalmazások Alkalmazási toolkitek NetSolve Cactus DUROC MPI Condor-G HPC++ Nimrod/G globusrun Grid szolgáltatások Nexus GRAM GSI-FTP I/O HBM GASS GSI MDS Grid szerkezet Condor TCP UDP DiffServ Solaris LSF PBS NQE Linux NT A Globus réteges architektúrája

5. personal Condor your workstation Condor jobs High throughput Computing: Condor • Cél: A gridben lévő számítógépek szabad ciklusainak kihasználása • Megvalósítási lépések (1): A személyes PC v. munkaállomás átalakítása személyes Condor géppé

6. personal Condor SZTAKI klaszter Condor csoport your workstation Condor jobs High throughput Computing: Condor • Megvalósítási lépések (2): Intézeti Condor csoport létrehozása

7. personal Condor SZTAKI klaszter Condor csoport your workstation Condor jobs Barátságos BME Condor csoport High throughput Computing: Condor • Megvalósítási lépések (3): Intézeti Condor csoport összekapcsolása más “barátságos” Condor csoportokkal.

8. personal Condor Magyaro.-i Grid SZTAKI klaszter Condor csoport your workstation Condor jobs glide-ins Barátságos BME Condor csoport Condor • Megvalósítási lépések (4): Grid erőforrások ideiglenes kihasználása

9. NUG30 kvadratikus allokálási probléma • Megoldva 7 nap alatt 10.9 év helyett • Az első 600K másodperc … Processzorok száma

10. I. félévi eredmények: Globus • SZTAKI installálta a Globus rendszert és erre épülve részt vett a European Grid Forum Cactus testbedjének kialakításában. • Ennek célja volt: az európai grid kutatási potenciál demonstrálása a dallasi supercomputing konferencián • Feladat: feketelyukak ütközésekor kialakuló gravitációs hullámok szimulációja • Grid futtatási környezetek: • A program futtatása párhuzamosan több európai központban • Vándorló alkalmazás futtatása

11. SZTAKI, AEI, PSC, BSC, ZIB, FU 3D hullámegyenlet megoldása grid környezetben Supercomputing’00 Dallas SZTAKI

12. I. félévi eredmények • A European Grid Forum Cactus testbedjének résztvevői 2001 áprilisában beadtak egy 5. Keretprogram pályázatot GridLab néven. • Ennek célja: általános Grid programozási rendszer kidolgozása az MPI-hoz hasonló API-val. A szükséges Middleware rétegek (info rendszer, monitor rendszer, portál, stb. továbbfejlesztésével). • SZTAKI feladata: monitor rendszer munkacsoport vezetése és részvétel az info rendszer kidolgozásában. • A projekt a legjobb értékelést kapta a beadott Grid témájú 5. Keretprogram pályázatok között és jelenleg a szerződéskötés fázisában van.

13. Központi ütemező I. félévi eredmények: Condor • A BME IIT és IK munkatársai telepítették a Condor rendszert a helyi gépfarmokon. • A farm mérete a felhasználástól függően változik max. 28 processzorig. • Megkezdődtek a teszt ill. pilot alkalmazások tesztjei. • Elkezdték a teljesítmény mérésére alkalmas tesztek kidolgozását. • SZTAKI létrehozott egy 58 processzorból álló Condor poolt. • SZTAKI Condor pool aktív használata: ~200000 job

14. Mester ütemező IIT IK SZTAKI II. félévi eredmények • Condor pool-ok összekapcsolása: • Condor M/W univerzum tesztelése (IIT) • Condor flocking tesztelése (IIT)

15. IK IIT SZTAKI II. félévi eredmények • Klaszterek összekapcsolása Globusszal: • Condor glide-in tesztelése (SZTAKI) • Condor-G tesztelése (SZTAKI) • Condor + MPI tesztelése (SZTAKI)

16. Grid programozási rétegek Alacsonyszintű párhuzamosítási réteg PVM MW MPI Grid szintű job ütemező réteg Condor-G Grid middleware réteg Globus Grid fizikai réteg Lokális job ütemező réteg Condor Condor Condor Condor Klaszterek Klaszterek Klaszterek Klaszterek

17. Disszeminációs tevékenység • Félnapos szeminárium a projekt első féléves eredményeiről: • Helyszín: MTA SZTAKI, Victor Hugo u. 18-22. • időpont: 2001. január 26. de. 10.00 - 13.30 • Program és előadásanyagok letölthetők: www.lpds.sztaki.hu • Félnapos szeminárium a projekt második féléves eredményeiről: • Helyszín: MTA SZTAKI, Victor Hugo u. 18-22. • időpont: 2001. október 12. du. 14.00 - 17.30 • Program és előadásanyagok letölthetők: www.lpds.sztaki.hu

18. Disszeminációs tevékenység • 1st US-Hungarian Workshop on Cluster and Grid Computing • Helyszín: Univ. of Wisconsin (UoW) • időpont: 2001. Márc. 15. előadások -16. demok • Program: Globus, Condor, P-GRADE, Harness • támogatók: US-Hungarian Action Fund, OM, UoW • 2nd US-Hungarian Workshop on Cluster and Grid Computing • Helyszín: MTA SZTAKI, Budapest • időpont: 2002. Március eleje • támogatók: US-Hungarian Action Fund, OM, SZTAKI

19. Futó magyar projektek NI2000 DemoGrid Globus, Condor Adat biztonság Grid monitorozás Elosztott adatkezelés Magyar Szuperszámítógépes Grid IKTA-4 Portálfejlesztés Biztonság P-GRADE/Condor Gépidő Számlázás Továbbfejlesztések: Magyar Grid Projektek

20. Grid programozási rétegek Web alapú GRID elérés és használat GRID portal Magasszintű párhuzamosítási réteg P-GRADE Alacsonyszintű párhuzamosítási réteg PVM MW MPI Grid szintű job ütemező réteg Condor-G Grid middleware réteg Globus Grid fizikai réteg Lokális job ütemező réteg Condor, PBS, LSF Condor Condor, LSF, Sun Grid Engine Condor, PBS, LSF Klaszterek Compaq Alpha Server Compaq Alpha Server SUN HPC

21. 2100 2100 2100 2100 2100 2100 2100 2100 2100 Mainframe számítógép Szuper-számítógép Klaszter Grid Egységes programfejlesztő és futtató rendszer a párhuzamos és elosztott rendszerek teljes skálájára GFlops G-GRADE P-GRADE P-GRADE Számítógépek

22. Magyar és nemzetközi GRID projektek kapcsolata CERN DataGrid NI2000 DemoGrid Cactus CERN LHC Grid SuperGrid Condor INFN Grid GridLab SYMBEX UK e-science

23. Köszönöm a figyelmüket ? További információ: www.lpds.sztaki.hu