Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space

1. Development of Polish Grid Infrastructure - PL-Grid - in the European Research Space Jacek Kitowski and Łukasz DutkaACK CYFRONET AGH, Cracow Institute of Computer Science AGH-UST incollaborationwithPartners of PL-GridConsortium Konferencja Użytkowników Komputerów Dużej Mocy, ACK CYFRONET-AGHZakopane 18-19.03.2010

2. Plan wystąpienia • Narodowa Inicjatywa Gridowa w Polsce • Motywacja – e-Science, Science 2.0 • Uzasadnienie i Podstawy • Stan Zaawansowania • Projekt PL-Grid – Rezultaty • Podsumowanie • Działania integracyjne zachodzące w Europie w ramach EuropeanGridInitiative

3. Podejście e-Science: Science 2.0 • Badania naukowe: • Teoretyczne • Doświadczalne • W komputerze • W komputerze (in silico) • Zaawansowane, rozproszone obliczenia • Wieloskalowe i wielodyscyplinarne • Odnoszą się do zjawisk o ekstremalnych skalach czasowo-przestrzennych • Wymagające postępów w zakresie informatyki i nauk obliczeniowych • Realizowane przez międzynarodowe zespoły badawcze we współpracy ACK:David de Roure, http://www.soton.ac.uk/~dder/talks.html

4. Oczekiwania ze strony środowisk naukowych • Zasoby – Usługi • Obliczeniowe • Dane • Infrastruktura ACK: F. Gagliardi

5. Konsorcjum PL-Grid • Konsorcjum utworzone w styczniu 2007 jako odpowiedź na potrzeby polskiej społeczności naukowej i bieżących aktywności gridowych w Europie w ramach EGI_DS. • Konsorcjum składa się z pięciu polskich centrówobliczeniowych, reprezentujących środowiska naukowe, koordynowane przez ACK Cyfronet AGH • Cele dzialalności Konsorcjum: • Dostarczenie polskiej społeczności naukowej usług informatycznych, służących e-Science .Utworzenie stabilnej infrastruktury obliczeniowej kompatybilnej z gridem europejskim i światowym. • Rozwój specjalizowanych narzędzi i usług dla różnych dziedzin nauki i aplikacji • Wchodzi w skład EGI (European Grid Initiative) jako Polish NGI (NGI_PL) • Członkowie EGI Council nominowani przez MNiSW: • Prof. K. Wiatr, Prof. M. Turała • Członkowie EGI Executive Board z wyboru: • Prof. M. Turała • Członkowie grona ekspertów w F3 EU„Research Infrastructure” nominowani przez MNiSW: • Prof. J. Kitowski • Uczestnictwo w projektach: • EU (FP6, FP7, EGI InSPIRE….), PO IG

6. Projekt PL-Grid • Konsorcjum realizuje Projekt PL-Grid: „Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej” – PL-Grid • Projekt jest współfinansowany ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka. • Czas trwania Projektu: 01.01.2009 – 31.12.2012 • Beneficjent: Akademickie Centrum Komputerowe CYFRONET AGH • Numer umowy: POIG.02.03.00-00-007/08 • Project website: www.plgrid.pl

7. Planowana realizacja celów Projekt PL-Grid jest podzielony na kilka zadań • Główne wskaźniki projektu: • Moc obliczeniowa: 215 Tflops • Pamięć dyskowa: 2500 TB

8. Pakiet2: InfrastrukturaGłówneosiągnięciaPakietu2 Rafał Tylman TASK

9. WP 2 - Infrastruktura • CYFRONET, ICM, PCSS • infrastruktury zasilająca i chłodząca gotowe na przyjęcie serwerów i pamięci masowych • WCSS • końcowy etap instalacji infrastruktury zasilającej i chłodzącej • TASK • faza końcowa procedur przetargowych infrastruktury zasilającej i chłodzącej • Serwery i Pamięć Masowa • Systemy do wdrożenia w I połowie roku: • CYFRONET – zakończony arbitraż • ICM – zakończony arbitraż • PCSS – dostawa w trakcie realizacji • Systemy do wdrożenia w II połowie roku: • WCSS – właśnie startuje procedura przetargowa • TASK – przygotowanie procedury przetargowej (start maj) • Trwają przygotowania do instalacji systemów oraz uzgadniane są pakiety aplikacji do instalacji w pierwszym etapie. Pierwsze serwery PL-Grid gotowe na przyjęcie użytkowników już wkrótce.

10. Pakiet3: Centrum OperacyjneGłówneosiągnięciaPakietu3Centrum Operacyjne PL-Grid a Użytkownicy Marcin Radecki ACK Cyfronet AGH

11. Usługi Centrum Operacyjnego dla Użytkowników Centrum Operacyjne dąży do ułatwienia dostępu do infrastruktury poprzez prostsze procedury oraz wdrożenie przydatnych narzędzi: System rejestracji i zarządzania kontem użytkownika PL-Grid dostępny pod adresem https://konto.plgrid.pl/ wymagany wpis w bazie OPI bądź potwierdzenie opiekuna naukowego gridowy dostęp do zasobów PL-Grid 5 ośrodków – gLite 1 ośrodek - UNICORE lokalny dostęp do sytemu kolejkowego klaster „zeus” w ACK CYFRONET AGH możliwość aplikowania o certyfikat gridowy on-line (wkrótce) aplikowanie o dostęp do usług obliczeniowych w innych ośrodkach (wkrótce) System pomocy „Helpdesk PL-Grid” umożliwia zgłaszanie i śledzenie usterek dostępny pod adresem https://helpdesk.plgrid.pl dostęp również poprzez interfejs e-mail: helpdesk@plgrid.pl dokumentacja: https://wiki.plgrid.pl/doku.php?id=pakiet5:publiczne:podrecznik_uzytkownika_pl-grid→ System Pomocy Helpdesk

12. Centrum Operacyjnego dla Użytkowników Centrum Operacyjne dba o poprawne działanie infrastruktury dla użytkowników PL-Grid poprzez pro-aktywne monitorowanie elementów infrastruktury dostępności usług infrastrukturalnych aplikacji obliczeniowych wspieranych przez PL-Grid Zapewnienie zgodności infrastruktury PL-Grid z europejską (EGI) oprogramowanie procedury operacyjne procedury bezpieczeństwa Zaawansowane prace nad koncepcją „grantów PL-Grid” Integracja prezentacji danych dotyczących wykorzystania zasobów dla użytkownika Prace nad wprowadzeniem zintegrowanego portalu użytkownika

13. Pakiet 4: Rozwójoprogramowania e-infrastruktury i narzędzi użytkownikaGłówne osiągnięcia Pakietu 4 Krzysztof Kurowski Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS)

14. Główne osiągnięcia Pakietu 4go - Nowa infrastruktura • Stworzenie infrastruktury rozwojowej łączącej zasoby obliczeniowe wszystkich 5 ośrodków superkomputerowych w kraju • Bliska współpraca 8 grup programistyczno-testowych, około 20 osób • Instalacja oraz udostępnienie do celów testowych środowiska warstwy pośredniej gLlite, Unicore oraz QosCosGrid - zakończonie około 70 zadań • Około 30 różnych konfiguracji wirtualnych maszyn z zainstalowanym oprogramowaniem wykorzystywanych do celów rozwojowych i testowych nowych narzędzi dla użytkowników - zakończony wybór technologii • Testy funkcjonalne, zgodności oraz wydajnościowe wybranych pakietów oprogramowania badawczego celem przeprowadzenia wdrożenia oraz wsparcia na poziomie produkcyjnym nowych narzędzi i usług

15. Główne osiągnięcia Pakietu 4go - Nowe narzędzia i usługi • Rozbudowa śrdowiska GridSpace o zestaw nowych funkcji, wsparcie dla nowych skryptów oraz integracja z nowymi usługami gridowymi • Implementacja i udostępnienie zaawansowanych interfejsów graficznych, wizualizacji oraz zarządzania zadań i danych dla wybranych aplikacji nowych użytkowników z wykorzystaniem Vine Toolkit • Testy wydajnościowe i funkcjonalne usług warstwy pośredniej QosCosGrid oraz integracja na poziomie systemów kolejkowych z infrastrukturą gLilte i Unicore • Integracja narzędzi Migrating Desktop oraz gEclipse z różnymi usługami warstwy pośredniej w PL-GRID • Plan rozbudowy oraz wdrożenia nowych narzędzi FiVO do zarządzania i monitorowania wirtualnych organizacji • Testowe wersje narzędzi dla użytkowników oraz administratorów systemów: Bazzar, mobilny dostęp do infrastruktury, nowe aplikacje bezpieczeństwa • Integracja wybranych narzędzi oraz aplikacji web’owych ze środowiskiem portalowym Liferay i systemem monitorowania Nagios

16. Główne osiągnięcia Pakietu 4go - nowi użytkownicy • Bezpośredni kontakt z nowymi użytkownikami na podstawie ogólnopolskiej ankiety dostępnej pod adresem: www.plgrid.pl/ankieta • Wymagania polskich użytkowników (wyniki ~100 ankiet) uwzględniane w nowych aplikacjach, narzędziach oraz usługach rozwijanych i testowanych w ramach Pakietu 4go • Liczna grupa użytkowników współpracująca z zespołami Pakietu 4go • Wydziału Chemii Uniwersytetu Jagiellońskiego • Zakład Bioinformatyki i Telemedycyny CMUJ • Uniwersytet Adama Mickiewicza • Politechnicka Poznańska • Politechnika Wrocławska • Administratorzy centrów obliczeniowych • …

17. Pakiet5: Szkolenia i Wsparcie UżytkownikówGłówneosiągnięciaPakietu5 Mariusz Sterzel ACK Cyfronet AGH Maciej Filocha ICM

18. Szkolenia i wsparcie użytkowników • Przeprowadziliśmy pierwszą serię szkoleń podstawowych z dostępu do infrastruktury poprzez środowiska gLite i UNICORE we wszystkich ośrodkach uczestniczących w projekcie – Gdańsk/Kraków/Poznań/Warszawa/Wrocław • Rozpoczęliśmy drugą serię szkoleń. • Jeśli pojawi się zapotrzebowanie, podobne szkolenia możemy przeprowadzić w innych ośrodkach (bezpłatnie!) • W najbliższych dniach poprzez stronę projektu udostępnione zostaną pierwsze szkolenia zdalne – dla każdego, bez ruszania się z domu (w technologii Blackboard). • Wsparcie użytkowników odbywać się będzie poprzez specjalizowany interfejs – tak, aby każde zgłoszenie było sprawnie obsłużone i trafiło do osób kompetentnych. • Pytania i uwagi: szkolenia@plgrid.pl oraz helpdesk@plgrid.pl

19. Aplikacje obliczeniowe • Dostęp do aplikacji obliczeniowych zapewniony będzie w miarę możliwości na dwa sposoby: • poprzez środowisko gLite, znane z EGEE i starszych projektów gridowych, • poprzez UNICORE – w środowisku graficznym. • Udostępniamy aplikacje licencjonowane bezpłatnie, a także niektóre płatne, m.in. Dalton, CPMD, NWChem, Cfour, Gaussian, GAMESS, Turbomole, ANSYS/Fluent, • kolejne pakiety w trakcie udostępniania. • W razie zapotrzebowania udostępnimy większość aplikacji uruchamianych na dotychczasowej infrastrukturze obliczeniowej ośrodków KDM, jak również nowe oprogramowanie zaproponowane przez użytkowników. • Zachęcamy do zgłoszenia nam swoich oczekiwań – przygotowana jest specjalna ankieta:http://www.plgrid.pl/news/ankieta_projektu

20. Oprogramowanie Specjalistyczne Przykłady oprogramowania udostępnianego na infrastrukturze PL-Grid • Biologia AutoDock, BLAST, ClustalW2, CPMD, Gromacs, NAMD • Chemia kwantowa ACES II, ADF, CFOUR, CHARMM, Dalton, GAMESS, Gaussian, MacroModel, Molcas, Molpro, MOPAC, NWChem, OpenBabel, Siesta, TURBOMOLE • Fizyka: Meep • Metody numeryczne i symulacja Mathematica, MATLAB

21. Oprogramowanie naukowe • Oprogramowanie naukowe • Wprowadzenie zunifikowanego systemu dostępu do aplikacji w środowisku gridowym opartym o pakiet Modules • Opracowanie i wdrożenie (wspólnie z WP3) systemu testowania aplikacji w środowisku gridowym • Poprawność działania aplikacji naukowych monitorowana jest automatycznie w każdym z ośrodków na bieżąco. • Wdrożenie szeregu aplikacji komercyjnych i ogólnie dostępnych na architekturze obliczeniowej PL-Grid • Dostępne pakiety • ADF, Blender, CFOUR, GAMESS, Gaussian, NAMD, Root, Turbomole • W najbliższym czasie planowane jest udostępnienie kolejnych pakietów oprogramowania naukowego

22. System szkoleń • Pakiet 5 opracował zbiór szkoleń (zarówno tradycyjnych jak i on-line w systemie Blackboard) • Szkolenia dostępne są nieodpłatnie dla wszystkich użytkowników platformy PL-Grid • System Blackboard będzie udostępniał szkolenia na poziomie podstawowym jak i zaawansowanym • Obecnie dostępne szkolenia to: • ABC użytkownika PL-Grid • Po ukończeniu kursu danego poziomu użytkownik otrzymuje certyfikat.

23. Pakiet6: Bezpieczeństwo InfrastrukturyGłówneosiągnięciaPakietu6 Bartłomiej Balcerek WCSS

24. WP6 Osiągnięcia • Udostępnienie dwóch CA - centrów certyfikacji PKI użytkownikom gridu, • Projekt systemu SimpleCA ułatwiającego użytkownikom otrzymywanie certyfikatów PKI i ich użytkowanie - system zostanie udostępniony w marcu, • Projekt i wdrożenie bezpiecznej konfiguracji infrastruktury, zgodnej z najnowszymi standardami bezpieczeństwa, • Projekt systemu monitorowania zgodności konfiguracji wdrożonej w ośrodkach z polityką bezpieczeństwa, • Powołanie zespołu specjalistów z dziedziny bezpieczeństwa w celu ciągłego monitorowania środowiska, natychmiastowej reakcji na incydenty oraz wsparcia użytkowników i administratorów, • Prototypowa wersja systemu korelacji informacji o atakach na infrastrukturę (ACARM-ng) • Audyty kluczowych dla bezpieczeństwa gridu aplikacji.

25. Oprogramowanie – problemy użytkownika • Jaka aplikacja może być przystosowana do użytkowania w PL-Grid? Każda! (niektóre po lekkich modyfikacjach) • Programy sekwencyjne – bez zmian • Aplikacje równoległe (MPI) – bez zmian • Programy interaktywne – wymagana zmiana w komunikacji z użytkownikiem • Operacje na wielkich zbiorach danych – zmiana dostępu do danych Możliwość jednoczesnego uruchamiania kilkudziesięciu/kilkuset instancji danego programu ACK: M. Sterzel

26. Jak zostać użytkownikiem ? • Każda osoba związana z polską nauką może korzystać z zasobów PL-Grid • Aby zostać użytkownikiem należy zarejestrować się oraz uzyskać odpowiedni certyfikat • Procedura rejestracji oraz dalsze informacje dostępne są na stronie: http://www.plgrid.pl • Z chęcią odpowiemy na pytania: m.sterzel@cyfronet.pl • Procedura rejestracji: email: plgrid-rejestracja@rt.grid.cyfronet.pl ACK: M. Sterzel

27. Podsumowanie: Działania Konsorcjum • Krótkoterminowe • Rozwój udostępnianych usług • Zapewnienie środków dla pokrycia kosztów działania i współpracy międzynarodowej • Nawiązanie współpracy z D-Grid (wstępne ustalenia poczynione) • Zgłoszone zainteresowanie współpracy ze strony BE-Grid • Długoterminowe – realizowane w sposób ciągły • Wdrożenie oprogramowania i narzędzi • Wsparcie użytkownika i szkolenia • Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury • Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk • Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, PaaS, SaaS….) • National Cloud Initiative (chmury obliczeniowe, chmury danych) • paradygmat SOA, wykorzystanie wiedzy … • „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie Roboczym • Strategiczne • Rozwój środowisk domenowo specyficznych

28. Podziękowania • ACK Cyfronet AGH • Kazimierz Wiatr • Michał Turała • Krzysztof Zieliński • Marian Bubak • Tomasz Szepieniec • Marcin Radecki • Mariusz Sterzel • Karol Krawentek • Agnieszka Szymańska • Andrzej Oziębło • Tadeusz Szymocha • Alex Kusznir • Zofia Mosurska • Teresa Ozga • Aleksandra Mazur • ICM • Piotr Bała • Maciej Filocha • PCSS • Norbert Meyer • Krzysztof Kurowski • Mirosław Kupczyk • WCSS • Józef Janyszek • Bartłomiej Balcerek • Paweł Dziekoński • TASK • Mścisław Nakonieczny • Jarosław Rybicki • Rafał Tylman

29. http://plgrid.pl Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid

30. Backup slides

31. Oczekiwania ze strony Środowisk Naukowych • E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych • Wielodyscyplinarne i międzynarodowe • Wymagające postępów w zakresie informatyki i nauk obliczeniowych • Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach • Nauka na poziomie systemowym: uwzględnienie wielu zjawisk, elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico • Aby generować, interpretować i analizować obszerne zasoby danych • Pochodzące z eksperymentów, obserwacji i symulacji • Przy wykorzystaniu zarządzania jakością, wysokiej niezawodności i dokumentowania • Aby tworzyć i badać modele symulacyjne • Obliczenia i dane wieloskalowe • Wiarygodne, ekonomicznie uzasadnione, o istotnym znaczeniu • Aby umożliwić dynamiczną, rozproszoną współpracęśrodowisk naukowych • Przez współdzielenie wiedzy i zasobów • Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007