Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowej w ramach Projektu PL-Grid

1. Aktualne postępy i osiągnięcia Polskiej Inicjatywy Gridowejw ramach Projektu PL-Grid Jacek Kitowski i Łukasz DutkaACK CYFRONET AGH, Kraków, Polska Instytut Informatyki AGH-UST we współpracyz Partnerami Projektu PL-Grid I Konferencja i3: internet - infrastruktury - innowacjePoznań, 4-6 listopada, 2009

2. Podziękowania • ACK Cyfronet AGH • Kazimierz Wiatr • Michał Turała • Marian Bubak • Tomasz Szepieniec • Marcin Radecki • Mariusz Sterzel • Karol Krawentek • Agnieszka Szymańska • Andrzej Oziębło • Tadeusz Szymocha • Alex Kusznir • Zofia Mosurska • Teresa Ozga • Aleksandra Mazur • ICM • Piotr Bała • Maciej Filocha • PCSS • Norbert Meyer • Krzysztof Kurowski • Mirosław Kupczyk • WCSS • Józef Janyszek • Bartłomiej Balcerek • Paweł Dziekoński • TASK • Mścisław Nakonieczny • Jarosław Rybicki • Rafał Tylman

3. Plan wystąpienia • Narodowa Inicjatywa Gridowa w Polsce • Motywacja • Uzasadnienie i Podstawy • Stan Zaawansowania • Projekt PL-Grid – Rezultaty • Podsumowanie • Podejście e-Science do badań naukowych • Działania integracyjne zachodzące w świecie

4. Oczekiwania ze strony Środowisk Naukowych • E-Science: wspólne badania naukowe wspierane przez zaawansowane, rozproszone obliczenia – rozszerzenie paradygmatu Nauk Obliczeniowych • Wielodyscyplinarne i międzynarodowe • Wymagające postępów w zakresie informatyki i nauk obliczeniowych • Cel: aby umożliwić badania naukowe wyższej jakości we wszystkich dziedzinach • Nauka na poziomie systemowym: uwzględnienie wielu zjawisk, elementy komunikują się ze sobą i są od siebie zależne, eksperymenty in silico • Aby generować, interpretować i analizować obszerne zasoby danych • Pochodzące z eksperymentów, obserwacji i symulacji • Przy wykorzystaniu zarządzania jakością, wysokiej niezawodności i dokumentowania • Aby tworzyć i badać modele symulacyjne • Obliczenia i dane wieloskalowe • Wiarygodne, ekonomicznie uzasadnione, o istotnym znaczeniu • Aby umożliwić dynamiczną, rozproszoną współpracęśrodowisk naukowych • Przez współdzielenie wiedzy i zasobów • Z wykorzystaniem bezpieczeństwa, wiarygodności, zarządzania i elastyczności M. Atkinson, e-Science (...), Grid2006 & 2-nd Int.Conf.e-Social Science 2006, National e-Science Centre UK I. Foster, System Level Science and System Level Models, Snowmass, August 1-2, 2007

5. Konsorcjum PL-Grid • Konsorcjum składa się z pięciu polskich centrówobliczeniowych, reprezentujących środowiska naukowe • Uczestnictwo w Międzynarodowych i Krajowych Projektach i we współpracy • ~35 międzynarodowych projektów FP5, FP6, FP7 dotyczących Gridów (50% wspólnych) • ~15 polskich projektów (50% wspólnych) • Istniejące potrzeby polskich środowisk naukowych • ~75% publikacji w pięciu środowiskach • Nowoczesne zasoby obliczeniowe • Lista Top500 • Europejskie/światowe działania integracyjne • EGEE I-III, EGI_DS, EGI, e-IRG, PRACE, DEISA, OMII, Eksperci w F3 EU: „Research Infrastructure”, Projekty Infrastrukturalne • Narodowa Szerokopasmowa Infrastruktura Sieciowa dla wspomagania nauki • (dzięki Narodowemu Projektowi Ponier) Porozumienie podpisane w styczniu 2007

6. Motywacja Podejście E-Science do badań naukowych Działająca inicjatywa EGI we współpracy z NGIs Projekt PL-Grid (2009-2012) Wystąpienie o dofinansowanie w ramach Programu Operacyjnego Innowacyjna Gospodarka, Działanie 2.3 (we wrześniu 2008) Decyzja o przyznaniu finansowania – 2 marca 2009 (w ramach Europejskich Funduszy Strukturalnych) Projekt PL-Grid Polska Infrastruktura Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni Badawczej European Grid Initiative (EGI) National Grid Initiative (NGI) PL-Grid Odpowiedź na potrzeby polskich naukowców i bieżących aktywności gridowych w Polsce, w innych krajach europejskich i na całym świecie

7. Zaawansowane Platformy Usługowe Aplikacja Aplikacja Aplikacja Aplikacja Grid Dziedzinowy Grid Dziedzinowy Grid Dziedzinowy Grid Dziedzinowy Infrastruktura gridowa (usługi gridowe) PL-Grid Repozytoria danych Klastry Komputery dużej mocy Krajowa sieć komputerowa PIONIER Założenia Projektu • W ramach Polskiego Gridu tworzona jest wspólna bazowa infrastruktura – podobnie do rozwiązań zastosowanych w innych krajach. • Dziedzinowe systemy gridowe – włącznie z usługami i narzędziami zorientowanymi na specyficzne typy aplikacji – będą konstruowane na tej infrastrukturze. • Dziedzinowe systemy gridowe mogą być później rozwijane i zarządzane w ramach odrębnych projektów. • Efektywne wykorzystanie dostępnych środków finansowych. • Stworzenie infrastruktury gridowejw pełni kompatybilnej i interoperabilnejz gridem europejskim i światowym. • Plany umożliwienia obliczeń HPC i klastrowych.

8. Elementy i Funkcjonalność • Oprogramowanie PL-Grid będzie obejmować: • narzędzia użytkownika • portale, systemy zarządzania i monitorowania aplikacji, systemy wizualizacji wyników i inne zgodne z używanym w Projekcie oprogramowaniem niższych warstw; • biblioteki programistyczne; • systemy wirtualnych organizacji: • podsystemy certyfikatów i kont, rozliczanie wykorzystania zasobów, podsystem bezpieczeństwa; • systemy zarządzania danymi: • katalogi metadanych, zarządzanie replikami, transfer plików; • systemy zarządzania zasobami: • zarządzanie zadaniami, monitorowanie aplikacji, usług gridowych i infrastruktury, zarządzanie licencjami, zarządzanie lokalnymi zasobami. Użytkownicy Warstwa dostępowa tworzenia aplikacji Portale gridowe, narzędzia programistyczne System wirtualnych organizacji i bezpieczeństwa Inne systemy gridowe Usługi gridowe LCG/gLite (EGEE) UNICORE (DEISA) Podstawowe usługi gridowe Rozproszone repozytoria danych Krajowa sieć komputerowa Rozproszone zasoby obliczeniowe Zasoby gridowe • W obrębie Projektu będą funkcjonować 3 rodzaje infrastruktury: • produkcyjna, • badawcza, • deweloperska/testowa.

9. Planowana realizacja celów Projekt PL-Grid jest podzielony na kilka zadań • Główne wskaźniki projektu: • Moc obliczeniowa: 215 Tflops • Pamięć dyskowa: 2500 TB

10. Centrum Operacyjne: Zadania • Koordynacja działań operacyjnych • Zarządzanie i rozliczanie wykorzystania zasobów • Współpraca z EGI i DEISA (obliczenia HPC i klastrowe) • Analiza wymagań użytkowników dotyczących działania infrastruktury • Uruchomienie infrastruktury: • Produkcyjnej • Deweloperskiej • Badawczej • Do rozważenia w przyszłości: • Chmury obliczeniowe • Chmury danych • Chmury wewnętrzne i zewnętrzne • Aspekty wirtualizacji Zespół EGI Middleware EGI produkcyjny Middleware EGI testowy

11. Centrum Operacyjne: Rezultaty • PL-Grid VO (vo.plgrid.pl) w pełni działająca • Wirtualne zasoby produkcyjne dla użytkowników PL-Grid w 4 centrach (Gdańsk, Kraków, Poznań, Wrocław) • Gotowe narzędzia do monitorowania infrastruktury (wykrywania problemów) - oparte na Nagios i EGEE SAM • Gotowe grupy wsparcia, narzędzia i procedury działań zgodne z EGEE/EGI - mające na celu osiągnięcie wysokiej dostępności zasobów • Baza wiedzy dla problemów dotyczących działania infrastruktury • Narzędzie śledzenia błędów – planowane do uruchomienia w listopadzie 2009 • Tymczasowa procedura rejestracji użytkowników • Portal rejestracji użytkowników w przygotowaniu(pierwszy prototyp planowany do uruchomienia w w końcu października 2009) • Rozliczanie wykorzystania zasobów zintegrowane z EGEE PCSS WCSS Cyfronet

12. Centrum Operacyjne: Plany Rejestracja Użytkowników dostęp dla każdej osoby zarejestrowanej jako pracownik naukowy – www.opi.org.pl portal przygotowywany (uruchomienie planowane w końcu października 2009) dostęp do zasobów w oparciu o granty – przydzielanie praw do wykorzystania X CPUhours i TB przestrzeni dyskowej usługi dostępowe – sposób na dostęp do zasobów w konkretnym centrum obliczeniowym Infrastruktura Badawcza PL-Grid – “zasoby na żądanie” – umożliwia zgłaszanie żądań dotyczących użycia maszyn do różnych celów: aby zainstalować grid middleware dla celów testowych dla programistów – aby zbudować środowisko testowe dla przeprowadzenia jakichkolwiek innych badań naukowych wymagających zasobów gridowych procedury są w trakcie tworzenia Umożliwienie dostępu do zasobów UNICORE niewielka liczba maszyn dedykowanych dla UNICORE’a integracja UNICORE’ai gLite’a – przy wykorzystaniu tych samych zasobów

13. Rozwój oprogramowania i narzędzi: Rezultaty • Programiści badawczy: 20+ • Główne zespoły badawcze: 8 • Zaangażowane centra obliczeniowe: 5 • Dedykowane maszyny fizyczne i wirtualne: 30+ • Testowane infrastruktury: EGEE, DEISA • Nowe infrastruktury i rozszerzenia: QosCosGrid, GridSpace • Obecne aplikacje będące w fazie integracji i procedur testowych: 10+ • Obecne narzędzia użytkownika będące w fazie integracji i procedur testowych: 5+ • Aktywna komunikacja z nowymi społecznościami użytkowników w Polsce:www.plgrid.pl/ankieta

14. Rozwój oprogramowania i narzędzi: Plany • Bliższa współpraca ze społecznościami użytkowników i programistów reprezentujących różne dziedziny naukowe (w oparciu o wyniki uzyskane przy pomocy naszej ankiety) • Adaptacja technik wirtualizacji polepszających użyteczność, odporność na uszkodzenia,tworzenie punktów kontrolnychi zarządzanie klastrami • Webowe GUI oparte na Liferay i Vine Toolkit, umożliwiające dostęp do istniejących i rozszerzonych usług e-Infrastruktury • Testy wydajnościowe różnych wielko-skalowych między-klastrowych aplikacji równoległych przy użyciu ko-alokacji i zaawansowanych technik rezerwacji • Dalsza analiza rozwiązań dotyczących zarządzania gridem, monitorowania i bezpieczeństwa • Wspólne repozytorium oprogramowania i zasady wdrażania • Przykładowe usługi, narzędzia i aplikacje dostępne jako wirtualne skrzynki z różnymi konfiguracjami • Główne punkty kontrolne i oś czasu: Jesteśmy tutaj VI 09 IX 09 IX 10 IV 11 I 12

15. Wsparcie użytkownika i szkolenia: Rezultaty i Plany • Główne zadanie: • Uruchomienie usługi „helpdesk”, przeprowadzanie szkoleń dla użytkowników i realizacja wsparcia dla użytkowników • Pomoc przy efektywnym wykorzystaniu istniejącej infrastruktury, włącznie z wyborem aplikacji odpowiednich dla problemów użytkowników oraz uruchamianiem obliczeń na gridzie • PL-Grid jest infrastrukturą zorientowaną na użytkownika; zespoły wsparcia i szkoleń będą ściśle współpracowały z użytkownikami • Obecnie: • Zespół wsparcia użytkowników został utworzony • Rozpoczęło się już wewnętrzne szkolenie dla zespołu wsparcia • Wybrano licencjonowane aplikacje, wymagane przez użytkowników, celem instalacji na infrastrukturze PL-Grid • Przeprowadzone zostało pierwsze szkolenie dla użytkowników. • Plany: • Cykle szkoleń dla początkujących i zaawansowanych użytkowników gridu

16. Warstwa Bezpieczeństwa PL-Grid: Rezultaty • Zdefiniowane wytyczne dotyczące bezpieczeństwa dla planowanej architektury • Zdefiniowana polityka bezpieczeństwa dla instalacji lokalnych elementów infrastruktury • Przegląd systemów zgłaszających incydenty, celem wybrania najbardziej odpowiedniego • GGUS - Global GridUser Support • RTIR - RequestTracking for IncidentResponse • DIHS - DistributedIncidentHandling System • Architektura i prototyp systemu do bezpośredniego mapowania użytkowników i rozpowszechniania danych uwierzytelniających użytkownika.

17. Warstwa Bezpieczeństwa PL-Grid: Plany • Ustanowienie NGI-wide CERT • Zastosowanie polityk bezpieczeństwa do lokalnych instalacji infrastruktury • Stworzenie i wdrożenie systemu monitorującego zgodność polityki bezpieczeństwa lokalnych instalacji infrastruktury • sprawdzającego czy oprogramowanie (jądro, usługi) są aktualne • sprawdzającego porty nasłuchowe, reguły systemów bezpieczeństwa • monitorującego listy suid/sgid i integralność • Stworzenie rozproszonego systemu korelacji alarmów zbudowanego ponad czujnikami sieciowymi i komputera-hosta.

18. Podsumowanie: Działania • Krótkoterminowe • Utworzenie PL-Grid VO przy użyciu lokalnych zasobów Partnerów oraz zasobów EGEE • Zapewnienie środków dla pokrycia kosztów działania • Zapewnienie środków dla podtrzymania bieżącej współpracy międzynarodowej • Długoterminowe – realizowane w sposób ciągły • Wdrożenie oprogramowania i narzędzi • Wsparcie użytkownika i szkolenia • Dostarczenie, utrzymanie i rozbudowa koniecznej infrastruktury • Rozwój i implementacja nowych paradygmatów obliczeniowych i integracja środowisk • Obliczenia typu HPC i rozproszone (HPCaaS, IaaS, SaaS….) • Cloud Computing (wewnętrzne-zewnętrzne, chmury obliczeniowe, chmury danych) • paradygmat SOA, wykorzystanie wiedzy … • „Internet Przyszłości” w sposób zdefiniowany przez EC w Programie Roboczym

19. http://plgrid.pl Dziękuję za uwagę Zapraszamy na stoisko Projektu PL-Grid