Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

1. Laboratório de Instrumentação e Física Experimental de Partículas Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia(INGRID, IBERGRID, e EGI) Jorge Gomes Encontro Nacional de Ciência – Gulbenkian Julho de 2009

2. Computação grid conceito • Um paradigma de computação distribuída • Permite: interconexão de recursos • Heterogéneos (sensores, instrumentos, meios de cálculo, diferentes configurações e S.O., etc) • Distribuídos geograficamente • Pertencentes/geridos por múltiplas entidades • Para: Criação de uma fonte universal de recursos computacionais • Disponível em todo o lado • Consistente • Fiável • Permitir: • Partilha de recursos • Optimização da sua utilização • Permitir a criação de novas aplicações Encontro Nacional de Ciência - Gulbenkian Julho de 2009

3. Motivação • É cada vez mais difícil que uma única instituição de investigação consiga disponibilizar os meios computacionais necessários para a investigação cientifica moderna • Optimização dos recursos computacionais disponíveis • Alguns domínios de utilização: • Física/Astronomia: processamento de dados de diferentes tipos de instrumentos • Medicina:imagiologia, diagnostico e tratamento • Bioinformática: estudo do genoma e proteoma compreender as doenças genéticas • Nanotecnologia: concepção de novos materiais à escala molecular • Engenharia: desenho, concepção, simulação, analise de falhas, instrumentação remota e controlo • Ambiente e recursos naturais: meteorologia, observação da terra, modelação de sistemas complexos: rios, inundações, tremores de terra Encontro Nacional de Ciência – Gulbenkian Julho de 2009

4. Visão Os investigadores querem realizar as suas actividades independentemente da sua localização. Para isso precisam de interagir com os seus colegas e partilhar dados e informação distribuidos por todo o mundo Instrumentos científicos e experiências produzem gigantescas quantidades de dados armazenados em diferentes locais e que apenas podem ser processados através da combinação e recursos computacionais. GRID: centros de processamento de dados distribuidos e software para integrar os recursos “middleware” Encontro Nacional de Ciência – Gulbenkian Julho de 2009

5. Evolução DataGrid DataGrid CrossGrid CrossGrid LCG LCG EGEE EGEE - - I I EELA EELA EGEE EGEE - - II II Int. Int. Eu Eu .Grid .Grid EGEE EGEE - - III III 2001 2001 Projectos grid no domínio das infra-estruturas com participação Portuguesa 2002 2002 2003 2003 2004 2004 2005 2005 2006 2006 2007 2007 2008 2008 Encontro Nacional de Ciência – Gulbenkian Julho de 2009

6. ~ 290 centros ~ 55 países ~ 150,000 CPUs ~ 38 PetaBytes ~ 17,000 utilizadores ~ 200 VOs ~ 330K trabalhos/dia • Arqueologia • Astronomia • Astrofísica • Protecção civil • Química • Ciências da terra • Finança • Fusão • Geofísica • Física de altas energias • Ciências da vida • Multimédia • Ciência dos materiais • … Maior grid multidisciplinar Encontro Nacional de Ciência – Gulbenkian Julho de 2009

7. EGEE na Península Ibérica • EGEE está organizado em federações • Federação do Sudoeste Europeu • Portugal • 8 centros • Espanha • 13 centros • Operações regionais distribuídas • LIP coordena recursos Portugueses • LIP apoia as operações na federação e contribui para tarefas globais Encontro Nacional de Ciência – Gulbenkian Julho de 2009

8. Iniciativa Grid Europeia (EGI) • Está a ser criada uma iniciativa grid a nível Europeu • Garantir sustentabilidade a longo prazo da computação grid na Europa • As infra-estruturas grid são uma necessidade real é necessário garantir o seu funcionamento • Abandonar o modelo baseado em instituições e projectos Europeus de 2 ou 3 anos • Novo modelo organizacional com duas camadas: • Iniciativas Nacionais Grid independentes em cada país (suportadas e geridas pelos governos) • Iniciativa Grid Europeia para integrar recursos a nível Europeu • A sede do EGI está a ser estabelecida em Amesterdão • A transição terá inicio ainda durante o EGEE-III • EGI assumirá a coordenação da grid Europeia em 2010 Encontro Nacional de Ciência - Gulbenkian Julho de 2009

9. Iniciativa Grid Europeia (EGI) • LoI foram assinadas pelas Iniciativas Nacionais Grid • MoU está a ser assinado pelas iniciativas nacionais grid • Um projecto Europeu para suporte de EGI encontra-se em fase de preparação Países que expressaram apoio ao EGI Encontro Nacional de Ciência - Gulbenkian Julho de 2009

10. Iniciativa Nacional Grid Portuguesa (INGRID) • Iniciativa do Ministério da Ciência • Lançada em Abril de 2006 • Gerida pelas Agências governamentais UMIC e FCT • Coordenação técnica a cargo da UMIC em colaboração com o LIP • Objectivos principais • Suporte ao desenvolvimento da computação grid para a resolução de problemas complexos • Desenvolvimento de competências no domínio da computação grid • Integrar Portugal em infra-estruturas grid internacionais • Actividades • Financiamento de 13 projectos piloto 1.500.000€  2006 - ... • Redes de comunicação para computação grid  2007 - ... • Criação de uma infra-estrutura nacional grid  2008 - .... Encontro Nacional de Ciência - Gulbenkian Julho de 2009

11. G-Cast: Application of GRID-computing in a coastal morphodynamics nowcast-forecast system GridClass - Learning Classifiers Systems for Grid Data Mining PoliGrid - distributed policies for resource management in Grids Collaborative Resources Online to Support Simulations on Forest Fires (CROSS-Fire): a Grid Platform to Integrate Geo-referenced Web Services for Real-Time Management GRID for ATLAS/LHC data simulation and analysis INGRID projectos • GERES-med: Grid-Enabled REpositorieS for medical applications • BING –Brain Imaging Network Grid • GRITO – A Grid for preservation • PM#GRID - GRID Platform Development for European Scale Satellite Based Air Pollution Mapping • AspectGrid: Pluggable Grid Aspects for Scientific Applications • P-found: GRID computing and distributed data warehousing of protein folding and unfolding simulations Encontro Nacional de Ciência - Gulbenkian Julho de 2009

12. INGRID+ Criação de uma infra-estrutura grid nacional autónoma Requisito para participação no EGI Utilizadores: • Projectos INGRID • Organizações virtuais (nacionais e internacionais) • Outros utilizadores com elevados requisitos Infra-estruturas e projectos INGRID EGI IBERGRID LCG ... Recursos Centrais Nó central etc Recursos Existentes (EGEE, int.eu.grid, EELA, projectos INGRID ...) Outros recursos Utilizadores Encontro Nacional de Ciência - Gulbenkian Julho de 2009

13. Nó Central Grid (NCG) • Datacenter construído por um consorcio de instituições no contexto da iniciativa nacional grid: • LIP, FCCN, LNEC • Localização: • Campus do LNEC em Lisboa • Junto ao NOC da FCCN • Objectivo: • Albergar serviços grid centrais para a iniciativa nacional grid • Fornecer recursos de cálculo e armazenamento para partilhar • Alojamento de recursos de outras instituições • Projecto iniciado em 2007. • Ficará totalmente operacional este verão. Encontro Nacional de Ciência - Gulbenkian Julho de 2009

14. Nó Central Grid (NCG) Projecto da iniciativa nacional grid consorcio: LIP, FCCN and LNEC Encontro Nacional de Ciência - Gulbenkian Julho de 2009

15. Nó Central Grid (NCG) • Sala de informática: • Área 370m2 • Sala de apoio, sala de baterias, sala de sistemas • Chão técnico elevado de 85cm • Potência eléctrica: • Dimensionado para até 2000 kVA • Alimentação protegida: • 4x UPS 200kVA • Correção de factor de potência • Gerador diesel • Arrefecimento com água gelada: • Chillers com free-cooling (2x 375kW) • Close-control units (3x150kW+47kW) • Alarme e extinção de incêndios • Very Early Warning Smoke Detection • Extinção por INERGEN Encontro Nacional de Ciência - Gulbenkian Julho de 2009

16. Nó Central Grid (NCG) - recursos • Meios: • Tape library LTO-4 • Repositórios de dados • Armazenamento hierárquico • Serviços grid centrais • Blades • 192 CPU cores • Grid cluster • Blades HTC e HPC • ~ 1250 CPU cores para processamento • Armazenamento grid • ~ 620TB raw + 70TB raw SAN • Rede local • 10gigabit Ethernet • Non-blocking, wire-speed, low latency • Recursos de outras organizações: • Cluster do LNEC Encontro Nacional de Ciência - Gulbenkian Julho de 2009

17. Nó Central Grid (NCG) - Topologia Laminas de cálculo SGE cluster ... HPC HTC HTC HTC HTC APOIO Core 10gigabit Ethernet switch Serviços de apoio Laminas net APOIO ... 1ª fase: ~1250 CPU cores ~ 620 TB raw Armazenamento = Lustre + StoRM Encontro Nacional de Ciência - Gulbenkian Julho de 2009

18. Nó Central Grid (NCG) - Estado • Infra-estruturas de suportes • Operacionais • Alguns melhoramentos em curso • Computação • Plataforma de virtualização operacional • Serviços de apoio operacionais • Serviços centrais operacionais (NGI, IBERGRID) • Farm operacional • Armazenamento Lustre operacional • Integração no EGEE e IBERGRID concretizada • Testes conjuntos com VOs seleccionadas Encontro Nacional de Ciência - Gulbenkian Julho de 2009

19. INGRID expansão • Suporte à integração de recursos nacionais: • Foco inicial nos centros de recursos que já possuem gLite • Garantir uma transição suave do modelo de projectos para o modelo NGI/EGI • Expandir a outros centros com dimensão e características interessantes • Diversos pedidos • Sugestão: Apoiar os centros que pretendam aderir com recursos: • Recursos humanos para operar os centros de recursos • Disponibilizar equipamento para integrar centros de recursos existentes • Reforço da capacidade de alguns clusters com meios que ficariam parcialmente ou totalmente reservados para utilização INGRID • Suporte para os custos de operação na medida da sua utilização por utilizadores no âmbito do INGRID • Sugestões: Estratégia para as infra-estruturas de computação cientifica • É necessária uma mudança sociológica/comportamento • Redireccionar os utilizadores para estas infra-estruturas em vez de financiar a compra de novos meios de cálculo • Quando financiados exigir a integração dos recursos na iniciativa nacional grid independentemente da natureza do recurso ser HTC ou HPC Encontro Nacional de Ciência - Gulbenkian Julho de 2009

20. INGRID serviços / organização • Operação da infra-estrutura • Coordenação actualmente a cargo do LIP • Envolver outras instituições (suporte, middleware, segurança, etc) • Helpdesk / Suporte • Curto prazo partilhar o serviço com Espanha na sequência do EGEE • Primeira linha de suporte em Portugal • Segunda linha de suporte com especialistas Portugueses e Espanhóis • Accounting / Monitorização • Curto prazo partilhar com Espanha (CESGA) • Serviços de monitorização básicos em Portugal • Segurança • Continuar o serviço existente com uma equipa de segurança grid no LIP • Colaboração com a FCCN e com a RediRIS • Organizações virtuais nacionais e IBERGRID • Serviços técnicos operacionais • Estabelecer selecção de novas VOs • Estabelecer alocação de recursos Encontro Nacional de Ciência - Gulbenkian Julho de 2009

21. INGRID serviços / organização • Autenticação • Autoridade de certificação do LIP • Acreditada pelo IGTF • Estudar novos modelos e possibilidade de utilização de outros perfis IGTF • Certificados para treino e formação (worthless CA) • Treino e apoio aos utilizadores e administradores • Produzir/melhorar documentação • Organizar sessões de treino • Suporte a aplicações • É necessário envolver outras organizações • Colaboração com Espanha e com os centros de suporte especializados para comunidades especificas no contexto do EGI • Serviços de rede avançados • Suporte especializado pela FCCN • Serviços, monitorização, acesso aos TTs, informação Geant e RediRIS, etc Encontro Nacional de Ciência - Gulbenkian Julho de 2009

22. IBERGRID • Uma iniciativa Ibérica para e-science: • Estabelecida no contexto dos acordos de cooperação cientifica e tecnologia entre os governos de Portugal e Espanha • Para partilha de recursos comuns • Quatro áreas: • Redes, computação grid, super-computação e aplicações • Beneficiando das colaborações já estabelecidas no contexto de projectos internacionais com participação comum: • int.eu.grid, EELA, EGEE, … • IBERGRID e a computação grid: • Federação das infra-estruturas das Iniciativas Nacionais Grid Portuguesa e Espanhola • O IBERGRID será o sucessor da federação do Sudoeste Europeu estabelecida no âmbito do EGEE • O IBERGRID permitirá uma participação comum no EGI • Avançar para um modelo sustentável (EGI/NGIs) sem perder as sinergias já existentes Encontro Nacional de Ciência - Gulbenkian Julho de 2009

23. Infra-estrutura IBERGRID hoje ES user PT user TOPBDII ES NGI ifca.es TOPBDII INGRID / IBERGRID ncg.ingrid.pt VOMS INGRID / IBERGRID ncg.ingrid.pt WMS INGRID / IBERGRID ncg.ingrid.pt LFC INGRID / IBERGRID ncg.ingrid.pt Xbroker ES NGI / IBERGRID ifca.es MyProxy INGRID / IBERGRID ncg.ingrid.pt ifca.es lip.pt bifi.es UI INGRID / IBERGRID ncg.ingrid.pt ncg.ingrid.pt cesga.es Encontro Nacional de Ciência - Gulbenkian Julho de 2009

24. Futuro Iniciativa Grid Europeia (EGI) Obrigado ! Grid Regional Grid Regional IBERGRID NGI NGI NGI NGI NGI NGI NGI PT NGI ES Encontro Nacional de Ciência - Gulbenkian Julho de 2009