1 / 24

Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

Laboratório de Instrumentação e Física Experimental de Partículas. Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI). Jorge Gomes. Computação grid conceito. Um paradigma de computação distribuída Permite: interconexão de recursos

zenia
Download Presentation

Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia (INGRID, IBERGRID, e EGI)

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Laboratório de Instrumentação e Física Experimental de Partículas Infra-estruturas de Computação Grid: Nacional, Ibérica, e Europeia(INGRID, IBERGRID, e EGI) Jorge Gomes Encontro Nacional de Ciência – Gulbenkian Julho de 2009

  2. Computação grid conceito • Um paradigma de computação distribuída • Permite: interconexão de recursos • Heterogéneos (sensores, instrumentos, meios de cálculo, diferentes configurações e S.O., etc) • Distribuídos geograficamente • Pertencentes/geridos por múltiplas entidades • Para: Criação de uma fonte universal de recursos computacionais • Disponível em todo o lado • Consistente • Fiável • Permitir: • Partilha de recursos • Optimização da sua utilização • Permitir a criação de novas aplicações Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  3. Motivação • É cada vez mais difícil que uma única instituição de investigação consiga disponibilizar os meios computacionais necessários para a investigação cientifica moderna • Optimização dos recursos computacionais disponíveis • Alguns domínios de utilização: • Física/Astronomia: processamento de dados de diferentes tipos de instrumentos • Medicina:imagiologia, diagnostico e tratamento • Bioinformática: estudo do genoma e proteoma compreender as doenças genéticas • Nanotecnologia: concepção de novos materiais à escala molecular • Engenharia: desenho, concepção, simulação, analise de falhas, instrumentação remota e controlo • Ambiente e recursos naturais: meteorologia, observação da terra, modelação de sistemas complexos: rios, inundações, tremores de terra Encontro Nacional de Ciência – Gulbenkian Julho de 2009

  4. Visão Os investigadores querem realizar as suas actividades independentemente da sua localização. Para isso precisam de interagir com os seus colegas e partilhar dados e informação distribuidos por todo o mundo Instrumentos científicos e experiências produzem gigantescas quantidades de dados armazenados em diferentes locais e que apenas podem ser processados através da combinação e recursos computacionais. GRID: centros de processamento de dados distribuidos e software para integrar os recursos “middleware” Encontro Nacional de Ciência – Gulbenkian Julho de 2009

  5. Evolução DataGrid DataGrid CrossGrid CrossGrid LCG LCG EGEE EGEE - - I I EELA EELA EGEE EGEE - - II II Int. Int. Eu Eu .Grid .Grid EGEE EGEE - - III III 2001 2001 Projectos grid no domínio das infra-estruturas com participação Portuguesa 2002 2002 2003 2003 2004 2004 2005 2005 2006 2006 2007 2007 2008 2008 Encontro Nacional de Ciência – Gulbenkian Julho de 2009

  6. ~ 290 centros ~ 55 países ~ 150,000 CPUs ~ 38 PetaBytes ~ 17,000 utilizadores ~ 200 VOs ~ 330K trabalhos/dia • Arqueologia • Astronomia • Astrofísica • Protecção civil • Química • Ciências da terra • Finança • Fusão • Geofísica • Física de altas energias • Ciências da vida • Multimédia • Ciência dos materiais • … Maior grid multidisciplinar Encontro Nacional de Ciência – Gulbenkian Julho de 2009

  7. EGEE na Península Ibérica • EGEE está organizado em federações • Federação do Sudoeste Europeu • Portugal • 8 centros • Espanha • 13 centros • Operações regionais distribuídas • LIP coordena recursos Portugueses • LIP apoia as operações na federação e contribui para tarefas globais Encontro Nacional de Ciência – Gulbenkian Julho de 2009

  8. Iniciativa Grid Europeia (EGI) • Está a ser criada uma iniciativa grid a nível Europeu • Garantir sustentabilidade a longo prazo da computação grid na Europa • As infra-estruturas grid são uma necessidade real é necessário garantir o seu funcionamento • Abandonar o modelo baseado em instituições e projectos Europeus de 2 ou 3 anos • Novo modelo organizacional com duas camadas: • Iniciativas Nacionais Grid independentes em cada país (suportadas e geridas pelos governos) • Iniciativa Grid Europeia para integrar recursos a nível Europeu • A sede do EGI está a ser estabelecida em Amesterdão • A transição terá inicio ainda durante o EGEE-III • EGI assumirá a coordenação da grid Europeia em 2010 Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  9. Iniciativa Grid Europeia (EGI) • LoI foram assinadas pelas Iniciativas Nacionais Grid • MoU está a ser assinado pelas iniciativas nacionais grid • Um projecto Europeu para suporte de EGI encontra-se em fase de preparação Países que expressaram apoio ao EGI Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  10. Iniciativa Nacional Grid Portuguesa (INGRID) • Iniciativa do Ministério da Ciência • Lançada em Abril de 2006 • Gerida pelas Agências governamentais UMIC e FCT • Coordenação técnica a cargo da UMIC em colaboração com o LIP • Objectivos principais • Suporte ao desenvolvimento da computação grid para a resolução de problemas complexos • Desenvolvimento de competências no domínio da computação grid • Integrar Portugal em infra-estruturas grid internacionais • Actividades • Financiamento de 13 projectos piloto 1.500.000€  2006 - ... • Redes de comunicação para computação grid  2007 - ... • Criação de uma infra-estrutura nacional grid  2008 - .... Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  11. G-Cast: Application of GRID-computing in a coastal morphodynamics nowcast-forecast system GridClass - Learning Classifiers Systems for Grid Data Mining PoliGrid - distributed policies for resource management in Grids Collaborative Resources Online to Support Simulations on Forest Fires (CROSS-Fire): a Grid Platform to Integrate Geo-referenced Web Services for Real-Time Management GRID for ATLAS/LHC data simulation and analysis INGRID projectos • GERES-med: Grid-Enabled REpositorieS for medical applications • BING –Brain Imaging Network Grid • GRITO – A Grid for preservation • PM#GRID - GRID Platform Development for European Scale Satellite Based Air Pollution Mapping • AspectGrid: Pluggable Grid Aspects for Scientific Applications • P-found: GRID computing and distributed data warehousing of protein folding and unfolding simulations Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  12. INGRID+ Criação de uma infra-estrutura grid nacional autónoma Requisito para participação no EGI Utilizadores: • Projectos INGRID • Organizações virtuais (nacionais e internacionais) • Outros utilizadores com elevados requisitos Infra-estruturas e projectos INGRID EGI IBERGRID LCG ... Recursos Centrais Nó central etc Recursos Existentes (EGEE, int.eu.grid, EELA, projectos INGRID ...) Outros recursos Utilizadores Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  13. Nó Central Grid (NCG) • Datacenter construído por um consorcio de instituições no contexto da iniciativa nacional grid: • LIP, FCCN, LNEC • Localização: • Campus do LNEC em Lisboa • Junto ao NOC da FCCN • Objectivo: • Albergar serviços grid centrais para a iniciativa nacional grid • Fornecer recursos de cálculo e armazenamento para partilhar • Alojamento de recursos de outras instituições • Projecto iniciado em 2007. • Ficará totalmente operacional este verão. Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  14. Nó Central Grid (NCG) Projecto da iniciativa nacional grid consorcio: LIP, FCCN and LNEC Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  15. Nó Central Grid (NCG) • Sala de informática: • Área 370m2 • Sala de apoio, sala de baterias, sala de sistemas • Chão técnico elevado de 85cm • Potência eléctrica: • Dimensionado para até 2000 kVA • Alimentação protegida: • 4x UPS 200kVA • Correção de factor de potência • Gerador diesel • Arrefecimento com água gelada: • Chillers com free-cooling (2x 375kW) • Close-control units (3x150kW+47kW) • Alarme e extinção de incêndios • Very Early Warning Smoke Detection • Extinção por INERGEN Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  16. Nó Central Grid (NCG) - recursos • Meios: • Tape library LTO-4 • Repositórios de dados • Armazenamento hierárquico • Serviços grid centrais • Blades • 192 CPU cores • Grid cluster • Blades HTC e HPC • ~ 1250 CPU cores para processamento • Armazenamento grid • ~ 620TB raw + 70TB raw SAN • Rede local • 10gigabit Ethernet • Non-blocking, wire-speed, low latency • Recursos de outras organizações: • Cluster do LNEC Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  17. Nó Central Grid (NCG) - Topologia Laminas de cálculo SGE cluster ... HPC HTC HTC HTC HTC APOIO Core 10gigabit Ethernet switch Serviços de apoio Laminas net APOIO ... 1ª fase: ~1250 CPU cores ~ 620 TB raw Armazenamento = Lustre + StoRM Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  18. Nó Central Grid (NCG) - Estado • Infra-estruturas de suportes • Operacionais • Alguns melhoramentos em curso • Computação • Plataforma de virtualização operacional • Serviços de apoio operacionais • Serviços centrais operacionais (NGI, IBERGRID) • Farm operacional • Armazenamento Lustre operacional • Integração no EGEE e IBERGRID concretizada • Testes conjuntos com VOs seleccionadas Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  19. INGRID expansão • Suporte à integração de recursos nacionais: • Foco inicial nos centros de recursos que já possuem gLite • Garantir uma transição suave do modelo de projectos para o modelo NGI/EGI • Expandir a outros centros com dimensão e características interessantes • Diversos pedidos • Sugestão: Apoiar os centros que pretendam aderir com recursos: • Recursos humanos para operar os centros de recursos • Disponibilizar equipamento para integrar centros de recursos existentes • Reforço da capacidade de alguns clusters com meios que ficariam parcialmente ou totalmente reservados para utilização INGRID • Suporte para os custos de operação na medida da sua utilização por utilizadores no âmbito do INGRID • Sugestões: Estratégia para as infra-estruturas de computação cientifica • É necessária uma mudança sociológica/comportamento • Redireccionar os utilizadores para estas infra-estruturas em vez de financiar a compra de novos meios de cálculo • Quando financiados exigir a integração dos recursos na iniciativa nacional grid independentemente da natureza do recurso ser HTC ou HPC Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  20. INGRID serviços / organização • Operação da infra-estrutura • Coordenação actualmente a cargo do LIP • Envolver outras instituições (suporte, middleware, segurança, etc) • Helpdesk / Suporte • Curto prazo partilhar o serviço com Espanha na sequência do EGEE • Primeira linha de suporte em Portugal • Segunda linha de suporte com especialistas Portugueses e Espanhóis • Accounting / Monitorização • Curto prazo partilhar com Espanha (CESGA) • Serviços de monitorização básicos em Portugal • Segurança • Continuar o serviço existente com uma equipa de segurança grid no LIP • Colaboração com a FCCN e com a RediRIS • Organizações virtuais nacionais e IBERGRID • Serviços técnicos operacionais • Estabelecer selecção de novas VOs • Estabelecer alocação de recursos Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  21. INGRID serviços / organização • Autenticação • Autoridade de certificação do LIP • Acreditada pelo IGTF • Estudar novos modelos e possibilidade de utilização de outros perfis IGTF • Certificados para treino e formação (worthless CA) • Treino e apoio aos utilizadores e administradores • Produzir/melhorar documentação • Organizar sessões de treino • Suporte a aplicações • É necessário envolver outras organizações • Colaboração com Espanha e com os centros de suporte especializados para comunidades especificas no contexto do EGI • Serviços de rede avançados • Suporte especializado pela FCCN • Serviços, monitorização, acesso aos TTs, informação Geant e RediRIS, etc Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  22. IBERGRID • Uma iniciativa Ibérica para e-science: • Estabelecida no contexto dos acordos de cooperação cientifica e tecnologia entre os governos de Portugal e Espanha • Para partilha de recursos comuns • Quatro áreas: • Redes, computação grid, super-computação e aplicações • Beneficiando das colaborações já estabelecidas no contexto de projectos internacionais com participação comum: • int.eu.grid, EELA, EGEE, … • IBERGRID e a computação grid: • Federação das infra-estruturas das Iniciativas Nacionais Grid Portuguesa e Espanhola • O IBERGRID será o sucessor da federação do Sudoeste Europeu estabelecida no âmbito do EGEE • O IBERGRID permitirá uma participação comum no EGI • Avançar para um modelo sustentável (EGI/NGIs) sem perder as sinergias já existentes Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  23. Infra-estrutura IBERGRID hoje ES user PT user TOPBDII ES NGI ifca.es TOPBDII INGRID / IBERGRID ncg.ingrid.pt VOMS INGRID / IBERGRID ncg.ingrid.pt WMS INGRID / IBERGRID ncg.ingrid.pt LFC INGRID / IBERGRID ncg.ingrid.pt Xbroker ES NGI / IBERGRID ifca.es MyProxy INGRID / IBERGRID ncg.ingrid.pt ifca.es lip.pt bifi.es UI INGRID / IBERGRID ncg.ingrid.pt ncg.ingrid.pt cesga.es Encontro Nacional de Ciência - Gulbenkian Julho de 2009

  24. Futuro Iniciativa Grid Europeia (EGI) Obrigado ! Grid Regional Grid Regional IBERGRID NGI NGI NGI NGI NGI NGI NGI PT NGI ES Encontro Nacional de Ciência - Gulbenkian Julho de 2009

More Related