1 / 17

HLRE ( 1 ) und Langzeitdatenarchivierung

HLRE ( 1 ) und Langzeitdatenarchivierung. Michael Lautenschlager World Data Center for Climate (M&D/MPIMET, Hamburg). Beiträge von DKRZ, WDC MARE, WDC RSAT. DFG-Rundgespräch Frauenchiemsee, 06+07.11.2003. ( 1 ) Höchstleistungsrechenzentrum für die Klima- und Erdsystemforschung. HLRE

cooper
Download Presentation

HLRE ( 1 ) und Langzeitdatenarchivierung

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. HLRE (1) und Langzeitdatenarchivierung Michael Lautenschlager World Data Center for Climate(M&D/MPIMET, Hamburg) Beiträge von DKRZ, WDC MARE, WDC RSAT DFG-Rundgespräch Frauenchiemsee, 06+07.11.2003 (1) Höchstleistungsrechenzentrum für die Klima- und Erdsystemforschung

  2. HLRE • Infrastruktur • Externer Zugang Langzeitdatenarchivierung • WDC-Verbund Erdsystemforschung • ICSU-WDC's: WDC-MARE, WDC-RSAT, WDC-CLIMATE • Datenpublikation • Service der Datenzentren • Kosten Nicht: Infrastruktur für Anwendung von GCM's internationale Kooperationen (EU Projekte) Aufbau und Zugang zu WDC's

  3. HLRE Hardware

  4. HLRE Hardware • 24 NEC SX-6 Nodes, 1.5 TeraFlops Peak(1 Node: 8 Vector CPUs, je 8 Gflops peak , 64 Gbyte Mem. ) • IXS Crossbar switch • (Bandbreite 8 Gbyte/s pro Node) • Platz 33 der Top 500 (7/2003) • 6 NEC AzusA (je 16 IA-2; 1000 Mhz; Linux) • 4 STK Silos (ca. 1.5 PetaByte)

  5. HLRE Applikation Application: FLAME (MOM2 ocean model) Purpose: Investigation of Deep Water Formation and Transport Grid Points: up to1021 x 1406 x 45 Main Memory: up to 25 GB Parallel.: MPI Sust. Perf: 45 GF on 2 nodesEfficiency: 35 % Sust. Perf: 72 GF on 4 nodesEfficiency: 28 %

  6. DKRZ: "Konservative Abschätzung"

  7. Shareholder MPI-M DKRZ M&D Cooperation Advise WLA Service Service Requirements German Scientific Community Externer Zugang Unterstützung bei Anwendung und Implementierung von numerischen Modellen Wissenschaftliches Datenmanagement: WDC for Climate IPCC DDC 50% der Ressourcen am DKRZ für Projekte (BMBF, DFG,EU)

  8. WDC Verbund Erdsystemforschung Wurde am 25.04.03 von den 3 deutschen ICSU WDC's in Oberpfaffenhofen gegründet. • WDC for Climate: M&D / DKRZ, Hamburghttp://www.mad.zmaw.de/wdcc/ • WDC MARE (Marine Environmental Sciences): Marum, Bremen und Bremerhavenhttp://www.wdc-mare.org/ • WDC RSAT (Remote Sensing for the Atmosphere): DFD/DLR, Oberpfaffenhofenhttp://wdc.dlr.de/ Verpflichtung: Langzeit-Datenarchivierung und freier, unbeschränkter Datenzugang für alle Wissenschaftler (ICSU Rules for WDC's und Regeln zur guten wissenschaftlichen Praxis)

  9. Climate Model Data (Continuous stream of new data) IPCC DDC (Data Distribution Centre) Will be continued for the Fourth Assessment Report CEOP (Coordinated Enhanced Observing Period) Model output retention and handling Centre Part of WCRP that was motivated by GEWEX with focus on water and energy cycles within the climate system (01.10.2002 – 31.12.2004) Observational Data Model related observations: ERA15/40 (ECMWF), NCEP 40 Y. Reanal. Instrumental data: WOCE (World Ocean Circulation Experiment) Earth observations: Access to SST's from NOAA AVHRR in cooperation with WDC RSAT (distributed archive) Project Support (encourage Good Scientific Practice) HOAPS (Hamburg Ocean Atmosphere Parameters and Fluxes from Satellite Data) CARIBIC (Civil Aircraft for Regular Investigation of the Atmosphere Based on an Instrumentation Container), MPI Mainz Different model applications WDC-CLIMATEData Content

  10. WDC-CLIMATE Internet Web-Based User Interface Access Catalogue Inspection Climate Data Retrieval Current database size is 23.251 TerabyteNumber of experiments: 304Number of datasets: 30201Number of blob within CERA at 29-OCT-03: 1403519699 Typical BLOB sizes: 17 kB and 100 kB Number of data retrievals: 1500 – 8000 / month CERA Database: CERA Database System 7.1 TB (12.2001) * Data Catalogue * Processed Climate Data * Pointer to Raw Data files Mass Storage Archive: More than 23 TB climate (model) data web accessible! DKRZ Mass Storage Archive 210 TB neglecting Security Copies (12.2001)

  11. WDC-MARE

  12. WDC-MARE

  13. Forschung, Entwicklung, und Dienstleistungen um die Fernerkundung der Atmosphäre zu fördern WDC-RSAT Leitbild • - als ein unentbehrliches Instrument um umweltorientierte Geoinformation abzuleiten • - für alle mögliche wissenschaftliche, wirtschaftliche, soziale, und politische Zwecke • - als ein Hauptbeitrag um Raumtechniken als ein Schlüssel für ein besseres Verständnis der Erde zu etablieren

  14. - Spektroskopische und klimatologische Datenbanken - Atmosphärische Spurengasverteilungen - Meterologische und physikalische Wolkenparameter - Boden- und Ozeanflächenparameter (LST, SST, NDVI) WDC-RSAT Datenarchiv - Besonderheiten Benutzte Sensoren - Besonderheiten - Operationelle Satellitensensoren: ATOVS, AVHRR, GOME, GOMOS, HALOE, MERIS, MIPAS, MODIS, SAGE II, SCIAMACHY, TOMS - Space Shuttle Missionen: ATMOS, CRISTA, MAS, SSBUV Dienstleistungsoptionen - Besonderheiten - Sammlung, Archivierung, und Verteilung der atmosphärischen Daten - Entwicklung der „value-added“ Daten und Produkte durch Modellierung und Datenassimilation

  15. WDC Verbund Erdsystemforschung Grundsatzerklärung • Datenpublikation • Die Daten selbst sollen unabhängig vom archivierenden System eindeutig identifizierbar, referenzierbar und universell zugreifbar sein (z.B. Vergabe von DOI's oder URN's ). • DFG Projekt "Publikation und Zitierfähigkeit wissenschaftlicher Primärdaten" (12 Monate, Beginn 01.10.03) • Service der Datenzentren • Qualifizierte thematische Datenzentren übernehmen die Rolle für die Archivierung und Publikation von wissenschaftlichen Daten. • Die Zentren garantieren eine langfristige und freie Verfügbarkeit archivierter Daten im Rahmen der Richtlinien der ISCU Weltdatenzentren. • Datenzentren stehen mit ihrer Expertise den Fördereinrichtungen, den Gutachtern und der Wissenschaft beratend zur Verfügung.

  16. WDC Verbund Erdsystemforschung Grundsatzerklärung • Aufwand bezogene Finanzierung • Die Grundfinanzierung der Datenzentren sollte aus den Haushalten der tragenden Forschungseinrichtungen bestritten werden. Diese übernehmen damit die Verantwortung für einen langfristigen Betrieb. • Drittmittelanträge sollten ein Datenmanagementkonzept beinhalten, das definiert, welche neuen Daten erhoben bzw. existierenden Daten erfasst werden sollen. • Für diese projektrelevanten Datenmanagementaufgaben sind anteilige Mittel vorzusehen. • Ein ausgewiesenes Kostenmodell der Langfristdatenzentren soll diesen Aufwand kalkulierbar machen.

  17. Beispiel für Zugriff auf WDC Verbund Erdsystemforschung

More Related