80 likes | 189 Views
FME Server als multidimensionale Rasterdatendrehscheibe . Zwei Jahre Erfahrung. Estelle Grüter , MeteoSchweiz / Pierre Terrettaz, INSER. MeteoSchweiz / INSER Estelle Grüter / Pierre Terrettaz
E N D
FME Server alsmultidimensionaleRasterdatendrehscheibe. ZweiJahreErfahrung EstelleGrüter, MeteoSchweiz / Pierre Terrettaz, INSER
MeteoSchweiz / INSEREstelle Grüter / Pierre Terrettaz • The Mission: Integration von Rasterdaten aus diversen Datenquellen ins MeteoSchweiz Data Warehouse • The Solution: ETL mit FME Server • Import in eine zentrale Ablage (inkl. zentralem Metadaten Repository) • Realisierung eines generischen Auszugstools für Rasterdaten, die im DWH abgelegt sind. • Einbindung in Applikationen (Data Streaming Service): • Direkter Zugriff auf Datenbasis mit R (Statistikpaket) • Direkter Zugriff auf Datenbasis zur Datenvisualisierung mit Climap • Räumliche Aggregierung: Applikation zur Erstellung von aggregierten Statistiken FME World Tour 2013
Raster DatenbeiMeteoSchweiz MeteoSchweiz produziert verschiedenste Arten von Rasterdaten: Interpolierte Klimadaten(NetCDF) Analysen für Kurzfristprognosen (GRIB) Derivate aus Satellitendaten(NetCDF) Radardaten(GIF) Modelldaten(GRIB) FME World Tour 2013
NetCDF Vor dem Data Warehouse R7 nur mit Zusatzaufwand möglich NetCDF Climateanalysis GIF GIF Dezentrale Archivierung Radar information Grafiken auf Internet extern gerechnet ASCII KML OGC Diverse Analysis GIS, .... All raster data in individual formats etc. FME World Tour 2013 Bisherige Verarbeitung von Rasterdaten bei MeteoSchweiz
GeodataMgmt Mit dem DWH R7 und FME Server Spatialaggregation XML NetCDF IMAGE (NetCDF, TIFF, ASCIIGRID, GIF) MAP (PNG, PDF, JPG) Climateanalysis Datasets: full extent or subset Spatialdatatransformation GIF Radar information Geodatabase Products combining different datasources Climap(via HTTP) Central repositoryformetadata ASCII R Interface (via HTTP) Diverse Analysis GIS, .... GIS etc. FME World Tour 2013
Automatischer Import • Daten • Ungefähr 1500 Bilder pro Tag • Schonungefähr 1 MioBilderim Raster Catalog • FME Server • Performant undstabil FME World Tour 2013
Export (automatisch – kundenspezifisch) • Flexibel, performant und stabil • Unterschiedliche Formate • Pixelinhalt Transformation • Coded/physicalcontent • Unterschiedliche Regionen • Bounding Box • Region • Unterschiedliche Zeitperiode • Previoushour/day/month/year • Last_n_minutes • Scheduling • Realtime (synchronisiert mit dem Import) • Scheduled (daily, monthly) + code MHS FME World Tour 2013
Schlussfolgerung • FME Server Zentrale, entscheidendeKomponentefürerfolgreicheImplementation des zentralenRasterdatenrepositories • Flexibel - z.B. imHinblickauf die IntegrationneuerRasterdatenformate • Stabile und performante Lösungtrotz rasant wachsendemDatenzuwachs • Zusammenarbeit mit Safe und INSER • Es warbeeindruckend, wieaufgeschlossen , flexibelundentgegenkommend Safe.com aufunsereteilweiseungewöhnlichenAnforderungenreagierthat (z. Bsp. Schnittstellezu R, NetCDFWriter) • Sehr positive Zusammenarbeit mit INSER mit hoherFachkompetenz der involviertenMitarbeiter, die vielzumErfolg der implementiertenLösungbeigetragenhaben. HerzlichenDank an Safe.com und INSER ! FME World Tour 2013