1 / 15

ETL – E xtract , T ransform , L oad nástroje .

ETL – E xtract , T ransform , L oad nástroje. Mobilné geoinformačné technológie. Dušan MAĎAR | mad080@vsb.cz. GN2GIF01. Ú vod do problematiky Proces ETL Realizácia ETL ETL nástroje Informatica + Data Integrator CloverETL + Kettle GeoETL FME + GeoKettle Zhodnotenie.

kerry
Download Presentation

ETL – E xtract , T ransform , L oad nástroje .

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. ETL – Extract, Transform, Load nástroje. Mobilné geoinformačné technológie Dušan MAĎAR | mad080@vsb.cz GN2GIF01

  2. Úvod do problematiky • Proces ETL • Realizácia ETL • ETL nástroje • Informatica + DataIntegrator • CloverETL + Kettle • GeoETL • FME + GeoKettle • Zhodnotenie Osnova prezentácie

  3. ETL je na scéne už 20 rokov • Extract – Clean – Transform – Load • ETL = integračne transformačná vrstva • periodické získavanie dát Úvod do problematiky

  4. identifikácia a získanie požadovaných dát • extrakcia redundantných dát • získanie dát z rôznych strategických systémov • nesmie ovplyvniť zdrojové systémy • typy extrakcie • notifikácia zmien • extrakcia prírastkov • úplná extrakcia Extrakcia dát

  5. najdôležitejšiafáza – zaisťuje kvalitu dát • dáta sú „znečistené“ chybami, duplicitami, ... • problematické odhalenie nepresností • základné unifikačné pravidlá • odstránenie rovnakých dát • unikátne identifikátory • štandardizácia chýbajúcich hodnôt • validácia telefónnych čísiel, emailov, • adries, ... • spätná väzba do zdrojových systémov Čistenie dát

  6. iteračnýproces spracovania • súbor transformačných pravidiel • konverzie jednotiek, matematické operácie, denormalizácia, multidimenzionálne štruktúry, ... • výsledkom sú korektné a konsolidované dáta s • maximálnou informačnou hodnotou Transformácia dát

  7. naplnenie spracovaných dát do cieľového systému • dátový sklad • databáza • súbory (XSL, XML, CSV, ...) • minimálne systémové nároky • dávkové alebo jednotlivé načítanie Načítanie dát

  8. Skripty • SQL, C++, Python • minimálne počiatočné investície • zložitá údržba • Pokročilé GUI aplikácie • forma CASE nástrojov • rýchle a pohodlné • drahé Realizácia ETL

  9. produktivita • CASE • flexibilita • modularita • výkon • využitie HW a SW • otvorenosť • podpora širokého spektra formátov • podpora metadát ETL nástroje

  10. celopodniková platforma • ne/štruktúrované dáta • škálovateľnosť • tímová práca • E-LT architektúra • deklaratívny návrh • bestpractices • real-time prenosy Iformatica + DataIntegrator

  11. Java, Eclipse™ • paralelné spracovanie • podpora formátov • debugger a validátor • 100% Java • Big Data • Administrácia • cena CloverETL + Kettle

  12. tradičný ETL prístup so zameraním na geodáta • dátová a sémantická transformácia • priama transformácia vs využitie pomocného súboru • najčastejšie operácie • zmena projekcie, geometrie • geokódovanie • porovnávanie dátových zdrojov • cieľom je interoperabilitageodát GeoETL = ETL + geografické dáta

  13. 250+ konvertorov • CAD/GIS výmena • ArcGIS • transformácia modelov • 35+ databáz • OGC štandardy • možnosti filtrácie • webové služby FME + GeoKettle

  14. overenie kvalitného ETL prináša čas • pohodlný prístup k dátam • vyhľadanie potrebných informácií • integráciaGeoETL do súčasných GIS • napr. ArcGISDataInteroperability • eliminácia podpory formátov • Nedostupnosť príkladov využitia spatial ETL • maximálne užívateľské dotazy na fórach Zhodnotenie

  15. Ďakujem za pozornosť. Záver

More Related