Oracle Warehouse Technologie Single-Engine-Based-Data-Warehouse

2. Oracle Warehouse TechnologieSingle-Engine-Based-Data-Warehouse

3. Phasen der Data Warehouse Entwicklung mit Oracle Warehouse Builder 10g R2 (OWB) Alfred SchlaucherLeitender Berater Business Integration & Data WarehouseORACLE Deutschland GmbHTel.: 040 / 89091-132Email: Alfred.Schlaucher@Oracle.com Stichpunkte zu Ressourcen – schonenden Technikenmit dem Oracle – basierten Data Warehouse

4. business intelligence & data warehouse Themen • Oracle Warehouse Builder 10g R2 (OWB)- allgemein • Phasen der Data Warehouse Entwicklung- unterstützt durch OWB • Weitere Informationen und Umsetzung

5. business intelligence & data warehouse Themen • Oracle Warehouse Builder 10g R2 (OWB)- allgemein • Phasen der Data Warehouse Entwicklung- unterstützt durch OWB • Weitere Informationen und Umsetzung

6. Effiziente Datenhaltung SpeichertechnikILMHardwareASMOLAP Verwaltung und Dokumentation MetadatenOwnerschaftenGrid Control Qualitäts-management Data ProfilingData Auditing Datenintegration schnelles Bereitstellen DB-basiertes Laden MDMETL-Option BI-Anwendungen Standard-Berichte Interaktive BerichteData MiningKomplexe Analysen Daten-Zugriff SecurityMandanten Aufbau und Verwaltung von Data Warehouse-Umgebungen

7. Oracle Warehouse Builder • Design des kompletten Data Warehouse Systems • Logisches Design und Beschreibungsinformationen • Physisches Oracle Datenbank Design • Fast alle Datenbankobjekte von Oracle 10g • Bereitstellung der Datenbeschaffungsroutinen • Runtime – System • Universelles Metadatenrepository • Automatisiertes ETL durch Scriptsprache • Data Quality / Data Profiling • Zugang zu allen EAI – Komponenten von Oracle 10g

8. Immer mehr Anwender benutzen Daten Die Anzahl der Systeme und damit der Schnittstellen steigt Herausforderungen für Datenintegration und Datenmanagement Die Bereitsstellungszeit der Daten wird zunehmend kürzer Datenmengen wachsen Neue Anforderungen an Datenintegration und Datenmanagement

9. Datenintegrations- und Datenmanagementaufgaben • Zusammenführen von Daten aus heterogenen Systemen • Korrigieren von Daten • Garantieren von Datenqualität • Datenmigration von System zu System • Harmonisieren von Datenbeständen • Inhaltliches Angleichen • Synchronisieren • z. B. Abstimmung von verschiedenen Schlüsseln • Zuliefern von Daten • Benutzergerechtes Bereitstellen • Verwalten von Datenbeständen • z. B. Historisieren / Archivieren / ILM

10. Wie war das nur? „Lösungen“ der Vergangenheit • Programmierung von Hand • Zerstreute Programm-Sourcen • Fehler bei der Entwicklung • Unnötige Doppelarbeit • Schlechte oder fehlende Dokumentation • Schlechte Wartbarkeit • Enorme Folgekosten • Unkündbare „Inselexperten“ • Immer wieder „Katastrophen“ im Echtbetrieb

11. Die Geschichte der ETL-Tools geht in Richtung integrierter Werkzeuge 1992 1996 2000 2005 Datenbankbasierte ETL-Werkzeuge Separate Engine-gestützteETL-Werkzeuge Programm- generatoren Handprogrammierung

12. Log PL/SQL Schnittstellenkomponenten Oracle Data Warehouse In Memory nn JCA COM+ SOAP WSIF & JBI Enterprise Service Bus Routing QOS BPEL Transform Rules FlatFile Oracle (Remote) XML FlatFile SAP Int. DB2 OS390, UDB Sybase, Informix, SQL-Server... Warehouse Datenbank XML Port FTP Port Ext. Table Streams tcp CDC Access/Excel Gateway UTL_FILE MessageBroker DB-Link XML ODBC Queue DB-Link Peoplesoft Adapter XML Queue Siebel Tabellen View SQL Loader Sequenz Index Cube Webservices MView Procedure Function FlatFile XML eMail

13. A1 Variablen Variablen Metadaten gestützte Steuerungslogik für das Data Warehouse Repository Steuertabellen Workflow / BPEL

14. Datenbank-basiertes Laden

15. Datenbank – basiertes ETL • SQL basiert, d. h. die Oracle Datenbank wird ausgenutzt • Möglichkeit primär mengenbasierte Operationen durchzuführen • Wesentlich höhere Performance • Automatisiertes Datenbankgeregelte Parallelisieren • Datenbankgestütztes Ressources - Management • Unterstützung aller aktuellen Datenbank – ETL – Funktionen wie • Multiple Inserts • Merge (Insert/Update) • Direct Path Load • Table Functions • Partition Exchange and Load

16. Datenbank – basiertes ETL • Vollständige Hints – Bibliothek • Verwendung aller Datenbank – Funktionen, z. B. auch analytische Funktionen • Im Gegensatz zu den von 3. Herstellern nachgebildeten z. T. unvollständigen Funktionen (Beispiel SQL CASE, Decode) • Datennahes Entwickeln • Leichtes performantes und mengenbasiertes Updaten von Sätzen • Ausnutzen temporärere Strukturen • Temp – Tables • Cache – Tables • Ausnutzen besonders schneller Tabellen – Objekte • Index – Based Tables • Direkter Zugriff auf Tabelleninhalte

17. Datenbank - basiertes ETL • Nähe zu Katalogstrukturen • Alle Informationen stehen sofort zur Verfügung • Komplett – Definition aller physikalischen Objekte im Data Warehouse • (Tables, Index, Materialised Views, Partitioning ...)

18. Datenbank – basiertes ETLim Zusammenhang mit OWB • ETL - Integriertes Data Quality • Data Cleansing / Data Profiling • ETL – Makro – Bildung / Experts • Integrierte datenbankbasierte Workflow – Umgebung • Web – basiertes Auswerten von Metadaten und Laufzeitergebnissen • Unterstützung der Datenbank – Near Realtime – Funktionalität wie Queues, Streams, CDC, Web Services

19. Workflow-Steuerung

20. Gesamt- Prozess Teil- Prozess Tabellen- Mapping ColumnTransformation 4 – Schichten Prozessverwaltung

21. Es gibt 3 Hauptgründe für den Einsatz von OWB • Performance • Effizientere Warehouse Architekturen • Preis

22. KomponentenOWB Scheduler Repository Browser Control Center Change Manager Runtime Audit Experts-Macros Mapper Rules Editor Dependencies Datenmodeller Data Viewer Process Editor Data Profiler

23. Unified Repository DesignMetadaten OWB-Modelle RuntimeMetadaten (Deploys) OWB Design Modul Bestelldaten Modul Warehouse Deploy Bestellung WH_Transaktionen SRC DWH Oracle 9i /10g Oracle 9i/10g Import WH_Trans- aktionen Bestellung My_Project Location LOC_SRC Location LOC_DWH Tabellen Tabellen PL/SQL Datenfluss Quell-Systeme Ziel-System Warehouse tabellen Warehouse tabellen Warehouse tabellen Warehouse tabellen Das OWB Entwicklungs – Szenario

24. Log PL/SQL Schnittstellenkomponenten Oracle Data Warehouse In Memory nn JCA COM+ SOAP WSIF & JBI Enterprise Service Bus Routing QOS BPEL Transform Rules FlatFile Oracle (Remote) XML FlatFile SAP Int. DB2 OS390, UDB Sybase, Informix, SQL-Server... Warehouse Datenbank XML Port FTP Port Ext. Table Streams tcp CDC Access/Excel Gateway UTL_FILE MessageBroker DB-Link XML ODBC Queue DB-Link Peoplesoft Adapter XML Queue Siebel Tabellen View SQL Loader Sequenz Index Cube Webservices MView Procedure Function FlatFile XML eMail

26. business intelligence & data warehouse Themen • Oracle Warehouse Builder 10g R2 (OWB)- allgemein • Phasen der Data Warehouse Entwicklung- unterstützt durch OWB • Weitere Informationen und Umsetzung

27. System- entwurf Bebauungspläne Komponenten Data Profiling Reverse Engineering Quellen- studium Ziel- Daten- modelle 3NF Dimensional Mdimensional Prozess- analyse Prozessmodell Objektmodell Daten- bank- entwurf Info FA fehlerhafte Prozesse DDL / DML Knowledge Daten- transport Metadaten Info FA ETL Test- daten Laufzeit- management Jobmanagement Weiter

28. Hinterlegung fachlicher Beschreibungen Zurück

29. Analyse der Quelldaten - Data Profiling Zurück Zrück

30. Das gesamte System modellieren Zurück

31. Datenmodelle entwerfen Zurück

32. Komplette Definition von Tabellen Zurück

33. Transformationen mit Mappings

34. Zusätzliche Hilfsfenster des Mappingeditors

35. Operatoren des Mappingeditors Zurück

36. Testdaten- generierung Zurück

37. Zusammenfassen von Mappings zu Prozessen

38. Prozesssteuerung z. B. mit Schleifen und Variablen

39. Reporting über stattgefundene Ladeläufe Zurück

40. Abhängigkeits- und Auswirkungsanalyse Zurück

41. Individuelle Listenreports über Metadaten HTMLDB Zurück

42. business intelligence & data warehouse Themen • Oracle Warehouse Builder 10g R2 (OWB)- allgemein • Phasen der Data Warehouse Entwicklung- unterstützt durch OWB • Weitere Informationen und Umsetzung

43. Weitere Infos http://www.oracle.com/technology/products/warehouse/index.html Die neue Software OWB 10G R2 (Paris) kann über OTN bezogen werden. http://www.oracle.com/technology/software/products/warehouse/index.html Neue Projekte sollten nur mit diesem Release beginnen. Step By Step kann bestellt werden bei: Email: Alfred.Schlaucher@Oracle.com oder Tel.: 040 / 89091-132

45. Definition Dimensionen und Fakten Definition Mappings Dim + Fakten Definition 1 Mapping Cube Binding / Ableitung Relationale Tabellen Generierung Dimensions und Tabellen Generierung Mappings (PLSQL) Generierung Dimensionale Objekte in Analytical Workspace Generierung Mappings Cube DML Vorgehensweise Entwickeln Multidimensionale Strukturen mit OWB Data Object Editor Control Center Mapping Editor Control Center Zuweisen Analytical Workspace + Def. Aggregationen

46. business intelligence & data warehouse Themen • Einführung: Multidimensionale Modelleim Oracle Data Warehouse • Oracle Warehouse Builder 10g R2 (OWB)- allgemein • Erstellen multidimensionaler Modelle mit OWB • Beispielscreens: Wizard zur Erstellung einer Zeitdimension • Data Object Editor • Deployment Control Center • Der Mapping Editor • Ableiten EUL für Discoverer • Weitere Aspekte OWB • Umsetzung

47. Verschiedene Arten der Erstellung der Zeitdimension

48. Storage TypeROLAP / MOLAP

49. Festlegen Anzahl Jahre

50. Auswahl Hierarchie-Level