Thema 1

1. Thema 1 Data WareHouse Volker Jahns

2. Themen 1. Einführung - Motivation 2. Aufbau eines DWh 3. Data Marts vs. Data WareHouse 4. Operative Daten vs. Analytische Daten 5. Datenbereitstellung

3. [1.] Einführung - Motivation Was ist ein Data Ware House? • Eine Technik / Konzept unterschiedliche Daten in zentraler Form zu speichern • Zentrale Informationsquelle für Daten • Ermöglicht globale Sicht auf heterogene Daten • Verfolgt das Ziel der Integration und Separation Definition: Ein Data-Warehouse ist eine zentrale Datensammlung (meist eine Datenbank), deren Inhalt sich aus Daten unterschiedlicher Quellen zusammensetzt. Die Daten werden von den Datenquellen in das Data-Warehouse geladen und dort vor allem für die Datenanalyse und zur betriebswirtschaftlichen Entscheidungshilfe in Unternehmen langfristig gespeichert.

4. [1.] Einführung - Motivation Grundlegendes für den Aufbau eines DW • DW‘s sind in den Bereich der Softwareentwicklung einzuordnen • Entwicklung durchläuft ein eigenständigen Prozess • Fachkenntnisse aus der IT und Fachabteilung sind notwendig

5. [2.] Aufbau eines Data WareHouses Grundlegendes für den Aufbau eines DW • Der Aufbau eines DW kann in zwei grundlegende Phasen gegliedert werden • Beide Entwürfe werden in dem ALC (Application Life Cycle) – Prozess detailliert ausgeführt, um eine fundierte Basis für die Umsetzung des DW zu bilden. Konzeptueller Entwurf Aufbau IT Entwurf

6. [2.] Aufbau eines Data WareHouses Grundlegendes für den Aufbau eines DW Unternehmen Mehrwert Magic Vertrieb Produktion ReWe ERP‘s ETL Anforderungen

7. [2.] Aufbau eines Data WareHouses Grundlegendes für den Aufbau eines DW • Der ALC – Prozess wird in folgende Phasen gegliedert Deployment Management Verificiation

8. [2.] Aufbau eines Data WareHouses Deployment Grundlegende Fragen in der Vorstudienphase: FACHABTEILUNG • Was sind die Ziele? • Was will man damit erreichen bzw. welche Situation verbessern? • Können damit Erfolgspotentiale/Wettbewerbsfaktoren geweckt bzw. gefördert werden? • Welchen ROI haben wir bzw. gibt es einen? • DW geeignet oder „Oversized“ ?

9. [2.] Aufbau eines Data WareHouses Deployment Grundlegende Fragen in der Vorstudienphase: IT – Abteilung • Was für operative Systeme sind vorhanden? • Welche Daten müssen/sollen übernommen werden? • Wo liegen die größten Probleme? • Daten Qualität • Daten Granularität • Daten Konsistenz • Welche DW – Anbieter sind für uns optimal? • Welche Anforderungen aus der Fachabteilung sind überhaupt realisierbar?

10. [2.] Aufbau eines Data WareHouses Implementierung Drei Varianten stehen zur Verfügung DW DM DM Op. Data Th.P. Data Op. Data Th.P. Data Op. Data Th.P. Data Virtuelles DW Zentrales DW Data Mart

11. [2.] Aufbau eines Data WareHouses ALC – Management/Implementierung Nach der Auswahl der DW-Grobstruktur (Zentral, Virtuell oder DM), müssen folgende Fragen geklärt werden: • Granularität der Daten • Partitionierung • Horizontal • Vertikal • Denormalisierung • Externe Daten Generalisierung Spezialisierung Datenhaltung ETL‘s

12. [3.] Data Warehouse vs. Data Mart

13. [3.] Data Warehouse vs. Data Mart • Data Warehouse Eine von den operativen DV-Systemen isolierte Datenbank, die als unternehmensweite zentrale Datenbasis für alle Ausprägungen managementunterstützender Systeme dient • Data Mart Datensammlung, die auf die Bedürfnisse einer bestimmten Abteilung oder eines eingegrenzten Themas ausgerichtet ist.

14. [3.] Data Warehouse / Data Mart

15. [3.] Daten für operative / analytische Anwendungen (1)

16. [3.] Daten für operative / analytische Anwendungen (2)

17. [4.] Operative vs. Analytische Daten Operative Daten • Strukturiert für die Verarbeitung in Transaktionssystemen • Jeder Datensatz muss jederzeit für Lese- und Schreibzugriffe zur Verfügung stehen • Details über Daten sind notwendig Analytische Daten • Anderer Aufbau als „Operative Daten“ • Analytische Daten wurden verändert/angepasst • Daten werden komprimiert in Kennzahlen und zusammengefasst

18. [4.] Operative vs. Analytische Daten Die Daten können mit folgenden Fragen klassifiziert werden: • Was? • Wer? • Wann? • Wie?

19. [5.] Arbeitsschritte zur Datenbereitstellung „ETL-Prgramme“

20. [5.] Arbeitsschritte zur Datenbereitstellung „ETL-Prgramme“

21. [5.] Arbeitsschritte zur Datenbereitstellung „ETL-Prgramme“ • Extraktion = Selektion von Daten aus operativen Datenquellen für das Data Warehouse • Prüfung der Daten-Verfügbarkeit (Beachtung von Datenschutzrechten, Eigentumsrechten, Grad der Vertraulichkeit) • Festlegung des Zeitpunktes zur Daten-Extraktion • Periodische Extraktion • Extraktion auf Anfrage • Ereignisgesteuerte Extraktion • Sofortige Extraktion • Temporäre Speicherung im Arbeitsbereich des DW  „Staging Area“

22. [5.] Arbeitsschritte zur Datenbereitstellung „ETL-Prgramme“ • Transformation = Eliminierung von Qualitätsmängeln und betriebswirtschaftliche Aufbereitung der operativen Daten für analytische Fragestellungen mittels folgender Verfahren: • Bereinigung Beseitigung von semantischen und syntaktischen Mängeln 1. bis 3. Klasse • Harmonisierungbetriebswirtschaftliche Vereinheitlichung unterschiedlicher Codierungen, Attribute und Schlüssel • VerdichtungSummierung der Daten auf verschiedenen Stufen im DW • AnreicherungSpeicherung von vorberechneten Kennzahlen im DW

23. [5.] Arbeitsschritte zur Datenbereitstellung „ETL-Prgramme“ • Laden = Übernahme der Daten aus operativen Vorsystemen in das Data Warehouse, unterschieden wird in: • Initiales Füllen des DW mit Daten aus operativen Datenquellen und ggf. ergänzt durch Archivdaten • Zyklische Aktualisierung der analytischen Datenbasis • Aktualisierungsvarianten: • Kompletter Abzug • Nur Übernahme der Änderungen • Auswahl protokollierter Datenbanktransaktionen