1 / 28

DATA WAREHOUSE

DATA WAREHOUSE. DATA WAREHOUSE. Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher , Detlef Schroeder. Themen. Big Data Buzz Word oder eine neue Dimension und Möglichkeiten

conor
Download Presentation

DATA WAREHOUSE

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. DATA WAREHOUSE DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte fürdas Data Warehouse ermöglichenAlfred Schlaucher, Detlef Schroeder

  2. Themen Big Data Buzz Word odereineneueDimension und Möglichkeiten Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork „Connectors“ in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca

  3. Was hat uns bisher interessiert? Sales & Operational Planning Finance Sales & Mktg Engineering Service Supply Management Information Technology Production

  4. Warum und wie Big Data jetzt? NeueWegederDatenerzeugung • Beiläufig entstehende Daten • Maschinen-generiert • Kommunikation • Geo-Bezüge Kosten und andereAnalysen • Was sind interessante Daten • Wie sind sie zu speichern • Welche Analysetechnik / Verfahren • Welche Kosten entstehen New Business Opportunities

  5. Use Case gibtesviele • Use Cases • Financial Service • Freizeit • Automaten / Logistik • Automotive • Retail

  6. Ein potentieller Fall Ein Börsen-Unternehmen misst permanent alle relevanten Aktienkurse über einen längeren Zeitraum. In dem Data Warehouse sind alle Entwicklungen, alle Ups und Downs der letzten 10 Jahre genau dokumentiert. Offen aber bleiben Frage wie: • Warum sind diese Ups und Downs zu bestimmten Zeiten entstanden? • Beeinflussen öffentliche Nachrichten den Aktienhandel? Parallel zu dem Data Warehouse sammelt das Unternehmen alle öffentlich zugänglichen Nachrichten. Gesucht werden bewertende Aussagen zu Zeitpunkten der Aktienbewegungen.

  7. In vielen Lebenssituationen erzeugen wir beiläufig und permanent Daten (z. T. ohne es zu wissen oder zu bemerken) Potential für neue Analysen und Geschäftsmodelle

  8. Potential für neue Analysen und Geschäftsideen • 50 Kontaktpunkte / Skifahrer / Tag • 10 KB pro Kontaktpunkt -> 500KB pro Skifahrer / Tag • Bei 20 Millionen Skifahrer in den Alplen/Jahr und durchschnittlich 10 Tagen Aufenthalt sind das -> 10 TB / Tag-> 100 TB insgesamt • Personendaten • Herkunft (Wohnort) • Kartenkaufort • Alter (Geb. Datum) • Nutzungszeitraum • Monat / Woche / Tag • Tageszeit • Nutzungshäufigkeit • Wetterdaten • Pistendaten • Schneeverhältnisse • Schwierigkeitsgrade • Höhenmeter • Liftdaten • Auslasung Maschinendaten Vergleichsdaten / DWH

  9. Technologisch erweiterte Möglichkeiten 1980 2010 • 120000 Automaten / Deutschland • Alle Automaten über Sensorik erfasst und zentral abrufbar • Füllstände, Sensoren in der Mechanik der Geräten • Wartungszyklen, Routenplanung für Service-Techniker Bitte nicht als Zigarettenwerbung verstehen. Wir finden Rauchen nicht gut!

  10. Auto:Der fahrende Computer > 200 Sensoren / Auto 10 KB / Km (?????) 10 MB / Tankfüllung 10 TB / Tankfüllung / 1 Mill Autos 500 TB / 50.000 km / 1 Mill Autos 1 MB / Km (?????) 1 GB / Tankfüllung 100 TB / Tankfüllung / 1 Mill Autos 5 PB / 50.000 km / 1 Mill Autos Fahrpedalgeber Kühlwasser Bremspedalgeber Regenfühler Beschleunigung Leerlaufverhalten Drehzahl Kraftstoffverbrauch Bremskraft Reifendruck Öldruck Stromverbrauch Temperatur innen / aussen Getriebeeinstellung Aktivierte Stromverbraucher Motortemperatur

  11. Big Data in der Auto-Industrie VielfältigeEinsatzgebiete

  12. GenauereKundenanalysen MehralsnurklassischeSortimentsanalysen Massenmarkt-Retailer • ZielgenauereWerbebotschaften • Minimieren von Werbeaufwand • BessereZielgruppen-orientierung • Kaufgewohnheiten • Kundenbindung Nutzen Business Problem Neue Art derAnalyse • DetailliertereKundenprofile • Hinzuziehen von zusätzlichenInformationsquellen • Co-Varianz-Analysen • Emails • Web logs • Effizienteres Marketing • Umsatzsteigerung • Schärfung des Sortiments

  13. Soziale StadtpläneWo in bewegen sich zu welchen Zeiten die meisten Menschen

  14. Weitere Big Data Use Cases In allenBranchen FINANCIALSERVICES Risk & portfolio analysis New products EDUCATION &RESEARCH Experiment sensor analysis CONSUMER PACKAGED GOODS Sentiment analysis of what’s hot, problems COMMUNICATIONS Location-based advertising AUTOMOTIVE Auto sensors reporting location, problems HIGH TECHNOLOGY / INDUSTRIAL MFG. Mfg quality Warranty analysis ON-LINE SERVICES / SOCIAL MEDIA People & career matching Web-site optimization LIFE SCIENCES Clinical trials Genomics MEDIA/ENTERTAINMENT Viewers / advertising effectiveness HEALTH CARE Patient sensors, monitoring, EHRs Quality of care UTILITIES Smart Meter analysis for network capacity, TRAVEL &TRANSPORTATION Sensor analysis for optimal traffic flows Customer sentiment OIL & GAS Drilling exploration sensor analysis LAW ENFORCEMENT & DEFENSE Threat analysis - social media monitoring, photo analysis RETAIL Consumer sentiment Optimized marketing Challenged by: Data Volume, Velocity, Variety

  15. „New Data“ Paradigma Low value densitydata processing HDFS Reduced data set Analyse Tools HDFS Batch bulk load Semi strukturierte Daten Smart Visualisierung Leicht durchführbare Abfragen Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum Social Media, Mails,Briefe, Verträge Texte, Dokumente User Defined Algorithms Mobile Kundenvorlieben (Sentiments Analyse) Massendaten-Analyse Predictive Analysen Complex event processing Kundenprofile Angereicherte Wissensablage Filter Classify corrolate Unstrukturierte Daten Transaction EventCorrelation Text Clickstream Web content Logs Tablet NOSQL High volumn, low Latency-Daten-Streams Marktdaten, News Realtime und Selbstlernend Statistical Analysis Web TransaktionenAggregate Kennzahlen Strukturierte Daten Relational High value dataprocessing Profile Transaktionen Vertriebswege Absatzdaten Stateless Delivery Unterschiedliche Kanäle OLTP: Bank, PoS, Credit Card Office Acquire Organise Analyse, Decide &Deliver

  16. „New Data“ Paradigma Low value densitydata processing HDFS Reduced data set Analyse Tools HDFS Batch bulk load Semi strukturierte Daten Smart Visualisierung Leicht durchführbare Abfragen Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum Social Media, Mails,Briefe, Verträge Texte, Dokumente User Defined Algorithms Mobile Kundenvorlieben (Sentiments Analyse) Massendaten-Analyse Predictive Analysen Complex event processing Kundenprofile Angereicherte Wissensablage Filter Classify corrolate Unstrukturierte Daten Transaction EventCorrelation Text Clickstream Web content Logs Tablet NOSQL High volumn, low Latency-Daten-Streams Marktdaten, News Realtime und Selbstlernend Statistical Analysis Web TransaktionenAggregate Kennzahlen Strukturierte Daten Realtional High value dataprocessing Profile Transaktionen Vertriebswege Absatzdaten Stateless Delivery Unterschiedliche Kanäle OLTP: Bank, PoS, Credit Card Office Acquire Organise Analyse, Decide &Deliver

  17. „New Data“ Paradigma MassenDaten Low value densitydata processing HDFS Reduced data set Analyse Tools HDFS Batch bulk load Semi strukturierte Daten Zählen von Strings und Mustern Smart Visualisierung Leicht durchführbare Abfragen Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum Social Media, Mails,Briefe, Verträge Texte, Dokumente Unstrukturiert User Defined Algorithms Mobile Kundenvorlieben (Sentiments Analyse) Massendaten-Analyse Predictive Analysen Complex event processing + Kundenprofile Angereicherte Wissensablage Filter Classify corrolate Unstrukturierte Daten Transaction EventCorrelation Text Clickstream Web content Logs Tablet NOSQL High volumn, low Latency-Daten-Streams Marktdaten, News Realtime und Selbstlernend Statistical Analysis Web TransaktionenAggregate Kennzahlen Strukturierte Daten Realtional KlassischesDWH High value dataprocessing Strukturiert Profile Transaktionen Vertriebswege Absatzdaten Stateless Delivery Unterschiedliche Kanäle OLTP: Bank, PoS, Credit Card Klassische Auswertung Office Acquire Organise Analyse, Decide &Deliver

  18. „New Data“ Paradigma MassenDaten IndividualisiertereSichten Low value densitydata processing HDFS Reduced data set Analyse Tools HDFS Batch bulk load Semi strukturierte Daten Zählen von Strings und Mustern Smart Visualisierung Leicht durchführbare Abfragen Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum Social Media, Mails,Briefe, Verträge Texte, Dokumente Unstrukturiert User Defined Algorithms Mobile Kundenvorlieben (Sentiments Analyse) Massendaten-Analyse Predictive Analysen Complex event processing + Kundenprofile Angereicherte Wissensablage Filter Classify corrolate Unstrukturierte Daten Transaction EventCorrelation Text Clickstream Web content Logs Tablet NOSQL High volumn, low Latency-Daten-Streams Marktdaten, News Realtime und Selbstlernend Statistical Analysis Web TransaktionenAggregate Kennzahlen Strukturierte Daten Realtional KlassischesDWH High value dataprocessing Strukturiert Profile Transaktionen Vertriebswege Absatzdaten Stateless Delivery Unterschiedliche Kanäle OLTP: Bank, PoS, Credit Card Klassische Auswertung Office Acquire Organise Analyse, Decide &Deliver

  19. „New Data“ Paradigma MassenDaten IndividualisiertereSichten Low value densitydata processing HDFS Reduced data set Analyse Tools HDFS Batch bulk load Semi strukturierte Daten Zählen von Strings und Mustern Smart Visualisierung Leicht durchführbare Abfragen Kundenprofile Externe Daten Social Media Blogs, Feeds, Forum Social Media, Mails,Briefe, Verträge Texte, Dokumente Unstrukturiert User Defined Algorithms Direkte Einflussnahme auf Prozesse Mobile Kundenvorlieben (Sentiments Analyse) Massendaten-Analyse Predictive Analysen Complex event processing + Kundenprofile Angereicherte Wissensablage Filter Classify corrolate Unstrukturierte Daten Transaction EventCorrelation Text Clickstream Web content Logs Tablet Direkte Kundenansprache NOSQL High volumn, low Latency-Daten-Streams Marktdaten, News Realtime und Selbstlernend Statistical Analysis Konkrete Aktionen Web TransaktionenAggregate Kennzahlen Strukturierte Daten Realtional KlassischesDWH High value dataprocessing Strukturiert Profile Transaktionen Vertriebswege Absatzdaten Stateless Delivery Unterschiedliche Kanäle OLTP: Bank, PoS, Credit Card Klassische Auswertung Office Acquire Organise Analyse, Decide &Deliver

  20. Big Data: InfrastrukturAnforderungen • Explorative Analyse • KomplexestatistischeAnalysen • Agile Berichtsentwicklung • Massive Skalierung • Real Time Ergebnisse • UnvorhersehbaresAuftreten • HoheDatenmengen • Flexible Daten-Strukturen • ArbeitenmitvielenServereinheiten • AbfragenmitextremhohenDaten-Durchsatz • Bearbeitung am Speicherplatz • HoheParallelisierung

  21. Oracle’s integrierte Software Lösung DataVariety Unstructured Cloudera Hadoop HDFS OracleMapReduce Oracle (DW) OracleAnalytics MiningRSpatialGraph Schema-less Oracle NoSQL DB Oracle Hadoop Loader Oracle (OLTP) Schema OBI EE InformationDensity Organize Acquire Analyze

  22. Oracle Engineered Systems DataVariety Unstructured Exalytics Schema-less Big Data Appliance Schema Exadata Database Machine InformationDensity Organize Acquire Analyze

  23. Oracle Data Warehouse Architektur für unternehmensweites Datenmanagement Dynamic Data Marts Controlling Marketing Financial Sales HR Any Source BI Server Interactive Dashboards Information Layer ArchitectureConcept Data Integration Layer User View Layer Enterprise Information Layer InDatabase ROLAP InDatabase MOLAP Reporting &Publishing BI Apps Data Integration Real Time & Batch InDatabase Data Mining R InDatabase Operational Data Layer Ad-hoc Analysis Data Quality Rules Checks&Monitoring DWH Logistic Utilities Metadata Utilities TechnicalAuditing BusinessCatalogue Scorecards Oracle Database Management System Oracle Database Management System Lifecycle Management Concept Big Data Solution Exadata DWH System Monitoring Utilities Hadoop noSQL Office Integration DWH Security Utilities Storage Hierarchy Operating System ServerCluster Server Cluster DWH Backup / RecoveryConcept Mobile Optimized Network Optimiertes Netzwerk Exalytics Big Data Appliance Exadata / Database Machine / Exalytics Concept Framework Reference Data Models Data Management Concept

  24. Oracle Produkt-KomponentenData Warehouse / BigData Oracle EE (37) OLAP (18) InMemory DB Cache(18) AD Comp (9) Advanced Analytics (18) Label Sec (9) Partitioning (18) RAC (8) Diagnostic+Tuning (8) Spatial (13) Data Integration NoSQL EE (8) BigData Connectors (1,5) BigData Appliance (400K) Business Intelligence Exadata /DBM (ab 350K)

  25. Oracle Produkt-KomponentenData Warehouse / BigData Oracle EE OLAP InMemory DB Cache AD Comp Advanced Analytics Label Sec Partitioning RAC (8) Diagnostic+Tuning Spatial Data Integration NoSQL EE BigData Connectors BigData Appliance Business Intelligence Exadata /DBM

  26. Oracle Produkt-KomponentenData Warehouse / BigData Oracle R Enterprise Advanced Analytics Oracle Data Mining NoSQL EE • Oracle Loader for Hadoop • Oracle Direct Connector for HDFS • Oracle R for Hadoop Connector BigData Connectors BigData Appliance

More Related