1 / 21

DATA WAREHOUSE

DATA WAREHOUSE. DATA WAREHOUSE. Oracle Data Warehouse Mit Big Data neue Horizonte für das Data Warehouse ermöglichen Alfred Schlaucher , Detlef Schroeder. Themen. Big Data Buzz Word oder eine neue Dimension und Möglichkeiten

cherie
Download Presentation

DATA WAREHOUSE

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. DATA WAREHOUSE DATA WAREHOUSE Oracle Data Warehouse Mit Big Data neue Horizonte fürdas Data Warehouse ermöglichenAlfred Schlaucher, Detlef Schroeder

  2. Themen Big Data Buzz Word odereineneueDimension und Möglichkeiten Oracles Technologie zu Speichern von unstrukturierten und teilstrukturierten Massendaten Cloudera Framwork „Connectors“ in die neue Welt Oracle Loader for Hadoop und HDFS Big Data Appliance Mit Oracle R Enterprise neue Analyse-Horizonte entdecken Big Data Analysen mit Endeca

  3. <Insert Picture Here> Big Data Ökosystem

  4. Big Data ApplianceMöglichesSzenario Oracle Big Data Appliance Oracle Exadata Oracle Exalytics Oracle Big Data Connectors InfiniBand InfiniBand Organize Analyze Acquire

  5. WarumeineHadoopAppliance? • ZeitzumAufbau? • Optimierungsaufwand? • Kosten und AufwandfürWartung?

  6. <Insert Picture Here> Big Data Appliance Hardware Überblick

  7. Oracle Big Data Appliance Hardware • 18 Sun X4270 M2 Servers per Rack • 864 GB RAM • 216 cores • 648 TB storage • 40 Gb/s InfiniBand Fabric • Inter-rack Connectivity • Inter-node Connectivity • 10 Gb/s Ethernet Connectivity • Data center connectivity Full Rack Configuration Only

  8. BDA Node – Sun Fire X4270 M2

  9. Memory Expansion Kit • OptionaleErweiterungfüreinzelneKnoten in der BDA (z.B. dem Name Node) • ÄnderungderKonfigurationderX4270 M2von 48GB zuentweder 96Gb (12 x 8 GB) oder144 GB (18 x 8 GB) • KannfürAlleoderEinzelneKnotengelten(Name Node, HBase master etc.)

  10. InfiniBand Network • Sun 4x QDR (40Gb/s) InfiniBand switches • ImmereinSubnet Manager istaktiv • 2 “leaf” switches (32 port QDR gateway switch) für die Leafverknüpfung • Ein Port für die Erweiterung auf andere EXA-Maschinen • Einzelne Server • Jeder Server hat einen Dual-port QDR (40Gb/s) IB HCA • DientderVernetzungder “Leafs” untereinander und mitdem “Name Node” • Vorverdrahtet

  11. HorizontaleErweiterung Vernetzungmehrer Racks durchInfiniBand ExadataAnschlussebenfallsdurchInfiniBand

  12. <Insert Picture Here> Oracle Big Data Appliance Software Überblick

  13. Oracle Big Data Appliance Software Software vor-installiertundoptimiertfüreineoptimale Performance: • Oracle Linux 5.6 • Java Hotspot VM • Cloudera CDH • Cloudera Manager • Open Source R Distribution • Oracle NoSQL Database CE • Oracle Big Data Connectors* * Separate linzenzpflichtige Software, kannvorinstalliertunfkonfiguriertwerden

  14. Cloudera CDH • Cloudera CDH 3 enthält: • Apache Hadoop • Apache Hive • Apache Pig • Apache HBase • Apache Zookeeper • Apache Flume • Apache Sqoop • Apache Mahout • Apache Whirr • Apache Oozie • Fuse-DFS • Hue Aktuelle Details unter: http://www.cloudera.com/hadoop-details/

  15. Hadoop Software Layout (Masters) • Node 1: • M: Name Node, Balancer & HBase Master • S: HDFS Data Node, NoSQL DB Storage Node* • Node 2: • M: Secondary Name Node, Cloudera Manager, Zookeeper, MySQL Slave • S: HDFS Data Node, NoSQL DB Storage Node* • Node 3: • M: JobTracker, MySQL Master, ODI Agent, Hive Server • S: HDFS Data Node, NoSQL DB Storage Node* 2 1 3 * OptionaleKonfiguration

  16. Storage Nodes Data Center B Storage Nodes Data Center A Oracle NoSQL DB Eineverteilte, hochskalierbare Key-Value Datenbank • EinfachesDatenModel • Key-Value Paarmitmajor+sub-key • Read/insert/update/delete Operationen • Skalierbarkeit • DynamischePartitionierung und Verteilung • OptimierterDatenZugriffüberdieTreiber • Hoch Verfügbarkeit • Ein oder mehrere Replicate • Disaster recovery über die Replicate • Kein “single point of failure” • Transparentes “load balancing” • Es wirdvom Master odereinemReplicatgelesen • Die Treiberberücksichtigen die Netzwerk-Topologie und die Latenzzeiten Application Application NoSQLDB Driver NoSQLDB Driver

  17. NoSQLKonfiguration (Optional für die BDA) NoSQL DB Master Node Replicat Vor-KonfiguriertmitdreifacherReplikation

  18. <Insert Picture Here> Zusammenfassung

  19. Big Data ApplianceBig Data fürsgesamteUnternehmen • Optimiert und Vollständig • Alles was man zurSpeicherung und Integration von DatenmitgeringerInformationsdichtebraucht • Integration mitOracle Exadata • Erweiterung des DWH • Einfach und schnelleinsetzbar • Riskoarme, einfache und schnelleEinführung • EinAnsprechpartner • Für den Support der gesamten Lösung

  20. Kontakt und mehr Informationen Oracle Data Warehouse Community Mitglied werdenViele kostenlose Seminare und Events Download – Server: www.ORACLEdwh.de Nächste deutschsprachige Oracle DWH Konferenz: 19. + 20. März 2013 Kassel

More Related