1 / 57

Hauptspeicher- Datenbanksysteme

Hauptspeicher- Datenbanksysteme. Hardware-Entwicklungen Column - versus Row -Store . Hauptspeicher-Datenbanksysteme. Disk is Tape, Tape is dead … Jim Gray Die Zeit ist reif für ein Re- engineering der Datenbanksysteme

maris
Download Presentation

Hauptspeicher- Datenbanksysteme

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Hauptspeicher-Datenbanksysteme Hardware-Entwicklungen Column- versus Row-Store ...

  2. Hauptspeicher-Datenbanksysteme • Disk is Tape, Tape isdead … Jim Gray • Die Zeit ist reif für ein Re-engineering der Datenbanksysteme • Man kann heute für 25000 Euro einen Datenbankserver mit 1 TeraByte Hauptspeicher und 32 Rechenkernen kaufen

  3. Einsatz von Hauptspeicher-Datenbanksystemen

  4. Feasibility: Main Memory DBMS • Amazon • Data Volume • Revenue: 15 billion Euro • Avg. Item Price: 15 Euro • 1 billion order lines per year • 54 Bytes per order line • 54 GB per year • + additional data • - compression • Transaction Rate • Avg: 32 orders per s • Peak rate: Thousands/s • + inquiries • Intel • TeraScale Initiative • Server withseveral TB mainmemory • We just orderedonefrom Dell for 49 K Euro • Main Memory capacity will growfasterthan Customers‘ Needs • Cf. RAMcloud-projectat Stanford • Ousterhoud et al.

  5. Leistungsengpässe: Profilingeines klassischen Datenbanksystems

  6. Widerholung: Speicherhierarchie Register (L1/L2/L3) Cache Hauptspeicher Plattenspeicher Archivspeicher

  7. Überblick: Speicherhierarchie Register Cache Hauptspeicher Plattenspeicher Archivspeicher 1 – 8 Byte Compiler 8 – 128 Byte Cache-Controller 4 – 64 KB Betriebssystem Benutzer

  8. Überblick: Speicherhierarchie 1-10ns Register 10-100ns Cache 100-1000ns Hauptspeicher 10 ms Plattenspeicher sec Archivspeicher Zugriffslücke 105

  9. Überblick: Speicherhierarchie 1-10ns Register 10-100ns Cache 100-1000ns Hauptspeicher 10 ms Plattenspeicher sec Archivspeicher Kopf (1min) Raum (10 min) München (1.5h) Pluto (2 Jahre) Andromeda (2000 Jahre) Zugriffslücke 105

  10. Row Store versus Column Store

  11. Row Store versus Column Store

  12. Anfragebearbeitung

  13. Komprimierung

  14. Datenstrukturen einer Hauptspeicher-Datenbank

  15. Row-Store-Format

  16. Column-Store-Format

  17. Column-Store-Format (cont‘d)

  18. Einfügeoperation eines Tupels Insert intoVerkaeufevalues (12, 007, 4711, 27.50)

  19. Anfragen

  20. Hybrides Speichermodell

  21. Anfragebearbeitung

  22. Anwendungsoperationen in der Datenbank: StoredProcedures

  23. Snapshots für Anfragen Snapshot der Haupt-Datenbank OLAP Haupt-Datenbank OLTP

  24. Update Staging: In vielen Systemen verwendet, zB. NewDB von SAP

  25. Scan-only Datenbanken: ISAO von IBM oder Crescando von der ETHZ

  26. Ursprüngliches Schattenspeicher-Verfahren: Lorie77 für IBM System R

  27. Copy on Write Update aa‘ 2 µs

  28. Snapshotting via fork-ing: Details

  29. Snapshot Maintenance: copy on write

  30. Fast because of Hardware-Support: MMU

  31. OLAP Queries on Tx-Consistent Snapshots

  32. Multiple Query Sessions

  33. Synchronization-Assertions • Serializability of the OLTP Transactions • Whatelseifexecutedserially • Wesupportfull ACID  seecomingslides • Snapshot isolation of the OLAP queries • Multi-versionmixedsynchronizationmethod • Several OLAP queries form oneTx = OLAP Session • Bernstein, Hadzilacos, Goodman: Chapter 5.5

  34. Kompaktifizierung: Motivation

  35. Kompaktifizierung der Datenbank

  36. Invalidierung gefrorener Datenobjekte

  37. Transaktionsverwaltung: serielle Ausführung auf Partitionen

  38. Snapshot used forTx-consistent Backup

  39. Loggingthe Transaction Processing To Storage Server via 10 Gb/s rDMA Interface (e.g. MyrinetorInfiniband)

  40. Isolation von OLAP und OLTP

  41. Tentative Ausführung langer Transaktionen

  42. High Availability & LoadBalancing • Stand-Byfor OLTP • Activefor OLAP • Possiblefor Backup

  43. Row-Store Column-Store

  44. Indexstrukturen für Hauptspeicher-Datenbanken • Radix-Baum / Trie / Präfixbaum

  45. Idee des Adaptiven Radix-Baums ART

  46. Adaptive Knoten des ART-Baums

More Related