780 likes | 1.17k Views
Oracle Exadata. Migraties. Even voorstellen. Rob Lasonder. Momenteel werkzaam bij Global Exadata Competence Center Atos (GECC) Werk met Oracle vanaf versie 6 Werk met Exadata vanaf versie V2. OCP 8.0 t/m 11g OCE Exadata en RAC 11g Email: rob.lasonder@atos.net
E N D
Oracle Exadata Migraties
Even voorstellen . . . . • Rob Lasonder. • Momenteel werkzaam bij Global Exadata Competence Center Atos (GECC) • Werk met Oracle vanaf versie 6 • Werk met Exadata vanaf versie V2. OCP 8.0 t/m 11g OCE Exadata en RAC 11g Email: rob.lasonder@atos.net 3 artikelen Exadata migratie project: http://www.rob.lasonder.org/index.php/my-publications/
0 Inhoudsopgave • I Intro: interne use Case Exadata • II Positionering Exadata • III Specifieke Exadata features • IV Motivatie voor Exadata & licenties • Pauze. . . • V Migraties naar Exadata • A Motivatie • B Voorbereiding en aandachtspunten • C Use Case 1: VLDB DWH migratie • D Use Case 2: DB Consolidatie • (E Use Case 3: VLDB DB migratie/consolidatie) • F Lessons Learned
I Interne casus Exadata cell_offload_processing = false; Complex Query on conventional ticketing System E E e
II Positonering Exadata: Wat is Exadata? • Engineered system • Geoptimaliseerd voor databases => database applicance. • Oracle 11gR2 RAC (multi- instances) • Oracle Enterprise Linux • Inclusief storage
II Positonering Exadata: Oracle “Applicances/Engineered Systems”
II Positonering Exadata : Cloud Computing Cloud Computing: on demand network access to a shared pool of configurable and scalable computing resources or shared services. Voordelen: • Verminderde kosten • Verminderde complexiteit • Hogere Quality of Service • Grotere flexibiliteit • Schaalbaarheid (elastic cloud) • Cloud Computing Service models: • SaaS (software as a service) • PaaS (platform as a service) • IaaS (Infrastructure as a service
II Positonering Exadata : Cloud Computing • Public versus Private Clouds • Problemen bij public clouds: • Availability & performance SLA • Data Security • Licenties • Grote klanten vaak meer dan voldoende voor private clouds • Oracle bouwstenen (1/8 rack X3) gesized voor kleinere accounts • Exadata met name ingezet bij private clouds • Wel enabelen interne doorbelasting (OEM12c/maatwerk)
II Exadata “Appliance” • Voorgeconfigureerde database machine. Voorzien van hardware, software en storage. Speciale software op storage niveau. • Schaalbaar. Van 1/8 (X3) Exadata tot 8 Full Exadata Machines.
II Exadata ontwikkeling II D D d Exadata ontwikkeling: • Hardware (meer memory, flash, storage, cpu) • Software (uitbreiding mogelijkheden) • Beheer (patching, monitoring, deployment. OEM12c) D D
III Specifieke Exadata Features Nieuw systeem: nieuwe snelle hardware, storage, flash kaarten, infiniband netwerk • SAS/SATA disken leveren hoge throughput • Infiniband levert 40 Gb/sec netwerk snelheid • Systeem schaalbaar, uitermate geschikt voor parallelisatie Maar . . . . nog geen Exadata
III Specifieke Exadata Features: Smart Scans 1 Smart Scan: Een query die deels wordt uitgevoerd op de storage server. 3 optimizations: • Column projection • Predicate filtering • Storage indexes
III Specifieke Exadata Features: Smart Scans 2 Een Smart Scan vindt plaats onder: • Bepaalde operaties: Full Table Scans and Fast Full Index Scans. • Bepaalde condities: Direct path reads • Bypass buffer cache, oracle blokken in PGA i.p.v. SGA • Bij Full Table Scans, Sorts, Parallelle queries • See MOS Notes 793845.1 and 50415.1 for more info on Direct Path Reads
III Specifieke Exadata Features: Smart Scans 3 Omstandigheden kunnen een smart scan verhinderen: • Chained or migrated rows • Bepaalde functies select name, offloadable from v$sql_metadata order by name; • “Kleine” tabellen (“_small_table_threshold) • Hints
III Specifieke Exadata Features: Smart Flash Cache 1 • Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache • Flash cache kan ook als flash disk geconfigureerd worden. • Elke storage server: 75.000 IOPS. (20 x meer dan “normale” disken) • Smart Flash cache: • Alleen random I/O wordt gecached. Zowel data- als index blokken • I/O mirrors, backup operaties, datapump operaties niet gecached. • Tabellen kunnen gepinned worden in cache => alter table item_sale_big storage (cell_flash_cache keep); • Vanaf 11.2.0.2 by default 512 MB smart flash logs (caching control file reads &writes) In X3 een aantal uitbreidingen Smart Flash Cache • X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache • Smart Flash Write Cache. Caching van write I/O, persistent • Flash Card failures opgelost binnen +ASM software (transparant) • In-memory database
III Specifieke Exadata Features: Smart Flash Cache 2 • Elke (X2) storage server heeft 4 x 96 GB PCI Flashkaarten = 384 GB flash cache • Flash cache kan ook als flash disk geconfigureerd worden. • Elke storage server: 75.000 IOPS. (20 x meer dan “normale” disken) • Smart Flash cache: • Alleen random I/O wordt gecached. Zowel data- als index blokken • I/O mirrors, backup operaties, datapump operaties niet gecached. • Tabellen kunnen gepinned worden in cache => alter table item_sale_big storage (cell_flash_cache keep); • Vanaf 11.2.0.2 by default 512 MB smart flash logs (caching control file reads &writes) In X3 een aantal uitbreidingen Smart Flash Cache • X3 heeft 4 x 400 GB Flashkaarten = 1600 GB flash cache • Smart Flash Write Cache. Caching van write I/O, persistent • Flash Card failures opgelost binnen +ASM software (transparant) • In-memory database
III Specifieke Exadata Features: Smart Flash Cache 3 • Smart Flash Cache versus Database Buffer Cache • Smart Flash Cache versus Database Flash Cache (DBFC)
III Specifieke Exadata Features: Storage Indexes 1 • Van elke 1 MB “chunk” per storage server record MIN,MAX,NULL values • Volledig transparant, tot 8 kolommen • Doel: eliminatie disk I/O. Geen traditionele index: “False Positives” • Alleen bij smart scans, query met where clause Lijkt op partition pruning A simple comparison operator ( =, < , > , BETWEEN, IS NULL restricties: Column encryption, LOBs, CLOBs,Not equals (!=) operators, Wildcards, Where clauses which uses subqueries, Clustered tables NIET PERSISTENT => grilligheid performance > 8 kolommen => grilligheid performance
III Specifieke Exadata Features: EHCC Compression 2 • EHCC: tabellen georganiseerd in compression units (default 32 KB) • Een compression unit omvat meerdere Oracle blokken • Per compression unit : groeperen op kolom niveau
III Specifieke Exadata Features: EHCC Compression 3 • Hybrid Columnar Compression werkt bij bulk operaties, zoals: • Insert statements with the APPEND hint • Parallel DML • Direct Path SQL*Loader • Create Table as Select (CTAS)
Onderdeel IV : MOTIVATIE VOOR EXADATA Overview The Situation Benefits Experience * Ballpark figure in this stage not guaranteed
Overview The Situation TheServices Benefits Experience IV Motivatie Exadata : More for less Overview The Situation Benefits Experience • More CPU power • 68% more cpu power • More Green-it • Energy reduction with 40% • Floor reduction with 33% • More storage available • 4,4 TB (more expected trough Exadata compression • More possibilities for the business • Less Costs • Cost reduction for the infrastructure with 32%* • Savings up to 850K Euro per year • Extra savings on Oracle licenses • From 288 96 licenses * Ballpark figure in this stage not guaranteed
IV Motivatie voor Exadata: licenties Overview The Situation Benefits Experience “VERPLICHT” • Oracle Exadata Storage Software • Oracle 11gR2 Enterprise Edition OPTIONEEL • Oracle 11gR2 RAC • Oracle Partitioning • Oracle Advanced Compression • Oracle Enterprise Manager Diagnostics & Tuning pack • Oracle Advanced Security • ZFS appliance: replicatie en cloning • OWB licenties : Design/Runtime • . . . • . . . Door dit van te voren goed uit te zoeken kan geld worden bespaard.
V-a Migratie Exadata : positionering Inventarisatie Bestelling & Levering Configuratie Migratie Consolidatie • Memory • CPU • Storage • I/O throughput • Backup • DR • OTA <> P • IP plan • POC • Pre-delivery survey sheet • On Site Visit Oracle • 6 weken levertijd • Oracle ACS setup • Additional setup: • Monitoring • Backup • DR • DBFS • Overgang beheer • Restpunten • Plan tijd !! Nieuw in X3 Exadata Deployment Assistant ipv excel
V-b Aandachtspunten bij inventarisatie • Denk na over de doel architectuur + OTAP/DR indeling • Denk na over de migratie strategie en de migratie architectuur. • Denk na over de impact van de migratie • Denk na over de hoeveelheid storage • Denk na over het beheer & licenties. • Maak afspraken over beschikbaarheid, onderhoudswindows, patching • Denk na over capacity management • Denk na over impact migratie H H h
V-b Denk na over: migratie architectuur en migratie strategie • Migratie strategie : afhankelijk van • Migratie window. • Migratie planning. Migratie window: Hoe lang mag de database down, hoe groot is de database? Migratie planning: Hoe lang loopt het migratie project. (vaak langer lopende projecten die een semi permanente migratie architectuur vereisen. H H h
V-b Denk na over: migratie architectuur en migratie strategie H H h
V-b Denk na over: migratie architectuur en migratie strategie H H h
V-b Denk na over: migratie architectuur en migratie strategie 10 Gb kaarten aanschaffen Exadata/ Sun ZFS applicance. + source database servers 5.000 euro Sun ZFS storage applicance 2 kaarten H H h
V-b Denk na over: migratie architectuur en migratie strategie Alternatieve route: netwerk import H H h
V-b Denk na over: migratie architectuur en migratie strategie Migratie methode afhankelijk van omstandigheden (db omvang / migratie window). KISS H H h
V-b Denk na over: impact migratie • Databases draaien op Oracle Enterprise Linux (little endian) • Databases Oracle 11gR2 (obsolete/new features) • Multi-instance databases (RAC) • Exadata specifieke zaken: EHCC / smart scans • Bij consolidatie: VEEL databases in beheer: opzetten standaards & richtlijnen en borgen configuratie settings. H H h
V-b Denk na over: impact migratie ss H H h