1 / 42

EMC deduplikace Data Domain a Avamar

EMC deduplikace Data Domain a Avamar. Petr Rada Technick ý konzultant, EMC. Odhaduje se, že 40 exabajtů unikátních nových informací vzniklo loni na celém světě. To je více než za předchozích 5 000 let. Digit ální Svět : 2009. Vznik nových informací: Jediný růstový koeficient,

dixie
Download Presentation

EMC deduplikace Data Domain a Avamar

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. EMC deduplikaceData Domain a Avamar Petr Rada Technický konzultant, EMC

  2. Odhaduje se, že 40 exabajtů unikátních nových informacívzniklo loni na celém světě

  3. To je více než zapředchozích 5 000 let

  4. DigitálníSvět: 2009 Vznik nových informací: Jediný růstový koeficient, který není v době ekonomické krize negativní Digitální Svět zdvojnásobuje objem každých 18 měsíců Source: IDC Digital Universe White Paper, Sponsored by EMC, May 2009

  5. Exploze DigitálníhoVesmíru 2,502Exabajty Exabajty 5 2,500 4 x DVD RFID Digital TV MP3 players Digital cameras Camera phones, VoIP Medical imaging, Laptops, Data center applications, Games Satellite images, GPS, ATMs, Scanners Sensors, Digital radio, DLP theaters, Telematics Peer-to-peer, Email, Instant messaging, Videoconferencing, CAD/CAM, Toys, Industrial machines, Security systems, Appliances nárůst za roky 2,000 1,500 1,000 486Exabajtů 500 0 2008 2009 2010 2011 2012 Source: IDC Digital Universe White Paper, Sponsored by EMC, May 2009

  6. Digitální Svět – charakter dat Úložiště podle typu dat (Petabajty) 50,000 Strukturovaná & Replikovaná 40,000 Nestrukturovaná 30,000 20,000 10,000 0 2005 2006 2007 2008 2009 2010 2011 2012 Source: IDC Digital Universe White Paper, Sponsored by EMC, May 2009

  7. Digitální svět v roce 2012 Paradox zodpovědnosti 85% Organizace budouzodpovědné zazabezpečení,ochranu soukr. údajů,soulad s legislativoua předpisy,důvěryhodnost… 70% Bude vytvořenojednotlivci Source: IDC Digital Universe White Paper, Sponsored by EMC, May 2009

  8. Zálohování pod lupou • palčivé výzvy zálohování • obrovský nárůst zálohovaných dat – primární data se zálohují 15-20x • dodržení doby zálohy/obnovy (SLA) • spotřeba energie, chlazení a zaplnění serverovny • nákladný a nebezpečný transport pásek mimo datové centrum • výzvy spojené s páskami • spolehlivost • manipulační náročnost • mechanická poškození • delší časy obnovy • technologické upgrady

  9. Zálohovací schéma = potřebná kapacita Primárnídata 1x Záložní data 15x-20x

  10. Řešení? DEDUPLIKACE

  11. Deduplikace. Je to zázrak? ...a potom nastane zázrak... Zákazník EMC konzultant Myslím, že by jste měl být více konkrétní zde, v kroku dva.

  12. Hlavní typy deduplikace

  13. PRIMÁRNÍ PÁSKY PRIMÁRNÍ PÁSKY SATA & RAID Storage 3.0 – další krok Storage 1.0 Storage2.0 Logickádata DEDUPLIKOVANÁ STORAGE Fyzická data PÁSKY PRIMÁRNÍ Storage3.0

  14. Deduplikace mění zálohovací paradigma Avamar Deduplikační zálohovacířešení Data Domain Deduplikační storage Nikdy nezálohuje stejná data dvakrát Deduplikace bez nutnosti cokoliv měnit

  15. Data Domain - profil společnosti • založena v roce 2001 • vize deduplikované storage od samého začátku • 900 zaměstnanců • součást EMC BRS divize • nejrychleji rostoucí storage společnost v roce 2004

  16. Data Domain - lídr v deduplikaci Deduplikační storage systémy Data Domain • první a nejvíce rozšířený deduplikační systém • 9500 systémůinstalováno celosvětově • 3600 koncových uživatelů • > 1650 petabajtů dat je bezpečně uloženo na Data Domain • řešení čtvrté generace • průměrný deduplikační poměr dosažený celosvětově - 13,4:1 2003 2004 2005 2006 2007 2008 2009 Dedupe NAS Dedupe Gateway Nejrychlejší Inline Kontroller Dedupe Replikace Největšídedupe pole Dedupe VTL Dedupe Nearline Storage

  17. Deduplikační poměraneb kolik kapacity ušetřím? Deduplikační poměr • kapacita všech záloh uložených na zálohovací storagevůči kapacitě skutečně obsazené ušetřená kapacita v % = 100-(100/x),kde x=deduplikačnípoměr

  18. Reálný zákazník: 20ti násobné snížení kapacity • DD560 • 180TB uloženo • 8TB využité kapacity • 20x redukce • 5timěsíční retence • 6U v racku • replikace mimo lokalitu červená linka = množství dat uložených v Data Domain (virtuální storage) zelená linka = obsazená kapacita (fyzická storage) modrá linka = kumulovaný deduplikační faktor

  19. Data Domain storage systémy DD610-DD660 Series DD690 DD880 DD140 pro vzdálené pobočky DDX Array Series *Logická kapacita je počítána pro deduplikační poměr 20:1 1) maximální propustnosti bylo dosaženo VTL protokolem přes 4 Gbps FC porty 2) maximální propustnosti bylo dosaženo OST protokolem přes 10 Gb Ethernet porty

  20. Data Domain architektura a nasazení Ethernet NIC (1/10 GbE) FC HBA Použijte interface, který vám vyhovuje nebo oba zároveň Použijte protokol, který vám vyhovuje nebo je zkombinujte CIFS NFS OST REPL VTL CPU a Paměť Inline deduplikace, komprese a prefetching Datovékontajneyuloženy v optimalizovaném dedikovaném filesystému DD OS a FileSystem disk disk disk disk disk disk Mohou být interní SATA nebo LUNy externí SAN storage

  21. NAS, SAN, DAS síť Infrastruktura a ekosystém s Data Domain Záloha Archiv midrange a mainframe partneři VMware Microsoft Microsoft SharePoint Oracle SAP Primární storage LaserVault Luminex Archivačníaplikace Zálohovacíaplikace EMC Symantec CommVault CA HP Vizioncore IBM Tivoli Atempo Bakbone Symantec CommVault F5 EMC Mimosa Disaster Recovery Replikace přes WAN File System / Ethernet VTL / Fibre Channel EMC Data Domain deduplikačnístorage

  22. Data Domain deduplikace – DD OS • deduplikace na cíli • - SATA disky s RAID6 ochranou • sub-souborová deduplikace s variabilní délkou bloku • - velikost segmentu 4 – 12 KB • inline deduplikace • - 99 % duplicitních segmentů je identifikováno v RAM • CPU centric deduplikace • - zvýšením výkonu procesoru se navyšuje rychlost deduplikace Generate Checksum Verify Data Re-Checksum and Compare File System Global Compression Local Compression RAID

  23. Deduplikovaná replikace - minimalizujenároky na přenosové linky • jsou přenášeny pouze unikátní segmenty a metadata • všechny zálohy jsou dostupné v obou lokalitách pro obnovu či jako kopie • žádný management na denní bázi nebo transport pásek Lokalita A Lokalita B 200 GB 10 TB 10 TB 200 GB zápisů 200 GB zápisů Zdroj Replika Zálohovací Server A Zálohovací Server B 10 TB 10 TB 10 TB 10 TB 10 TB 10 TB 10 TB 10 TB 10 TB 10 TB

  24. Lokální záloha Využití Data Domain deduplikované storage • funkční deduplikace • snadná integrace se stávajícím zálohovacím sw • deduplikovaná replikace do vzdálené lokality (DR) • CPU centric deduplikace ZÁLOHOVACÍ SERVERY DEDUPLIKOVANÁ IP REPLIKACE ARCHIVAČNÍ SERVERY Disaster Recovery APLIKAČNÍ SERVERY

  25. Někteří zákazníci s Data Domain

  26. www.dedupecalculator.com

  27. Avamar VM Operating System EMC Avamar AVAMAR SOFTWARE Zálohovací řešení s globální deduplikací na zdroji • redukuje velikost zálohy na zdroji, dříve než je přenesena po síti • rychleji vytváří plné zálohy při využití stávající infrastruktury • deduplikuje napříč servery a lokalitami a zmenšuje až 50x fyzickou velikost záložní storage • ideální pro zálohování virtualizovaných prostředí, vzdálených poboček, serverů i uživatelských stanic/laptopů • řeší problémy, na které konvenční zálohovací sw nestačí Možnost instalace na předepsané typy serverů AVAMAR DATA STORE Zálohovací zařízení včetně software/hardware AVAMAR VIRTUAL EDITION pro VMware Avamar server implementovaný jako virtuální stroj

  28. Avamar základní přehled Avamar je kompletní zálohovací software/hardware Každá záloha je logická plná záloha při Avamar záloze se přenáší mnohem méně dat než při inkrementální záloze nicméně se logicky jeví jako plná záloha a obnova je pouze jednokroková Redundant Array of Independent Nodes (RAIN) architektura každý node obsahuje interní disky a CPU zaručuje vysokou dostupnost a ochranu proti chybě napříč nody Gridová architektura zaručuje online škálovatelnost a výkonnost Avamar Server • Verifikované checkpointy Parita napříč storage nody Utility a spare node

  29. Zálohovací cyklus: Sticky-byte Factoring První záloha: data jsou rozdělena na segmenty s proměnnou délkou StickyByteFactoringAlgorithm 25K 10K 22K 8K 18K Následující záloha beze změn v souboru: segmenty jsou rozděleny identicky jako při předešlé záloze StickyByteFactoringAlgorithm 8K 25K 18K 10K 22K Další záloha po změně v souboru: velice rychle jsou segmenty v synchronizaci s předešlými StickyByteFactoringAlgorithm 20K 8K 25K 22K 8K

  30. Zálohovací cyklus: komprimace Komprimuje segmenty v rozsahu 30 až 70 %. Průměrná velikost segmentu po kompresi je ~12KB. StickyByteFactoringAlgorithm 20K 8K 25K 22K 8K Compression 12K 4K 15K 13K 4K

  31. Zálohovací cyklus: SHA-1Hashing • používá SHA-1 secure hash algoritmus • vytváří 20-bytový datovýřetězec z komprimovaných datových segmentů StickyByteFactoringAlgorithm 20K 8K 25K 22K 8K 13K 4K Compression 12K 4K 12K 4K 15K 13K 4K 15K Hashing 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash atomic hashes

  32. Zálohovací cyklus: Hash File System Atomics(Data segments) 12K 4K 15K 13K 4K AtomicHashes 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash CompositeHashes 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash 20-byte hash Root Hash

  33. Dosahované deduplikační poměry 90 denní retence

  34. Avamar – záloha VMDK souboru

  35. (ENCRYPTED) (ENCRYPTED) (ENCRYPTED) (ENCRYPTED) Avamar – různé způsoby nasazení Avamar Software Agent Větší pobočka Menší pobočka Primární systémy Pouze Avamar agenti na primárních systémech Avamar Single Node Data centrum Záložní lokalita WAN Primární systémy Primární systémy Avamar Data Store Tape Vault Avamar Data Store

  36. App App App App Application App App Application App App App App App App OS OS OS OS OS OS Operating System Operating System OS OS OS OS OS OS CPU CPU NIC NIC Disk Disk Memory Memory Avamar optimalizuje zálohování VMware • až 95% redukce přenesených dat • až 90% zkrácení zálohovacích časů • až 50% snížení zátěže na zdrojových discích • až 95% redukce využití NIC • až 80% redukce zatížení CPU • až 50% snížení využití paměti • všechny zálohy jsou uchovávány jako „virtuální plné zálohy“ a jdou okamžitě obnovit Tradičně se přenáší ~200% týdně x86 Architecture VMware Virtualization Layer Avamar přenáší ~2% týdně x86 Architecture VMware Virtualization Layer

  37. Tradiční zálohování vs Avamar - při zátěži Avamar dovoluje regulovat vytížení CPU per klient pro zákazníky, kteří jsou citliví na CPU utilizaci

  38. Bez deduplikace nulová redukce kapacity v data centru nezkrácená délka replikace a vysoké zatížení sítě vysoké nároky na kapacitu i ve vzdálené lokalitě S využitím deduplikace redukované požadavky na kapacitu v primárním data centru zkrácení délky replikace a nároků na síť snížené nároky na kapacitu v cílové pobočce Avamar deduplikovaná replikace pro DR Vzdálená replikace bez deduplikace Replikace po deduplikaci Backup de-duplication Primární lokalita Vzdálená lokalita Primární lokalita Vzdálená lokalita

  39. Přenáší týdně ~ 200 procent primárních dat Až 50xmenší úložný prostor pro zálohy Obnova tradičně probíhá z inkrementálních a plných záloh síť síť Deduplikace na zdroji vs na cíli Obě technologie mají své opodstatnění, nicméně pouze deduplikace na zdroji pomáhá redukovat zatížení sítě a snižuje zatížení zdrojů v průběhu zálohování. • Přenášítýdně ~ 2 procenta primárních dat • Až 50xmenší úložný prostor pro zálohy • Až 500xmenší zatížení sítě • Až 10xrychlejší denní plné zálohy • Všechny zálohy jsou plné zálohy; okamžitá obnova v jednom kroku DEDUPLIKACE NA CÍLI DEDUPLIKACE NA ZDROJI

  40. dle modelu a využitelné kapacity žádné tirované licence dle kapacity licence na celý box pro replikace retenční zámek pro archivní data zprovoznění OpenStorage protokolu zprovoznění VTL protokolu Licencování Data Domain a Avamar • pouze podle využitelné fyzické kapacity • neplatí se za: • klienty – servery/desktopy • aplikační moduly • apod. Data Domain Avamar

  41. Deduplikace mění zálohovací paradigma Avamar Deduplikační zálohovacířešení Data Domain Deduplikační storage Nikdy nezálohuje stejná data dvakrát Deduplikace bez nutnosti cokoliv měnit

More Related