1 / 39

Prednáška č.6 Veľkokapacitné pamäťové zariadenia: RAID, Dátové knižnice, MSS

Prednáška č.6 Veľkokapacitné pamäťové zariadenia: RAID, Dátové knižnice, MSS. Prehľad: Zvýšenie výkonnosti sekundárnych pamäť. médií. Rýchlosť CPJ exponenciálne narastá Operačná pamäť rastie exponenciálne Výkonnosť V/V jednotiek rastie pomaly Počítač sa stáva V/V dominantným

jack-stephenson
Download Presentation

Prednáška č.6 Veľkokapacitné pamäťové zariadenia: RAID, Dátové knižnice, MSS

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Prednáška č.6Veľkokapacitné pamäťové zariadenia:RAID, Dátové knižnice, MSS

  2. Prehľad: Zvýšenie výkonnosti sekundárnych pamäť. médií • Rýchlosť CPJ exponenciálne narastá • Operačná pamäť rastie exponenciálne • Výkonnosť V/V jednotiek rastie pomaly • Počítač sa stáva V/V dominantným • Systém je tak rýchly aká je rýchlosť najpomalšieho komponentu, prvku

  3. Zmenšovanie priemeru disku 14" » 10" » 8" » 5.25" » 3.5" » 2.5" » 1.8" » 1.3" » . . . Vysoká priepustnosť diskových systémov pomocou počtu diskov Sieťové súborové služby Štruktúry OS Podporujú vzdialený Prístup k súborom Zvýšovanie priepustnosti 3 Mb/s » 10Mb/s » 50 Mb/s » 100 Mb/s » 1 Gb/s » 10 Gb/s Siete umožňujú rýchly prenos údajov Sieťové veľkokapacitné pamäť. Média, zariadenia, uložiska dát Vysoká výkonnosť služieb uchovávania, prostredníctvom vysokorýchlostných Sieti Sieť umožňuje dobre definované fyzické a logické rozhrania : Oddelený CPJ od Pamäť. systému!

  4. RAID-ové polia

  5. Disk

  6. Kapacita objem odber Rýchlosť príst. I/O operácie MTTF Cena Uchovávenie veľkého počtu dát Veľký objem MB/m2, vys. MB/KW Výbornú spoľahlivosť Diskové polia majú potenciál pre Zámena malého počtu veľkokap. diskovza veľký počet malokap. IBM 3390 (K) 20 GBytes 97 cu. ft. 3 KW 15 MB/s 600 I/Os/s 250 KHrs $250K IBM 3.5" 0061 320 MBytes 0.1 cu. ft. 11 W 1.5 MB/s 55 I/Os/s 50 KHrs $2K x70 23 GBytes 11 cu. ft. 1 KW 120 MB/s 3900 IOs/s ??? Hrs $150K

  7. Mirroring/Shadowing (vysoká cena za kap.) Horizontal Hamming Codes (overkill) Parita a Reed-Solomon Codes Predikcia výpadku Redundantné polia diskov • Súbory sú delené, prekladané "stripped" do viacerých diskov, aby sme získali vysokú priepustnosť dát • Zvýšenie počtu diskov znižuje spoľahlivosť • Redundancia prináša výsoku dostupnosť údajov Ak disky prestanú fungovať Obsah je rekonštruovaný z redundancii údajov, uchovaných v d.poli • má to dôsledok na zníženie výslednej kapacity • priepustnosť na obnovu Techniky:

  8. Spoľahlivosť diskových polí • Spoľahlivosť N diskov = Spoľahlivosť 1 Disku¸ N • 50,000 hodín¸ 70 diskov = 700 hodín • MTTF diskového systému: Spád zo 6 rokov na 1 mesiac! • Polia bez redundanciesú príliš nespoľahlivé!!! Teplé zálohy podporujú paralelnú rekonštrukciu údajov S vysokou dostupnosťou údajov: vysokú dostupnosť medií je možné dosiahnúť

  9. Disk Mirroring, Shadowing Tien 1 0 0 1 0 0 1 1 1 0 0 1 0 0 1 1 • Každý disk je kopírovaný na iný disk - tieň • Logický zápis = dva fyzické zápisy • Níženie kapacity na 50% Parita • Polia s paritou 0 1 1 0 0 1 1 0 1 0 0 1 0 0 1 1 1 0 1 1 1 0 0 1 1 0 1 1 0 0 1 1 • Parita vypočítavaná horizontálne Obnova namiestodetekcie poruchy • Paritné polia • Preklad paritných blokov • Nezávislé čítania a zápisy • Logický zápis = 2 čítania + 2 zápisy • Parita + Reed-Solomon kódy Redundantné polia diskov (RAID)

  10. D0 D1 D2 D0' D3 P 2. čítanie Starej parity 1. čít. staré data nové dáta XOR + + XOR 3. zápis nové data 4. Zápis novej parity D0' D1 D2 D3 P' Problémy pri diskových poliach: Malé zápisy RAID-5: algoritmus malých zápisov 1 Logický zápis = 2 fyzické čítania + 2 fyzické zápisy

  11. Skupina Obnovy dát Redundantné polia diskov:RAID 1: Disk Mirroring/Shadowing • Každý disk je plne duplikovaný • vysoká dostupnosť môže byť dosiahnutá • Nížšia priepustnosť pri zápise: • Logický zápis = dva fyzické zápisy • Čítanie môže byť optimalizované • Najdrahšie riešenie : polovičná kapacita Určené pre vysokú rýchlosť V/V operácii , vhodné pre vysoko dostupné prostredia

  12. P 1 1 0 0 1 1 0 1 1 0 0 1 0 0 1 1 1 0 0 1 0 0 1 1 Prekladané fyzické zápisy Redundantné diskové polia:RAID 3: Paritný disk Logický zápis 10010011 11001101 10010011 . . . 0 0 1 1 0 0 1 0 1 1 1 1 1 1 1 1 • Parita vypočítavaná naprieč skupinou obnovy, pri výpadkoch diskov • 33% cena kapacity cost kvôli parite pri tejto konfigurácii • viacero polí redukuje náklady na kapacitu, znižuje očakávanú prístupnosť, • zvyšuje čas obnovy • suport je logicky synchronizovaný, disky rotačne synhronizované • logicky vysoká kapacita, vysoká prenosová rýchlosť Určené pre aplikácie, kde sa očakáva vysoká rýchlosť a dostupnosť: Vedecké účely, spracovanie obrazov, reči a podobne

  13. D0 D1 D2 D3 P0 D4 D5 D6 P1 D7 D8 D9 P2 D10 D11 D12 P3 D13 D14 D15 Preklad P4 D16 D17 D18 D19 Prekladová jednotka D20 D21 D22 D23 P5 . . . . . . . . . . . . . . . disk Diskové stĺpce Redundantné diskové polia:RAID 5+: Rýchly výpočet parity Nezávislý prístup na i-tej úrovni Logický zápis 4 fyzické V/V operácie; 2 čítania a 2 zápisy Nezávislý zápisy, 1 dátový a 1 paritný, Možný, pretože prekladaná parita Reed-Solomon kódovanie ("Q") kvôli ochrane pri obnove Určené pre rôzne aplikácie

  14. Radič Diskových polí host host adaptér Radič jedného disku Správa rozhrania Host, DMA Radič jedného disku riadenie, buffering, Paritná logika Radič jedného disku Riadenie Fyzického zariadenia Radič jedného disku Organizácia subsystémov • Software prekladuod host do radiča diskového poľa • Žiadné modifikácie aplikácií • Žiadne zníženie výkonu host ...

  15. Radič polia String radič . . . String radič . . . String radič . . . String radič . . . String radič . . . String radič . . . Redundantné podporné komponenty:ventilátory, zdroje, radiče, kabeláž skupina obnovy dát:jednotka dátovej redudancie Dátová Integrita: interná paritachránená dátovymi cestami Prístupnosť systému:Ortogonálne RAIDy

  16. host I/O radič I/O radič Plne duálne redundantný Radič polia Radič poľa . . . . . . . . . . . . . . . . . . skupina obnovy Systémová prístupnosť cieľ: Žiaden Jednoduchý výpadok Duplikovné cesty, vyšší výkon môže byť dosiahnutý ak nie sú chyby

  17. SAN, NAS • Storage area network • Network area storage

  18. NAS Network area storage

  19. SAN • Storage area network

  20. Magneticképásky

  21. File Cache Cena za bit Čas prístupu Hard Disk Pásky Kapacita Pamäťové hierarchie Všeobecná schéma Pamäťovej hierarchie

  22. File Cache File Cache On-Line SSD Hard Disk High I/O Rate Disks Nízka cena/disk Diskové polia High Data Rate Disky Nízka cena/MB Pásky Automatiz. páskové knižnice Near-Line Optical Juke Box Všeobecná schéma pamäťovej hierarchie 1980 Off Line úschova Vzdialené archívy Pamäťová hierarchia - model 1995 Pamäťové hierachie

  23. File Cache zvyšovanie Príst. čas Magnet. Disk Magnet. T páska kapacita File Client Cache W orkstation Local Magnetic Disk Local Area Network Server Cache File Server “Remote” Magnet. Disk Ser ver Magnet. T páska Trendy úschovy:Distribuované úschovy Storage Hierarchy 1980 Storage Hierarchy 1990

  24. Client Cache LAN On-line záloha W ide Area Internet Network Optical Disk Jukebox Near -line záloha Magnet. Al. Opt. T Knižnica pások Off-line záloha Shelved Magnetic or Optical T ape Trendy archivácie:Wide-Area Storage - WAS Server Cache Diskové 1995 Typická pamäťová hierarchia Klasické disky vymené za diskové polia Near-line storage laviruje medzi diskami a páskami

  25. Páskové systémy? Pásky sa používajú: • Backup Storage for Hard Disk Data • zapisuje sa raz, veľmi individuálne (dúfame, že nikdy!) čítanie • Softwarová distribúcia • jeden zápis, jedno čítanie • Výmena údajov • jeden zápis, jedno čítanie • Prístup k súborom • zápis/prepis, súbory sa čítajú náhodne • Near Line Archívy • Správa spracovania obrazov Nové aplikácie pre páskové jednotky

  26. Cap BPI TPI BPI*TPI Data Xfer Acc Time Technologia (MB) (Million) (KByte/s) Alternatívne technológie archivácie dát Konvenčné pásky: Reel-to-Reel (.5") 140 6250 18 0.11 549 minutes Cartridge (.25") 150 12000 104 1.25 92 minutes Helical Scan pásky: VHS (.5") 2500 1743 5 650 11.33 120 minutes Video (8mm)* 2300 43200 819 35.28 246 minutes DAT (4mm)** 1300 61000 1870 114.07 183 20 seconds Disk: Hard Disk (5.25") 760 30552 1667 50.94 1373 20 ms Floppy Disk (3.5") 2 17434 135 2.35 92 1 second CD ROM (3.5") 540 27600 15875 438.15 183 1 second * Second Generation 8mm: 5000 MB, 500KB/s ** Second Generation 4mm: 10000 GB

  27. R-DAT Technológie Dva štandardy DDS (HP, Sony) * 22 frames/group * 1870 tpi * Optimalizované pre sériový zápis DataDAT (Hitachi, Matsushita, Sharp) * dva módy: streaming (like DDS) a update * Update znižuje prenosovú rýchlosť a kapacitu

  28. R-DAT Technológie výhody: * faktor veľkosti, ľahká manipulácia * 200X rýchlosť prehľadavania (40 sec. max, 20 sec. avg.) * 1000X fyzické určenie pozície 8 sec. max, 4 sec. avg.) * lacnejšie nevýhody: * dva nekompatibilné štandardy (DDS, DataDAT) * malá priepustnosť * nižšia kapacita ako u 8mm pások * archívna stabilita menšia

  29. R-DAT Technické výzvy Kapacita pásky * Kľúč je kompresia údajov Priepustnosť pások * Dátová kompresia * Striped pásky

  30. Speed Matching Buffers 180 KB/s Embedded Controller Transport To/From Host 180 KB/s Embedded Controller Transport 180 KB/s Embedded Controller Transport 180 KB/s Embedded Controller Transport Preklad pások výzvy: * ťažko synchronizovať logicky údaje z pások * nepredvídateľný čas zápisu na pásky R potom W verifikácia, schémy korekcie porúch, ...

  31. Čítanie pások Páskové kazety Pohľad zboku Pohľad z predu rámarchivačnej jednotky Automatizovaná manipulácia pások, archivných médii

  32. Robotizované páskové archívy 100000 10000 1000 Medzera #2 100 Magnet. disky 10 Čas prístupu (ms) 1 0.1 Medzera #1 0.01 0.001 DRAM 0.0001 $0.00 $0.01 $0.10 $1.00 $10.00 $100.00 $ / MB MSS: Zhrnutie

  33. Vďaka za pozornosť

  34. Tape Carousels 19" Gravity Feed 3.5" formfactor tape reader Carousel 4mm Tape Reader Automated Media Handling

  35. EXB-120 Cartridge Holders Entry/Exit Port 5 feet T ape Readers 3 feet MSS: Automated Tape Library • 116 x 5 GB 8 mm tapes = 0.6 TBytes (1991) • 4 tape readers 1991, 8 half height readers now • 4 x .5 MByte/second = 2 MBytes/s • $40,000 O.E.M. Price • Predict 1995: 3 TBytes; 2000: 9 TBytes

  36. Speed Capacity Cost MSS Tape: No Perfect? Tape Drive • Best 2 out of 3 Cost, Size, Speed • Expensive (Fast & big) • Cheap (Slow & big)

  37. Host SCSI HBA Embedded Controller Transport Compression Done Here Host SCSI HBA Video Compression Audio Compression Image Compression Text Compression . . . Embedded Controller Transport Hints from Host 20:1 Data Specific Compression 2,3:1 Data Compression Issues Peripheral Manufacturer Approach: System Approach:

  38. Open Research Issues • Hardware/Software attack on very large storage systems • File system extensions to handle terabyte sized file systems • Storage controllers able to meet bandwidth and capacity demands • Compression/decompression between secondary and tertiary storage • Hardware assist for on-the-fly compression • Application hints for data specific compression • More effective compression over large buffered data • DB indices over compressed data • Striped tape: is large buffer enough? • * Applications: Where are the Terabytes going to come from? • Image Storage Systems • Personal Communications Network multimedia file server

  39. MSS:Applications of Technology Robo-Line Library Books/Bancroft x Pages/book x bytes/page = Bancroft 372,910 400 4000 = 0.54 TB Full text Bancroft Near Line = 0.5 TB; Pages images ? 20 TB Predict: "RLB" (Robo-Line Bancroft) = $250,000 Bancroft costs: Catalogue a book: $20 / book Reshelve a book: $1/ book % new books purchased per year never checked out: 20%

More Related