220 likes | 384 Views
iSCSI. neue Wege zum SAN MT ZDV. Pfad der Darstellung. Was ist SCSI? Was ist ein SAN? Die aktuelle Situation: Fibre Channel SAN Probleme Eine Lösung: iSCSI Bericht über unsere Tests Setup Lies, DAMN Lies and BENCHMARKS Demo. Was ist SCSI?.
E N D
iSCSI neue Wege zum SAN MT ZDV
Pfad der Darstellung • Was ist SCSI? • Was ist ein SAN? • Die aktuelle Situation: Fibre Channel SAN • Probleme • Eine Lösung: iSCSI • Bericht über unsere Tests • Setup • Lies, DAMN Lies and BENCHMARKS • Demo
Was ist SCSI? • SCSI (gesprochen skasi) Small Computer System Interface • ANSI Standard • Eine Gruppe von Interfacedefinitionen zur Kommunikation von Computersystemen • Meist benutzt für Peripheriegeräte • Wichtigster Fortschritt (Anfang der 80er) war die logische Blockadressierung an Stelle der physikalischen (CHS). • Der originale Standard definierte Protokoll, Schnittstellen und Signalisierung
Was ist SCSI? (2) • Topologie: BUS • Im Anfang 8Bit, asynchron 5MHz, Synchron 5-10MHz • Single ended -5(2)m; Differential 12M? • SCSI2. (ua:)16Bit (wide), Fast (20MHz); HD-Stecker • Später: Ultra(40MHz), Ultra2(80MHz)....... • SCSI3 teilte den Standard auf in Protokolle und Transportschichten (und Interfaces) • Bei den Protokollen gab es auch serielles SCSI • Transporte sind: FC, Firewire, SSA
Probleme von SCSI • Dicke Kabel mit monströsem Stecker: Fehlerträchtig • 16(7) Geräte • Kabellängen klein besonders bei SE • Multihosting erfordert DIFF sonst instabil • DIFF teuer und selten • BUS!?? • Meist durchgeschleifter BUS!????? • TERMINATION
Was ist ein SAN? SAN: A network whose primary purpose is the transfer of data between computer systems and storage elements and among storage elements. Abbreviated SAN. A SAN consists of a communication infrastructure, which provides physical connections, and a management layer, which organizes the connections, storage elements, and computer systems so that data transfer is secure and robust. The term SAN is usually (but not necessarily) identified with block I/O services rather than file access services. Quelle: Storage Networking Industry Association www.snia.org
Was ist ein SAN? • Sternförmige Vernetzung • Serial SCSI3 über Fibre Channel (FCP) • Switches für die Übermittlung • Müssen auch `Sicherheit‘ herstellen • Herstellerübergreifende Mangementtools vorhanden • Aber sehr teuer • Analysegeräte für FC vorhanden • Noch teuerer
JoGuSAN V2 EC1 MS1 TSM EC2 CS MS2 NTAP1 NTAP2 Brocade 3800 SAN A Brocade 3800 SAN B DR2 DR1 T3 1 T3 2 ITL1 ITL2 JBOD VA
Was Stimmt nicht mit FC? • Entdeckungen: Erste Wahrheit über SANs(Fast) Alles was Sie Böses über Interoperabilität gehört haben ist wahr! Es wird nicht besser sondern schlimmer! • Die Sun (mit Sun Treibern) loggen sich nicht im Fabric ein (loopmode) • -mittlerweile: mit Tip von SE * Wartungsvertrag + patches für alle FC Software • Mit MultipathIO wird der HP Va nicht als 1 Gerät erkannt • T3 Luns zur Hälfte als unformatiert erkannt?? • Mit der SUN in der Zone sichtbar booten die W2K Cluster member nicht • Auf dem HP Compute server bleibt der ioscan hängen, falls der T3 Array in seiner Zone sichtbar ist, ziehen des FCKabel beendet den unkillbaren Prozess, alles ok danach! • Linux+Emulex HBA: nur LUNs zusammenhängend ab 0 gefunden auch Solaris 9
Was stimmt nicht mit FC? Interoperabilität (Fortsetzung): • Cannot assume anything will just work. It has to be prequalified. • Jacob Farmer, Cambridge Computer Services, Lisa02 Preis • Die FC Adapter sind schweineteuer? • Aufsattler, AKSYS 2003 Witten • It can be cost-prohibitive for many applications ...... Per host cost for redundant connection = $5K-$10K(nach oben offen) • Jacob Farmer, Cambridge Computer Services, Lisa 02 • Wer ein SAN will muss 2 kaufen. • MT, AKSYS2002
Es ist Rettung in Sicht • Andere Transportschichten für Serial SCSI möglich • Beispiele: (nicht für SANs) • Firewire und SSA im Standard, in Nutzung USB und IDE/Atapi • ALSO: wähle billige vernetzbare Transportschicht: IP • iSCSI Network Working Group Request for Comments: 3347 Category: Informational Small Computer Systems Interface protocol over the Internet (iSCSI) Requirements and Design Considerations
Vorteile von iSCSI • Niedrige Kosten für Switches • Niedrige Kosten für HBA? • Software Implementierung teilweise umsonst • Linux, M$, NetApp • Hardware HBA sollen auch preiswert werden • Singlechip Lösungen in Arbeit • Diskarrays auf IDE Basis angekündigt • NexSan $10K/TB (ATABeast wird billiger) • Vorhandene Infrastruktur evtl mitnutzbar • Nicht bei Hochgeschwindigkeitslösungen • Nicht bei hohen Sicherheitsanforderungen
Probleme für iSCSI • Sicherheit • Offene Netze, daher Authentisierung nötig • Datenintegrität (TCP Checksum nur 16 Bit) • Optionale Header und Daten CRC32 definiert • Software Implementierungen leiden darunter • Kommandoreihenfolge über multiple Pfade • Nummerierung der Kommandos: CmdSN • SCSI entwickelt für niedrige Latenz • Command Collapsing • Status mit Daten|Error code mit Ceck Condition
Implementierungen (SW) • Freie: Source Forge • Linux-iscsi (cisco Projekt nach source forge migriert) • Nur Host (Initiator) • Intel referenz Implementierung • Initiator + Target, Scheint alter draft zu sein • Alle drafts nach 0.8 sollten kompatibel sein(teilweise) • Kostenlosen (ohne Source) • Microsoft • Noch Beta, auch für Hardware HBAs geeignet • Netapp • Nur für Lizenzinhaber, nur Target
Implementierungen (hw) • HBAs von intel, Adaptec Emulex, Qlogic (etc) • SCSI Chip mit TCPoE(1Gb), evtl. weiter Funktionen (IPsec) • In Vorbereitung (Betaphase) • Ende des Jahres 10Gb (PCI-X) • Diskarrays ( meist in Vorbereitung ) • IBM IP Storage 200i seit 2002 (noch?) • verfügbar bis Mitte 03: NexSAN • Viele andere • Router: (eigentlich inverse router) • Cisco SN5420 SN5428 MDS95xx • andere • Switches???????
MDS 9509 SN5428 SN5420 Cisco Storage Networking Products Fabric Manager Fabric Mgr SAN-OS 7200 FCIP PAM Multilayer Fabric Switch MDS 9216 Multilayer Director MDS 9506 MDS 9513 Supervisor-1 MDS 9000 Modules Workgroup SAN 8-port IP 32-port FC 16-port FC Storage Gateway Current Q4 CY 2002 1H CY 2003
iSCSI Tests 0 • 10.2002 Cisco SN5420 an unserem SAN • Linux Driver Draft 8, • Arbeitsplatzrechner über 100MBit und das ganze Campusnetz • DELL 2650 über GBit und wenige Switches • Zugriff auf JBoD Platten und T3 • Zugriff klappt • mkfs übersteht auch 1-2 Minutenlange Netzstörung • Performance an 100MBit 11.5 MB/s • Performance über GBit limitiert durch SB5420 • 60-70MB/sec gemessen (Cisco: 70-80 mit Tuning)
iSCSI Test 1 • Setup: • Netapp Test Maschine FAS825: • 825 Cluster mit je 1 TB/Node, 2x FC/Node zu 2 Brocade • Gbit in für iSCSI, Os 6.4xy • Zugriffe von • W2K mit INTEL Beta HBA • W2k mit Microsoft Beta Software Initiator • Linux mit linux-iscsi (Cisco, sourceforge)
iSCSI Test 1 .... • W2K mit INTEL Beta HBA • Funktionierte (problematisch:SW upgrade der Adaptern) • War aber langsamer als dieselbe Operation über FC • W2k mit Microsoft Beta Software Initiator • Konfiguration wirklich Beta • mindesten 17 positionelle Kommandozeileargumente etc • Funktionierte und war SCHNELL (ca2 mal Hardwareadapter!) • (DEMO)
iSCSI Test 1 .... • Linux mit linux-iscsi (Cisco, sourceforge) • Versionen von 3.1.0.18 bis3.2.0.1 getestet • Funktionalität ok, • findet auch einzelne lun >>0 • allerdings neue devices nicht direkt sichtbar • Stabilität überraschend gut • Performance (Client Dell 1650, 2CPU PIII 993MHz):