1 / 32

Grid rendszerek forgalmi stratégiájának vizsgálata

Grid rendszerek forgalmi stratégiájának vizsgálata. Készítette: Purger Norbert. Mi az a Grid?. Nem központosított erőforrások koordinálása Standard, nyílt, általános-célú protokollok és interfészek segítségével nem triviális minőségi szolgáltatásokért

agatha
Download Presentation

Grid rendszerek forgalmi stratégiájának vizsgálata

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Grid rendszerek forgalmi stratégiájának vizsgálata Készítette: Purger Norbert

  2. Mi az a Grid? • Nem központosított erőforrások koordinálása • Standard, nyílt, általános-célú protokollok és interfészek segítségével • nem triviális minőségi szolgáltatásokért Heterogén, elosztott, intézményeken átívelő hálózatok – Virtual Organizations

  3. GGF - OGSA • Infrastruktúra, Adatkezelés, Számítások, Architektúra, Alkalmazások, Menedzsment, Biztonság • Open Grid Services Architecture • Webszolgáltatások: XML,SOAP,WSDL • PKI,Kerberos,LDAP,…

  4. Kommunikációs igények • CERN: • adatcsomagok ~100GB, adatbázis elérés ~GB • Csillagászat: • ~TB adatbázisok, Webszolgáltatások széles köre • HPC: • MPI, ~100 μs késleltetés, >1Gbps (Myrinet,…) • Vizualizációk: • „on-the-fly”, >1Gbps, jitter, rendelkezésre állás • Infrastruktúra… • QoS, erőf.foglalás, DiffServ+VLAN+P2P vezérlése

  5. Összefoglalva:

  6. Nagy átvitel

  7. Problémák … • Socket használata TCP-hez • Aszinkron/blokkoló műveletek, OS a socket méretből window scale paramétert, setsockopt() • RPC hívások, SOAP over HTTP • TCP-vel 9 üzenet és 2 RTT késleltetés! • Transactional TCP problémás, de 3 üzenet, 1 RTT • Grid Service/G.S. Factory -> mindig új kapcsolatok • MTU: • Általában LAN 1500 byte, Path MTU Discovery

  8. Rendszer optimalizáció • OS opciók hiánya/elérése: • Puffer méret, alapért. ablak méret • késleltetett / SACK, MTU Path Discovery • Protokoll „Hardver”: • OS bypass: alkalmazás (virtualizált hálókártya) • TCP Offload Engines: mai szuper NIC-ek, pl. checksum, szegmentálás; nincs standard API • Újabb réteg: jelölt alkalmazás adat (10Gb/s!) – metadatok a protokollban: RDDP/RDMA • Újfata eszközök: Wavelength Disk Drive, OptiPuter

  9. GridFTP, Replikáció, RFT • GridFTP: • GSI, 3. fél küldés, részleges fájl elérés, megbízhatóság, adatcsatorna újrahasz. • TCP puffer szabályozás, Párhuzamos küldés BDP[byte]=sávszélesség[KB/s]*késleltetés [msec] 100ms: 100Mbps~1MB; 1Gbps~10MB Puffer méret: jelenleg manuális, de több ötlet is naplózásból, kapcsolat közben is, …. Párhuzamos szálak + striping!

  10. Párhuzamos szálak • Nagy<-> kisebb fájlok • Szálak száma <-> TCP puffer (memória • Striping – különböző útvonalak

  11. MEM-MEM / Disk-Disk • Mem-Mem: 90%@30Gbps, 32 nodes • Disk-Disk: 17.5Gbps, 64 nodes (SAN…)

  12. Disk BW vs. Striping

  13. Memory

  14. Stabilitás: 270TB Japánba

  15. Overlay hálózatok

  16. Hálózati protokollok • TCP: • Slow Start, Cong. Control, Hibák (10Gbps!) • Nagy távolság, nagy sávszélesség • Fairness, stabilitás, ACK forgalom vissza

  17. TCP variánsok

  18. TCP Variánsok II. • HSTCP-LP: Less than Best Effort feladatok • Bic-TCP: általában jó, többinél stabilitás/fairness problémák … • S-TCP: túl agresszív • Fast TCP: nagy vissza-forgalom (20 vs 260Mbps!)

  19. 10GbE tesztek • 9000 byte MTU • >10 MByte TCP puffer • Szgép. Architektúra korlátai (5-6 Gbps) • 4.3 Gbps volt a maximum

  20. UDP variánsok • SABUL: • UDP adat, vissza TCP kontroll üzenetek • 1 „szálon” ~950Mbps (100ms) • 2db 3 gépes klaszter: 2.8Gbps • UDP ~ fairness/friendly, de sokszor veszteség • UDT: • Tisztán UDP, MTU méretű adatcsomagok • Pozitív SACK, és NACK (kis % szab. csomag)

  21. UDT teljesítmény

  22. UDT teljesítmény Iperf: 12.5 Gbps effektív sávszélesség – 94%

  23. Szimulációk • Grid szimuláció összetett feladat: • Alkalmazások, Middleware, erőforrások és a hálózat dinamikus együttműködése! • Egyensúly: virtualizáció, teljesítmény… • Egyre nagyobb hálózatfüggés, nagy egymásra-hatás: P2P,MyDoom, Teraflows…

  24. MicroGrid • Információk: • Hálózat topológia és protokollok • Node-ok hálózati beállításai (puffer, window) • Számítókapacitások és elhelyezkedésük • Virtuális gépek valódi alkalmazásokkal

  25. Hálózati forg. szimuláció: MaSSF

  26. Alkalmazások • ScaLAPACK • FASTA (protein/szekvencia hasonlóság) • Jacobi (párhuzamos egy.rendsz. megoldó) • Fish (sok részecskés Van der Waals erők) • Game of Life (sejt automata) • Problémák: • HTTP háttér forgalom • Load-balancing, network mapping

  27. Lambda-Grid • Számító- és tárolókapacitások sűrűn összekapcsolva DWDM optikai utakon. • OptIPuter, CANARIE • Kevesebb végpont (1000 vs 10^8) • Dedikált nagysebességű vonalak (>1Gbps) • Nem belső, hanem végponti torlódás!

  28. Group Transport Protocol Exponential Increment and Loss Propotional Decrement

  29. GTP II. Pont-pont kapcsolat @ 1Gbps, 58ms RTT Párhuzamos szálak Multipont-Pont kapcsolat

More Related