Kiszolgáló oldali virtualizáció

1. Virtualizációs technológiák és alkalmazásaik Kiszolgáló oldali virtualizáció Tóth Dániel, Micskei Zoltán, Szatmári Zoltán

2. Tartalom Követelmények Szerver virtualizációs architektúrák Háttértárak virtualizációja VMware ESX és ESXi szerver architektúrája Microsoft Hyper-V architektúra Erőforrás gazdálkodás

3. Szerver virtualizáció • Miben más, mint a desktop virtualizáció? • „Konszolidáció” – sok virtuális gép együttes futtatása, erőforrás hatékonyság, takarékosság • Hangsúlyos a távoli elérés, helyi hozzáférés teljesen háttérbe szorul • Az előző következménye: kevesebb fajta hardvert kell támogatni, nincs „multimédiás” igény • Karbantartási feladatok egyszerűsítése, automatizálhatóság • Menedzsment: monitorozás, távoli beavatkozás, terhelés és teljesítményadatok figyelése • „Integráció” – a virtualizált szerverek egy nagyobb infrastruktúra részei • Hozzáférés vezérlés, biztonság, a rendszernek sok (nem feltétlenül megbízható) felhasználója lehet egyszerre • Megbízható, hibatűrő működés

4. Emlékeztető – a két fő architektúra App. App. Menedzsment App. App. App. App. OS OS Menedzsment OS OS OS Virt. OS Virt. szoftver Virt. szoftver Hardver Hardver Bare-metalvirtualizáció Hosted virtualizáció Jellemzően kliens megoldások: VMware Workstation, Server, Player, Sun VirtualBox,MS VirtualPC, KVM, UML Jellemzően szerver megoldások: VMware ESX Server, XenEnterprise, MS Hyper-V Kétféle megközelítés:

5. Emlékeztető – a két fő architektúra Hosted • Interaktív alkalmazásnál előnyös • helyi hozzáférés, gyors grafika, hang stb. • OS szintű erőforrások biztosítása • Integráció asztali munkakörnyezetbe • Hardver meghajtókat a hoszt OS kezeli • Jellemzően kevés virtuális gép fut egyszerre • sok virtuális gépnél már rossz skálázódás • Jellemzően az OS alkalmazásokhoz kitalált ütemezőit próbálja VM-ekerőforrásgazdálkodására használni Bare-metal • Interaktív alkalmazások nehézkesek • távoli hozzáférés kell (lokális gépen megjelenítésnél is!) • teljesen speciális saját környezet, csak virtuális gépek futtatására • nincsenek finomított OS erőforrások • Hardver támogatást külön meg kell oldani • Jó skálázhatóság • Nincs hoszt OS, ami erőforrást fogyasztana • Saját, VM-ek számára optimalizált ütemezők, erőforrás-elosztók

6. Szerver virtualizáció • Platform virtualizáción alapuló megoldások: • VMware ESX Server, ESXi – bare metal • Xen – bare metal • Xen.org – bare metal • CitrixXenServer – bare metal • Oracle VM Server (Xen alapú) – bare metal • Microsoft Hyper-V – bare metal • IBM LPAR, DLPAR – bare metal • …

7. Minimális konzolos beállítási lehetőségek

8. Távoli hozzáférés megvalósítási lehetőségek Beépített távoli menedzsment hardver Távoli elérés Ethernet hálózaton keresztül (IPMI, Intel AMT) Hálózat • Távolság: TCP/IP felett akárhova eljuttatható • Több gép elérése: külön IP címek egy hálózaton • Lehet közös az üzemi hálózattal, lehet dedikált menedzsment hálózat • Biztonság fontos kérdéssé válik • Többnyire csak szöveges felület (BIOS is) • Grafikus kép továbbító külön opció Alkalmazások Operációs rendszer Hardver Billentyűzet, egér, video BIOS Távoli elérés hardver Dedikált kliensprogram Hálózati interfész

9. Példa: SUN ILO

10. SUN ILO működés közben

11. Távoli hozzáférés megvalósítási lehetőségek Hálózat • Előnyei, hátrányai lásd előbb • Virtuális géphez teljes hozzáférés (BIOS, szöveges, grafikus) • Működő és konfigurált hálózatot csak a virtualizációs keretrendszer szintjén igényel, a vendég OS szintjén nem Virtuális gép virtuális konzolja Alkalmazások Operációs rendszer Virtuális gép Billentyűzet, egér, video BIOS Virtualizációskeretrendszer Távoli elérés szerver Hardver Hálózati interfész BIOS Billentyűzet, egér, video Dedikált kliensprogram

12. Operációs rendszer távoli elérése Vendég OS szintű távoli elérés Hálózat • Előnyei és hátrányai lásd előbb • Szöveges és grafikus kép továbbítás • Az operációs rendszernek működnie kell ÉS konfigurált hálózattal kell rendelkeznie Alkalmazások Távoli elérés szerver Operációs rendszer Virtuális Hardver Hálózati interfész BIOS Dedikált kliensprogram Virtualizációskeretrendszer Hálózati interfész

13. Nagy integrált rendszerek kiépítése • Szerver virtualizációnál egy fizikai gép ritkán elég • Jó, ha egyes erőforrások: • központilag kezeltek • átcsoportosíthatóak, hozzárendelések megváltoztathatóak • megoszthatóak, több helyről is egyformán elérhetőek • Példák • háttértár: sok kicsi, gépekben elszórt merevlemez helyett egy-egy nagy tároló alrendszer (storagesystem/diskarray) • hálózatok: minden hoszton egyformán elérhetőek legyenek • magasabb szinten: jogosultságkezelés, felhasználói fiókok címtára

14. Háttértár virtualizáció Pl.: Samba, NFS, FTP Fájlrendszer Logikai kötet(ek) Pl.: iSCSI, AoE Partíció Partíció Fizikai eszköz ~kliens • Elterjedt megoldások: • SAN – Storage Area Network, blokkos eszközt biztosít • NAS – Network Attached Storage, fájlrendszert biztosít • Példa: Egyszerűsített háttértár stack

15. iSCSI – SAN megoldás iSCSIportal / target HDD ==== iSCSIinitiator HDD ==== HDD ==== ~szerver ~kliens Fizikai tár • iSCSI – egy elterjedt SAN megoldás • Blokkos eszközök biztosítása TCP/IP hálózatok felett • Fájlrendszernek támogatnia kell a több géprőltörténő elérést • Pl. VMFS, GFS fájlrendszer

16. Tartalom Követelmények Szerver virtualizációs architektúrák Háttértárak virtualizációja VMware ESX és ESXi szerver architektúrája Microsoft Hyper-V architektúra Erőforrás gazdálkodás

17. VMware ESX architektúrája Alkalmazások Alkalmazások Service Console (Tomcat, SSH...) Alkalmazások Guest OS Guest OS COS (Linux 2.4) Guest OS Driver Worlds HelperWorlds VMkernel Hardver (x86 CPU, SCSI, Ethernet)

18. VMwareESXiarchitektúrája Alkalmazások Alkalmazások Alkalmazások Guest OS Service Consoleworlds Guest OS Service Consoleworlds Guest OS Service Consoleworlds Driver Worlds HelperWorlds VMkernel Hardver (x86 CPU, SCSI, Ethernet, SATA)

19. VMwareESXi 5 architektúrája (folyt.) Forrás: VMware ESXi 5.0 Operations Guide

20. VMware ESX, ESXi – általános tulajdonságok • Mindkét esetben saját eszközmeghajtókat igényel • emiatt elég szűk is a támogatott hardverek listája! • A VMkernel egy mikrokernel, a driverek külön folyamatként futnak felette (ennek részben licensz okai is vannak, Linux kernelből vettek át meghajtókat) • Folyamat a VMware szóhasználatában: „world” • Teljesen távoli elérésre alapozott rendszer • csak szöveges konzol van a lokális gépen, • de nem ezt ajánlott üzemszerűen használni, hanem a dedikált kliensprogramot (VirtualInfrastructureClient) • a vendégek konzoljához lokálisan egyáltalán nem is lehet hozzáférni • A virtuális gépek formátuma (megkötésekkel) kompatibilis a Workstation/Server/Player formátumával • Saját fájlrendszeren (VMFS3) tárolja a virtuális gépeket • Lehetőség van rá, hogy több ESX elosztottan használja ugyanazt a tárhelyet egyszerre!

21. VMware ESX, ESXi – eltérések • Az ESX-ben Service Console egy teljes Linux-alapú rendszer • erősen módosított RedHatEnterprise Linux 3 ~ 4 • Régi elavult, agyon módosított kernel (pl.: nincs SATA támogatás) • külön IP címmel • sok hardverhez dedikált közvetlen hozzáférése van • statikusan foglal sok memóriát • iszonyú bonyolult a boot folyamat, sérülékeny (előbb a Linux indul utána betölti a vmkernelt és végül paravirtualizáltan fut felette) • ESXi-ben egy nagyon minimális service console van • nincs külön kernel, a folyamatok worldként futnak közvetlenül a vmkernel felett • kis memóriaigény • Nincs külön IP cím a Service Console és a VMkernel számára • Egyszerű bootolás, hálózatról is bootolható • ESX-ben engedélyezett SSH hozzáférés, ESXi-ben nem • Helyette a RemoteCLI-t javasolt használni a paracssori műveletekre

22. ESXisystem image • Aktív és alternatív verzió • In-memory fájlrendszer • Pl. log fájl elveszik újraindításkor • OEM kiegészítések (embeddedESXi)

23. Tartalom Követelmények Szerver virtualizációs architektúrák Háttértárak virtualizációja VMware ESX és ESXi szerver architektúrája Microsoft Hyper-V architektúra Erőforrás gazdálkodás

24. Microsoft Hyper-V • Microsoft bare-metalvirtualizációs megoldása • Jelenleg: 2. verzió (R2) • Két változat: • Windows Serverben a Hyper-V szerep • MS Hyper-V Server (különálló, ingyenes, csak Hyper-V) • HW igény: • CPU: 64 bites, HW-esvirtualizációs támogatás • R2-be már bekerült a funkciók nagy része

25. Microsoft Hyper-V v3 v3.0 újdonságai Windows Server 8 részeként érkezik Több párhuzamos „Livemigration” folyamat „Livemigration” osztott tárhely nélkül Resourcepool kezelés Adat de-duplikáció támogatása Új virtuális lemezkép típus támogatása (16 TB-igskálázható)

26. Hyper-V architektúra I Szülő partíció Gyerek partíció 1 Gyerek partíció 2 Virtualizationstack (pl. VM kezelő szolgáltatás) Vendég alkalmazások Vendég alkalmazások Ring 3 Windows Server 2008 kernel + Hyper-V modulok Vendég OS Vendég OS Ring 0 Hypervisor Rootmode Hardver

27. Hyper-V architektúra II

28. Bare metal megoldások architektúrái ESXi Xen / Hyper-V • I/O eszközöket is a hypervisor kezeli • Meghajtókat a VMware szállítja • Extra kis méret: ESXi (32 MB) I/O eszközök kezelése a szülő partícióban Meghajtókat a HW gyártók szállítják

29. Tartalom Követelmények Szerver virtualizációs architektúrák Háttértárak virtualizációja VMware ESX és ESXi szerver architektúrája Microsoft Hyper-V architektúra Erőforrás gazdálkodás

30. Erőforrás gazdálkodás • A virtuális gépek gyakran közös erőforráson osztoznak • Jellemző példák: • Gyakran: minden virtuális gépnek virtuális CPU, összesen több vCPU, mint ahány fizikai CPU mag van • Ritkábban: összesen több kiosztott virtuális memória, mint amennyi fizikailag a hostban van • Háttértár helyfoglalás: ma még jellemzően statikusan kiosztott • Háttértár I/O műveletek: itt jellegzetesen osztozás van! • Hálózati áteresztőképesség: itt is osztozás van

31. Erőforrás gazdálkodás • Versengés az erőforrásokért: • Kis terheléseknél ritka, hogy egyszerre több vendég ugyanazt az erőforrást terhelné… • De szerverkörnyezetben gyakran előfordul, hogy valamelyik erőforrás szűk keresztmetszet lesz • A megfelelő ütemező elosztja a hozzáférést, de nem mindig megfelelően • Cél: • A megosztott erőforrásokból való részesedést virtuális gépekre lebontva szabályozni tudjuk • Kemény korlátozások • „Lágy” korlátok, prioritások

32. Erőforrás gazdálkodás • VMware ESX/ESXi esetén 3 beállítási lehetőség: • Resource Limit – kemény felső korlát az erőforrás igénybevételére • Akkor is érvényes, ha egyébként van szabad erőforrás • ResourceReservation – garantált rendelkezésre álló erőforrás mennyiség • Nem feltétlenül használja ki, csak verseny esetén érvényesül, egyébként a keretet más használhatja • ResourceShares– prioritás • Verseny esetén az alapértelmezett „igazságos” elosztás módosítható ezzel

33. Erőforrás gazdálkodás: GUI felület

34. Erőforrás gazdálkodás: GUI felület

35. Példa a share használatára • Több VM-et futtató gép esetén a CPU share értékek a következők • VM1: 1000 • VM2: 1000

36. Példa a share használatára • Több VM-et futtató gép esetén a CPU share értékek a következők • VM1: 1000 • VM2: 1000 • VM3: 2000 • Versenyhelyzet esetén mennyi a VM1 részére biztosított erőforrás-mennyiség? • 1000 / (1000+1000+2000) = 1/4 CPU idő

37. Erőforrás gazdálkodás VMshare módosítása dinamikus újrakonfigurálás ÚjVM felvétele Graceful degradation VMeltávolítása Extra erőforrások kihasználása Forrás: Carl Waldspurger. Resource Management for Virtualized Systems

38. CPU ütemezés A 2 4 4 6 8 8 8 10 10 B 3 3 6 6 6 9 9 9 12 C 6 6 6 6 6 6 12 12 12 • Simplified virtual-time algorithm • „Virtuális idő”= share / összes share • Ütemezés: Legkisebb „virtuális idejű” VM • Példa: 3 VM A, B, C (3 : 2 : 1 share aránnyal)

39. Erőforrás gazdálkodás • Hierarchikus erőforrás-kezelés • Nemcsak virtuális gépek szintjén lehet korlátozni • Pool-okba szervezhetők a VM-ek • Használati eset példák: • Egy felhasználó összes gépére egy közös korlátozás • Egy feladatot ellátó gépek csoportjára korlát • Kritikus/nem kritikus alkalmazások csoportosítása Host - korlát: fizikai CPU, Memória • ResourcePool • Korlát • Garantált részesedés • Korlátokat szab: • Host • ResourcePool • Guest Egymásba ágyazott korlátoknál szűkítés, konfliktusnál prioritás szerinti feloldás További ResourcePool • Guest • Korlát • Garantált részesedés

40. Erőforrás gazdálkodás • Speciális trükkök • Memória működés közbeni hozzáadása/elvétele • Normális esetben memória beállítás működő VM mellett nem módosítható • Előre allokált nagy memória + korlátozás • A változtatások a vendég újraindítása nélkül is érvényre jutnak (memóriánál néhány percet igénybe vehet…) • Fontos a memory balloning driver a vendégben • Lassú hálózati kapcsolat szimulációja • Áteresztőképességet jól szimulálja • Válaszidők módosítására nincs lehetőség • „Maradék” CPU idő kihasználása • Hosszú futású (batch) feladatot végző VM alacsony prioritással • Nem zavarja a többi gépet… (de a gyakorlatban sajnos igen…)

41. Erőforrás gazdálkodás • CPU-k számának változtatására ez nem praktikus • Vendég OS ütemező nem tud a korlátozásról, az „ellopott” időt nem tartja számon (elvileg paravirtualizált esetben akár tudhatná, de gyakorlatban nem igazán működik…) • A durvább felbontású időosztás miatt a vendég korlátozott esetben is a teljes CPU sebességet „érezni” fogja, de csak rövid időkre

42. Hyper-V: hasonló erőforrás-gazdálkodás

43. Összefoglalás • Követelmények • Sok guest, jó skálázhatóság, távoli elérés • Szerver virtualizációs architektúrák • Dominánsan bare-metal • Háttértárak virtualizációja • iSCSI SAN • VMware ESX és ESXi szerver architektúrája • Mikrokernel, eltérés a Service Console megvalósításában • Hyper-V architektúra

44. Gyakorlat: ESXi használata • Indítás: alap konfiguráció (IP, jelszó) beállítása • Csatlakozás VI Clienttel • iSCSIstorage beállítása datastore-nak

45. További információ Microsoft Hyper-Vhypercall leírás (WDK)http://msdn.microsoft.com/en-us/library/aa973529.aspx Hyper-V Architecture and Feature Overviewhttp://msdn.microsoft.com/en-us/library/dd722833(BTS.10).aspx XenServer: Why?http://it20.info/blogs/main/archive/2009/10/29/1422.aspx