1 / 17

Računska gruča Krn

Računska gruča Krn. kot primer postavitve v omrežje SLING. Sandi Cimerman, R-4. 13. november 2013. Zgodovina. Mangrt skupna investicija odsekov R-4 in F-8 osnovni nakup marec 2007 12 vozlišč (2x po 2 jedri) nadgrajen decembra 2007 6 vozlišč (2x po 4 jedra)

pancho
Download Presentation

Računska gruča Krn

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Računska gruča Krn kot primer postavitve v omrežje SLING Sandi Cimerman, R-4 13. november 2013

  2. Zgodovina • Mangrtskupna investicija odsekov R-4 in F-8 • osnovni nakup • marec 2007 • 12 vozlišč (2x po 2 jedri) • nadgrajen decembra 2007 • 6 vozlišč (2x po 4 jedra) • skupaj „samo“ 100 jeder in 144GB • še vedno v uporabi • Krn • izkušnje z Mangrta, prilagojen za računske potrebe odsekov (ABAQUS, ANSYS…), predvsem večji in zmogljivejši • osnovna nabava 2010 (11 vozlišč „big mem“) • 1. nadgradnja 2011 (22 vozlišč) • 2. nadgradnja 2012 (16 „GPU“) Jesenskosrečanjeuporabnikov in administratorjev SLING

  3. Opis gruče Krn – Nadzorno-prijavno vozlišče Operacijski sistem: x64 SLES 11 SP 1 Sistem čakalnih vrst: PBSpro 10.2 • uporablja se za • login uporabnikov, dostop do računskih vozlišč • ureja čakalne vrstein skrbi za pošiljanje računov na računska vozlišča • nadzor vozlišč (temperatura, odpovedi komponent) • vzpostavitev računskih vozlišč (distribucijo sistemskih slik) • skupno diskovno polje „/home“ z dostopom z vseh vozlišč • pre/post processing, prevajanje kode • ustvarjanje in dostop do uporabniških profilov (ldapserver)… Jesenskosrečanjeuporabnikov in administratorjev SLING

  4. Opis gruče Krn– Računska vozlišča • Računski strežniki • Skupno 49 računskih vozlišč • Procesorji • 2 procesorja po 6 jeder Intel Xeon5650/5670/X5675 • vsega skupaj 600 jeder / 1200 procesnih niti • Spomin • od 24 do 96GB • skupaj 2TB+ • 16 GPU vozlišč • z NvidiaTesla M2075 • CUDA kompatibilna, 448 cuda jeder • Vsa vozlišča na IB QDR x4 (32Gbps) povezavi - medračunski komunikaciji • Servisna GB mreža – služi za dostop, nadzor vozlišč ter distribucijo sistemskih slik Jesenskosrečanjeuporabnikov in administratorjev SLING

  5. Opis gruče Krn – Shema gruče Prijavno-nadzorno vozlišče (HN) /home Računsko vozlišče IB QDR krn005-ib krn006-ib krn004-ib krn001-ib krn003-ib krn002-ib … 6 5 1 4 3 2 / /home GB ETH 2x SAS v RAID0 /scratch krn004 krn001 krn003 krn002 krn006 krn005 Jesenskosrečanjeuporabnikov in administratorjev SLING

  6. Prvotni nakup Opis gručeKrn – Čakalne vrste 1. nadgradnja Sistem razdeljen na posamezne čakalne vrste glede na specifikacije vozlišč in čas nadgradenj Npr. „gpu“ ali „big_mem“ 2. Nadgradnja(gpu) Jesenskosrečanjeuporabnikov in administratorjev SLING

  7. Pred povezovanjem v grid - naše želje • omogočiti dostop zunanjim uporabnikom do prostih računskih kapacitet • vendar smo pričakovali • da imamo popoln nadzor nad gručo • lahko zagotavljamo določen nivo varnosti • imajo „domači“ uporabniki prednost pri dostopu do kapacitet • imeti popoln nadzor nad obremenitvijo gruče • zunanji uporabniki • so zaupanja vredni • imeti nadzor nad njihovim dostopom do gruče Jesenskosrečanjeuporabnikov in administratorjev SLING

  8. Pred povezovanjem v grid- naši „strahovi“ Česa smo se pred vzpostavitvijo najbolj bali? • komplicirane namestitve in posega v obstoječo konfiguracijo gruče • nameščanje programov na glavno vozlišče in/ali računska vozlišča • morebitni problemi z nekompatibilnimi servisnimi programi (sami programIoz. nekompatibilnost z obstoječimi) • „domačim“ uporabnikom na voljo manj prostih kapacitet v obdobju večjih obremenitev • večja količina administracije Jesenskosrečanjeuporabnikov in administratorjev SLING

  9. Pred povezovanjem v grid– mrežna konfiguracija RCP mreža gruča Krn krn.ijs.si HN Zunanji uporabniki Vmesni strežnik(ARC, gridftpd,...) 6 4 7 2 3 1 5 … • Gruča je del podmreže IJS • Navzven ni neposredno dostopna • Rešitev: vmesni strežnik krn.ijs.si Vmesni strežnik Virtualni strežnik Spomin: 256MB 1 CPU @ 2GHz Ubuntu 12.04.3 LTS Jesenskosrečanjeuporabnikov in administratorjev SLING

  10. Povezovanje v grid– konfiguracija vmesnega strežnika • večina namestitve poteka na vmesnem strežniku, ločenem od obstoječe gruče • Postopek • na sistem se doda „nordugrid“ repozitorij paketov • namestita se paketa • nordugrid-arc-compute-element in • nordugrid-arc-client • ustvari in namesti se strežniški certifikat • omogoči se dostop preko požarnega zidu • vrata 2811, 2135, 9000-9300 • uredi se konfiguracijska datoteka ARC • /etc/arc.conf • praktično vse nastavitve ARC servisov <- večino dela • dostop do ldap strežnika (HN) – uporabnik „grid1“ ^ Jesenskosrečanjeuporabnikov in administratorjev SLING

  11. Povezovanje v grid– konfiguracija vmesnega strežnika 2/2 • Servisi • za konfiguracijo KRN-a smo potrebovali 5 servisov • a-rex • nordugrid-arc-slapd • nordugrid-arc-bdii • nordugrid-arc-inforeg • gridftpd • najprej se jih mora omogočiti: • v njihovih datotekah v mapi /etc/defaultse mora spremeniti „RUN=no“ spremeniti v „RUN=yes“ • nato se jih zažene v določenem vrstnem redu • vse se beleži v datoteke v mapi /var/log/arc/ Jesenskosrečanjeuporabnikov in administratorjev SLING

  12. Povezovanje v grid– konfiguracija računske gruče • kaj smo spremenili na obstoječi gruči • glavno vozlišče • v ldap se ustvari generičnega uporabnika „grid1“ / skupina „grid“ • dodelili skupni diskovni prostor za shranjevanje začasnih in trajnih podatkov (viden na vseh računskih vozliščih) /home/grid/grid1 • v „qmgr“ omogoči zagon izračunov z vmesnega strežnika (krn.ijs.si) • vpiše ime vmesnega strežnika na /etc/hosts.equiv • računska vozlišča • dodelili diskovni prostor za shranjevanje med izvajanjem računov (t.i. „scratch“) • nič drugega Jesenskosrečanjeuporabnikov in administratorjev SLING

  13. Povezovanje v grid– težave in priporočila • težave • nameščeni različni tipi sistemov čakalnih vrst • izdelava nove konfiguracijske datoteke arc.conf • naša izbira operacijskega sistema - Ubuntu • rešitve • odlična navodila za nekatere OSe se že nahajajo na SLING/wiki • do zdajdokumentacija za Ubuntu še ni obstajala, to-do: jo dodamo Jesenskosrečanjeuporabnikov in administratorjev SLING

  14. Izkušnje težavnost, čas zaključek ideje integracija računske gruče Mangrt in zahvale Jan Jona Javoršek, CMI, IJS Barbara Krašovec, ARNES Dejan Lesjak, IJS Janez Jezeršek, MICR, IJS Jesenskosrečanjeuporabnikov in administratorjev SLING

  15. Vprašanja? Jesenskosrečanjeuporabnikov in administratorjev SLING

More Related