1 / 21

Gridové výpočty pro velké projekty i jednotlivé uživatele (aktivity ve VS FZÚ )

Gridové výpočty pro velké projekty i jednotlivé uživatele (aktivity ve VS FZÚ ). Ji ří Chudoba Institute of Physics and CESNET, Prague. Přehled. Hardware Jeho využití ATLAS Data management VO auger Další skupiny – fyzika pevných látek Tým – mo žnost aktivní účasti!. EGI v CZ.

ziv
Download Presentation

Gridové výpočty pro velké projekty i jednotlivé uživatele (aktivity ve VS FZÚ )

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Gridové výpočty pro velké projekty i jednotlivé uživatele(aktivity ve VS FZÚ) Jiří Chudoba Institute of Physics and CESNET, Prague

  2. Přehled • Hardware • Jeho využití • ATLAS Data management • VO auger • Další skupiny – fyzika pevných látek • Tým – možnost aktivní účasti! Jiri.Chudoba@cern.ch

  3. EGI v CZ http://grid-monitoring.cern.ch/myegi/gridmap/ Jiri.Chudoba@cern.ch

  4. Hardware – středisko FZÚ • praguelcg2 • publikujeme 3860 jader • 1.5 PB DPM, 540 TB xrootd, 40 TB dcache v Plzni • HW různého typu Jiri.Chudoba@cern.ch

  5. Hardware – středisko FZÚ • Hlavní serverovna • 62 m2, ~20 racks 350 kVA motor generator, 200 + 2 x 100 kVA UPS, 108 kW air cooling, 176 kW water cooling Jiri.Chudoba@cern.ch

  6. HW ve FZÚ Farma Goliáš z několika subklastrů • společný torque server, subklastry z různého hw • Například subklastrrubus: • 23 uzlů SGI Rackable C1001-G13 • 2x (Opteron 6274 16 jader) 64 GB RAM, 2x SAS 300 GB • 374 W (full load) • 232 HS06 na uzel, 5343 HS06 celkem Celkem v klastru Goliáš: 30700 HS06 Jiri.Chudoba@cern.ch

  7. HW ve FZÚ Plán a skutečnost (walltime) Kapacita podle subklastrů Jiri.Chudoba@cern.ch

  8. Tier2 centrum pro LHC Příspěvky pro 2012 ATLAS závazek: 10000 HS06, 1030 TiB; dostupné: 11861 HS06, 1300 TB ALICE závazek: 5000 HS06, 420 TiB; dostupné: 7546HS06, 540 TB Plnění: vyžaduje se 70% z plánované kapacity, ale CPU time Problematické pro ALICE, kde je efektivita kolem 50% Jiri.Chudoba@cern.ch

  9. Monitorování - externí Jiri.Chudoba@cern.ch

  10. ATLAS DDM • Komplikovaný systém pro potřeby projektu ATLAS • Současná verze DQ2, nová Rucio • Eviduje 120 PB dat, 350 mil. souborů • DQ2: • práce s Datasety (množiny souborů) • db pro DS a jejich obsah • fyzické umístění souborů pomocí LFC • 11 LFC (jeden LFC pro oblast) postupně přenášeno do CERN • FTS zůstávají v Tier1 • podpůrné služby: DaTRI, data popularity, obsazenost prostoru Jiri.Chudoba@cern.ch

  11. ATLAS DDM Přenosy dat do FZÚ, graf za 1 týden Jiri.Chudoba@cern.ch

  12. ATLAS – přenosy dat Přenesený objem dat Jiri.Chudoba@cern.ch

  13. ATLAS – přenosy dat počty přenesených souborů za den Jiri.Chudoba@cern.ch

  14. Lokální přenosy Přenosy z lokálních SE (nejvíce na lokální WN) dosahují rychlosti přes 30 Gbps Jiri.Chudoba@cern.ch

  15. Výsledky https://twiki.cern.ch/twiki/bin/view/AtlasPublic Number of public papers: 245 Number of public papers with collision data: 237 Number of published papers: 216 Last updated: 2013-02-25, 17:02 Jiri.Chudoba@cern.ch

  16. PAO • PierreAugerObservatory • 19 zemí, 500 členů, 94 institucí • plocha 3000 km2 Jiri.Chudoba@cern.ch

  17. VO auger • Založili jsme roku 2006 v rámci EGEE II • Poskytujeme centrální služby • VOMS, LFC • Největší VO mimo LHC ve využití CPU Jiri.Chudoba@cern.ch

  18. VO auger: Zapojení mnoha oblastí Poměr příspěvků pro VO auger různých oblastí do celkového použitého výpočetního času; data pro celý rok 2011 Jiri.Chudoba@cern.ch

  19. Superpočítač Dorje • Vyhrazený klastr pro skupiny fyziky pevných látek • Altix ICE8200, 512 jader, 64 uzlů spojených Infiniband • Využití 50 až 80% kvůli omezujícím pravidlům (maximální počet úloh od 1 uživatele), požadavek na okamžitou odezvu • Rozšíření ještě v tomto roce, investice 900 kKč Jiri.Chudoba@cern.ch

  20. Lidské zdroje • Neprovozujeme standardní software • Správa vyžaduje proaktivní přístup, častou komunikaci, otevřenou hlavu! • Prostor pro nové nápady, detailní ladění a zkoumání určitých částí • Správa OS, monitorování, programování v shell, python, perl, C, C++, Fortran, správa MySQL, práce s páskami, ... • Schopní pracovníci stále vítáni. Kontakt: Jiri.Chudoba@cern.ch http://www.farm.particle.cz/twiki/bin/view/VS/WebHome Jiri.Chudoba@cern.ch

  21. pád dpmdaemona 28.9.2012 • email od nagios ve 4:18 (plus SMS) • TK restartoval v 10:20, zápis do FarmEvents • recovery: email a SMS v 10:21 • 13:42 GGUS TEAM lístek 86515 (RT 35874) In the last 6 hours more than 300 failures in praguelcg2 production. • TK odpověděl a zavřel ve 13:45 V pátek 28.9. začínal dlouhý víkend. Oficiálně nemáme žádné směny mimo pracovní dobu. Jiri.Chudoba@cern.ch

More Related