340 likes | 494 Views
Текущее состояние и перспективы развития ЦИВК ОИЯИ. Кореньков В.В. Конференция пользователей ЦИВК ОИЯИ 6 февраля , 2008. Статус внешних коомуникаций ОИЯИ. Проект развития канала связи Дубна-Москва. Upgrade of Dubna-Moscow data link up to 10 Gbps in 200 8 and up to 40 Gbps in 2010.
E N D
Текущее состояние и перспективы развития ЦИВК ОИЯИ Кореньков В.В Конференция пользователей ЦИВК ОИЯИ 6 февраля, 2008
Проект развития канала связи Дубна-Москва Upgrade of Dubna-Moscow data link up to 10 Gbps in 2008 and up to 40 Gbps in 2010.
Incoming Outgoing Внешний сетевой трафик ОИЯИ • Total: • incoming in 2007 – 241.9 TB, outgoing -227.8; • Most of traffic: • CERN (88.8%), • DESY, INFN, SARA, IN2P3 • 47 local sub-networks; • Local traffic – 77.6 TB • Created in 2007: • direct point-to-point data channel between JINR LAN and CERN as part of the JINR program of participating in LCG in CERN; • Dubna-City Internet eXchange.
Структура опорной сети ОИЯИ • Comprises 5880 computers and nodes, • Users - 3322 • Modem pool users - 689 • Remote VPN users (Lanpolis, Contact, TelecomMPK) - 500; • High-speed transport (1Gbps) (Min. 100 Mbps toeach PC); • Controlled-access (Cisco PIX-525 firewall) at network entrance; • Partially isolated local traffic (8 divisions have own • subnetworks with Cisco Catalyst 3550 as gateways); • General network authorization system involves many services (AFS, batch systems, Grid, JINR LAN remote access, etc. • Plans: • Step-by-step modernization of the JINR Backbone – transfer to 10 Gbps • Development and modernization of the control system of the JINR highway network
Структура ЦИВК ОИЯИ 670 kSi2K 100 TB Disk Contract prepared in Dec 2007: SuperBlade – 2 BOX 40 CPU Xenon 5430 2.66 GHz Quad Core ~400 kSi2K Total expected in March, 2008 - 1070 kSi2K
Состав ЦИВК ОИЯИ • 53 servers • 7 interactive nodes • 60 4-core computing nodes, Xeon 5150, 8GB RAM. • 6 2-core computing nodes, Athlon , 2GB RAM, Mirynet. • Site name: JINR-LCG2 • Internal CICC network – 1Gbit/sec • Operating system - Scientific Linux 4.4, • Scientific Linux CERN 4.5; • Middleware versionGLITE-3.1 • File Systems – AFS(the Andrew File System) for user Software and home directories is a world-wide distributed file system. AFS permits to share easily files in an heterogeneous distributed environment (UNIXes, NT) with a unique authentication scheme (Kerberos). • dCache- for data. • User registration system – Kerberos 5 ( AFS use Kerberos 5 for authentication)
Интегрированная схема функционирования ЦИВК ОИЯИ
ЦИВК ОИЯИ в качестве Грид-сайта глобальной инфраструктуры WLCG/EGEE JINR provides the following services in the WLCG environment: Basic services - Berkley DB Information Index (top level BDII); site BDII; Computing Element (CE); Proxy Server (PX); Resource Broker (RB); Workload Management System + Logging&Bookkeeping Service (WMS+LB); RGMA-based monitoring system collector server (MON-box); LCG File Catalog (LFC); Storage Element (SE), dCache 82 TB; Special Services - VO boxes for ALICE and for CMS; ROCMON; PPS and testing infrastructure - Pre-production gLite version; Software for VOs: dCache xrootd door, AliROOT, ROOT, GEANT packages for ALICE; ATLAS packages; CMSSW packages for CMS and DaVinchi, Gauss packages for LHCb.
lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 lxfs07 rda02 wn… lxfs71 lxpub01 dCache in JINR Internet / GRID JINR Backbone Protocols gFTP, SRM, XROOT local lxfs07 82 TB Admin RAID DCAP PNFS WNs Doors Pools
dCache: Files, VO, Discs CMS ATLAS other FREE! Total 82 ТВ Files
Проекты в области развития grid-технологий • проект EU DataGRID • WLCG: проектгриддляБольшого Адронного Коллайдера (Worldwide LHC Computing GRID) • EGEE: развертываниегрид-системдля e-науки (The Enabling Grids for E-sciencE) • RDIG: Российский грид для интенсивных операций с данными • ЦБГС: Создание прототипа центра базовых grid-сервисов нового поколениядля интенсивных операций с распределенными данными в федеральном масштабе • Проект СКИФ-ГРИД • Грид мониторинг для эффективного функционирования виртуальных организаций (совместный с ЦЕРН) • Проект Наногрид • Дубна-Грид: создание городской грид-инфраструктуры ЦБГС
EGEE (Enabling Grids for E-sciencE) Проект EGEE - Enabling Grids for E-sciencE направлен на создание международной инфраструктуры, основанной на технологиях грид. Проект выполняется консорциумом из 70 институтов в 27 странах, объединенных в региональные гриды.
Russian Data Intensive GRID (RDIG) Consortium EGEE Federation • ИФВЭ (Институт физики высоких энергий, Протвино) • ИМПБ (Институт математических проблем биологии, Пущино) . • ИТЭФ (Институт теоретической и экспериментальной физики) • ОИЯИ (Объединенный институт ядерных исследований, Дубна) • ИПМ (Институт прикладной математики) • ПИЯФ (Петербургский институт ядерной физики, Гатчина) • РНЦ «Курчатовский институт» • НИИЯФ МГУ (Научно-исследовательский институт ядерной физики МГУ)
Структурные элементы ROC – региональный операционный центр в России • Обеспечение функционирования базовых грид сервисов 24х7 • Мониторинг и реагирование на черезвычайные ситуации • Ведение учета ресурсов и выполненных работ (accounting) • Управление и поддержка виртуальных организаций • Поддержка безопасности инфраструктуры, CA • Сертификация (валидация) грид ПО • Поддержка пользователей • Операционная поддержка ресурсных центров RC – ресурсные центры (CPU, Disk, Tape) VO – виртуальные организации: • физика высоких энергий: LHC – ATLAS, ALICE, CMS, LHCb; PHOTON, HONE … • биомед • Fusion • российские VOs: e-Earth (геофизика), • химфизика (Черноголовка, МГУ ++), нанотехнологии и наноиндустрия
98k заданий/день Основные направления EGEE-II >200 ВО из различных областей науки • Астрономия и астрофизика • Безопасность населения • Вычислительная химия • Вычислительные науки/Программирование • Физика конденсированного состояния • Науки о Земле • Синтез • Физика высоких энергий • Науки о жизни • .... Приложения перешли со стадии тестирования на стадию рутинного и ежедневного использования с эффективностью ~80-90%
Collaborating e-Infrastructures Potential for linking ~80 countries by 2008
LCG/EGEE Grid infrastructure GridMonitoring
RDIG инфраструктура В настоящее время RDIG –инфраструктура состоит из 15 ресурсных центров, в которых доступно около 1500 CPU и500 TB дискового пространства.. RDIG Resource Centres: – ITEP – JINR-LCG2 – Kharkov-KIPT – RRC-KI – RU-Moscow-KIAM – RU-Phys-SPbSU – RU-Protvino-IHEP – RU-SPbSU – Ru-Troitsk-INR – ru-IMPB-LCG2 – ru-Moscow-FIAN – ru-Moscow-GCRAS – ru-Moscow-MEPHI – ru-PNPI-LCG2 – ru-Moscow-SINP
RDIGmonitoring&accountinghttp://rocmon.jinr.ru:8080 • Monitored values • CPUs - total /working / down/ free / busy • Jobs - running / waiting • Storage space - used / available • Network - Available bandwidth • Accounting values • Number of submitted jobs • Used CPU time • Totally sum in seconds • Normalized (with WNs productivity) • Average time per job • Waiting time • Totally sum in seconds • Average ratio waiting/used CPU time per job • Physical memory • Average per job
Russia and JINR Normalized CPU time per SITE (June 2007 - December 2007) Jun 07Jul 07Aug 07Sep 07Oct 07Nov 07Dec07 Total JINR103,238244,393136,615320,041365,456341,876322,8501,834,46947.3%
Network bandwidth and reliability of data transfers The following LHC computing centers serve as Tier1 centers for RDIG: FZK (Karlsruhe) –for ALICE, SARA (Amsterdam) – for ATLAS, CERN – for CMS (CERN-PROD) and LHCb. The quality of the JINR – Tier1s connectivity is under close monitoring
FTS Monitoring: CERN-JINR transfers Best transfer-test results for CERN - JINR 01.08.2007-04.08.2007 Average throughput 20 MB/s during the whole 04.08 Average data movement from CERN to JINR 01.2007-11.2007
EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and LHCb) Normalised CPU time by SITE June 2007 - December 2007 • IN2P3-CC 4 731 732 • CERN-PROD 4 393 875 • FZK-LCG2 3 432 919 • TRIUMF-LCG2 3 358 117 • INFN-T1 2 244 936 • IN2P3-LPC 1 705 242 • INFN-PISA 1 438 029 • UKI-NORTHGRID-MAN-HEP 1 369 207 • GRIF 1 368 942 • RAL-LCG2 1 306 579 • JINR-LCG2 1 217 267 Statistics obtained from the EGEE Accounting Portal: http://www3.egee.cesga.es/gridsite/accounting/CESGA/egee_view.html
EGEE SITES: LHC VOs (ALICE, ATLAS, CMS and LHCb) Normalised CPU time by SITE November 2007 - January 2007
Тор 500 • Site Computer Processors Year Rmax Rpeak1 • DOE/NNSA/LLNLBlueGene/L United States IBM 212992 2007 478200 5963782 • Juelich (FZJ)Blue Gene/P Germany IBM 65536 2007 167300 2228223 • New Mexico (NMCAC)United States SGI 14336 2007 126900 1720324 • CRLIndia Hewlett-Packard 14240 2007 117900 1708805 • Government AgencySweden Hewlett-Packard 13728 2007 102800 1464306 • NNSA/Sandia United States Cray Inc. 26569 2007 102200 1275317 • Oak Ridge National LaboratoryUnited States Cray XT4/XT3 23016 2006 101700 1193508 • IBM Thomas J. Watson Research CenterUnited States Blue Gene/L IBM409602005912901146889 • NERSC/LBNLUnited States Cray XT4193202007853681004641 • Stony Brook/BNL, United States Blue Gene/LIBM36864200782161103219
Россия в TOP 500 В данной редакции списка Россия представлена 7 системами, что является максимальным количеством за время существования Top500.На рекордном для России 33 месте оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, установленный в МСЦ РАН, 33.885 TFlop/s.На 181 месте списка суперкомпьютер IBM BladeCenter HS21 Cluster, в Уфимском государственном авиационном техническом университете, 9.287 TFlop/s. IBM BladeCenter HS21 Cluster с производительностью 9.287 TFlop/s, установленный в Сибирском федеральном университете (Красноярск), оказался на 183 месте.На 199 место со 105 опустился суперкомпьютер "СКИФ Cyberia", установленный в Томском Государственном Университете, с производительностью 9.01 TFlop/s.На 242 месте списка оказался суперкомпьютер Hewlett-Packard Cluster Platform 3000 BL460c, в Вятском государственном университете (Киров), 8.160 TFlop/s.Со 187 на 408 место в новой редакции списка опустился российский суперкомпьютер MVS-15000BM, установленный в МСЦ РАН, 6.646 TFlop/s.Наконец, на 430 месте списка оказался суперкомпьютер IBM BladeCenter HS21 Cluster, к "Industrial Company", с производительностью 6.341 TFlop/s.
Blue Gene/P в MГУ Объявление о начале выпуска системы – 26 июня 2007 г. Поставка в МГУ – 24 декабря 2007 г. (запуск-апрель 2008 г) Уникальные характеристики: масштабируемость, высокая надежность, низкое энергопотребление • Blue Gene/P @ MSU • 2 стойки, • 2048 4-ех ядерных узлов, • общая пиковая производительность 27.2 Tflop/s (43 место в текущем списке TOP500) • 4 TB общий объем ОЗУ
Полезные ссылки и информация • LCG: //lcg.web.cern.ch/LCG/ • EGEE: //www.eu-egee.org • EGEE-RDIG: //www.egee-rdig.ru • GRIDCLUB: //www.gridclub.ru • Параллельные вычисления //parallel.ru • Инструкции, документация, сайты, информационные бюллетени, публикации, обзоры, курсы и т.д. Новые возможности для проектов и групп пользователей: • Новые возможности для пользователей ЦИВК ОИЯИ • Использование ГРИД-инфраструктуры для различных ВО • Развитие системы суперкомпьютеров в России