1 / 44

Суперкомпьютерные системы МГУ "ЛОМОНОСОВ", СКИФ МГУ "ЧЕБЫШЁВ"

Московский государственный университет имени М.В.Ломоносова Научно-исследовательский вычислительный центр. Суперкомпьютерные системы МГУ "ЛОМОНОСОВ", СКИФ МГУ "ЧЕБЫШЁВ". Антонов Александр Сергеевич к.ф.-м.н., с.н.с. лаборатории Параллельных информационных технологий НИВЦ МГУ asa@parallel.ru.

leal
Download Presentation

Суперкомпьютерные системы МГУ "ЛОМОНОСОВ", СКИФ МГУ "ЧЕБЫШЁВ"

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Московский государственный университет имени М.В.ЛомоносоваНаучно-исследовательский вычислительный центр Суперкомпьютерные системы МГУ "ЛОМОНОСОВ", СКИФ МГУ "ЧЕБЫШЁВ" Антонов Александр Сергеевич к.ф.-м.н., с.н.с. лаборатории Параллельных информационных технологий НИВЦ МГУ asa@parallel.ru

  2. Суперкомпьютер СКИФ МГУ «Чебышёв» Создан МГУ, ИПС РАН и компанией “Т-Платформы” при поддержке компании Интел в рамках суперкомпьютерной программы СКИФ-ГРИД Союзного государства

  3. Характеристики СКИФ МГУ «Чебышёв» Пиковая производительность: 60 TFlop/s Производительность на Linpack: 47.32 TFlop/s (79% пиковой), матрица 740000х740000 625 вычислительных узлов, 1250 процессоров, 5000 процессорных ядер 42 стойки: 14 вычислительных, 28 инфраструктурных Помещение 98 м2 Общий вес оборудования: более 30 тонн

  4. Характеристики СКИФ МГУ «Чебышёв» Энергопотребление вычислительной части 330 КВт, всего комплекса в пике до 720 КВт Система бесперебойного электропитания 10 минут автономной работы Система охлаждения Звукоизоляция Система автоматического газового пожаротушения

  5. Вычислительные узлы • Процессоры: • 1250 Intel E5472 3.0 ГГц Harpertown • Блэйд-шасси: • T-Blade («Т-Платформы») • Форм-фактор 5 U • До 10 вычислительных узлов • Оперативная память: • 529 x 8 ГБ,бездисковые • 64 x 8 ГБ, 160 ГБ HDD • 32 x 16 ГБ, 160 ГБ HDD • 8 x 32 ГБ, 160 ГБ HDD

  6. Коммуникационная сеть • DDR InfiniBand • Mellanox MT25418 NIC • FatTree • SilverStorm 9120 – базовые коммутаторы • Flextronix F-X430046 – листовые коммутаторы • Характеристики • 1.3 – 1.95 µs латентность • 1.7ГБ/спропускная способность

  7. Коммуникационная сеть Схемапостроения Fat Tree в СКИФ МГУ «Чебышёв»

  8. Вспомогательные сети и хранилище данных • Вспомогательные сети: • Gigabit Ethernet: коммутаторы Force10 C300 и Force10 S2410 • Управляющая сеть ServNet + IPMI • Хранилище данных: • 60 ТБраспределённое отказоустойчивое сетевое хранилище T-Platforms ReadyStorage ActiveScale Cluster • 15 ТБлокальных дисков на узлах • Ленточное хранилище Quantum Scalar i500

  9. Компоновка системы Ряд 4 Ряд 3 Горячий коридор Ряд 2 Ряд 1 UPS Системы охлаждения Вычислительные узлы, система хранения, коммуникационная сеть PDU Газовые баллоны Батареи

  10. Система охлаждения • 8 кондиционеров APC InfraStruXure ACR502, уровень резервирования N+2 • Холодильные машины Liebert-Hiross SLH 023, одновременно работают 2 из 3 • Горячий коридор: • Меньший объём охлаждаемой части помещения • Более тесная компоновка • До 24 КВт на стойку • Встречные воздушные потоки

  11. Горячий коридор

  12. Горячий коридор

  13. Холодильные машины

  14. Система пожаротушения • Возможность ручного отключения всего комплекса • Инертный газ • 3 месяца тестирования на ложные срабатывания • При входе в помещение автоматическая система отключается

  15. Электрическое оборудование • 1-ый и 4-ый ряды стоек • PDU: APC AP9565 • UPS: APC Symmetra PX • Мониторинг: ISX Manager • Уровень резервирования N+1

  16. Программное обеспечение • Операционная система • ALT LinuxHPC • Параллельная среда • mvapich • Система управления • Cleo • Разработка программ • Компиляторы GCC, Intel, PGI, PathScale • Intel Cluster and Development Toolkit

  17. Суперкомпьютер МГУ “Ломоносов”

  18. Суперкомпьютер МГУ “Ломоносов” Всего в системе 10т гликоля и 40т воды

  19. Суперкомпьютер МГУ “Ломоносов”

  20. Суперкомпьютер МГУ “Ломоносов”

  21. Суперкомпьютер МГУ “Ломоносов”

  22. Суперкомпьютер МГУ “Ломоносов”

  23. Суперкомпьютер МГУ “Ломоносов” Вес оборудования машзала – 57 т, СБЭ – 92 т

  24. Суперкомпьютер МГУ “Ломоносов” Общая длина кабелей более 80 км

  25. Суперкомпьютер МГУ “Ломоносов”

  26. Презентация суперкомпьютера "Ломоносов" (25.11.2009)

  27. Суперкомпьютер МГУ “Ломоносов” 420 Тфлопс 350 Тфлопс 83% 4 446 8 892 35 776 T-Blade2, T-Blade 1.1, PowerXCell 8i Intel Xeon 5570, 2.93 GHz 56,5 ТБайт QDR Infiniband 1,35 ПБайт Clusrtx T-Platforms Edition 252 м2 1.5 МВт Пиковая производительность Реальная производительность Эффективность Число вычислительных узлов Число процессоров Число процессорных ядер Типы вычислительных узлов Основной процессор Оперативная память Коммуникационная сеть Система хранения данных Операционная система Занимаемая площадь Энергопотребление вычислителя

  28. 12-я редакция списка Top50 самых мощных суперкомпьютеров СНГ http://www.supercomputers.ru

  29. Работа на СКИФ МГУ «ЧЕБЫШЁВ» • Вход на головную машину Вход по ssh версии 2 на адрес skif-mgu.parallel.ru, IP-адрес: 212.192.244.31 ssh, SSH Secure Shell Client, PuTTY, Teraterm На вычислительные узлы вход запрещён. Передача файлов: протокол SFTP • Хранение файлов /home/<имя пользователя>- на системе хранения данных, доступны по сети на всех узлах, ограничено квотой.

  30. Работа на СКИФ МГУ «ЧЕБЫШЁВ» • Компиляторы • Intel Compilers 11.0. (C,C++,Fortran77/90,95) Команды: icc, ifort • Portland Group Inc. Compilers 7.2-3 (C,C++,Fortran77/90,95) Команды: pgcc, pgCC, pgf77, pgf90, pgf95 • PathScale Compiler Suite: Version 3.2 (C,C++,Fortran90/95) Команды: pathcc, pathCC, pathf90, pathf95 • GNU 4.1.2 (C,C++,Fortran) Команды: gcc, gfortran

  31. Работа на СКИФ МГУ «ЧЕБЫШЁВ» • Компиляция программ командыmpicc/mpicxx(С и С++) и mpif77/mpif90 (Фортран 77/90).Автоматически подключают заголовочные файлы и библиотеки MPI. Для программ на С++ нужно использовать расширение .C или .cpp, для программ на Фортран 90 - .f90 • Выбор компилятора и реализации MPI утилита mpi-selector: --list --set <name> По умолчанию - компилятор Intelи mvapich

  32. Работа на СКИФ МГУ «ЧЕБЫШЁВ» • Опции компиляции -c -o <имя> -O3 при компиляции mpicc/mpicxx и mpif77/mpif90не должны использоваться опции -static и-fast • Компиляция с OpenMP gcc/gfortran: -fopenmp icc/ifort: -openmp pgcc/pgCC/pgf77/pgf90: -mp export OMP_NUM_THREADS=8

  33. Работа на СКИФ МГУ «ЧЕБЫШЁВ» • Запуск приложений (Cleo) mpirun -np N program <параметры программы> mpirun -np 1 -as single program.e -q <очередь>–название очереди -maxtime <время>- максимальное время работы задачи в минутах • Просмотр состояния задачи tasks -q <очередь> -lпросмотр расширенной информации о задачах

  34. Работа на СКИФ МГУ «ЧЕБЫШЁВ» • Очереди на СКИФ МГУ «ЧЕБЫШЁВ» regular (4152 ядрa) - без локальных дисков, 8 ГБ ОП, hdd (520 ядер) - с локальными дисками, 8 ГБ ОП, hddmem (256 ядер) - с локальными дисками, 16 ГБ ОП, bigmem (64 ядра) - с локальными дисками, 64 ГБ ОП, test (80 ядер) - без локальных дисков, 8 ГБ ОП. Для очереди test лимит времени на одну задачу - 15 минут. Разрешено не более 10 задач одного пользователя в очереди, включая запущенные.

  35. Работа на СКИФ МГУ «ЧЕБЫШЁВ» • Просмотр результатов По окончании работы - сообщение на терминал. В рабочей директории создаются файлы: <задача>.out-<номер>и<задача>.rep-<номер> • Удаление задачи tasks [-q <очередь>] -d ID tasks [-q <очередь>] -d all

  36. Спасибо за внимание!

More Related