Суперкомпьютерный кластер СКИФ - Политех

1. Суперкомпьютерный кластерСКИФ - Политех Введен в действие в феврале 2007 года

2. QLogic InfiniPath 24 compute nodes Gigabit Ethernet …... Конфигурация СКК • СКИФ-Политех Состав СКК: • Выч. узлы: 24 • Количество процессоровв узле: 2 • Модель процессора: Intel Xeon 5150, 2.667GHz - двухядерный • Объем ОЗУ: 8 ГБ • Объем HDD: 120 ГБ • Тип HDD: SATA • Форм-фактор узла : 1U • Коммуникационная сеть: QLogic InfiniPath • Количество портов: 24 • Пропускная способность FBB: 10Гбит/с • Пропускная способность на уровне MPI: 800МБ/с • Задержка на уровне MPI: 2.5 мкс • Транспортная сеть • Gigabit Ethernet 48 портов • Сервисная сеть • СКИФ-ServNet – управление узлами • Система Хранения Данных • Объем: 5 TB • Производительность 350 МБ/сек • Поддержка протоколов: NFS,CIFS TPUNet login nodes System Mgt node СХД

3. Состав СКК-Управляющий узел • Количество процессоров: 2 • Модель процессора: Intel Xeon 5150, 2.667GHz • Объем ОЗУ: 8ГБ • Количество HDD: 4 • Объем HDD: 120ГБ • Тип HDD: SATA RE с возможностью горячей замены (Hot/Swap) • Контроллер RAID: SATA 4-канальный • Дополнительно: DVD/CDRW; FDD; 2-канальный контроллер FC • Блок питания: Redundant 2x500W • Форм-фактор: 2U

4. Показатели производительности СКК • Пиковая производительность: 1021 Gflops (около 1 Tflops) – один триллион или 1×1012 Fflops • Максимально достигнутая производительность на тесте Linpack: 791 GFlops – вышли из топ 50 по России (начинали с 10-го)http://www.supercomputers.ru/?page=rating • Размер матрицы, на котором эта производительность получена: 150000

5. Системное программное обеспечение СКК ОС: -Linux (Novell SLES 10 - SUSE LINUX Enterprise Server) -MS Windows HPC Server 2008 Трансляторы с языков: C,C++, Fortran Библиотека параллельных программ: QLogic MPI ПО управления и мониторинга: Ganglia Toolkit, ServNet CLEO

6. Новые ресурсы • В конце 2007 года приобретен SMP сервер Kraftway Express 400 в составе: • 4 * CPU quad-Core Xeon 7120 3,00 GHz/ 1066 МГц • RAM 32 Gb (16*2 Gb) • 5*HDD SCSI 146 Gb • ОC – Windows HPC Server Enterprise 2008 • ПО - MathWorks (Matlab), COMSOLMultiphysics, Wolfram Research (Mathematica 7.2) Gridmathematica (на 16 ядер) - Все Academic Editions

7. Новые ресурсы • Intel® Math Kernel Library 10 • Intel ® VTune™ Performance Analyzer 9 & Trace Analyzer And Collector 7.1 • Intel® Cluster Toolkit • Surfer (Golden Software) (Windows) • OriginLab Origin 8(Windows) – 2D-3D графика

8. 4 шасси (40 лезвий) InfiniBand Gigabit Ethernet Конфигурация Sblade Состав Sblade: • Выч. лезвия: 40 • Количество процессоровв лезвии: 8 • Модель процессора: Quad-Core Intel Xeon X5570 2,93 ГГц (Nehalem) • Объем ОЗУ лезвия: 12 ГБ • Объем HDD лезвия: 250 ГБ • Тип HDD: SATA • Форм-фактор лезвия : SBI-7126T1E • Шасси SBE-710E-R60 • Коммуникационная сеть: InfiniBand • Пропускная способность FBB: до 40Гбит/с • Система Хранения Данных • Объем: 15 TB • Производительность 350 МБ/сек • Поддержка протоколов: NFS,CIFS TPUNet login nodes System Mgt node СХД

9. Характеристика кластера 2007 Аппаратное обеспечение: Количество процессоров/ядер: 80/320 Процессор (Nehalem) X5570: 2,93 Ghz Общий объем оперативной памяти: 480 Gb Общий объем внешней памяти: 10 Tb Коммуникационная сеть: Infiniband Пиковая производительность: 3,7 Tflops Тест Linpack: 3,2 Tflops • Программное обеспечение • Операционные система: SUSE Linux 11 • Прикладное ПО: • Mathematica • Matlab • Comsol • Eclipse Parallel – достигнуто соглашение 2010

10. Системное программное обеспечение Sblade ОС: -Linux (Novell SLES 11 - SUSE LINUX Enterprise Server) Трансляторы с языков: gcc, Fortran, C++ (Portland), Библиотека параллельных программ: MVAPICH ПО управления и мониторинга: Ganglia Toolkit, SM IPMIView- ПО удал. админ Torgue

11. Варианты использования СКК • Собственные программы на языках C, C++, Fortran – свободно рапспростроняемое СПО, возможны коммерческие варианты. • Применение программных систем, обеспечивающих внутреннюю параллельность для выполнения расчетов (моделей) в различных предметных областях – коммерческое ПО.

12. Проблема программирования для СКК • Висходном состоянии последовательные программы не распараллеливаются • Для эффективного использования ресурсов СКК разрабатываются программы, обеспечивающие распараллеливание вычислений и сбалансированную загрузку процессоров. • При разработке оригинальных программ необходимо выполнить анализ алгоритма вычислений на предмет выявления операций, которые могут быть выполнены параллельно. • Трудоемкость разработки параллельных программ достаточно высока и следует оценивать эффективность затрат.

13. OpenMP • OpenMP- система параллельного программирования в системах разделения оперативной памяти (SMP) • Является квазистандартом программировангия • Представляет собой API для Fortran и C/C++. • Директивы • Модули выполнения • Переменные среды • www.openmp.org Операционные системы, среды и оболочки

14. MPI-message passing interface • MPI – средство для обеспечения обмена сообщения между процессами, выполняющимися на различных узлах при решении общей задачи на C и Fortran. • Состоит из 125-129 процедур и функций, предназначенных для управления группами взаимодействующих процессов (коммуникаторами), а также передачи и приема одиночных и коллективных сообщений между процессами. Операционные системы, среды и оболочки

15. Варианты технологии программирования • Linux • Ssh, Командная строка, редактор VI, повторение компиляция-исполнение • VNC, Графическая среда, Eclipse PTP • Windows HPC 2008 • RAS, VisualStudio

17. Порядок получения доступа на СКК • Доступ к ресурсам СКК реализуется в удаленном режиме (через Интернет) • Подготовить письмо на имя Научного руководителя ИКЦ с просьбой о выделении ресурсов СКК и заполнить анкету (форма заявления на сайте кластера http://cluster.tpu.ru) • Ознакомиться с информацией для пользователей на сайте • Получить Login/Password в 202-а КЦ • Приступить к использованию ресурсов СКК в режиме удаленного доступа • Консультации по применению СКК и установки ПО проводят администраторы СКК в 202-а КЦ.

18. Одна из страниц сайта СККhttp://cluster.tpu.ru Вопросы направлять по адресу e-mail:aad@tpu.tu

19. Типичное распределение загрузки СКК в европейском университете

20. ANSYS • http://www.ansys.ru/ - конечно элементный пакет (FEM), предназначенный для решения в единой среде на одной и той же конечно-элементной модели задач по прочности, теплу, электромагнетизму, гидрогазодинамике, многодисциплинарного связанного анализа и оптимизации. • Дополнительный модуль параллельных вычислений Parallel Performance for ANSYS позволяет решать большие задачи на кластерах.

21. Варианты ANSYS • ANSYS CFX - для анализа гидрогазодинамических процессов, многофазных потоков, химической кинетики, горения, радиационного теплообмена и многих других • Multiphysics – полный пакетвключает все возможные физические дисциплины (прочность и тепло), а также электромагнитный анализ (магнитостатика, электростатика, электропроводность, низкочастотный гармонический анализ, высокочастотный анализ) и гидрогазодинамику (стационарная и нестационарная, сжимаемые и несжимаемые, ламинарные и турбулентные потоки; естественная и вынужденная конвекция, сопряженный теплоперенос; вязкие и многокомпонентные течения; фильтрация). • Конкурент ANSYS ABAQUS- http://www.abaqus.com/

22. Пример применения моделирования ANSYS • Распределение нагрузки на элементы конструкции

23. ANSYS LSTC LS-DYNA • Программный комплекс LSTC LS-DYNA - многоцелевой конечно-элементный комплекс разработки Livermore Software Technology Corp. - предназначен для анализа высоконелинейных и быстротекущих процессов в задачах механики твердого и жидкого тела. • LSTC LS-DYNA: нелинейная динамика, теплоперенос, теплообмен, термомеханика, разрушение и развитие трещин, контакт, квазистатика, Эйлерово и произвольное Лагранж-Эйлерово поведение, акустика, многодисциплинарный связанный анализ (взаимодействие потоков жидкостей и газов с деформируемой конструкцией, например, колебания жидкости в баках, связанные термомеханические задачи и др.). • Широко используется в Южно-Уральском университетеhttp://supercomputer.susu.ru/

24. Другие пакеты, работающие на СКК • MATLAB совместно с Distributed Computing Toolbox для СКК • AutoCAD, Autodesk Inventor, CATIA, PRO/Engineer, SolidWorks, Unigraphics – задачи проектирования • Gaussian – Химия, квантовая механика, молекулярная динамика • Продукты MSC.Software –Реализует задачи полного комплекса моделирования, исследований и расчётов, создания интегрированной информационной среды в инженерных отделах предприятий, обеспечения связи систем CAE и CAD на высоком уровне: MSC.Nastran, MSC.Patran, MSC.ADAMS, MSC.Fatigue, MSC.Dytran, MSC.Marc, MSC.AMS, MSC.SuperModel, MSC.FlightLoads, MSC.Mvision, MSC.Construct, MSC.Akusmod. (Широко используются в ВУЗах – МГТУ им. Баумана, МФТИ, МИФИ, ИГТУ,…).

25. Химические пакеты • Accelrys http://accelrys.com/downloads/freeware/- поставщик ПО и решений для фармацевтики, биотехнологии и исследований химических производств. • Accord • Catalyst • Cerius2 • Chemical Databases Consortia • Discovery Studio • GCG • Materials Studio • QUANTA • SciTegic

26. Для нефтяной отрасти • Schlumberger, ECLIPSE Petrel – высокопроизводительные вычисления при гидродинамическом моделировании.

27. Направления применений кластера Виртуальный промысел Выполнение расчетов научных исследований Центр спутниковых коммуникаций Повышение квалификации сотрудников университета