Предпосылки появления технологии ГРИД Сущность технологии Грид Ресурсы Грид

1. О технологии GRIDиеё применении в ФВЭЮ.Ф.РябовПетербургский институт ядерной физики им.Б.П.Константинова РАН(ПИЯФ РАН) .

2. Содержание • Предпосылки появления технологии ГРИД • Сущность технологии Грид • Ресурсы Грид • Состав управляющего программного обеспечения Грид • Области применения Грид • Грид проекты • Всемирная научная ГРИД- инфраструктура (проект EGEE/LCG) и участие в нем РФ • Грид для обработки данных с ускорителя БАК(LHC) в ЦЕРНе

3. Что такое Грид? “GRID” - некоторая аналогия с электрическими сетями (power grid), предоставляющими всеобщий доступ к электрической мощности. Обеспечивает доступ пользователей к распределенным вычислительным ресурсам и архивам данных Интернет с помощью WEB-технологии обеспечивает доступ только к информационным ресурсам(серверам)

4. Предпосылки появления Грид технологии • Необходимостью решения сложных научных, производственных,инженерных и бизнес-задач. • Ростом объемов данных,которые нужно обрабатывать. • Наличием во многих организациях вычислительных ресурсов. • Стремительным развитием сетевой транспортной среды и технологий высокоскоростной передачи данных. • Развитием сотрудничества для совместных исследований на уровне организаций,стран

5. Концепция технологии Грид • Объединенные сетью центры обработки данных и • соответствующее программное обеспечение ”middleware” • как элемент, • связывающий ресурсы Пользователи используют ресурсы, общаются с коллегами, имеют доступ к данным независимо от своего местоположения. Научные инструменты и эксперименты поставляют огромные массивы данных

6. Что такое Грид? • Грид это концепции и технологии интеграции • расположенных в разных местах телекоммуникационной сети (т.е.распределенных) • вычислительных систем для обеспечения • более эффективного использования • вычислительных ресурсов для • решения прикладных задач • Грид этодоступ пользователей к этим вычислительным систем осуществляемый через единый интерфейс с использованием протоколов разного уровня 8

7. Уровни архитектуры протоколов Грид Предпосылки и их соответствие уровням архитектуры протоколов Интернет Уровни протоколов Интернет Уровни протоколов ГРИД Прикладной Прикладной Коллективный Ресурсный Транспортный Связывающий Сетевой Базовый Канальный

8. Что такое Грид Грид это географически распределенная вычислительная инфраструктура,объединяющая ресурсы различных типов с коллективным доступом к этим ресурсам в рамках Виртуальных организаций,состоящих из предприятий и специалистов.совместно использующих эти ресурсы

9. Виртуальные организации Виртуальная организация представляет собой новую форму проблемно – ориентированной кооперации предприятий, научных центров, образовательных учреждений, а так же отдельных пользователей, осуществляемую на основе совместного использования принадлежащих им интеллектуальных, программных, информационных и аппаратных ресурсов.

10. Ресурсы ГРИД - системы работают со следующими типами ресурсов: • Информационные ресурсы особый вид ресурсов памяти, служат для хранения и предоставления метаданных и информации о других ресурсах ГРИД • Вычислительные ресурсы - компьютеры, кластеры • Основная характеристика – производительность • Ресурсы хранения данных • диски и дисковые массивы, ленты, системы массового хранения • Основная характеристика – объем • Сетевые ресурсы • связующее звено между распределенными ресурсами ГРИД • Основная характеристика – скорость передачи данных • Программное обеспечение ( базовое,промежуточногоуровня- • middleware, прикладное)

11. ПО промежуточного уровня(middleware) Мобильный доступ G R I D M I D D L E W A R E Суперкомпьютера, PC-кластеры Рабочие станции Хранилища данных, эксперименты, … Визуализация Internet, сети Ресурсы Виртуальные организации Middleware Безопасность Приложение

12. Middleware Обеспечивает общие услуги Grid • Управление Заданиями • Управление Данными • Безопасность • Регистрация • Мониторинг

13. Доступ пользователя для работы в Грид UI • Аутентификация (вход в ГРИД) • Пользователь получает сертификат от Certificate Authorities (CA) • Соединяется с UI по SSH (UI – сервис пользовательского интерфейса) • Загружает сертификат на UI • “Входит” в Грид • Авторизация (права доступа к ресурсам) • Пользователь вступает в ВО • ВО согласовывает доступ к Грид-узлам и ресурсам • Права пользователя определяются его членством в ВО Ежегодно CA VO mgr VO service VO database Ежедневно Определяет права доступа

14. Пользовательский интерфейс (UI) Элементы Грид принимает задание от пользователя согласует требования к ресурсам, содержащиеся в описании задания, с имеющимися в наличии свободными ресурсами и направляет задание на подходящий сайт. Элемент хранения(SE) обеспечивает единообразный доступ к любым накопителям данных. может управлять дисковыми массивами, массовой памятью и т.п. скрывает детали и обеспечивает единообразный доступ к данным. обеспечивает для пользователя возможность входа в ГРИД. Служба информации (IS) Каталог реплик (RC) поддерживает базу данных о характеристиках и состоянии вычислительных ресурсов и ресурсов хранения данных поддерживает базу данных о местах хранения оригинальных файлов и всех их копий. Брокер ресурсов(RB) Вычислительный элемент(CE) выполняет фактические вычисления, на нем установлено программное обеспечение для выполнения заданий конечных пользователей.

15. Масштабы Грид-структур Международный Грид(EGEE) Национальный Грид Wider collaboration greater resources Региональный Грид Гриды учреждений Отдельный компьютер

16. Проекты Грид

17. EGEE-II: Участникииресурсы • Более 90 партнёров • 36 стран • 12 федераций Ведущие международные и национальные Грид проекты в Европе, США, Азии + 27 стран, участвующих в партнёрских проектах: • BalticGrid • SEE-GRID • EUMedGrid • EUChinaGrid • EELA

18. Проект EGEE-II (Enable Grid for E-science) Страны - поставщики ресурсов Страны, готовые вступить EGEE/LCG-2 грид: 160центров, 36 стран >15,000 процессоров, ~5 PB памяти Другиенациональные и региональные гриды: ~60 центров, ~6,000 процессоров

19. Участие России в проекте EGEE • В целях обеспечения полномасштабного участия России в этом проекте был образован консорциум РДИГ (Российский ГРИД для интенсивных операций с данными – Russian Data Intensive GRID, RDIG) для эффективного выполнения работ по проекту и развитию в России инфраструктуры EGEE, с вовлечением на следующих этапах проекта других организаций из различных областей науки, образования и промышленности. • Консорциум РДИГ, согласно принятой в проекте EGEE структуре, входит в проект в качестве региональной федерации “Россия” (“Russia). • Главной задачей РДИГ является участие в обработке данных с Большого Андронного Коллайдера(БАК)

20. RDIG Consortium-EGEE federation • ИФВЭ (Институт физики высоких энергий, Протвино) • ИМПБ РАН (Институт математических проблем биологии, Пущино) • ИТЭФ(Институт теоретической и экспериментальнойфизики) • ОИЯИ (Объединенный институт ядерных исследований, Дубна) • ИПМ РАН (Институт прикладной математики) • ПИЯФ РАН (Петербургский институт ядерной физики, Гатчина) • РНЦКИ (Российский научный центр «Курчатовский институт») • НИИЯФ МГУ (Научно-исследовательский институт ядерной физики МГУ) • СПбГУ (Санкт-Петербургский государственный университет) • НГУ (Новгородский государственный университет)

21. Российский региональный центр JINR IHEP ITEP RRC KI SINP MSU SPbSU PNPI LCG Tier1/Tier2 cloud FZK CERN GRID access … 1Gbits/s RRC-LHC Tier2 cluster Regional connectivity: cloud backbone –1 Gbit’s/s to labs – 100–1000 Mbit/s Collaborative centers

22. Управление ГРИД EGEE/LCG • Операционный центр управления (OMС) • ЦЕРН - общая координация • Центры базовой инфраструктуры (CIC) -5 центров (Великобритания, Франция, ЦЕРН, Италия, Россия) • обеспечение постоянной (24x7) работы базовых грид-служб, мониторинг системы; • реализация и контроль за выполнением правил, выработанных OMS • обеспечение поддержки узлов • 2-го уровня • Региональные операционные центры (ROC)~ 11 центров • поддержка пользователей и администраторов ресурсов • координация региональных ресурсов

23. Ресурсные центры RC RC RC RC ROC RC RC RC RC RC ROC RC RC RC CIC CIC RC ROC RC CIC OMC CIC CIC CIC RC RC RC ROC RC RC RC OMC-операционный центр управления CIC- центр базовой инфраструктуры RC = Resource Centre

24. Мониторинг узлов EGEE/LCG

25. Примеры • Физика высоких энергий симуляция, реконструкция, анализ, … • Медицина / Здравоохранение отображение, диагностика и лечение • Биоинформатикагеном человека, … • Нанотехнологии разработка новых материалов на молекулярном уровнe, … • Инженерия авиационная безопасность, … • Природные ресурсы и Окружающая среда прогноз погоды, … • Искусство • Материаловедение

26. Биомедицина • Филогенетика • Статистическа генетика • Паразитология • Маммология • …

27. Искусство Сканер Thomson Музей виртуального искусства El Pais (MUVA) http://www3.diarioelpais.com/muva/

28. Об экспериментах в ФВЭ • Индустриальный подход к созданию установок • Уникальность экспериментальной базы • Масштабность экспериментов • Дороговизна создания установок и проведения экспериментов • Международный характер исследований • Длительность работы экспериментальных установок • Огромный объем экспериментальных данных • Фундаментальность научных целей

29. О ЦЕРНе (CERN) • Крупнейший в мире исследовательский центр по ФВЭ • Работают представители ~500 университетов и институтов (штат~2500чел.,6500 визитеров из ~40 стран) • Сделано много открытий и разработано много новых технологии, включаяWWW. • Расположен на границе Щвейцарии-Франции

30. CERN Collaborators Europe: 267 institutes 4603 users Elsewhere: 208 institutes 1632 users CERN has over 6,000 users from ~500 institutes from around the world LHC Computing uniting the computing resources of particle physicists in the world!

31. Большой адронный коллайдер

32. Эксперимент ATLAS AToroidaLApparatuS for LHC View of LHC @ CERN ATLAS

33. Детектор ATLAS Диаметр25м Длина 46 м Вес7000тонн Участники создания: 150 институтов и университетов из 34 стран

34. Научные цели экспериментов на БАК Космологические цели • Что такое масса? • Что такое “темная материя”? • Куда исчезла антиматерия? Какие открытия ожидают от экспериментов? • Суперпартнеры (открытие суперсимметрии) - вероятность 50% • Черные дыры (mini)- вероятность 5% • Higgs Boson(новая частица в рамках “стандартной модели”)

35. Цель обработки данных БАК Начиная с такого события… Избирательность: 1 из 1013 Это как искать человека среди толпы в тысячу раз больше, чем население Земли! Или как иголку в 20 миллионах стогах сена! Мы ищем вот такой “след”

36. Данные БАК 1 Мегабайт (1MB) Цифровая фотография 1 Гигабайт (1GB) = 1000MB DVD фильм 1 Терабайт (1TB)= 1000GB Объём всех книг, изданных за год в мире 1 Петабайт (1PB)= 1000TB Производит за год один эксперимент БАК 1 Экзобайт (1EB)= 1000 PB Объём информации, которую производит за год всё человечество • 40000000 столкновений в секунду • После фильтрации, остаётся только 100 событий в секунду • Объём оцифрованных данных для одного события ~ 1Мб • За год необходимо записать 1010 событий = 10 Петабайт данных в год CMS LHCb ATLAS ALICE

37. Воздушный шар (30 Км) Необходимость ГРИД для БАК Стопка CD дисков с данными БАК за 1 год (~ 20 Км) Конкорд (15 Км) Монблан (4.8 Км) • Объём получаемых данных LHC соответствует 20 миллионам записанных CD дисков в год. Где их хранить? • Анализ данных LHC потребует вычислительных мощностей, эквивалентных мощности 100000 самых современных процессоров.Где их взять? • РесурсыЦЕРН уже сейчас составляют более 1000 2-х процессорных ПК и 1 Пб памяти на дисках и на лентах. Но этого мало!!! Выход – объединение вычислительных ресурсов физиков всего мира

38. Модель обработки данных Offline farm recorded data Online system Церн вычисл.центр Tier 0 . . Regional Center Regional Center Regional Center Tier 1 . . . Tier 2 Tier2 Center Tier2 Center Tier2 Center workstation Tier 3 InstituteA InstituteB

39. Топология сети для обработки данных БАК

40. Распределение CPUtime в EGEE/LCG по ВО Распределение CPU time в EGEE/LCG по VO

41. Распределение CPU time по регионам

42. Активность RDIG в EGEE/LCG за 2006г.

43. Активность RDIG в EGEE/LCG за 2006г.

44. Направление работ по EGEE/LCG в ПИЯФ • Обеспечение работы кластера в Грид-структуре EGEE/LCG (в состав кластера входят свыше 100 процессоров) • Тестирование ПО промежуточного уровня -g-Lite (stress- tests) • Поддержка прикладного ПО всех (4-х) БАК экспериментов • Обеспечение работы в ВО nw_ru для обучения (работа в Грид) и счета вне коллабораций

45. If “The Grid” vision leads us here… … then where are we now?

46. Полезные ссылки • http://www.gridclub.ru/ - Интернет-портал по грид- технологиям • http://grid.jinr.ru/ - грид-портал ОИЯИ • http://www.eu-egee.org - проект EGEE-II • http://www.egee-rdig.ru/ - RDIG консорциум • http://rocmon.jinr.ru:8080/accounting/ - мониторинг RDIG • http://egee.sinp.msu.ru/gateway/index.php - НИИЯФ МГУ • http://egee.pnpi.nw.ru/ - ПИЯФ РАН

47. Спасибо за внимание