Распределенные вычисления, “облака” и Грид

1. Распределенные вычисления, “облака” и Грид Сергей Белов, ЛИТ ОИЯИbelov@jinr.ru

2. Вычисления вокруг нас 2

3. Человечество всегда нуждалось в вычислениях Военные цели Космос Наука Производство Строительство Финансы 3

4. Немного истории: инструменты для счёта 4

5. От отдельного компьютера к кластеру • Объединение компьютеров в сети позволило: • Значительно ускорить расчеты за счет распределения вычислительных задач между машинами • Повысить надежность хранения данных и общую отказоустойчивость системы 5

6. Добровольческие распределенные вычисления • В мире уже больше 1 миллиарда персональных компьютеров • Процессоры ПК в среднем используются не более чем на 5% • Можно задействовать простаивающие ресурсы для решения общезначимых задач, таких как: • Поиск лекарств от неизлечимых прежде болезней • Расшифровка генома • Расчет изменения климата на Земле • Предсказание землетрясений • Поиск внеземных цивилизаций 6

7. CERN - - Европейский Центр ядерных исследований WWW – 20 лет 7

8. Эксперименты на LHC The LHC Machine 8

9. 9

10. Потоки данных от LHC • ежегодно 10-15 миллионов гигабайт данных (около 3 миллионов DVD-дисков) • Для анализа данных необходимо порядка ~100,000 самых современных процессоров 10

11. Идея: вычисления и ресурсы как услуга Мобильный доступ О Б Е С П Е Ч Е Н И Е Г Р И Д Суперкомпьютеры, ПК- кластеры Рабочие станции Массовая память, сенсоры, эксперименты Визуализация Интернет, сети ПРОМЕЖУТОЧНОЕ ПРОГРАММНОЕ 11

12. Аналогия: электрические сети (“grids”) 12

13. Объединение ресурсов в грид 13

14. Институт A Институт Б Институт В Институт Г Институт Д Институт Е Виртуальные организации • Что такое ВО • Люди из разных организаций совместно используют ресурсы для работы над общими проектами • Зачем создавать Грид? • Общие данные • Объединение ресурсов • Сотрудничество • Более эффективное использование оборудования • Задумка: один большой Грид • Действительность: множество грид-сетей • Каждая грид-сеть предоставляет ресурсы одной или нескольким виртуальным организациям ВО1 ВО2 14 14

15. Что такое грид? • Грид – разновидность параллельной или распределенной системы, позволяющей объединять и совместно использовать географически распределенные ресурсы • “Скоординированное совместное использование ресурсов для решения общих задач в рамках виртуальных организаций” • Я. Фостер, К. Кессельман, С. Тьюке «Анатомия Грид» • Координирует использование ресурсов при отсутствии централизованного управления этими ресурсами • Использует стандартные, открытые, универсальные протоколы и интерфейсы • Должна нетривиальным образом обеспечивать высококачественное обслуживание 15

16. Преимущества Грид • Минимизация затрат при росте возможностей • Эффективное использование компьютерной инфраструктуры (например, использование простаивающих рабочих мест или свободных вычислительных ресурсов) • Увеличение доступных вычислительных мощностей (свои + партнеров) • Упрощение, большая скорость и надежность доступа к данным • Масштабируемость системы

17. Крупные грид-проекты в мире • EGEE - Enabling Grids for E-sciencE • Основная область применения — наука • Развиваются и коммерческие приложения • 50 стран, ~300 сайтов, ~73'000 процессоров • OSG — Open Science Grid • Научный Грид в США • ~40'000 CPUs (60MSI2k) • NorduGrid • 12 стран, 60 сайтов, ~25'000 CPUs • TeraGrid • Объединение суперкомпьютерных центров в США • 750TFlops, 30 Пбайт дисков 17

18. Часть инфраструктуры проекта EGEE

19. Российский сегмент Грид (РДИГ) • 15 ресурсных центров в РДИГ: • Ru-Moscow-SINP-LCG2, ITEP, JINR-LCG2, Kharkov-KIPT-LCG2, RRC-KI, RU-Moscow-KIAM-LCG2, RU-Phys-SPbSU, RU-SPbSU, Ru-Troitsk-INR-LCG2, ru-IMPB-LCG2, ru-Moscow-FIAN-LCG2, ru-Moscow-GCRAS-LCG2, ru-Moscow-MEPHI-LCG2, ru-PNPI, RU-Protvino-IHEP • Ресурсы • > 3300 процессоров • ~1000 в ОИЯИ • ёмкость дисков порядка 1.8Пбайт (1.8*1015 байт = 400’000 DVD) 19

20. Статистика работы РДИГ • 13.7миллионов вычислительных задач с 2004 года • 22.6миллиона часов процессорного времени = 2.6тысяч лет работы одного компьютера ! • Задачи от33виртуальных организаций • alice, ams , atlas, atlaspil, atlasru, batch, biomed, cms, cms3, dteam, eearth, esr, fusion, fusion_rdig, geant4, gear, gridit, hcbp, hone, imain, iteam, lhcb, lhcbpil, lrgst, nw_ru, ops, pamela, photon, rdteam, rfusion, rgstest, sgmeearth,staff • Нормализованное процессорное время за последний год – 27.2миллиона условных часов • ALICE - 29% • ATLAS - 23% • CMS - 17% • LHCb - 25% • Другие ВО 6% 94% 20

21. Разные проекты из области грид 21

22. Применения грид-технологий • Авиационная промышленность • Автомобилестроение • Криптоанализ • Расчет лекарств • Финансы (моделирование, принятие решений, data mining) • Нефтегазовая отрасль (моделирование, разведка месторождений) 22

23. Применения грид-технологий • Построение более быстрых и надежных распределённых корпоративных информационных систем • Научные исследования (физика, биология, астрономия, медицина, геология и т.д.) • Обработка результатов космической фотосъемки • Создание анимации и спецэффектов в киноиндустрии 23

24. К «информационной» экономике • С ростом автоматизации и производительности труда падает число занятых в производстве материальных благ • Основная активность переносится в информационную область и сферу услуг Для экономики, ориентированной на обработку информации, нужны свои средства производства и ресурсы 24

25. «Облачные вычисления» Предоставление по запросу пользователей: Инфраструктуры (серверов) как услуги- IaaS Платформы (серверы+ОС) как услуги - PaaS Программного обеспечения (серверы+ОС+ПО) в качестве услуги - SaaS Доступ к услугам осуществляется через Интернет 25

26. Грид и «облака» • Грид • из научной среды • до 2000 года • географически распределен • вычисление и доступ к данным как услуга • «Облака» • из бизнеса • 2007 год • может располагаться в одном месте • может предоставлять произвольные информационные сервисы в виде услуги Общая идея: предоставление доступа к компьютерным услугам как к ресурсу, виртуализация (скрытие внутренней реализации) 26

27. «Облака» и грид в запросах к Google число поисковых запросов число новостей по теме Грид (“grid computing”) Облачные вычисления (“cloud computing”) 27

28. Возможные перспективы облако/грид из мобильных устройств 28

29. Возможные перспективы объединение национальных грид-сетей в облако, расширение набора предоставляемых сервисов? 29

30. Возможные перспективы Skynet? Облачные вычисления включат в себя все типы компьютерных ресурсов? 30

31. Киберинфраструктура Web 2.0 SaaS Разделяемые инфраструктура и сервисы SOA Автоматизация Грид Виртуализация 31

32. 32