Сергей Данилов Oracle СНГ Ведущий консультант по Базовым технологиям Государственный сектор

2. Сергей Данилов Oracle СНГ Ведущий консультантпо Базовым технологиям Государственный сектор Анатолий Барышников Oracle СНГ Менеджер проектов Государственный сектор

3. ВведениевOracle Enterprise Grid

4. The best thing about the Grid is that it is unstoppable. The Economist, June 21, 2001 2

5. 40 лет назад... В 1964 году компания IBM создала первый mainframe под управлением OS/360 Gene Amdahl (Джин Эмдал) покинул IBM чтобы основать собственную компанию Admahl Computing Начинается гонка по созданию больших серверов

6. Через 40 лет... В гонку включается даже компания Microsoft! Продемонстрирована работа SQL Server на 64 процессорной машине под Windows Общая тенденция: Всем нужны все более и более крупные серверы

7. Недостатки такой архитектуры 1. Приложения перерастают даже самые большие компьютеры 2. Большие компьютеры дороги.Один процессор стоит 30-50 тыс. долларов. 3. Один большой компьютер –“недублированная точка отказа”(single point of failure) - Все равно не надежно

8. Модель Grid вычислений Oracle(Enterprise Grid Computing) • Объединение • Виртуализацияи распределение ресурсов • Выравнивание нагрузки • Качество сервиса • Автоматизация

9. Идея GRID Computing • Объединение множества компьютеров в один суперкомпьютер («Сеть – это Компьютер») • Вычисления как коммунальная услуга (Computing Utility) • Аналог: Электрические сети (power grid) • Следующий шаг развития Internet (вторая, после Web, революция в Сети) • С точки зрения потребителя вычислительных ресурсов: • Не важно, где в сети размещаются данные и какой компьютер обрабатывает запрос на их обработку • «Обработка данных по требованию»

10. “В мировом масштабе, компаниитратятболеечем $49 миллиардоввгод на серверы, аопросы IT-директоров показывают, чтоутилизация серверов составляет 60% или менее.” –Forrester Research, April 2002

11. Уровень информированности об утилизации инфраструктуры Вполне уверен = Не уверен = Насколько Вы уверены в знании уровня утилизацииинфраструктуры? QNB Intelligence “Beyond Infrastructure ”, Sep.2003

12. Стиль мышления, далекий от стратегического Мы настраиваем сеть Мы ре-конфигурируем серверы Мы немедленно покупаемдополнительные серверы Мы ограничиваемтребования пользователей Мы ищем иные способырешения проблем Мы не знаем Какая из приведенных фраз в наилучшей степени отражает Ваш подход к решению проблемы перегрузки инфраструктуры? QNB Intelligence “Beyond Infrastructure, Sep.2003”

13. Проблема:«островки» приложений • Готовность < 99.x%, недублированные точки возможного отказа, проблемы безопасности • Ограниченная масштабируемость • Специальное конфигурирование оборудования и ПО с учетом требований пиковой нагрузки Sales Files HR Procurement Service Supply Chain Financials

14. Обособленные ресурсы Высокая стоимость Сложное реконфигурирование Возможны отказа Сложное администрирование Разделяемые ресурсы Недорогие компоненты Динамическое выделение ресурсов Высокая надежность Унифицированное управление Enterprise Grid решает проблему «островков» приложений Coordinated use of many small servers acting as one large computer. Проблема Решение в GRID

15. Определение Grid “Grid представляет собой кластеры компьютеров или серверов, специальным образом связанных между собой, что позволяет использовать их как общий пул вычислительных ресурсов” –“Defining Grid Computing”, Giga Research, August 2002

16. Новые термины • Grid – сеть распределенной обработки данных • Grid Computing – технология распределенной обработки данных • Enterprise Grid – корпоративная сеть распределенной обработки данных

17. “Эволюция”GRID УниверсальныйGRID Создание универсальнойсреды предоставлениявычислительных услуг Корпоративный GRID Распределение ресурсов внутри корпораций Технический GRID Технические распределенныеприложения Научный GRID Совместное использование ресурсов в академической среде для решения сложных вычислительных задач

18. Идеи GRID • Утилизация неиспользуемых ресурсов • Разделение ресурсов (resource pooling) • Выделение ресурсов (resource provisioning)

19. Партиционирование одного большого сервера Дорогие элементы Полное, интегрированное ПО Высококачественный сервис за большую цену Скоординированное использование множества маленьких серверов Дешевые, стандартные, модульныеэлементы Открытое, полное, интегрированное ПО Высококачественный сервис за низкую цену Решение: Computing On Demand “Mainframe”Модель Grid Computing Модель

20. Why Grid is the Next Big Thing? • Новая экономика управления данными («affordability») • Развитие компьютерных платформ • Blade-servers (серверы-лезвия) • Blade-farms (фермы серверов-лезвий) • Развитие операционных систем: • Высокая динамика развития Linux как серверной ОС • Linux – основная ОС для серверов-лезвий • Внимание ведущих игроков рынка IT • HP (Computing Utilities), Sun (N1), IBM (On Demand) *Benny Souder, Vice-President, Distributed Database Development

21. Программная инфраструктура сети распределенных вычислений организации

22. Технологический стекприкладных программных систем Аналитические приложения Бизнес- анализ Приложения Приложения оперативной обработкитранзакций Транзакционныесистемы Средства разработки Управлениесообщениями Управление потокамиработ Общая инфраструктура Средства защиты Обработка транзакций Планировщик и маршрутизатор Общие Сервисы Инфраструктура OracleApplication Server Серверприложений OracleDatabase СУБД

23. Концепции самоуправления Концепция Содержание Самоконфигурация Автоматическое конфигурирование компонентов и систем в соответствии с высокоуровневыми правилами Самооптимизация Компоненты и системы постоянно ищут возможность увеличить своюпроизводительность и эффективность Самовосстановление Система автоматически выявляет, диагностирует и исправляет локализованные программные и аппаратные проблемы Самозащита Система автоматически защищается отвредоносных атак или ошибок, используетсредства раннего предупреждения для прогнозирования сбоев

24. OracleEnterprise Grid Корпоративная сеть распределенной обработки данных

25. Storage Grid Database Grid Application Server Grid Oracle Enterprise Grid Согласованное использование множества серверов, работающих какодин большой компьютер Grid Control

26. Storage Grid Корпоративная сеть устройств хранения данных

27. Oracle Storage Grid • Проблема: изолированные устройства хранения данных • “Утилизация емкости устройства хранения данных составляет 50%, но возрастает ежегодно на 30%” • Решение: ASM

28. Управление системой хранения данных* • Переносимая файловая система • Нет томов: только виртуальный диск • Высокая гранулярность • Диск разбит на фрагменты по 1 Мбайт каждый • Исключается необходимость использования традиционных файловых систем и менеджеров томов (volume manager) • Автоматическое зеркалирование (mirroring) • Автоматическаянастройка ввода/вывода • Распределяет данные по дискам, чтобы сбалансировать использование их емкостей *Automatic Storage Management - ASM

29. ASM: Добавление нового устройства Сбалансированное использованиесуммарной емкости устройствхранения

30. ASM - Добавление новой группы устройств хранения 1 • Автоматическая балансировка «на лету»при любых изменениях конфигурации • Данные автоматически переносятся пропорционально на новые носители Дисковая группа 1 Дисковая группа 2

31. ASM - Добавление новой группы устройств хранения 2 • Автоматическая балансировка «на лету»при любых изменениях конфигурации • Данные автоматически переносятся пропорционально на новые носители • Оперативная миграция на новую группу устройств хранения Дисковая группа 1 Дисковая группа 2

32. ASM - Добавление новой группы устройств хранения 3 • Автоматическая балансировка «на лету»при любых изменениях конфигурации • Данные автоматически переносятся пропорционально на новые носители • Оперативная миграция на новую группу устройств хранения Дисковая группа 1 Дисковая группа 2

33. ASM - Добавление новой группы устройств хранения 4 • Автоматическая балансировка «на лету»при любых изменениях конфигурации • Данные автоматически переносятся пропорционально на новые носители • Оперативная миграция на новую группу устройств хранения Дисковая группа 2

34. 0010 0010 0010 0010 0010 0010 0010 0010 0010 0010 Стек технологий ASM СЕГОДНЯ Tables Tables Tablespace Oracle ASM Tablespace Files Files File System File System Logical Vol Logical Vol Disks Disk Group “Лучший способ снизить стоимость управления – уменьшить сложность”

35. Сокращение затрат на управление системой хранения данных 8 7 7 6 6 6 8 7 5 6 4 5 4 Число шагов 2 2 3 2 0 0 1 0 Удалитьустройство Переместитьустройство Настройкаввода/вывода Управлениепамятью Установка Добавитьустройство Oracle ASM Традиционная архитектура

36. Поддержка сверхбольших баз данных • Размер базы данных увеличен до миллионов террабайт (8 Exabytes) • Неограниченный размер данных типа LOB (террабайты) • Ultra Large Data File – террабайты в одном файле • Хранение данных в файлах: тип данных BFILE • Хранение таблиц в файлах: внешние таблицы (external tables)

37. ОрганизацияПлатформа Размер БД #DBAs France Telecom HP Superdome 49 TB 2 Acxiom HP Alpha GS320 12 TB 2 Acxiom HP Alpha GS320 6 TB (9i RAC) 2 Amazon.com HP Superdome 13 TB 2 Поддержка сверхбольших базданных http://www.wintercorp.com/vldb/2003_TopTen_Survey/TopTenWinners.asp

38. Database Grid Корпоративная сеть серверов баз данных

39. Oracle Database Grid • Проблема: «островки»обработки данных • “Вычислительные ресурсы серверов баз данных используются только на 15%“ • Решение: консолидация процессов обработки данных, объединение серверов промышленных стандартов в вычислительные пулы • Стандартные серверы невысокой стоимости (Intel, Linux) • Вычислительные мощности по требованию • Кластеры баз данных (shared disk)

40. Три способа организации данных в Enterprise Grid • Централизацияданных в единой базе данных • Кластеризация на основе Oracle10g Real Application Clusters • Множество самостоятельных независимых баз данных • Федеративные (распределенные) базы данных • Временны й перенос данных из основной базы данных в удаленную • Перемещение блоков данных (табличные пространства) в удаленную базу данных • Последующая синхронизация блоков данных в основной и удаленной базах данных

41. Топология Enterprise Grid Федеративныебазы данных Oracle Distributed Database Oracle Gateways Oracle Real Application Clusters Централизация

42. Топология Enterprise Grid Windows UNIX Linux Oracle Streams Oracle Streams Удаленная БД Основная БД Удаленная БД Механизм SELF PROPELLERING

43. Enterprise Grid: система высокой готовности • Стандарт Enterprise Grid:недорогие узлы и модульные дисковые массивы • Основа - Oracle Real Application Clusters • Восстановление после сбоя может произойти на любом узле Grid • Балансировка нагрузки в Grid

44. Enterprise Grid:Управление нагрузкой 1 Узлы (серверы) Отчеты Запасной Процессинг Штатный режим работы

45. Enterprise Grid:Управление нагрузкой 2 Узлы (серверы) Отчеты Процессинг Пиковый режим работы (обработка заказов)

46. Enterprise Grid:Управление нагрузкой 3 Узлы (серверы) Отчеты Процессинг Завершение квартала (отчетность)

47. Enterprise Grid: Восстановление после сбоя 1 Узлы (серверы) Отчеты Запасной Процессинг Ситуация сбоя узла

48. Enterprise Grid: Восстановление после сбоя 2 Узлы (серверы) Отчеты Процессинг Миграция сервисов на резервный узел

49. Enterprise Grid: Восстановление после сбоя 3 Узлы (серверы) Отчеты Процессинг Сбой другого узла

50. Enterprise Grid: Восстановление после сбоя 4 Узлы (серверы) Отчеты Процессинг Миграция сервисов на резервный узел