Способы повышения доступности серверной инфраструктуры Мастер-класс по кластеризации

2. ENT303 Sr. Consultant, Microsoft Артём Проничкин Consultant, Microsoft Способы повышения доступностисерверной инфраструктурыМастер-класс по кластеризации Семён Красильников

3. Предварительная информация • ENT302 Способы повышения доступности серверной инфраструктуры: как максимально эффективно повысить надежность? • Построение высоконадёжных системна базе Windows Server 2008 R2: новые возможности • http://www.techdays.ru/videos/1538.html

4. Содержание • Служба кластеризации сегодня • Распределение групп по узлам кластера • Обслуживание кластера • Специальные технологии и особенности их планирования • Учётные записи кластера в AD DS Демонстрация:восстановление CNO/VCO • Планирование кластерных сетей • Clustered Share Volume (CSV) Демонстрация:исправлениеPossible OwnersдляCluster Shared Volume • Тонкие настройки территориально распределённых кластеров • Как переместить системные группы • Распространённые неполадки

5. Служба кластеризациисегодня

6. Кластеры в Windows Server 2008 и R2 • Упрощенная установка и доработанный интерфейс • Улучшенная масштабируемость • Встроенные инструменты проверки • Улучшения подсистемы хранения данных • Улучшение компонентов безопасности • Улучшение механизмов обнаруженияи устранения проблем • Управление через WindowsPowerShell (R2)

7. Кластеры в Windows Server 2008 и R2 (продолжение) • Расширенная модель кворума • Node Majority • Node & Disk Majority • Node & File Share Majority • Disk Only

8. Кластеры в Windows Server 2008 и R2 (продолжение) • Улучшенная работа с сетью • NetFT (Fault Tolerant Virtual NIC) • Network Topology Manager • Настраиваемые межузловые коммуникации • Настройки безопасности поWAN

9. Кластеры в WindowsServer 2008 и R2(продолжение) • Масштабируемость • Scale Out: 16 узлов в кластере • Enterprise, Datacenter и Hyper-V Server (Free) • Кластер может содержать разные издания • 8 узлов в издании для Intel Itanium • Scale Up: 1000 виртуальных машин • До 8 июня2010 года было «не более 64 ВМ на каждый узел» • Без кластера — не более 384 ВМ на сервер Hyper-V • Считаются только запущенные ВМ • Доп. информация: http://technet.microsoft.com/library/ee405267

10. Вы можете кластеризоватьбольше • Частные сценарии • Active Directory CS • Active Directory RMS • iSCSI Target • Generic Containers • Generic Application • Generic Script • Generic Service • Other Server • Сторонние приложения • SQL Server • Exchange Server • Отраслевыеприложения • Частые сценарии • Hyper-V • SQL • Exchange • File Server • Поддержка «из коробки» • DFS-Namespace • DFS-Replication • DHCP • DTC • iSNS • MSMQ • NFS • Print • Remote Desktop Connection Broker • WINS

11. Распределение групппо узлам кластера

12. Распределение групп по узлам кластера • Possible Owners • Свойство ресурса • Hard block • Не влияет на приоритет • Preferred Owners • Свойство группы • Best Effort • Влияет на приоритет

13. Распределение групп по узлам кластера • Anti-Affinity • Свойствогруппы • Набор произвольных строк • Best Effort • Pause Node • Свойство узла • Предотвращает запуск новых групп на узле • Кроме ресурса Witness • Не препятствует переносу групп с узла

14. Распределение групп по узлам кластераАвтоматический перенос группы в резервный ЦОД • Жёсткий запрет • Решение 1: Possible Owners • Решение 2:Pause Cluster Nodes • Установка приоритета • Решение 3:Enable Persistent Mode • Решение 4: Possible Owners + Fallback Policies

15. Распределение групп по узлам кластераPersistent Mode • Новоев Windows Server 2008 R2 • Свойство DefaultOwner(http://msdn.microsoft.com/library/aa371465) • Значение • Последний узел, на который группа была перемещена администратором (Move) • Может отличаться от того узла, на котором группанаходилась непосредственно перед выключением кластера • По умолчанию • Disabled(4294967295или -1)для большинства ролей • Enabled (Node ID) для виртуальных машин Hyper-V

16. Распределение групп по узлам кластераPersistent Mode(продолжение) • При запуске кластера (Cold Start), группа пытается запуститься на указанном узле в течение 30 секунд • Интервал задаётся свойством кластера ClusterGroupWaitDelay(http://msdn.microsoft.com/library/aa371422) • Preferred Owners имеет приоритет • Если значение не указано или прошло 30 секунд • Группа запускается на любом узле, сформировавшем кворум • Не влияет на перенос группы послезапуска кластера • Вручную администратором (Move) • Переход по отказу (Failover)

17. Распределение групп по узлам кластераPersistent State • Свойство PersistentState • группы (http://msdn.microsoft.com/library/aa369678) • ресурса (http://msdn.microsoft.com/library/aa372197) • Последнее состояние объекта, заданное администратором • Для ресурса сбрасывается каждый раз после запуска • Если для ресурса пусто, то наследуется значение группы • Определяет, будет ли объект запущен • при запуске кластера (Cold Start) • при перемещении группы администратором (Move) • при переходе по отказу (Failover)

18. Распределение групп по узлам кластераAuto Start • Новоев Windows Server 2008 R2 • Свойство Priority (http://msdn.microsoft.com/library/aa371465) • Enabled по умолчанию для всех ролей • Определяет, будет ли группа запущена • при переходе по отказу (Failover) • при запуске кластера (Cold Start) • Не влияет на состояниепри перемещении группы администратором (Move) • Полезно при большом количестве ресурсоёмких групп • Например, виртуальных машин Hyper-V

19. Распределение групп по узлам кластераPersistent Mode, Persistent State и Auto Start

20. Распределение групп по узлам кластераБалансировка нагрузки виртуальными машинами • Кластер не перемещает уже запущенные группымежду узлами кластера автоматически • кроме ситуаций перехода по отказу (Failover) • подробнее об использующихся алгоритмах: http://blogs.msdn.com/b/clustering/archive/2009/08/11/9863688.aspx • Для балансировки нагрузки кластера виртуальными машинами можно использоватьSystem CenterVirtual Machine Manager (SC VMM) • С точки зрения кластера это является административным действием

21. Распределение групп по узлам кластераУправление с помощью SC VMM • Тонкие настройки групп не учитываются • Preferred Owners • Anti-Affinity • Жёсткие ограничения учитываются • Possible Owners • Pause Node • Не интегрировано с VMM Maintenance Mode

22. Распределение групп по узлам кластераУправление с помощью SC VMM(продолжение) • Решение: VMM 2012 Dynamic Optimizationс использованием Custom Placement (http://technet.microsoft.com/library/gg675109) • PRC302System Center Virtual Machine Manager 2012: управление инфраструктурой виртуального ЦОД

23. Распределение групп по узлам кластераУправление с помощью SC VMM(продолжение) • Виртуальная сеть существуетне на всех узлах кластера Hyper-V • Виртуальная машина использует эту сеть • Unsupported Cluster Configurationв VMM • http://technet.microsoft.com/library/cc917922 • http://technet.microsoft.com/library/cc967323 • Решение • VLAN вместо виртуальной сети • или создать фиктивную виртуальную сеть на остальных узлах • Possible Owners

24. Обслуживание кластера

25. ОбслуживаниекластераВывод узла (Pause Node) • Не переносит группыавтоматически (туда и обратно) • Не препятствует формированию кворума • Может быть дополнено (cценарии,Opalis/Orchestrator) • VMM Maintenance Mode • OpsMgr Maintenance Mode • Требует планирования масштабируемости • 1 или 2 свободных узла

26. Обслуживание кластераПоочерёдное обслуживание узлов кластера • Никак не связано со службой кластеризации • Полностью ручной процесс • Автоматизация • VMST 3.0… Beta (Unsupported) • SC VMM 2012 (http://technet.microsoft.com/library/gg675084) • Opalis / SC Orchestrator (http://opsmgr.ru/Lists/Posts/Post.aspx?ID=272) • MGT202Автоматизация процессов в ЦОД-ахс помощью SystemCenter 2012 Orchestrator • Не только установка обновления, но и контроль успешности

27. Обслуживание кластераКак отслеживать обновления? • Recommended hotfixes and updates for Windows Server 2008 R2 SP1 Failover Clusters (http://support.microsoft.com/kb/2545685) • Recommended hotfixes and updates for Windows Server 2008 R2-based server clusters (http://support.microsoft.com/kb/980054) • List of Cluster Hotfixes for Windows Server 2008 R2 (http://social.technet.microsoft.com/wiki/contents/articles/list-of-cluster-hotfixes-for-windows-server-2008-r2.aspx) • List of Failover Cluster Packages Updated After the Release of Windows Server 2008 R2 Service Pack 1 (SP1) (http://social.technet.microsoft.com/wiki/contents/articles/3153.aspx)

28. Специальные технологиии особенности их планирования

29. Storage Validation • Проверяет все диски, находящиеся в состоянии Offline • Простой в предоставлении услуги • Нельзя указать диск • Решение: создать временный пустой диск

30. Учётные записи кластерав AD DS

31. Учётные записи кластера в AD DS • Ресурсы типа «Network Name» • Cluster Network Object (CNO) • Cluster Name • Virtual Computer Object (VCO) • Client Access Point (CAP) • Проблемы • Создание учётных записей • Управление жизненным циклом

32. Учётные записи кластера в AD DSСоздание • Учётные записи создаются в контейнере по умолчанию • У администратора кластера (или приложения)нет прав на создание объектов

33. Учётные записи кластера в AD DSСоздание • Решение 1: делегировать правана создание учётных записей • http://blogs.technet.com/b/askcore/archive/2010/06/02/rights-needed-for-user-account-to-create-a-cluster-name-object-cno-on-windows-server-2008-r2-failover-cluster.aspx • Решение 2: предварительно создаватьучётные записи вручную • http://blogs.technet.com/b/askcore/archive/2011/06/22/rights-needed-for-user-account-when-precreating-a-cluster-name-object-cno-on-windows-server-2008-r2-failover-cluster.aspx • Решение 3: перенаправить контейнерпо умолчанию (на уровне домена) • http://support.microsoft.com/kb/324949

34. Учётные записи кластера в AD DSУправление жизненным циклом • Администратор AD DS удаляет «устаревшие»учётные записи компьютеров

35. Учётные записи кластера в AD DSУправление жизненным циклом: почему удаляют? • pwdLastSet(http://msdn.microsoft.com/library/ms679430) • Не обновляется кластерами Windows Server 2003и предыдущими версиями • Обновляется Windows Server 2008 и старше • но только в случае, если этого требуетлокальнаяполитика безопасности

36. Учётные записи кластера в AD DSУправление жизненным циклом: почему удаляют? • lastLogonTimeStamp(http://msdn.microsoft.com/library/ms676824) • Используется в лесу, находящемся на функциональном уровне Windows Server 2003 и старше • Дополнительная информация: http://blogs.technet.com/b/askds/archive/2009/04/15/the-lastlogontimestamp-attribute-what-it-was-designed-for-and-how-it-works.aspx • Может не обновляться месяцами, если ресурсне менял состояния (Failback, Failover)

37. Учётные записи кластера в AD DSУправление жизненным циклом: восстановление • Repair Active Directory Object не помогает • Поддерживаемое решение:восстановление объекта в AD DS • Резервная копия (http://support.microsoft.com/kb/840001) • Active Directory Recycle Bin (http://technet.microsoft.com/library/dd391916) • ADRestore(http://blogs.technet.com/b/asiasupp/archive/2006/12/14/using-adrestore-tool-to-restore-deleted-objects.aspx)

38. Восстановление учётнойзаписи кластера Семён Красильников Демонстрация

39. Учётные записи кластера в AD DS:Управление жизненным циклом: как удалять? • Определите, что учётная запись принадлежит кластеру • servicePrincipalName(http://msdn.microsoft.com/library/aa347698) • Соглашения (отдельный OU) • Remove-Cluster–CleanupAD • (http://technet.microsoft.com/library/ee461005) • Дополнительная информация • http://blogs.msdn.com/b/clustering/archive/2011/08/17/10197069.aspx • http://blogs.technet.com/b/askds/archive/2011/08/23/cluster-and-stale-computer-accounts.aspx

40. Зависимость от AD DS • Планирование топологии: «Курица и яйцо» • RODC не используются

41. Live Migration • Каждый узел может участвовать в одной миграции • Как источник или получатель • Последовательная миграция реализуетсяс помощью сценария $VMs = "MyVM01.Contoso.com","MyVM02.Contoso.com" $VMs | ForEach-Object -Process { Get-Cluster -Name "Cluster01.Contoso.com" |Move-ClusterVirtualMachineRole-Name $_ ` -Node "ClusterNode.Contoso.com" }

42. Live Migration (продолжение) • Как выбирается сеть? • Настройка уровня группы • Применяется на все ВМ

43. Кластеры в виртуальных машинах(Guest Clustering) • Многие роли требуют общего хранилища • SCSI, SATA или Fiber Channel (FC) • Виртуальные машины Hyper-Vне могут использовать общую шину • Решение: Используйте iSCSI, но… • iSCSI Target может стать единой точкой отказа • Кластеризация iSCSI Target... тоже требует общего хранилища • Решение 1: кластер программных iSCSI Targetна выделенных физических серверахс хранилищем на общей шине • Решение 2: аппаратный или сторонний iSCSI Target

44. Прочие ограничения • Шифрование (BitLocker) • Поддержка SysPrep

45. Планирование сети

46. Планирование сети • Рекомендуется использовать как минимум две сети • Failover Cluster Validation выведет предупреждение (Warning) • Public • Статические адреса или назначенные DHCP (IPv4), без APIPA • IPv6SLAAC • Шлюз по умолчанию • Private • Предпочтительный IPv6 или не маршрутизированный IPv4 • Нет шлюза по умолчанию • Отдельный физический путь • IPv6 «поднимается» быстрее

47. Действительно ли нужно две сети? • Рекомендуется использование минимумдвух различных физических путей • Отдельные сетевые карты (не порты!) • Отдельные коммутаторы • Если один путь теряется, кластер может образовать кворумпо оставшимся путям • Альтернатива: NIC Teaming • Предоставляетсяи поддерживаетсяпоставщиком оборудования • Всё равно выведетпредупреждение

48. …может больше сетей? • Соображения производительности • Трафик управления • Трафик CSV(redirected access) • Трафик Live Migration • Трафик ВМ • Выделенная сеть для iSCSI • Не должна быть использована кластерной службой

49. Метрики кластерных сетей • Определение приоритетов для трафика кластера • Ниже метрика — выше приоритет • Режим автоматического назначения метрики(по умолчанию) • Windows PowerShell • (Get-ClusterNetwork "Lab Public").AutoMetric = $true • Cluster.execluster net "Lab Public" /prop AutoMetric=1 • Ручная установка метрики • Windows PowerShell • (Get-ClusterNetwork "Lab Public").Metric = 10001 • Cluster.execluster net "Lab Public" /prop Metric=10001

50. Cluster Shared Volume(CSV)