Алексей Шуленин Эксперт по технологиям обработки и анализа информации Microsoft

1. Innovation Day Алексей Шуленин Эксперт по технологиям обработки и анализа информации Microsoft Microsoft SQL Server 2012 новые возможности дл разработчика и бизнес-аналитика

2. Microsoft SQL Server 2012 • В релизе – с 6 марта! • Доступность в канале – с апреля

3. Надежность Повышенная доступность • Высокая доступность (технология AlwaysOn) • Поддержка Windows Server Core Support (необходимость в патчах/перезагрузке снижается на 50-60%) • Онлайновые операции сопровождения и администрирования • Мониторинг с помощью Microsoft System Center и панель AlwaysOn • Интегрированный мастер настройки конфигурации • Более полная функциональность автоматизации административных действий с помощью Windows PowerShell Улучшенная продуктивность Эффективное использование ресурсов • Активные вторичные реплики • Масштабирование приложений на чтение • Разгрузка бэкапов • Быстрый failover приложений

4. Геораспределенные кластерыSQL Server 2008 (R2) Network Name: SqlClus Требуется создавать VLAN, чтобы воспринимали обе площадки V-LAN IP: 10.10.10.10 Node2 Node1 subnet 2 subnet 1 Площадка 2 Площадка 1 SAN Replication Технология от вендора HW распределенные массивы с т.зр. Windows Cluster видятся как один общий storage

5. Вариант: зеркалирование и Log Shipping Основной ЦОД Резервный ЦОД Witness Principal Mirror Применение журналов Синхронное зеркалирование базы Log Shipping

6. Вариант: кластеризация и зеркалирование Основной ЦОД Резервный ЦОД Database Mirroring Principal Mirror SQL-FCI-2 SQL-FCI-1

7. SQL Server 2012 • Зависимость 2-го порядка • Ресурсы «SQL Server»и«SQL network name» зависят от ресурса «IP-адрес», который зависит от другого IP-адреса • Зависимость типа «или» • Только один из ресурсов может быть в онлайне

8. SQL Server 2012AlwaysOn • Объединяет функциональность отказоустойчивых кластеров, зеркалирования и log shipping • Единица отказоустойчивости – не экземпляр, а группа доступности • Группа доступности включает несколько пользовательских БД • БД д.б. в full recovery mode • Зеркалирование настраивается для группы баз, а не для каждой в отдельности • Зеркалирование выступает в кач-ве транспорта для распространения изменений на вторичные реплики (Mirroring TCP Endpoint) • Для данной группы доступности все экземпляры должны располагаться на узлах Windows Server Failover Cluster • Каждый узел - Windows 2008 R2 Enterprise и выше • При этом SQLный экземпляр может быть некластеризован • Используется Cluster API для выполнения failover и Cluster Administrator (+SSMS) для администрирования • Не требуются кластерные IP или общий диск, пользователи коннектятся к обычному инстансу • Каждый экземпляр должен быть сконфигурирован как HADR-enabled

9. SQL Server 2012AlwaysOn • Для группы настраивается Availability Group Listener – точка входа клиентских соединений, который переправляет их на нужный экземпляр • Listener характеризуется DNS-именем, ТСР-портом и статическим IP-адресом в каждой подсети (или DHCP) • MultiSubnetFailover=Yes в строке соединения при соединении с прослушивателем • На каждом экземпляре должна иметься Database Mirroring Endpoint • Хотя в отл.от нынешнего зеркалирования реплик может быть не 1, а 4 (2 синхронных) • Для автоматического failover реплика д.б. синхронной • Вторичные реплики могут использоваться для балансировки • Операции чтения (отчетность), резервного копирования, ... • ApplicationIntent=ReadOnly в строке соединения

10. Безопасность • Функция HASHBYTES поддерживает алгоритмы SHA2-256 и SHA2-512 • Алгоритм шифрования главного ключа службы и главного ключа базы изменяется с 3DES на AES • RC4 считается устаревшим, используется для обратной совместимости Защита данных • Определяемые пользователем серверные роли • Схема по умолчанию для групп • 19 новых GRANT / DENY / REVOKE Контроль доступа Соответствие стандартам • Идет работа по сертификации на Common Criteriaи получению отечественных сертификатов безопасности подобно SQL Server 2008 (http://blogs.technet.com/b/isv_team/archive/2011/03/21/3414447.aspx)

11. Улучшения в аудите • Появился в SQL Srv 2008 • Enterprise, DataCenter • Позволяет отслеживать не только заходы пользователей • триггер на логон • и сделанные в данных изменения • CDC, Change Tracking, триггеры • и настройках • SQL Trace, Event Notifications, XEvents • но и операции чтения • Кто, когда, откуда, к каким данным доступился • В 2012 поддерживается во всех редакциях • Включая бесплатный Express SQL ServerExpress

12. Информация о стеке SQL-вызовов exec hr.viewsalary select salary from hr.payroll hr.payroll hr.viewsalary Audit Log

13. Пользовательские события аудита • sp_audit_write( ) exec sp_audit_write 1234, 1, N‘Hello World’ @user_defined_event_id @succeeded @user_defined_info Audit Log

14. Производительность • Колоночные индексы (введены в 2008R2 PowerPivotVertiPaq) • Возможность сжимать и затем сканировать большие объемы данных в малой памяти • Встроены в движок, нет нужды строить внешнюю column store database • В Oracle 11g – дополнительная опция, доступная в Exadata Новые технологии на уровне исполнительного механизма SQL Server • Усовершенствованный Full-Text Search с возможностью семантического, т.е. с учетом релевантности в данной предметной области, поиска • Кол-во партиций увеличено с 1 тыс. до 15 тыс. (напр., можно хранить по дням 40 лет) • Resource Governor: кол-во пулов увеличено с 20 до 64, можно привязывать к планировщикам и NUMA-узлам Проактивное управление Проверено на промышленных тестах • ТРС-Е, ТРС-Н, SAP, ... • См. http://www.microsoft.com/sqlserver/en/us/product-info/benchmarks.aspx

15. Distributed Replay • Ранее SQL Server Profiler позволял воспроизводить нагрузку с единственной машины, что затруднялотестирование реальных высокомасштабируемых приложений • Распределенное воспроизведение преодолевает этот недостаток • Может использоваться при проведении тестов на совместимость, производительность, планирования характеристик окружения в критических для бизнеса приложениях • Оракловый аналог – Rapid Application Testing (RAT) User Controller Clients … Simulate workload SQL Server 2012

16. ColumnStore Index • В отличие от традиционной организации по строкам в колоночных индексах данные группируются и хранятся по одному столбцу за раз • Преимущества: • Большинство звездных запросов не трогают все столбцы таблицы. Т.о., многие поля никогда не будут передаваться в память. Это улучшает использование буферного пула, что уменьшает общее число операций ввода-вывода • Должны быть прочитаны только необходимые столбцы =>меньше данных читается из диска в память и затем перемещается из памяти в кэш процессора • Столбцы сильно сжимаются. Это также уменьшает число байтов, которые необходимо прочесть и переместить. • Не существует понятия ключевых столбцов => нет ограничения на 16 столбцов в ключе и длину ключа 900 байт • Ограничения • Не поддерхиваются блобовские типы, binary, uniqueidentifier, sql_variant, CLR, XML • На данный момент readonly Existing Pages C4 C5 C6 C2 C3 C1 Needed Columns

17. Быстрое исследование и визуализация данных • Использование накопленного опыта работы с Excel • Гибкие возможности по расположению и отображению данных • Представление данных в памяти • Функции DAX по типу формул Excel для быстрого построения аналитических приложений Анализ по принципу самообслуживания Интерактивная визуализация данных • Богатые возможности визуализации, в т.ч. в динамике • Основанная на метаданных интерактивность • Данные готовы к презентации Совместная работа • Тесная интеграция с SharePoint • Быстрый доступ к отчетами dashboards • Уведомления об изменении данных в отчетах

18. BI Semantic Model Клиентские инструменты Ср-ва анализа, отчетности, Scorecards, Dashboards, пользоват.прил-я • БД в памяти • Движок VertiPaq • Потребляется клиентскими приложениями (Excel, Power View) • Работает в 2-х режимах: Cached (собираются данные из различных источников) и DirectQuery (запрос, минуя модель в памяти, идет на SQL Server) • Разработка – в SSDT • Tabular modeв SSAS Источники данных БД, LOB-системыs, Odata Feeds, Spreadsheets, текстовые файлы BI SEMANTIC MODEL • Модель данных • Бизнес-логика и запросы • Доступ к данным

19. Исследование и визуализацияданных Не является идейным развитием Report Designer Он остается, в основном, статичным Клиент может заказать разработку на основе настраиваемых AJAXовских Report Controls в VS или использовать готовое решение от производителя – Power View Stunning, interactive data visualizations, Power View Familiar tools built on Excel & SharePoint Mashupdata, PowerPivot

20. Исследование и визуализация данных Тонкий клиент – достаточно поставить SilverLight Доступен в редакциях BI и Enterprise Требует SharePoint 2010 Enterprise в режиме фермы Требует доменную учетную запись, PowerPivotные Analysis Services 2012 не желают работать под локальной учетной записью Не может работать с традиционным многомерным кубиком, требует PowerPivotный Excel в библиотеке документов или соединение с BISM

21. Надежные целостные данные в организации % полноты и точности НСИ Затраты на поиск Часы в нед.на сотрудника 91% Хорошо (20%) 1.2 Удовлетворительно (50%) 68% 2.8 BISemanticModel Плохо (30%) 6 <50% Master Data Data Quality Источник:: “Turning Pain into Productivity with Master Data Management,” Aberdeen Group, Feb 2011 Services Services

22. Надежные целостные данные в организации • Data Quality Services • Основанная на базе знаний очистка и соответствие • Самостоятельное приложениеили интегрированное с SSIS • Master Data Services • Excel UI для управления данными / измерениями • Быстрая и простая загрузка • SQL Serverдля всех задач EIM: Очистка Управление • Integration Services • Integrated Deployment & Management • Improved User Experience Интеграция

23. Большие данные для больших открытий • Объемы: Удешевление носителей и новые типы • Разнообразие: 80% нереляционных • Скорость: Потребность в анализе реального времени • Динамика: Проблема, однако Скорость Объемы Разнообразие Динамика • Microsoft будет поддерживатьтехнологии Apache Hadoop™ вWindows Server и Windows Azure • Широкий доступ кHadoopдля конечных пользователей, IT proи разработчиков • Enterprise-ready Hadoopdistribution с улучшениями в безопасности, производительности и управляемости • Доступность для анализас помощью знакомых инструментов, таких, как PowerPivot for Excel, SSAS,SSRS • Два коннектора к Hadoop дляSQL Server и Parallel Data Warehouse. Выпущены, распространяются бесплатно • Hadoop based distributionна Windows Server и Windows Azure – ожидается в текущем календарном году Стратегия Microsoft Sql Server предоставляет Данные

24. Online Operation Enhancements Contained Database Authentication AlwaysOn Reliable Secondaries Multi-site Clustering SQL Server Express LocalDB Windows Server Core Support Statistical Semantic Search PHP & Java Connectivity FileTable Unstructured Data Performance ColumnStore Index Extended Events Enhancements AlwaysOn Connection Director Multiple Secondaries PowerShell 2.0 Support Reporting Alerts Database Recovery Advisor SQL Server Data Tools PowerPivot Enhancements Resource Governor Enhancements T-SQL Debugger Enhancements Audit Filtering Power View Full Globe Spatial Flexible Failover Policy Unstructured Data Performance CDC Support for SSIS BI Semantic Model Audit Resilience Distributed Replay New SSIS Design Surface User-defined Audit SSMS to Windows Azure Platform Data Quality Services FTS Support for Czech and Greek 15k Partitions Master Data Management Excel Add-in Full-Text Search Performance HA for StreamInsight Availability Groups SSIS Troubleshooting Ad Hoc Reporting Default Scheme for Windows Groups Spatial 2D Support ODBC Driver for Linux SharePoint Active Directory Support SSIS Package Management SQL Audit for All Editions T-SQL Enhancements

25. Innovation Day Спасибо