Новые возможности

1. R2 • Новые возможности Алексей ШуленинMicrosoftДепартамент стратегических технологийЭксперт по технологиям обработки и анализа информации

2. План семинара • Программы сертификации для ISV в области управления данными • Современное состояние рынка СУБД • Редакции SQL Server 2008 R2 • Техническая часть • Multi-server administration • Data-tier application в VS 2010 • PowerPivot • Новые возможности Reporting Services • StreamInsight • MDS • Вопросы

3. Виртуальная машина для лабораторных работ • Конфигурация • Windows 7 Ultimate x86 • SQL Server 2008 R2 Trial • Экземпляр Default (MSSQL) • Полная инсталляция (Database Engine, Integration Services, Analysis Services, Reporting Services) • SQL Server 2008 R2 Express with Advanced Services • Экземпляр SQLExpress • Database Engine (без репликации, отчетности и FTS) • StreamInsight 1.0 • Report Builder 3.0 • PowerPivot 1.0 for Microsoft® Excel 2010 • Модельные БД AdventureWorks2008R2, AdventureWorksDW2008R2, AdventureWorksLT2008R2 • Лабораторные работы SQL Server 2008 R2 Update for Developers Training Kit (April 2010 Update) • Office 2010 Professional Plus RC • Visual Studio 2010 Ultimate RC • Название = SQL08R2Labs • login = Administrator; password = <пусто>

4. Виртуальная машина для лабораторных работ • На случай самостоятельного выполнения упражнений вне класса подробное описание процесса установки (в части SQL Server и относящегося к нему ПО) - см. http://blogs.technet.com/isv_team/archive/2010/05/17/3332955.aspx

5. Виртуальная машина для лабораторных работ • Запустите Hyper-V Manager • Start -> (Control Panel) -> Administrative Tools -> Hyper-V Manager • Найдите в списке виртуалок машину по имени SQL08R2Labs • Если ее нет, значит, персонал просто разлил vhd по компьютерам в классе, предоставив нам создать ее самим • Скажите New -> Virtual Machine

6. Виртуальная машина для лабораторных работ • Назовите ее SQL08R2Labs и выделите 1 гиг памяти

7. Виртуальная машина для лабораторных работ • Вернитесь на минутку в консоль Hyper-V Manager -> Virtual Network Manager и посмотрите, имеется ли там внешняя сеть (сеть типа External Network) • Если нет, то создайте • Она нам понадобится для проведения Интернета внутрь виртуалки • Хостовый LAN-адаптер

8. Виртуальная машина для лабораторных работ • Соедините сетевой адаптер виртуальной машины с внешней сетью Hyper-V

9. Виртуальная машина для лабораторных работ • Подсоедините диск (.vhd), который я вчера сюда передал

10. Виртуальная машина для лабораторных работ • Готово • Запустите и зайдите на нее

11. Виртуальная машина для лабораторных работ • Желающие могут организовать себе доступк виртуалке через Remote Desktop • Control Panel -> System -> Remote Settings -> Allow connections from computers runningRemote Desktop • GPEdit.msc -> Computer Configuration -> Windows Settings -> Security Settings -> Local Policies -> Security Options-> Accounts: Limit local account use of blank passwords to console logon only -> Disabled.

12. Виртуальная машина для лабораторных работ • Организация Remote Desktop-соединения с виртуалкой на хосте • All Programs -> Accessories -> Remote Desktop Connection • Кнопка Options

13. Виртуальная машина для лабораторных работ • Сохраните созданное соединение в виде RDP-файла • При необходимости вы всегда сможете отредактировать эти свойства, выбрав пункт Edit из контекстного меню

14. Виртуальная машина для лабораторных работ • И последнее • Есть риск, что Windows запросит активацию • vhd находился на внешнем USB-диске. Виртуалка была остановлена, но диск выдернут небезопасно. Во время следующего старта выдалось сообщение: virtual machine failed to change state. После этого Windows 7 может решить, что железо поменялось и потребовать повторной активации. • Обращайтесь, будем решать

15. Современное состояние рынка СУБД

16. Предпочтения пользователей • Исследование IDC в области mission-critical applications (осень 2009 г.)

17. Лидеры рынка • Forrester выделяет в первой волне 3-х участников:

18. Ценовое сравнение

19. Сравнительная стоимость администрирования • Исследование компании Alinean • Известна своими методологиями в ROI и ТСО, используемыми в аналитике Gartner

20. Основные направления инвестиций в IT на 2010 г. Источник: Gartner EXP (январь 2010)

21. Магический квадрант для BI-платформ • Источник - Гартнер

22. Крупнейшие внедрения на SQL Server • MySpace - 4.4 million concurrent users at peak time, 8 billion friend relationships, 34 billion e-mails, 1 Petabyte store, scale-out using SSB and SOA • http://www.microsoft.com/casestudies/Case_Study_Detail.aspx?casestudyid=4000004532 • bwin - Most popular European online gaming site – 30k db transactions/second, motto: “Failure is not an option”; 100 TB total storage • http://www.microsoft.com/casestudies/Case_Study_Detail.aspx?casestudyid=4000004138http://www.microsoft.com/casestudies/Case_Study_Detail.aspx?casestudyid=4000001470 • Korea Telecom - Largest telco in Korea serves 26 million customers; 3 TB DWhttp://www.microsoft.com/casestudies/Case_Study_Detail.aspx?casestudyid=4000001993

23. SQL Server 2008: Платформа данных для ПО и сервисов

24. SQL Server 2008 R2: Платформа данных для ПО и сервисов * Новый компонент

25. SQL Server 2008 R2 - это релиз, ориентированный на BI • Madison - поддержка хранилищ > 100 ТБ при помощи горизонтально масштабируемой архитектуры решения • DataCenter - поддержка до 256 логических процессоров - вертикальная масштабируемость • Multi-server administration и UCP (utility comtrol point) в SSMS - централизованное управление серверами в слое данных • Data Tier Application - централизованное управление приложениями по работе с данными за счет более тесной интеграции с VS 2010 • Self-service analysis - PowerPivot - In-memory OLAP, анализ по требованию на уровне бизнес-пользователя • Self-service reporting - поддержка картографических отчетов в Report Builder 3.0 и другие улучшения • Master Data Services - централизованное управление нормативно-справочной информацией (измерениями) в масштабах всего предприятия • StreamInsight - комплексная обработка событий - анализ потоков данных на лету в масштабе времени, близком к реальному • ...

26. Редакции SQL Server 2008 R2 Developer Compact Express Workgroup Parallel Data Warehouse Web Standard Enterprise Datacenter • Разработка или тестирование • Внедрение в клиентский компьютер • Начальный уровень, обучение • Уровень отделов, малые базы • Уровень подразделений, • Малый-средний размер баз • Критические задачи, • Самый большой размер базы • Критические задачи, • Большой размер баз • Веб-сайты и веб-приложения • 10-100 ТБайт Новые редакциив R2

27. Новое в редакциях R2

28. Parallel DataWarehouse (Madison) • Массивно-параллельные системыдля SQL Server 2008 Microsoft BI Стандартные промышленные серверы Reference Hardware Platforms Аналогично - сетевое оборудование И массивы хранения

29. Роли узлов и архитектура решения Private Network Compute Nodes SQL SQL SQL SQL SQL SQL Industry Standard SAN Storage Distributed DB Control Node Active/Passive Corporate Network Client Drivers Landing Zone Spare Node ETL Load Interface Configuration & Monitoring Microsoft Cluster Server Backup Corporate Backup Solution

30. Типы данных • DA = DATAllegro • В preview только Latin1_General с бинарным сравнением • Синтаксис SQL - в основном ANSI 92 • Базовые INSERT, UPDATE, DELETE, SELECT • Поддерживается CREATE TABLE AS SELECT • Некоторые аналитические ф-ции • Напр., терадатовские расширения Quantile, Sample,…

31. Инструменты запросов • SSMS пока не поддерживается • Используется GUI Nexus (CoffingDW.com) • Она также применяется в Netezza, Teradata, ... • Имеется object explorer и возможность оперативного выполнения запросов • Утилита командной строки DA-SQL уже заменена разновидностью SqlCmd

32. PowerPivot

33. PowerPivot для Excel • Функциональность OLAP PivotTables и PivotCharts без необходимости привлечения кубов SQL Server Analysis Services

34. Компоненты архитектуры PowerPivot • PowerPivot add-in assembly • Загружает PowerPivot в Excel • PowerPivot затем взаимодействует с Excel через его СOMinterop assembly: дергает объектную модель Excel и отвечает на события и callbackи, поднятые на стороне Excel • Установки Registry и файлы манифеста • ПозволяетExcel 2010 загружать PowerPivot в runtime • HKEY_CURRENT_USER\Software\Microsoft\Office\Excel\Addins указывает на манифесты PowerPivot • В манифестах в XML-виде описано, как загружать сборку add-in’a • VertiPaq engine • Обрабатывает запросы PivotTable и PivotChart и DAX-выражения • Реализует (но не засвечивает) объектную модель Analysis Services • VertiPaq database • Хранит данные PowerPivot • Сама БД находится в custom XML part внутри Excel workbook • Data cache • Единственное исключение из самодостаточности Excelного workbook’a • Обслуживает временные файлы в %TEMP% во время операций сохранения • Провайдер OLE DB for OLAP • Это понятно • Теперь он может коннектиться не только к SQL Server Analysis Services, но и к книгам Excel PowerPivot, как локальным, так и опубликованным на SharePoint • AMO и ADOMD.NET • Аналогично, реализация XMLA для операций доступа к данным и администрирования

35. Требования и ограничения PowerPivot • Размер книги не может превышать 2 ГБ • Что соответствует 4-гиговому датасету с 2-кратным к-том сжатия • В процессе загрузки данных и работы с ними ограничений нет, однако книга > 2 ГБ не может быть сохранена • Процессор • Минимальный - 500 МГц, рекомендованый - 2-ядерный 2.6 ГГц • Практика показывает, что и на 2 гигах можно загрузить в PowerPivot сотни миллионов записей и чувствовать себя при этом достаточно комфортно, однако раз на раз не приходится. Сильно зависит от сжимабельности данных. • Память • Минимум - 1 ГБ, рекомендовано - 4 ГБ • ОС • Минимум - Windows XP SP3, рекомендовано - Windows 7 Business или Ultimate Edition (х64) • Софт • Минимум Excel 2010 + .NET Framework 3.5 SP1, рекомендован Office 2010 + .NET Framework 4.0

36. Визуальные фильтры и инфокривые • Визуальные фильтры (Slicers) • Могут передавать выбранные данные в: • PivotTables • PivotCharts • CUBE functions • Могут ссылаться на несколько элементов • Могут быть отформатированы с помощью стилей • Инфокривые (Sparklines) • Представляют диапазон данных • Типы: • график • столбец • выигрыш/проигрыш • Могут быть настроены по осям и отформатированы

37. Расширения PivotTable • Именованные наборы • Предоставляют возможность определить какие элементы будут помещены в области осей PivotTable явным выбором из списка или написав в окне MDX-запрос • Не путать с Named Sets в кубе (на них по-прежнему можно ссылаться из PivotTable) • Анализ «что-если» • PivotTable поддерживает модификацию данных с целью увидеть влияние этих изменений на другие данные • Этот функционал поддерживеается только на кубах Analysis Services 2005 и выше • Анализ может производиться в локальном режиме (на уровне книги Excel), либо, если куб поддерживает режим обратной записи, результаты анализа могут быть опубликованы в кубе • Таким образом Excel может использоваться разработчиками в своих приложениях как средство сбора данных при планировании • Включается MDX-окно, где можно задать динамическое разнесение изменений по детальным ячейкам (равномерное, взвешенное) • «Дополнительные вычисления» • В PivotTable числовое значение может быть показано как преднастроенное дополнительное вычисление; эта функция доступна из контекстного меню • Дополнительные расширения • Расширения условного форматирования, взаимодействие с визуальными фильтрами, возможность повтора элементов на верхних уровнях иерархии, фильтрация по рассчитываемым элементам, визуальные итоги • Улучшения в о внешнем виде и скорости отрисовки диаграмм • Улучшения поиска при фильтрации больших наборов элементов

38. Основы DAX • DAX = Data Analysis Expressions • Предназначен для построения простых конструкций, которые помогут вам расширять базовую модель PowerPivot вычислениями • Типы вычислений: • Вычисляемые колонки (оценивается для каждой строки в таблице) • Меры (помещаются в область значений свод.таблицы или графика) • Типы функций: • Обычные функции Excel (~80 функций) • Табличные функции - возвращают таблицу, которая служит входным параметром для др.ф-ций DAX • Функции агрегирования • Две функции для навигации по связям между колонками • Первая возвращает скалярное значение, представляющее сторону «1» отношения, вторая - таблицу, представляющую сторону «ко-многим» • Функции изменения контекста • Под контекстом вычисления меры понимаются слайсеры, фильтры, метки по строкам и столбцам • Функции работы со временем • Требуют колонки типа «дата»

39. Возможности для разработчиков • PowerPivot был разработан для «самостоятельного анализа»(self-service BI), так что в версии 2010 возможности разработки ограничены • Надстройка SQL Server PowerPivot для Excel не может быть расширена или автоматизирована • Создавайте представления (views) в корпоративных базах для подготовки и содействия загрузке данных • Создавайте сервисы данных для передачи данных XML в листы PowerPivot через потоки данных • Управляйте библиотеками потоков данных в SharePoint 2010 • Разрабатывайте приложения с целью доказательства концепций

40. Большие объемы данных: • Храние со сжатием • Быстрые запросы и вычисления • Данные из большого количества источников • Усиливает знакомые функции Excel • Использует Data Analysis Expressions (DAX) для сложных преобразований данных • Поддерживает публикацию отчетов PowerPivotвSharePoint

41. Лабораторная работа • SQL10R2UPD00-HOL-01.docx • PowerPivot in SQL Server 2008 R2 • Exercise 1: Loading Data using PowerPivot for Excel • Task 1 – Importing Relational Data into PowerPivot • Task 2 – Managing Relationships Manually • Task 3 – Importing via Copy/Paste • Task 4 – Creating a Linked Table • Task 5 – Using a Reporting Services Report as a Data Source (Optional) • Task 6 – Reviewing Options Available After Data Import • Exercise 2: Creating PowerPivot Pivot Tables • Task 1 – Creating a PowerPivot Pivot Table • Task 2 – Using PowerPivot Pivot Tables with Slicers • Task 3 – Investigating Faulty Referential Integrity • Exercise 3: Using DAX with PowerPivot Pivot Tables • Task 1 – Creating a Simple DAX Expression as a Calculated Column • Task 2 – Creating More Complex Calculated Columns • Task 3 – Creating a Placeholder Table for Measures • Task 4 – Creating Measures Part 1 • Task 5 – Creating Measures Part 2 • Exercise 4: Collaborating with PowerPivot for SharePoint • Task 1 – Changing the Excel Services Authentication Technique • Task 2 – Sharing a PowerPivot Workbook to SharePoint • Task 3 – Managing a Shared Workbook’s Data Refresh • Task 4 – Importing a Reporting Services Report (Optional) • Task 5 – Exploring PowerPivot Cubes on the Server (Optional)

42. PowerPivot для Excel PowerPivot для SharePoint

43. Новое в Reporting Services

44. Новое в визуализации • Поворот текста на 270 градусов • Ура! (раньше только 90) • Data bars • Специальный вид графика, отображающий единичную data point как horizontal bar или vertical column • Длина столбца позволяет визуально оценить значение • Sparklines • Отображает несколько data points во времени в виде, удобном для оценки тренда • Позволяет оценить общий тренд (рост или падение) и флуктуации • Indicators • Иконки индикаторов могут выбираться из преднастроенных наборов с возможностью изменения цвета / размера или задаваться свои собственные • Карты

45. Как затащить в таблицу карту • Способ 1 • SQL Server 2008 Spatial Tools. Содержит 2 замечательных утилиты: • Shape2SQL: Uploads ESRI Shapefiles to Microsoft SQL Server Spatial. • SqlSpatial Query Tool : Queries MSSQL Server 2008 and displays geometry output on a WPF-based interactive map. • Способ 2 • На сайте «Земельные ресурсы России» имеются природные, социально-экономические и др. карты, доступные для скачивания в формате .e00 (экспортный файл ArcView) • Дальнейшее - дело техники • http://blogs.technet.com/isv_team/archive/2010/01/18/3306462.aspx • http://blogs.technet.com/isv_team/archive/2010/01/23/3307719.aspx • http://blogs.technet.com/isv_team/archive/2010/01/24/3307804.aspx

46. Компоненты общего доступа • Наборы данных общего доступа (Shared datasets) • Позволяют один раз определить запрос к данным и затем повторно его использовать в различных отчетах • Можно также настроить обновление кэша для набора данных (вместо задания расписания для подписки с неопределенным провайдером доставки) • Кэши можно задавать для различных комбинаций параметров • Части отчетов (Report parts) • Позволяют публиковать выбранные области данных как отдельные компоненты • Другие разработчики отчетов могут их использовать для быстрой разработки отчетов и обеспечения единого внешнего вида • Хранятся в Report Part Gallery, которая является новой функцией программы Report Builder 3.0. • Потоки данных ATOM (ATOM data feeds) • R2 поддерживает новое расширение рендеринга для поддержки экспорта данных отчета в документ сервиса ATOM • Этот документ может быть использован любым приложением, которое потребляет потоки данных (например, Microsoft PowerPivot).

47. Другие материалы в блоге по RS 2008 R2 • Поворот текста на 270 градусов • Пользовательское именование листов при экспорте в Excel • Глобальная переменная RenderFormat • Элемент управления sparkline • Sparkline и пользовательские агрегаты • Связывание двух датасетов (функция Lookup)

48. Новое для разработчиков • Улучшенное разбиение по страницам • Появились специальные свойства для tablix data regions, groups и rectangles, чтобы управлять разбиением на страницы и задавать им имена/нумерацию • Именование листов при экспорте в Excel • Ура! • AJAX ReportViewer control • Настройка с помощью JavaScript API • Внутреннее обновление контента с помощью ASP.NET AJAX • Поддержка AJAX UpdatePanel • Улучшена поддержка броузеров – IE 6, IE 7, IE 8, Firefox 3.5 и Safari 4.0 • ReportService2010 - новая конечная точка управления для использования административной функциональности RS в приложениях • Объединяет функциональность ReportingService2005, 2006 и может использоваться как в native, так и Sharepoint-integrated режимах • Относительные ссылки для доступа к отчетам и изображениям • Должен быть опубликован на сервере • Поддержка маркера пользователя SharePoint • Маркер пользователя SharePoint содержит идентификацию пользователя и информацию о его членстве в группах • Маркер позволяет приложениям выполнять операции в контексте данного пользователя

49. Язык выражений • Три новые lookup-функции (Lookup, MultiLookup и LookupSet) позволяют сочетать данные из двух различных источников • Lookup: отношение 1:1 между источниками, на входе 1 значение из первого датасета, на выходе тоже 1 • MultiLookup : отношение 1:1 между источниками, на входе можно задавать несколько значений, для каждого из которых будет найдено соответствие. Соответствия вернутся в виде массива. • LookupSet: отношение 1-ко-многим между источниками, на входе 1 значение, на выходе - массив • Агрегирование агрегатов • Возможность использования результатов функции агрегирования в качестве входных данных для следующей функции агрегирования • По агрегированным значениям также можно осуществлять сортировку • Глобальные переменные read-write • Раньше оценивались на момент начала выполнения отчета • Теперь, напр., можно задать время для каждой страницы с учетом ее рендеринга • Метод SetValue

50. Язык выражений • Lookup-функции • Агрегирование агрегатов • Условные выражения по формату отображения • Глобальные переменные для подсчета страниц • Возможность записи в переменную отчета =Lookup(<Field1_Key>, <Field2_Key>, <Field_Return>, "Dataset2") =Avg(Sum(Fields!SalesAmount.Value,"EnglishMonthName"), "CalendarYear") =Variables!MyVariable.SetValue(Now())