Технический обзор Microsoft BI

1. Технический обзор Microsoft BI Иван Косяков Архитектор программных систем, MTC ivank@microsoft.com, http://microsoftbi.ru

2. Компоненты SQL Server «Denali» Конечные бизнес-пользователи Платформа для Управления Данными и Бизнес-анализа Бизнес-приложения Приложения MS Office Интренет -браузер КПК Reporting Services Crescent AnalysisServices Alerts BI Semantic Model Azure StreamInsight Master Data Services Data Quality Services Excel HA СУБД Integration Services Column Store Indexes СУБД LOB Файлы

3. BI Semantic Model BI Semantic Model Одна модель для всех инструментов визуализации Модель данных Бизнес-логика и запросы Пользовательские инструменты Analytics, Reports, Scorecards, Dashboards, Custom Apps Доступ к данным Командный Персональный Организационный Analysis Services PowerPivot for SharePoint PowerPivot for Excel Источники данных Databases, LOB Applications, OData Feeds, Spreadsheets, Text Files Гибкость Широтавозможностей Масштабируемость

4. Архитектура BISM Сторонниеприложения Reporting Services SharePoint Insights Excel PowerPivot BI Semantic Model Модель данных Табличная Многомерная Бизнес-логика и запросы MDX DAX Прямойзапрос Доступ к данным ROLAP VertiPaq MOLAP Базы данных LOB Applications Файлы OData Feeds Облачные сервисы

5. BI Semantic Model Гибкость Широта возможностей Масштабируемость • VertiPaqдля высокой производительности, MOLAP для масштабируемости важных приложений • DirectQueryи ROLAP для доступа к данным источников в реальном времени • Алгоритмы сжатия • Масштабирования до наиболее крупных серверов • Многомерное и табличное моделирование • MDX и DAX для бизнес-логики и запросов • Кэшированная и сквозная модели хранения • Выбор пользовательских аналитических инструментов • Богатые возможности моделирования данных • Сложная бизнес-логика с помощью MDX иDAX • Детальная безопасность на уровне строк и ячеек • «Многоязыковая поддержка» и «перспективы»

6. ДемонстрацияBISM

7. Отчетность и предупреждения (Alerting) в «Denali» Проактивная аналитика Увеличение эффективности Все для пользователей • Предупреждения(Alerting) • Задается из операционных и ad-hoc отчетов • Интуитивные правила предупреждений • Управление предупреждениями через SharePoint • XLS/Word 2007/2010 • Проект “Crescent” • Высокая наглядность при создании отчетов • Интерактивность, основанная на мета-данных • Отчеты работают в презентациях • Доступен как Сервис общего доступа в SharePoint • “Scale-out” встроен для сервисного приложения RS • SharePoint Cross-farm reporting • Интегрированные резервное копирование и восстановление, ULS-журналирование, PowerShell Управляемый самостоятельный BI – КорпоративныйBI

8. Архитектура «Crescent» SharePoint Farm SQL Server BIDS BISM Model App Server Web Front End RS Shared Service SSRS Addin for SharePoint Crescent-клиент AS-сервер PowerPivot System Service PowerPivot Web Service Analysis Services SP Integrated МодельExcel PowerPivot Источники данных

9. Демонстрация Crescent

10. Нотификации – Преимущества пользователей Создание нотификаций из отчета • На основании непосредственно видимых данных • Определение данных, по которым доступны нотификации • Поддержка отчетов Report Builder илиBI Development Studio (BIDS) Обнаружение изменений данных • Интуитивные правила нотификации(greater than, before/after) • Простые расписания(weekly, daily, monthly) • Соответствующие данные включены в сообщение нотификации Source: Data.gov - Data.gov and the Federal Government cannot vouch for the data or analyses derived from these data after the data have been retrieved from Data.gov.

11. Нотификации – преимущества ИТ Управляются черезSharePoint • Администрирование на уровне сайта • Детальная авторизация • Управляются черезSharePoint • Отслеживание и контроль созданных пользователями нотификаций

12. SharePoint App Server Reporting Services “Denali” SharePoint Architecture Alert Designer RS Add-in SharePoint Web Front End SSRS Shared Service Application SSRS Shared Service Application Alert Manager SSRS in Web Application Report Server Shared Service DB SharePoint Config / Content DB

13. Возможности: Основан наSQL Server Reporting Services Интерактивная и табличная отчетность Визуализация данных: charts, graphs, mapping, gauges Источники баз данных SQL Azure ИспользуетBI Developer Studio (бесплатно) для создания отчетов Экспорт в форматы Excel, PDF, CSV Сценарии: Операционная отчетность на базе данныхSQL Azure Встраивание отчетов в приложенияWindows Azure или в пределах организации SQL Azure Reporting CTP Web Role Reporting

14. Продвинутые пользователи ИТ-специалисты Конечные пользователи Разработчики Сложная среда разработки Быстрая разработка Визуальноепредставление данных Повторное использование Элементы управленияReport Viewer Высокая интерактивность Гибкийвид Богатые возможностипредставления Богатые возможностиразработки Report Builder Report Designer Project “Crescent” ВнедренныеОперационныеБизнес

15. Управление НСИи качеством данных

16. SQL Server Master Data Services в «Denali» Процессы Хранение Интеграция Идентификаторы, атрибуты, иерархии WCF API Веб-интерфейс управления Интерфейс Excel Роли в системе безопасности Таблицы и представления Качество данных Управление транзакциями – аннотирование и просмотр Проверки и версии Нотификации и рабочие процессы Веб-интерфейс – для моделирования, администрирования, задания правил, управления интеграцией

17. Архитектура MDS в Denali • Веб-интерфейс • Надстройка Excel • Процессы/нотификации • Внешние системы WCF Сервис IIS BizTalk/ .NET Сервис MDS SSIS MDS Database • Системы-подписчики • Представления для подписки • Промежуточные таблицы • DQS (Очистка и соответствия) SSIS SSIS

18. Новое в MDS в Denali • Улучшен веб-интерфейс • Надстройка над Excel • Улучшено обновление и управление данными • Упрощено создание модели данных • Интеграция с DQS • Новый промежуточный интерфейс (Entity Based Staging) • Улучшено качество (использование, безопасность, масштабируемость, производительность)

19. Data Quality ServicesПроцесс работы Облачные сервисы Управление знаниями Справочные данные Построение Данные организации Обнаружение знаний Исследование данных Подсоединение справочников Встроенное профилиро-вание Управление знаниями Улучшение Состояние Нотифиации База знаний Корректировка и стандартизация Сопоставление иде-дубликация Использование DQ-проекты

20. Демонстрация DQS

21. Архитектура DQS Azure Market Place DQ-клиенты Склад доментовMS DQ Категоризованные справочные данные Категоризованные сервисы справочных данных DQS UI Будущие клиенты (Excel, SharePoint…) Активные DQ-проекты Обнаружение знаний и управление 3rd Party DQ Server Reference Data API (Browse, Get, Update…) RD Services API (Browse, Set, Validate…) Интерактивные DQ-проекты Сервисы справочных данных DQ Engine Исследование данных Очистка Профилирование и исследование данных Обнаружение знаний Справочные данные Сопоставление Справочные наборы данных SSIS DQ -компонент DQ Projects Store Common Knowledge Store Knowledge Base Store Локальные домены данных Домены данных MS Опубликованые базы знаний

22. Column Store Indexes

23. Структура хранения колонок (columnstore indexes) Хранение строк: … C1 C4 C5 C6 C3 C2 Страницы Хранение колонок: Использует сжатие VertiPaq

24. Особенности columnstoreindexes • Уменьшение ввода-вывода • Захватывает только нужные колонки с диска • Сжатие колонок • Уменьшен ввод-вывод • Чаще используется буфер • Пакетный режим операций • Пакетная обработка строк • Группировка пакетных операций в плане выполнения • Эффективное представление данных и алгоритм • Лучший параллелизм SELECT region, sum (sales) … C2 C3 C6 C4 C5 C1

25. Создание индекса columnstore • Создать таблицу • Загрузить данные в таблицу • Создать «non-clustered columnstoreindex» на всех или некоторых колонках CREATE NONCLUSTERED COLUMNSTORE INDEX ncci ON myTable(OrderDate, ProductID, SaleAmount)

26. Ссылки на ресурсы • SQL Server “Denali” CTP3 • https://www.microsoft.com/betaexperience/pd/SQLDCTP3CTA/enus/default.aspx • http://microsoftbi.ru

27. Questions?