Не забудьте начать запись доклада!

2. Не забудьте начать запись доклада! REC

3. Прогнозирование навигации на сайте Максим Гончаров Microsoft

4. Максим Гончаров Microsoft Специалист по платформе приложений E-mail: maxgon@microsoft.com http://www.businessdataanalytics.ru/

5. Содержание • Задачи Data Mining • Описательный анализ • Предиктивный анализ • Web Mining – кратко • Web Usage Mining • Кластеризация цепочек последовательностей Microsoft • Пример проекта – калькулятор переходов

6. Задачи Data Mining

7. Описательный анализ • Какая структура клиентской базы? Какой профиль идеального клиента? • Какие есть взаимосвязи между характеристиками клиентов? • Какие события происходят одновременно? Какие услуги приобретаются вместе? • Какие события наступают последовательно? Откажется ли клиент от сотрудничества при данном шаблоне взаимодействия?

8. Предиктивный анализ • Откликнется ли клиент на данную маркетинговую кампанию? • Какова ценность клиента с данными характеристиками? • Какой размер прибыли будет в следующем месяце? • Какие из потенциальных клиентов вероятно совершат приобретение услуги в следующем месяце?

9. Кластерный анализ Сегментация – обнаружение структуры данных • На какие группы можно разбить клиентов? • Какая структура продаж? • Какие характеристики у мошеннических транзакций? Разбиение постоянных клиентов книжного интернет-магазина по интересам.

10. Анализ путей влияния Байесовские сети – обнаружение путей влияния факторов • Как связаны образование, доход и регион проживания? • Как влияет семейное положение на покупку товара? Цепочки влияния характеристик клиента

11. Деревья решений – факторы влияния Что влияет на приобретение банковского продукта

12. Деревья решений – классификация • Откликнется ли клиент с данными характеристиками на наше предложение? • Что характерно для клиента, собирающегося отказаться от услуг нашей компании? • Скоринг, приоритезациялидов. Дерево решения: что влияет на размер заказа продажи?

13. Прогнозирование временных рядов • Прогноз продаж по товарным категориям и группам клиентов. • Прогноз обращений в колл-центр. • Прогноз движения на складе. Прогноз продаж банковских услуг по категориям

14. Ассоциативные правила • Какие события происходят вместе? • Какие товары и услуги продаются совместно? • Cross-sales, up-sales. Книги, покупаемые совместно

15. Анализ цепочек последовательностей • Приобретение каких продуктов следует ожидать в следующем месяце от человека, открывшего в этом месяце счет и получившего дебетовую карту? • С какой вероятностью от нас уйдет клиент при данной последовательности действий? Временные шаблоны покупок велосипедных аксессуаров

16. Web Mining – кратко

17. Web Mining - кратко • Поиск информации – применение математической лингвистики и обработки естественных языков. • Анализ структуры сегментов сети – • хабы- из такой страницы ссылки идут на наиболее значимые ресурсы; • авторитеты - страницы, на которые ссылаются большоеколичеством авторов по данной • Выявление знаний из веб-ресурсов– обработка с точки зрения автоматической классификации, составления оглавлений, выявления ключевых слов и общих тем. • Персонализация информации– адаптация навигации, контента, баннеров и т.д. под пользователя.

18. Web Usage Mining

19. Web Usage Mining Поиск шаблонов в поведении пользователей – поиск закономерностей в шаблонах взаимодействия пользователя с веб-ресурсом с целью прогнозирования его последующих действий. С точки зрения применения алгоритмов интеллектуального анализа данных при поиске шаблонов пользовательского поведения чаще всего используются следующие методики: • Кластеризация - поиск групп похожих посетителей, сайтов, страниц и т.д. • Ассоциации - поиск совместно запрашиваемых страниц, заказываемых товаров. • Анализ последовательностей - поиск последовательностей действий. Наиболее часто применяется вариант алгоритма apriori, разработанного для анализа частых наборов, но модифицированного для выявления частых фрагментов последовательностей и переходов.

20. Анализ последовательностей действий Microsoft Sequential Clustering Модель предполагает, что все последовательности разбиты на некоторое количество групп (кластеров). В каждой группе последовательности представляют собой Марковскую цепь, т.е. вероятность перехода в следующее состояние в группе определяется только текущим состоянием и не зависит от более ранних состояний. Таким образом, алгоритм разбивает последовательности на похожие группы и вычисляет в каждой группе условные вероятности переходов. Это позволяет не только прогнозировать следующее значение состояния на основании его прошлых состояний, но и получить описание существующих шаблонов переходов.

21. Демо-проект по прогнозированию навигации на сайте

22. Описание проекта Источник посещений – http://www.sitebuilder.ru • HTTP модуль на IIS, регистрирующий серверные переменные запросов в БД Access • Хранилище SQL Server’а, хранит всю историю навигаций по сессиям • Пакет Integration Services, загружающий Access файл в БД SQL, дополняющий данные (географией запроса и т.п.) • Куб Analysis Services – анализ по требованию всех показателей навигации и запросов. • Модели Data Mining для анализа закономерностей навигации • Сборки .NET – расширение запросов к моделям • Фиксированные отчеты по навигации • Веб-приложения, например калькулятор навигации.

23. Структура данных

24. Куб

25. Куб

26. Модель Data Mining

27. Фиксированные отчеты

28. Прогнозирование Стандартная реализация – двухходовка: • На основании истории кликов определить какому кластеру принадлежит пользователь. • Прогноз следующего клика – наиболее вероятный переход в данном кластере. На самом деле есть еще такой подход: вычислить наиболее вероятный переход с учетом принадлежности пользователя ко всем кластерам с учетом вероятности принадлежности.

29. Калькулятор прогнозирования следующего шага

30. Запрос на прогнозирование SELECT FLATTENED ( SELECT [Page Name] AS [Prediction], PredictProbability([Page Name]) AS [PredictProbability], ( SELECT [Page Name] AS [PageName], $PROBABILITY AS [Probability] FROM PredictHistogram([Page Name]) WHERE $PROBABILITY >= 0.01 ) AS h FROM PredictSequence([Pages Visited], 1) ) AS d FROM [Pages Visit Order Model] NATURAL PREDICTION JOIN ( SELECT ( SELECT 0 AS [Row Num], 'Портал в компании Адидас' AS [Page Name] UNION SELECT 1 AS [Row Num], 'Портал компании BBK' AS [Page Name] ) AS [Pages Visited] ) AS t

31. Ответы на вопросы

32. Спасибо за внимание! <Имя, Фамилия> <Компания> E-mail: <…@...>