Обзор приложений копул к задачам Байесовской классификации при машинном обучении

1. Обзор приложений копул к задачам Байесовской классификации при машинном обучении Кузнецов Никита Алексеевич Научный руководитель Пеникас Генрих Иозович Высшая школа экономики, Москва, 2014 www.hse.ru

2. Цель работы Основная цель: Сравнение стандартных походов к классификации с байесовской классификацией с использованием копул, в частности архимедовых копул. Используемые классификаторы: Классификация по двум классам. • Квадратичный дискриминант. • Байесовский классификатор с копулой Клейтона для первого класса. • Байесовский классификатор с копулой Гумбеля для второго класса. • Logitрегрессия. Данные: Искусственно сгенерированные: • Гауссовские • Не гауссовские • Копула Клейтона для первого класса • Копула Гумбеля для второго класса фото фото Высшая школа экономики, Москва, 2014

3. Применение Возможные задачи классификации: • Кредитный скоринг • Моделирование вероятностей дефолтов • Классификация изображений [Крылов 2010], [Крылов 2013] • Распознавание речи • Медицинские исследования [Han, Zhao, Liu 2013] фото фото Высшая школа экономики, Москва, 2014

4. Байесовский классификатор – Классификатор. – вероятность класса . - функция правдоподобия/вероятности для класса . С использованием функции потерь: – штраф за ошибку на классе . фото фото Высшая школа экономики, Москва, 2014

5. Квадратичный дискриминант - Подставляется формула плотности нормального распределения - Логарифмируя и убирая константы: фото фото Высшая школа экономики, Москва, 2014

6. Интеграция копул в байесовский классификатор Предложена Sathe в 2006. Производя замену: По теореме Скляра: = Подставляя в классификатор: фото фото Высшая школа экономики, Москва, 2014

7. Байесовский классификатор и архимедовы копулы Архимедова копула: Тогда плотность архимедовой копулы: Подставляя плотность копулы в классификатор получается: фото фото Высшая школа экономики, Москва, 2014

8. Моделирование Происходила генерация двух типов данных: • Гауссовские • Не гауссовские • Копула Клейтона для первого класса. • Копула Гумбеля для второго класса. В обоих случаях маржинальные распределения: фото фото Высшая школа экономики, Москва, 2014

9. Схема процесса • Обучение (оптимизация параметров двумерного гауссиана) фото • Классификация квадратичный дискриминант • Генерация данных: • 1) Гауссовские • 2) Не гауссовские • Генерация новых данных: • 1) Гауссовские • 2) Не гауссовские фото • Обучение (оптимизация параметров маржин. распределений и копулы) • Классификация • байес. копула Высшая школа экономики, Москва, 2014

10. Результаты. Корр. 0 фото фото Высшая школа экономики, Москва, 2014

11. Результаты Корр. 0,2 фото фото Высшая школа экономики, Москва, 2014

12. Результаты Корр. 0,4 фото фото Высшая школа экономики, Москва, 2014

13. Результаты Корр. 0,6 фото фото Высшая школа экономики, Москва, 2014

14. Результаты Корр. 0,8 фото фото Высшая школа экономики, Москва, 2014

15. Результаты Корр. 0,9 фото фото Высшая школа экономики, Москва, 2014

16. Результаты Корр. 0,95 фото фото Высшая школа экономики, Москва, 2014

17. Результаты Корр. 0,99 фото фото Высшая школа экономики, Москва, 2014

18. Результаты Корр. 0,6, Logit фото фото Высшая школа экономики, Москва, 2014

19. Результаты таблица 1 фото фото Высшая школа экономики, Москва, 2014

20. Результаты таблица 2 фото фото Высшая школа экономики, Москва, 2014

21. Выводы • На не гауссовских данных, классификатор с использованием копулы более точное чем стандартный квадратичный дискриминант. • На гауссовских данных происходит потеря точности, которую можно компенсировать «умным» использованием копулы. фото фото Высшая школа экономики, Москва, 2014

22. 101000, Россия, Москва, Мясницкая ул., д. 20 Тел.: (495) 621-7983, факс: (495) 628-7931 www.hse.ru