Машинное обучение : качество

1. Машинное обучение: качество Игорь Куралёнок к.ф.-м.н., Яндекс/СПбГУ

2. Немного «фраз» «If you can't measure it, you can't improve it» — Lord Kelvin «Гораздо легче что-то измерить, чем понять, что именно вы измеряете.» — Джон Уильям Салливан

3. Постановка в случае учителя Ожидание хотим считать по всей ген. совокупности Функцию обучаем на X => Если бы X была репрезентативнойто все проще:

4. Какая нужна выборка Интересно получить выборку, несмещенную (смещенную не более чем …) по результатам процедуры обучения: Найти «хороший» способ генерации выборки при условии процедуры подбора Наложить ограничения на процедуру подбора Ограничения на решающую функцию => Надо научиться мерять смещенность выборки Иными словами, репрезентативная выборка представляет собой микрокосм, меньшую по размеру, но точную модель генеральной совокупности, которую она должна отражать. - Дж. Б. Мангейм, Р. К. Рич

5. Как это выглядит на практике?

6. Как это выглядит на практике?

7. Как это выглядит на практике?

8. Виды ошибок обучения

9. Виды ошибок обучения Переобучение, переподгонка (overtraining, overfitting) — нежелательное явление, возникающее при решении задач обучения по прецедентам,когда вероятность ошибки обученного алгоритма на объектах тестовой выборки оказывается существенно выше,чем средняя ошибка на обучающей выборке. Недообучение(underfitting)— нежелательное явление,возникающее при решении задач обучения по прецедентам, когда алгоритмобучения не обеспечивает достаточно малойвеличины средней ошибки на обучающей выборке. Недообучение возникает при использовании недостаточно сложных моделей. - machinelearning.ru

10. Наш первый метод

11. Пример По материалам machinelearning.ru

12. Пример По материалам machinelearning.ru

13. Пример По материалам machinelearning.ru

14. Задача Дано: Найти оптимальные p и a

15. Постановка в случае учителя Ожидание хотим считать по всей ген. совокупности Функцию обучаем на X => Если бы X была репрезентативнойто все проще:

16. Схема тестирования

17. Overfiton validation

18. Как не оверфитнуться? • White box: • Выбор решающего семейства при фиксированном объеме данных: • VC оценки • Оценка вероятности переобучения (по Воронцову) • PAC-Bayes bounds • Изменение процедуры подбора: • Игры с шагом • Регуляризация • Black box: • Cross-validation

19. Теория Вапника-Червоненкиса Владимир Наумович Вапник, Алексей Яковлевич Червоненкис Задача минимизации эмпирического риска VC-оценка (классификация):

20. Вероятность переобучения Воронцов Константин Вячеславович (machinelearning.ru, ШАД в Москве) Вводим слабую вероятностную аксиоматику Оцениваем вероятность переобучения:

21. PAC-Bayes bounds Результат алгоритма – распределение над семейством Решающая функция –среднее выборки этого распределения

22. Изменение процедуры подбора Игры с шагом: а давайте не будем точно решать задачку Поменяем Lossь так, чтобы более «рискованные» решения получали discount.

23. Cross-validation Рандомно поделим множество X на несколько кусочков Обучимся на одной части Проверим на оставшихся Повторим до ощущения надежности

24. Виды cross-validation 2-fold k-fold Random sub-sampling(e.g. bootstrapping) Leave-one-out (LOOCV)

25. Как принять решение по результатам CFV? • Wilcoxon signed rank test для проверки на равенство • Знак по выборочному среднему • Проблемы: • Чем меньше выборка X тем более зависимы результаты • Интересно: а наблюдаем мы только 1 реализацию. • Слишком оптимистичные решения • Любое практическое исследование должно иметь эти оценки

26. На чем тестировать? • Реальные данные • Поиск: РОМИП, TREC, Яндекс.ИМАТ, Yahoo LTRCh • Pascal Challenge • InnoCentive • Искусственные данные (многомерный XOR) • Задумаем «хитрое» распределение и попробуем его отгадать

27. Машинное Обучение: качество ОТСЕБЯТЕНА

28. Решающие функции и информация • Решающая функция несет информацию о выборке • Чем «короче» можно записать решающую функцию, тем меньше оверфита • Чем сложнее зависимость, тем больше данных надо