«Введение в компьютерное зрение»

1. «Введение в компьютерное зрение» Владимир Вежневец, Антон Конушин Александр Вежневец МГУ ВМК, Graphics & Media Lab, Осень 2006

2. План лекции • Деревья классификации • Байесовский подход к классификации • «Наивный» Байесовский классификатор (Idiot Bayes) • Нормальный дискриминантный анализ • Нейронные сети • Метод опорных векторов • Комитетные методы • Bagging • Boosting

3. Вопросы с предыдущей лекции • Почему не рассказываем про обучение «на лету»? • Почему же скользящий контроль лучше повторного удерживания?

4. Обучение на лету • Модель: • Множество состояний S • Множество действийA • Скалярный «выигрыш»r • В каждый момент времени t : • Агент получает свое состояние • и набор возможных действий • Агент выбирает действие и получает «выигрыш» • Требуется максимизировать выигрыш • Ясно, что выигрыш можно оптимизировать «жадно» и «дальне-срочно» - определяется задачей

5. Особенности • Нет готовых ответов, есть «запоздалый выигрыш» • Требует от системы возможности постоянно получать отклик о качестве работы (выигрыш); • Зачастую, невозможное требование для коммерческих систем компьютерного зрения; • Применение • Игры; • Робот в лабиринте; • Частичная видимость среды; • Для задач допускающих формулировку в виде задач обучения с учителем применение обучения «на лету» дает заведомо худший результат!

6. Почему же скользящий контроль лучше повторного удерживания? • Основной довод скользящего контроля: • Каждый элемент гарантированно попадет в контрольную выборку хотя бы один раз • Довод 5-2 контроля: • Тренировочные выборки абсолютно декоррелированы (не пересекаются) • Каждый прецедент учувствует в тренировке и контроля ровно по 5 раз

7. Почему же скользящий контроль лучше повторного удерживания? • Вероятность пропустить хотя бы один прецедент при повторном удерживании: • - доля прецедентов в контрольной выборке • - количество прецедентов всего • - количество итераций • При • Вероятность, что прецеденты будут выбраны в равных долях еще меньше!!!

8. Деревья классификации Classification trees

9. Деревья классификацииМодель алгоритма • Двоичное дерево • Узлы: • Помечены некоторым предикатом • Связи: • Помечены • Листья: • Помечены ответами из Y *Вопрос: кто помнит, что такое предикат?

10. Деревья классификацииМодель алгоритма • Выходом классификатора является значение листа, полученного при обходе: • Начинаем от корня • Переходим в тот узел, в который ведет связь помеченная значением предиката в текущем узле • Заканчиваем, попав в лист

11. Пример ВАЖНО: каждый лист определяет собой область пространства Х

12. Деревья классификацииПример работы

13. Деревья классификацииМодель алгоритма: пространство поиска • Количество ветвлений - сильно влияет на сложность алгоритма и соответственно на размерность Вапника-Червоненкиса и склонность к переобучению • Предикаты – обычно, используются пороги по проекциям на оси координат (на элементы вектора признаков)

14. Деревья классификацииМетод обучения • Введем меру «неоднородности» для листа дерева • Пусть, при обходе дерева до вершины m из тренировочной выборке «доходят» Nmпрецедентов; • Из них Nmyпрецедентов принадлежат классу y • Пусть, • Тогда «неоднородность» листа m-

15. Деревья классификацииМетод обучения • Пусть, дана обучающая выборка • Строим от корня: • Если текущая вершина однородная, то она лист; алгоритм останавливается • Если же нет, делаем разбиение, минимизирующие «неоднородность» • Для каждой из получившихся вершин повторяем процедуру

16. Особенности • Минусы • Плохо аппроксимирует сложные поверхности • В общем случае, требует сложных алгоритмов «обрезания» для контроля сложности • Плюсы • Просто и наглядно • Легко анализируемо • Быстро работает • Легко применяется для задач со множеством классов и к регрессии

17. Иллюстрация Верный источник как Недо- так пере-обучения!

18. Байесовская стратегия классификации Bayesian classification

19. Статистическая формулировка • Пусть – вероятностное пространство • Пусть мера пространства P • Множество прецедентов выбрано случайно и независимо согласно распределению P(случайная выборка); для них известны ответы • Требуется построить отображение

20. Статистическая формулировкаБинарная классификация • Эмпирический риск: • Общий риск: • рассчитать невозможно • требуется минимизировать

21. Формула Байеса Байесовский классификатор • Предположения: • Известна функция правдоподобия: • Известны априорные вероятности: • Принцип максимума апостериорной вероятности: Правдоподобие – условная вероятность наблюдения Вероятность класса Вероятность наблюдения

22. Пример:Какова вероятность увидеть на улице динозавра? Идя по улице вы видите такую сцену: (это и есть наблюдение х) Вычислим вероятность того, что наблюдая такую сцены мы действительно видим динозавра Априорная вероятность встретить динозавра Правдоподобие – вероятность того, что будь это действительно динозавр наблюдение было бы таким Априорная вероятность увидеть такую сцену

23. Пусть : Пример:Какова вероятность увидеть на улице динозавра? Априорная вероятность встретить динозавра Правдоподобие – вероятность того, что будь это действительно динозавр наблюдение было бы таким Априорная вероятность увидеть такую сцену

24. Свойства классификатора • Модель алгоритма и метод обучение строго не определены (не нужны даже обучающая выборка) – классификатор строится непосредственно по функциям априорных вероятностей и правдоподобия данным «свыше» • Дает наименьший общий риск (состоятелен) при выполнении предположений

25. Практическое применение • На практике, функция правдоподобия и априорные вероятности обычно не известны; • Для применения Байесвокого подхода на практике требуется каким либо образом их оценить • Зачастую, предполагается что объекты принадлежат какому-то статистическому распределению, параметры которого оцениваются на обучающей выборке; • Априорные оценки так же вычисляются на обучающей выборке

26. «Наивный» Байесовский классификатор • Пусть, множество X является конечным • Множество цветов в системе RGB • Набор логических атрибутов (наличие в письме того или иного слова) • Для каждого значения из X по обучающей выборке оценим функцию правдоподобия • Так же, оценим априорную вероятности

27. «Наивный» Байесовский классификаторСегментация кожи • Для всех возможных цветов по обучающей выборке строится таблица правдоподобия и рассчитывается априорная вероятность

28. Нормальный дискриминантный анализ Normal discriminant analyzes

29. Нормальный дискриминантный анализ • Предположения: • Функции правдоподобия имеют нормальное распределение: • Дана обучающая выборка прецедентов (случайных и независимых)

30. Нормальное распределение • Поверхность, на которой точки имеют равную вероятность представляет собой эллипсоид • Мат. ожидание – центр эллипса, ковариационная матрица – матрица поворота и растяжения (задает оси эллипса)

31. Расчет разделяющей поверхности • Обозначим: • Запишем уравнение разделяющей поверхности (на этой поверхности вероятности равны): • Распишем: С=const(x)

32. Расчет разделяющей поверхности

33. Расчет разделяющей поверхности Поверхность становится квадратичной!

34. Модель алгоритма • Классификатор строится в виде некоторой поверхности, отвечающей принципу максимума апостериорной вероятности • Поверхность зависит только от параметров распределений – пространство поиска

35. Метод обучения • Для построения классификатора требуется по обучающей выборке оценить параметры распределений • С учётом их случайности и независимости, можно применять стандартный механизм оценки параметров из математической статистики • Например, метод максимального правдоподобия

36. Свойства классификатора • В случае точной оценки параметров распределений и априорных вероятностей является Байесовским (дает минимум общего риска); • Строит простую для вычисления поверхность (линейную или квадратичную); • Делает сильное предположение о нормальности распределений • В случае невыполнения предположений даёт непредсказуемый результат

37. Советы по практическому применению • Проверить классы на нормальность! • Хи-квадрат статистика • В случае наличия выбросов использовать робастные оценки • MLESAC • Аккуратно оценить априорные вероятности

38. Развитие метода • Обобщение на множество классов • Введение риска

39. Нейронные сети Neural Networks

40. Нейоронные сети • Предпосылка: • Известно, что биологические системы (люди, животные) прекрасно справляются со сложными задачами распознавания образов; • Основная идея: • Применить знания о работе мозга (людей, животных) для решения задач распознавания образов;

41. Биологические нейронные сети • 1872-1895 гг. • Понятие нейрона и нейронной сети; • Первые предположения о принципе работы;

42. Биологический нейрон

43. Биологический нейрон

44. Биологический нейронПередача импульса Дендриты Например, могут быть присоединены к рецепторам Аксон Может быть присоединен к мышцам

45. Нейронная сеть • Совокупность соединенных между собой нейронов; • Сеть осуществляет преобразование входного сигнала с рецепторов в выходной, являющейся реакцией организма на внешнюю среду

46. Модель кибернетического нейрона Блок преобразования Синаптические веса Выходной сигнал Входной сигнал Блок суммирования McCulloch, W. and Pitts, W. (1943)

47. Персептрон РозенблатаМодель алгоритма Слой нейронов Порог Кибернетический нейрон Выходной сигнал Входной сигнал Функция преобразования - линейная *Вопрос: зачем x0 ? Rosenblatt (1962)

48. Персептрон РозенблатаМодель алгоритма • Свойства • Линейная классификация • Легко обобщается на множество классов ?

49. Персептрон РозенблатаМетодобучения • Пусть дана обучающая выборка • Пусть, матрица есть матрица весов, где элемент есть вес связи нейрона j и входаi • Проинициализируем, случайными малыми значениями • Для • Пусть, на входной образ сеть дает ответ • Вычисляем ошибку • Правим веса • Повторяем, пока ошибка не будет меньше некоторого малого числа

50. Персептрон РозенблатаМетодобучения • Особенности обучения • Прецеденты выучиваются по очереди • Оптимизируется эмпирический риск • Процесс сходится к некоторому локальному минимуму • Зависит от начальной точки