ОБРАБОТКА ВИДЕОИНФОРМАЦИИ В СИСТЕМАХ УПРАВЛЕНИЯ

1. ОБРАБОТКА ВИДЕОИНФОРМАЦИИВ СИСТЕМАХ УПРАВЛЕНИЯ Визильтер Юрий Валентинович,д.ф.-м.н., нач. отделения “Системы интеллектуального анализа данных, технического зрения, улучшенного и синтезированного видения”ГосНИИАС,Моржин Александр Викторович

2. Искусственный интеллект?

3. БУДУЩЕЕ

4. МАСШТАБ ВРЕМЕНИ 1912 2012

5. МАСШТАБ ВРЕМЕНИ 1912 2012

6. МАСШТАБ ВРЕМЕНИ Рост потребления энергии Рост численности населения Рост популяции Рост организма Рост раковой опухоли

7. ГЛАВНЫЙ ФАКТОР

8. ГЛАВНЫЙ ФАКТОР Рост вычислительной мощности компьютеров в соответствии с законом Мура

9. Очень близкое будущее (до 2040) такое

10. Очень близкое будущее (до 2040) или такое

11. Unmanned Aircraft Systems (UAS) Roadmap, 2005-2030 14-16марта 2012 Техническое зрение в системах управления -2012

12. Richard Rumpf Rumpf Associates International, Inc. 14-16марта 2012 Техническое зрение в системах управления -2012

13. Системы улучшенного и синтезированного видения

14. Цифровые изображения Изображение как двумерный массив данных Видимое поле представляет собой лишь некоторую функцию распределения яркости или цвета на двумерной плоскости: f(x,y), где x и y – декартовы координаты, описывающие плоскость изображения. Цифровое изображение представляет собой двумерную матрицу Im[x,y] размера (DimXDimY), где x – целое число от 0 до DimX – 1, описывающее номер элемента в строке матрицы, y – целое число от 0 до DimY – 1, описывающее номер строки матрицы, в которой расположен данный элемент. Пиксель (pixel, pictureelement) – элемент цифрового изображения (ячейка прямоугольной матрицы). В простейшем случае каждый пиксель Im[x,y] имеет скалярное целочисленное значение, пропорциональное значению функции распределения яркости f(x,y) в данной точке плоскости. Цифровое изображение как двумерная матрица интенсивностей Цифровое изображение как псевдо-трехмерный рельеф

15. Цифровое изображение Лабораторная система обработки и анализа изображений Pisoft Image Framework

16. Зрение человека Зрение – активный процесс сбора информации

17. Восприятие. Зрительные иллюзии

18. Познание. Тест Роршаха Мы стремимся найти образ, систему даже там, где ее нет.

19. Познание. Модель Платона Идеальный образ – Искажение – - Воспринимаемый образ – Реконструкция – Восстановленный идеальный образ Познание. "Структура магии" (психоанализ, НЛП) Модель: «Они все меня преследуют» Восприятие - Исключение – Искажение – Обобщение - Модель

20. Нет обобщения без исключения и искажения

21. Компьютерное зрение как область компьютерной обработки информации • Компьютерное и машинное зрение • Требования к системам и алгоритмам технического зрения: надежность, точность, быстродействие. • Компьютерное зрение = "геометрия сегодня". • Приложения компьютерного зрения.

22. Компьютерное зрение • Проблемы, связанные с анализом изображений • Разнообразие яркостно-геометрических свойств изображения (яркости, цвета, текстуры, формы, размеры…). • Изменчивость изображений (яркостная, ракурсная, загораживания…) • Необходимость базы знаний о мире для понимания сцен. • Основные целевые задачи • 1. калибровка сенсоров, самоориентация и самопозиционирование; • 2. обнаружение объектов и изменений в сцене наблюдения; • 3. слежение за объектами; • 4. реконструкция поверхностей и обнаружение трехмерных структур; • 5. высокоточные измерения элементов сцены; • 6. описание сцены и идентификация объектов; • 7. организация зрительной обратной связи при работе управляемых устройств, манипуляторов или мобильных роботов в изменчивой среде.

23. Уровни и методы компьютерного зрения • Модульная парадигма (Д. Марр. «Зрение») • Этапы обработки данных: • предобработка изображений; • сегментация; • выделение геометрической структуры; • определение относительной структуры и семантики. • Уровни обработки данных: • Низкий уровень – на входе изображение на выходе изображение (фильтрация простых шумов, гистограммная обработка); • Средний уровень – на входе изображение на выходе векторная информация, описание в виде элементов и связей между ними (сегментация); • Высокий уровень – на входе описание в терминах элементов изображения на выходе семантическая интерпретация в терминах видимой сцены объектного мира.

24. Термины и сопряженные технические дисциплины Компьютерное зрение (computer vision) изучает теорию и базовые алгоритмы анализа изображений и сцен. Машинное зрение (machine vision) включает компьютерное зрение и охватывает все проблемы разработки практических систем: выбор схем освещения исследуемой сцены, выбор характеристик датчиков, их количества и геометрии расположения, вопросы калибровки и ориентирования, выбор или разработку оборудования для оцифровки и процессорной обработки, разработку собственно алгоритмов и их компьютерную реализацию.

25. Термины и сопряженные технические дисциплины Зрение роботов (robot vision) включает задачи машинного зрения, решаемые в условиях жестких временных ограничений. Это разработка основанных на изображениях информационных систем, входящих в состав систем управления сложными динамическими объектами (самолет, автомобиль, системы контроля технических и технологических процессов на производстве), а также формирование обратных связей по результатам обработки входных изображений в системах управления, что и требует их быстрого анализа в реальном масштабе времени.

26. Термины и сопряженные технические дисциплины Обработка изображений (image processing) в узком смысле – обработка нижнего уровня, когда результатом обработки изображения снова является изображение. Понимание изображений (image understanding) - обработка верхнего уровня, часто связанная с применения методов искусственного интеллекта и распознавания образов (pattern recognition).

27. Термины и сопряженные технические дисциплины Цифровая фотограмметрия (digital photogrammetry) в узком смысле – изучает метрические соотношения между точками снимков и реальной сцены; в широком смысле – почти синоним машинного зрения: рассматривает сложные задачи анализа и 3D описания сцены по видеоданным оптических и других сенсоров. Короткобазисная фотограмметрия (close-range photogrammetry) в узком смысле – решает задачи высокоточного измерения различных элементов видимой сцены и реконструкции форм трехмерных поверхностей с использованием стерео и многокамерной съемки, а также специального структурированного подсвета.

28. Требования к алгоритмам машинного зрения • робастность; • точность; • вычислительная реализуемость. • Факторы, осложняющие решение задач: • помехи и «шум» – имеют десятки видов источников возникновения, к числу которых можно отнести несовершенство сенсоров приемо-передающей аппаратуры и аппаратуры оцифровки изображений, трудные условия съемки, недостаток освещения и ряд других; • сложный текстурированный фон, на котором должно происходить обнаружение объектов, например, обнаружение штриховой наклейки на схожей с ней по структуре газетной странице и т.п.; • эффекты загораживания (заслонения) одних объектов другими объектами, как правило, не определенной заранее формы, например – облако на космофотоснимке и т.п., загораживающие помехи; • искажающие оптические эффекты в виде различных расфокусировок, дисторсий объективов, ракурсных искажений и др.;

29. Требования к алгоритмам машинного зрения • Факторы, осложняющие решение задач: • эффекты резкой смены освещения, блики, тени, особенно в динамически меняющихся сценах; • разнообразие и изменчивость самих объектов – переменная структура (как у текстовых строк, автомобильных номеров или штриховых кодов), возможные дефекты, временные изменения формы (сгибание-разгибание конечностей, движение механических частей машин), вегетационные циклы для растительности и т.п.; • эффекты изменения среды между сенсорами и объектами наблюдения – задымление, атмосферные осадки, пыль, искусственные помехи и многое другое; • несинхронность регистрации и обработки данных в динамических задачах, связанная с ограничениями быстродействия компьютерных средств хранения и анализа изображений – особенно критична для промышленных приложений с заданным временем реакции на событие. Сюда же можно отнести также сбои в компьютерных программах обработки.

30. Компьютерное зрение как обобщение школьной геометрии

31. Как найти окружность?

32. Как найти окружность? Проблема: Помимо полезных точек есть ложные

33. Метод общих геометрических мест Задача 1: Построение треугольника по 3 заданным отрезкам.

34. Метод общих геометрических мест Задача 1: Построение треугольника по 3 заданным отрезкам. гмт1

35. Метод общих геометрических мест Задача 1: Построение треугольника по 3 заданным отрезкам. гмт2 гмт1

36. Метод общих геометрических мест Задача 1: Построение треугольника по 3 заданным отрезкам. гмт2 гмт1 гмт1  гмт2

37. Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам.

38. Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт1

39. Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт2 гмт1

40. Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт2 гмт1 O гмт1  гмт2

41. Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт2 гмт1 O R гмт1  гмт2

42. Метод общих геометрических мест Задача 2: Построение окружности по 3 заданным точкам. гмт2 гмт1 O R гмт1  гмт2

43. Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам

44. Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам

45. Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт12 R

46. Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт23 гмт12 R  гмт гмт ij

47. Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт23 гмт12 гмт lk

48. Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт23 гмт12 Больше голосов гмт lk гмт ij

49. Метод общих геометрических мест Задача 3: Построение окружности по N заданным точкам гмт23 гмт12 O R MAX  гмт гмт lk гмт ij

50. Компьютерное зрениекак школьная геометрия++ Отличия КЗ от классической геометрии: 1. Увеличение числа точек на порядки. 2. Появление у точек атрибутов интенсивности, цвета и других характеристик. 3. Рассмотрение не только правильных фигур, но и фигур любых других форм. 4. Учет всякого рода неидеальностей, погрешностей, шумов, искажений, дискретностей, неполной наблюдаемости и т.п. реальных факторов, которые, впрочем, также имеют математическое выражение.