Download
1 / 38
380 likes | 504 Views
Автоматическая система реального времени для обнаружения объектов и ориентиров на изображении, основанная на обработке цветных изображений Кий К.И . Институт Прикладной Математики им. Келдыша РАН , IKI Таруса 2010. Постановка задачи и связь с предыдущими исследованиями.
E N D
Автоматическая система реального времени для обнаружения объектов и ориентиров на изображении, основанная на обработке цветных изображенийКий К.И.Институт Прикладной Математики им. Келдыша РАН, IKIТаруса 2010
Постановка задачи и связь с предыдущими исследованиями • Задача обобщенной сегментации цветных изображенийи поиска ориентиров • Выделить на цветном изображении однородные части реальных объектов и построить их сжатое описание, содержащие описание формы и полутоновое и цветовое описания без индексирования точек массива изображения. • Обеспечить выполнение процедур в реальном времени на современных мобильных компьютерах. • Задача примыкает к исследованиям по сегментации цветных изображенийи выделению объектов интереса (salient features). • Существенное отличие состоит в том, что мы не решаем задачу преобразования изображения в субъективно подобное, но использующее меньшие диапазоны цветов.
Построение геометризованной гистограммы изображения Изображение, задаваемое скалярной функцией интенсивности (черно-белое, инфракрасное, и т.д.) I. Локальная конструкция • Изображение разбивается на узкие горизонтальные (вертикальные) полосы. • Каждое множествo уровня интенсивности проектируется на горизонтальную (вертикальную) ось. Его проекция является набором отрезков на горизонтальной (вертикальной) оси. Каждому интервалу предписывается его мощность (число точек полосы, спроектированных на этот интервал. • В соответствие каждой полосе изображения ставится в соответствие множество интервалов на горизонтальной вертикальной оси координатной системы изображения. Каждому интервалу предписано определенное значение интенсивности и мощности.
Изображение, множество отрезков для всех уровней, и сгустки в полосе
Кадр из Бури в Пустыне, описание полосы изображения
Множество отрезков, соответствующее 20ой полосе полутоновой компоненты изображения
Предложение.Описанное выше отрезковое описание полосы изображения может быть получено за один проход массива изображения полосы и сложность его получения линейно зависит от числа пикселов. Gi - множество интервалов, соответствующее i-ойполосе, называется геометризованной гистограммой этой полосы G=Gi- объединение геометризованных гистограмм для всех полос называется глобальной геометризованной гистограммой изображения, соответствующей заданному разбиению изображения на полосы. Если обозначить Bконечноеупорядоченное множество, нумерующее полосы, то мы можем рассмотреть проекцию p: G→B, слоямикоторой являются Gi.
Топологические структуры на G, задаваемые неевклидовыми мерами близости • ri (I, J) = L(I∩J)/Si(I, J) i = 1, 2; • S1(I, J) = max (L(I), L(J)), • S2(I, J) = min (L(I), L(J)); • L(I), L(J), L(I∩J) - длины соответствующих отрезков; • di(I, J) =1 - ri(I, J) - соответствующие псевдо-метрики.
Геометризованная гистограмма, соответствующая распределениям цвета • Цветовая компонента задается парой G/(G+B),G/(G+R)или G/(G+B),R/(R+B).Вместе с полутоновой компонентой I получаем систему координат G/(G+B),G/(G+R),Iи G/(G+B),R/(R+B),I, где (R, G, B) координаты стандартного представления цветных изображений. • Пары G/(G+B),G/(G+R) иG/(G+B),R/(R+B)задают представление цвета эквивалентное представлению, задаваемому парой (H,S)(оттенок, насыщение), так как любая пара однозначно определяет любую внутреннюю точку цветового треугольника. • Необходимо построить геометризованную гистограмму для заданного распределения цветов (цветного изображения), т.е. необходимо построить расслоение отрезков аналогичное расслоению отрезков для скалярной функции интенсивности.
Стандартныйцветовой треугольник
Изображение комнаты и его компоненты
Изображение коридора и три его компоненты
Изображение темного коридора и его компоненты
Построение геометризованной гистограммы для цветных изображений • Тривиальный способ: строится геометризованная гистограмма для компоненты G/(G+B)и дополнительно каждый интервал снабжается гистограммой распределения уклонения от среднего значения другого отношения, например G/(G+R), и дополнительно для каждого отрезка вычисляются верхнее и нижнее значение полутоновой компоненты. • Данный метод хорошо работает, например, на изображениях дорожных сцен на фоне растительности и плохо работает на сложных сценах со многими предметами разных цветов – объекты не различаются на уровне построения локальной геометризованной гистограммы. • Правильный метод состоит в учете обеих компонент G/(G+B)и G/(G+R)при построении системы отрезков локальной геометризованной гистограммы. Этот метод есть некоторая аналогия человеческой зрительной системы (теория Геринга трех стрелок измерительных приборов).
Процедура расширения диапазона значений G/(G+B) • Рассмотрим случайG/(G+B) >= 0.5 (остальные случаи аналогичны). Пусть G/(G+B)принимает дискретные значения 0,…,k. • Если точка, определяемая парой G/(G+B), G/(G+R), имеет оттенок из желтой области, то расширенной функции CF=G/(G+B)extприсваивается значение G/(G+B). В случае если точка попадает в зеленой или красный диапазоны, значения G/(G+B)ext увеличиваются на k + 1 и 2(k + 1), соответственно. • Для CFстроится система интервалов в полосе также как это делалось для G/(G+B). Каждый интервал снабжается классической гистограммой уклонений значений G/(G+R)от среднего значения в точках полосы, соответствующих заданному интервалу, значением мощности интервала, и верхним, нижним и средним значением полутоновой компоненты.
Корректировка функцииCFдля отделения бесцветных и темных компонент • Вводятся дополнительные значения CF, чтобы описывать объекты, которые имеют “наивный” белый, серый (светло-серый, темно-серый) и черный цвета. Кроме того темные но окрашенные компоненты интегрируются по аналогии с человеческим зрением. • Для каждой цветовой области устанавливаются свои правила (диапазоны значений полутоновой компоненты) принадлежности к определенному наивному цвету. • Данная процедура принудительным образом делает бесцветные компоненты однородными по отношению к полутону. • Темным компонентам присваиваются некоторые интегрированные цвета.
Выделение однородных окрашенных интервалов геометризованной гистограммы • Полученные интервалы геометризованной гистограммы характеристической функции CF в зависимости от гистограммы уклонений оппонентного отношения (R/(R+B)или G/(G+R)) признаютсяоднородными или неоднородными в цветовом отношении. • Аналогичная процедура проводится для определения полутоновой однородности с рассмотрением ширины полутонового и диапазона и уклонения среднего значения от верхней и нижней границ диапазона.
Процедура согласования результатов с человеческим зрением • Определение заметных и незаметных цветов окрашенных интервалов. • Основываясь на средних значениях и диапазонах численных характеристик окрашенных интервалов, их мощности, а также характеристик окружения по некоторым правилам определяется заметен ли сам интервал и его цвет.
Пример геометризованной гистограммы с обработкой
Процедуры построения сгустков (color bunches) интервалов в геометризованной гистограмме полосы • Выбираются интервалы имеющие однородный заметный цвет и сами признанные заметными. • Устраивается процедура выживания сильнейших интервалов. Интервалы бросаются на прямую и в каждой точке выживает сильнейший интервал (имеющий максимальную плотность). Данная процедура проделывается итеративно и в нескольких цветовых диапазонах. Интервалы упорядочиваются в зависимости от доли точек, в которых они выжили. Выжившие интервалы берутся как семена при построении кластеров. Кластеры строятся с помощью метрик, описанных выше. • Проводятся различные процедуры, устраняющие дублирование. Кластерам приписываются некоторые средние значения H (hue) и S(saturation) и I и диапазоны вариации их значенийа также интервал на оси полосы.
Построение структурного графа • Вершины графа STG– цветовые сгустки для всех полос разбиения изображения. Граф разбивается на несколько слоев, каждый слой соответствует цветовым сгусткам одной полосы. • Определяются соседние цветовые сгустки в одинаковых слоях (соответствующих одной полосе) и в соседних слоях (соответствующих соседним полосам). Сгустки являются соседними если их интервалы пересекаются или близки в смысле близостей, подобных приведенным выше. • Слева направо (или справа налево) строятся последовательности ребер графа STG. Каждый цветовой сгусток соединяется с соседним сгустком в соседнем слое имеющим наиболее близкие и сходные цветовые характеристики.
Структурный граф изображения коридора с человеком в кадре. Вертикальные прямые соответствую горизонтальным полосам изображения с соответствующими номерами, окрашенные квадраты – цветовым сгусткам, отрезки прямых – ребрам графа.
Построение глобальных объектов • Строятся непрерывные системы сгустков окрашенных интервалов, которые соответствую путям на структурном графе таким, что каждый путь содержит по одной точке в каждом слое. По аналогии с теорией расслоений такие непрерывные системы называются сечениями. • Глобальные окрашенные объекты-сечения используются как кубики, из которых складываются реальные окрашенные объекты в кадре. Геометрически глобальные объекты соответствуют связным компонентам ребер графа. • Более сложные многоцветные сложные объекты складываются из соседних окрашенных объектов.
Примеры глобальных объектов-сечений
Примеры построения цветовых сгустков
Программная реализация • Система реализованав С++(Visual Studio 2008) вместе со средствами сопряжения с вводом изображений из телекамер с использованием DirectX SDK. • Скорость обработки для цветных изображений 640х480 8-10 fps, для изображений 320х240, в четыре раза быстрее. Однокомпонентные изображения обрабатываются в 6 раз быстрее цветных изображений. • Система имеет средства для работы через сеть, включая работу через Internet.
Выводы • Разработан новый метод представления сцен, основанный на понятии геометризованной гистограммы, удобный для решения задач понимания изображений в реальном времени. • Основу представления данных составляет структурный граф, поставленный в соответствие любому цветному изображению. • Геометризованная гистограмма и структурный граф позволяют разделять и находить различные предметы на изображениях. • Предложенная техника дает подход к интерпретации цветовых характеристик объектов на изображении сходной с интерпретацией, выполненной человеком. • Разрабатывается система поиска ориентиров на изображениях, основанная на развитой технике. • Необходимо строить разные правила интерпретации, повысить точность используемых параметров, и организовать процедуру обучения с целью выбора оптимальных правил для разных классов изображений.
