Пространственно-временная коррекция видеопоследовательностей в задачах стереовидения

1. Пространственно-временная коррекция видеопоследовательностей в задачах стереовидения ГОУ ВПО «Сибирский государственный аэрокосмический университет им.академика М.Ф.Решетнева» Фаворская М. Н., Пьянков Д. И., Горошкин А. Н. Красноярск 2011

2. Классификация методов преобразования частоты кадров DLab SibSAU Методы преобразования частоты кадров Без оценки движения С оценкой движения Повторение кадров (Frame Repetition) Слежение за особенными точками (FeatureTracking) Методы оптического потока (OpticalFlow) Линейная интерполяция (Linear Interpolation) Нелинейная интерполяция (Non-Linear Interpolation) Методы сопоставления блоков (Block-matching Algorithm)

3. Классификация методов совмещения изображений DLab SibSAU Методы совмещения изображений Методы корреляции Методы на основе преобразований Методы на основе отображения точек Фазовая корреляция (Phase Correlation) Перекрестная спектральная функция (Crosspowerspectrum) Управляющие точки (Control points) Отображение точек с обратной связью (Point Mapping with Feedback) Степенной кепстр (Power cepstrum) Общий многочлен (Global Polynomial)

4. Обзор существующих программных средств DLab SibSAU Системы преобразования частоты кадров на основе интерполяции Программы Плагины Системы ручной коррекции стереопар

5. DLab SibSAU Левая видеопоследовательность Правая видеопоследовательность Преобразование в YUV-пространство Преобразование в YUV-пространство Построение интерполированных кадров Текущий кадр Последовательное совмещение интерполированных кадров с текущим кадром Выбор оптимального интерполированного кадра Построение стереовидеопоследовательности Обобщенная схема пространственно-временной коррекции

6. DLab SibSAU Построение интерполированных кадров где n – параметр, определяющий, во сколько раз увеличить число кадров; z – общее число кадров.

7. DLab SibSAU Текущий кадр L(t) Следующий кадр L(t+1) Оценка движения по межкадровой разнице Построение поля векторов движения Интерполяция в найденных областях движения Построение интерполированных кадров Обобщенная схема построения интерполированных кадров

8. DLab SibSAU B(x,y- shift) x x B(x-shift,y- shift) B(x+shift,y- shift) B(x+shift,y- shift) move x shift shift y B(x+shift,y) B(x-shift,y) B(x,y) B(x,y) y y B(x-shift,y+ shift) B(x+shift,y+ shift) B(x,y+ shift) Оценки движения при построении интерполированных кадров Область поиска движения Вектор движения Поле векторов движения 8

9. DLab SibSAU Текущий кадр L(t) Следующий кадр L(t+1) Разбиение на блоки B(x,y) заданного размера Выбор текущего блока B(x,y) Вычисление суммы s яркости пикселей для B(x,y) Сравнение суммы s с пороговым значением err s < err, движения нет s>err, движение есть Вычисление соседних блоков со смещением Вычисление суммы s с пороговым значением err Минимизация функции ошибки Построение векторов движения Схема оценки движения при построении интерполированных кадров

10. DLab SibSAU n = 2 L(t+1) 2 move 1 B(x,y) L(t) Интерполяция кадров

11. DLab SibSAU Текущий кадр L(t) Следующий кадр L(t+1) Текущий блок B(x,y) с вектором движения move Линейное смещение каждого пикселя C1 к C2 Построение интерполированного кадра Схема построения интерполированных кадров где Cn - значение цветовой компоненты Y пикселя (x,y) блока B(x,y) на интерполированном кадре n; t – параметр, задающий линейное смещение пикселей на каждом интерполированном кадре. 11

12. DLab SibSAU n L(t) R(t) L(z) Совмещение кадров

13. DLab SibSAU Левая видеопоследовательность Правая видеопоследовательность Текущий кадр L(t) Текущий кадр R(t) Построение интерполированных кадров Вычисление попиксельной межкадровой разницы по метрике PSNR Построение стереокадра Схема совмещения кадров

14. DLab SibSAU Левая видеопоследовательность Правая видеопоследовательность Скрипт avs Плагин интерполяции MyPlugin.dll Плагин интерполяции MyCompare.dll Фреймсервер Avisynth Видеоредактор (VirtualDub, WindowsMediaplayer) Откорректированная левая видеопоследовательность Стереовидеопоследовательность Реализация программного продукта

15. DLab SibSAU Реализация метода. Построение векторов движения 15

16. DLab SibSAU Реализация метода. Преобразование частоты кадров

17. DLab SibSAU Реализация метода. Совмещение кадров

18. DLab SibSAU Результаты экспериментов. PSNR (быстрая видеопоследовательность)

19. DLab SibSAU Результаты экспериментов. PSNR (медленная видеопоследовательность)

20. DLab SibSAU Результаты экспериментов. Время выполнения алгоритма

21. DLab SibSAU Заключение • Приведена классификация методов преобразования частоты кадров и методов совмещения изображений. Представлен обзор существующих программных средств для построения стереовидеопоследовательности. • Разработаны схемы пространственно-временной коррекции, построения интерполированных кадров, оценки движения, совмещения кадров. • Рассмотрена реализация программного продукта, приведены примеры построения векторов движения, преобразования частоты кадров, совмещения кадров. • Построены экспериментальные зависимости отношения сигнал/шум для «быстрой» и «медленной» видеопоследовательностей, а также время выполнения алгоритмов. 21

22. DLab SibSAU Спасибо за внимание Фаворская Маргарита Николаевна e-mail: favorskaya@sibsau.ruПьянков Дмитрий Игоревич e-mail: pyankovdi@sibsau.ruГорошкин Антон Николаевич e-mail: neobit@sibsau.ru