Модели с неявной и дискретной геометрией

1. Модели с неявной и дискретной геометрией Алексей Игнатенко Лекция 6 16 ноября 2006

2. На прошлой лекции • Пленоптик-функция задает излучение во всех возможных направлениях • Задача моделирования – эффективно представить пленоптик-функцию • Спектр методов: от набора изображений до полной геометрии • Методы на основе интерполяции изображений: • Панорамы • Мозаики • Световые поля • Склейки • «Море изображений» Основы синтеза изображений

3. На лекции • Представления с неявной геометрией • Представления с дискретной геометрией Основы синтеза изображений

4. Спектр моделей Изображения Геометрия Изображения + частичная геометрия Только изображения Полная геометрия Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро-зависимая геометрия, камеро-зависимая текстура Фиксир. геометрия, камеро-зависимая текстура Камеро-зависимая геометрия, фиксир. текстура Основы синтеза изображений

5. На прошлой лекции: модели использующие только изображения Изображения Геометрия Изображения + частичная геометрия Только изображения Полная геометрия Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро-зависимая геометрия, камеро-зависимая текстура Фиксир. геометрия, камеро-зависимая текстура Камеро-зависимая геометрия, фиксир. текстура Основы синтеза изображений

6. Сегодня: изображения + доп. информация Изображения Геометрия Изображения + частичная геометрия Только изображения Полная геометрия Световые поля, Люмиграф Изобр. с глубиной Многосл. изобр. с глубиной Камеро-зависимая геометрия, камеро-зависимая текстура Фиксир. геометрия, камеро-зависимая текстура Камеро-зависимая геометрия, фиксир. текстура Основы синтеза изображений

7. Проблемы подходов на основе интерполяции изображений • Высокие требования к количеству исходных фотографий (изображений) • Сложность получения • Большой объем данных • Статичность • Нет анимации • Нельзя менять положение источников света Основы синтеза изображений

8. Как можно уменьшить необходимое количество фотографий? • Для чего нужно много фотографий? • Для плавной интерполяции • Параллакс • Блики • Можно взять меньше фотографий, но добиться того же эффекта за счет: • Более «умной» интерполяции • Использования дополнительных данных о содержании изображений Основы синтеза изображений

9. Представления с неявной геометрией • Небольшое число исходных изображений • Использование дополнительной информацию о соответствиях (matches) пикселей на различных изображениях • Неявная геометрия • 3D положения точек не восстанавливаются • целевое изображение реконструируется с помощью манипуляции с соответствиями на изображениях • Подход позволяет увеличить дистанцию между изображениями Основы синтеза изображений

10. Интерполяция вида(view interpolation) • 1994г • Один из первых подходов на основе «умной» интерполяции • Основан на реконструкции плотного оптического потока между соседними изображениями • Далее - интерполяция Основы синтеза изображений

11. Интерполяция вида: алгоритм синтеза • 1. Реконструируется оптический поток • Методы машинного зрения • 2. Для заданного положения наблюдателя репроецируются оба исходных изображения • 3. Для заливания дырок используется интерполяция Основы синтеза изображений

12. Интерполяция вида: алгоритм синтеза 2 Одно изображение Два изображения Два изображения (исходные камеры ближе) Два изображения с интерполяцией Основы синтеза изображений

13. Интерполяция вида: результаты Найдите десять отличий  Синтез Интерполяция Основы синтеза изображений

14. Интерполяция вида: свойства •  Небольшое число фотографий •  Нет предположений о геометрии, материалах •  Высокая скорость экранизации •  Необходимо вычисление плотного стерео (диспаритета для каждой точки) •  Как следствие, изображения расположены достаточно часто • Расстояние не более одного метра Основы синтеза изображений

15. Видовой морфинг(view morphing) • Метод похож на интерполяцию вида • Но не требуется реконструкции плотного стерео • Ограничение: движение только между центрами проекций изображений Основы синтеза изображений

16. Видовой морфинг: алгоритм синтеза • 1. Регистрация двух изображений • 2. Ректификация изображений • Эпиполярные линии горизонтальны • 3. Стандартный морфинг вдоль строк (на основе особенностей) • Левое и правое – в центр • 4. Де-ректификация изображений • 5. Смешивание изображений Основы синтеза изображений

17. Видовой морфинг: морфинг параллельных видов Морфинг вдоль горизонтальных линий Основы синтеза изображений

18. Видовой морфинг: морфинг произвольных видов ректификация Основы синтеза изображений

19. Видовой морфинг: примеры Основы синтеза изображений

20. Видовой морфинг: примеры 2 Основы синтеза изображений

21. Видовой морфинг: сравнение с обычным Основы синтеза изображений

22. Видовой морфинг: свойства •  Небольшое число фотографий •  Нет предположений о геометрии, материалах •  Не требуется оптический поток •  Ограниченная область применения Основы синтеза изображений

23. Пленоптик-моделирование(plenoptic modeling) • Идея метода • Восстановление оптического потока между двумя цилиндрическими панорамами и интерполяция между ними Основы синтеза изображений

24. Пленоптик-моделирование: алгоритм получения и синтеза • Создание панорамных изображений из набора фотографий • Регистрация • Полуавтоматическая • Вычисление плотного стерео • Реконструкция панорамного изображения для заданного положения наблюдателя Основы синтеза изображений

25. Пленоптик-моделирование: пример Основы синтеза изображений

26. Пленоптик-моделирование: свойства •  Небольшое число фотографий •  Нет предположений о геометрии, материалах •  Высокая скорость экранизации •  Необходимо вычисление плотного стерео (диспаритета для каждой точки) •  Как следствие, панорамы расположены достаточно часто • Расстояние не более одного метра •  Наилучшие результаты при движении по линии, соединяющии центры проекций панорам Основы синтеза изображений

27. Модели с дискретной геометрией • Модели содержат явную 3D информацию в дискретной форме • Обычно: глубина каждого пикселя изображения вдоль направления взгляда. • Такие представления не содержат информации о том, как достраивать значения до поверхности • В отличие от граничных полигональных представлений, например • Полигональные представления не попадают в этот класс Основы синтеза изображений

28. Модели с дискретной геометрией: карты глубины • Каждой точке сопоставлено расстояние до объекта • Известна калибровка камеры • Часто результат работы лазерных сканеров Основы синтеза изображений

29. Деформация карт глубины Точка поверхности объекта • Возможно построить целевое изображение без реконструкции трехмерных точек! Исходное изображение Целевое изображение Основы синтеза изображений

30. Деформация карт глубины: алгоритмы синтеза • Прямая деформация • Обходим точки исходного, получаем координаты в целевом • Обратная деформация • Обходим точки в целевом, получаем координаты в исходном Основы синтеза изображений

31.  Быстро!  Проблемы дискретизация и реконструкции Сплаттинг Алгоритмы синтеза: прямая деформация Исходное Целевое Основы синтеза изображений

32. Алгоритмы синтеза: обратная деформация Исходное Целевое •  Проблема реконструкции заменяется на проблему сэмплирования •  Медленно, фактически трассировка лучей Основы синтеза изображений

33. Деформация карт глубины: свойства •  Небольшое число изображений с глубиной • В несколько раз (или даже в несколько десяткой раз!) меньше, чем просто изображения для интерполяции • Возможна аппаратная поддержка • Сейчас уже есть реализации на шейдерах •  Сложность получение карт глубины • Опять может потребоваться CV •  Обычно только ламбертовы поверхности • Хотя есть методы, позволяющие использовать модели освещения Основы синтеза изображений

34. Многослойные карты глубины(Layered Depth Images) • Одно «изображение» позволяет хранить полную информацию об объекте • Трехмерная структура данных • собой прямоугольная матрица • каждый элемент – список точек • Каждая точка содержит глубину и атрибуты • в простейшем случае – цвет Основы синтеза изображений

35. Многослойные карты глубины: методы синтеза • Модифицированный алгоритм деформации Основы синтеза изображений

36. Деревья многослойных карт глубины (LDI Trees) • Вместо одного LDI формируется восьмеричное дерево • В каждом узле которого находится свой LDI и ссылки на другие узлы • В них находится LDI меньшего размера (в единицах сцены), но того же разрешения. • Каждый LDI в дереве содержит информацию только о той части сцены, которая содержится в его ограничивающем параллелепипеде. • Ограничивающие параллелепипеды узлов следующего уровня дерева получаются дроблением ограничивающего параллелепипеда текущего уровня на восемь равных частей. Основы синтеза изображений

37. Итоги • Методы на основе изображений с неявной геометрией позволяют понизить требования к количеству исходных изображений • Но требуются сложные алгоритмы машинного зрения для поиска соответствий • Сужение области применения • Методы на основе дискретной геометрии • Обычно используется для работы с данными трехмерных сканеров или результатов работы алгоритмов машинного зрения • Нужно еще меньше фотографий • Сложности с получением (карты глубины) • Ограничения на модель тонирования Основы синтеза изображений