Методы фотореалистичного синтеза изображений

Методы фотореалистичногосинтеза изображений Спецкурс Алексей Викторович Игнатенко, к.ф.-м.н. Кафедра АСВК, Кафедра матфизики

Структура курса. Принципы восприятия цвета и света человеком Алексей Игнатенко Лекция 1 16 марта 2009

На лекции • Структура курса, баллы и оценки • Задача синтеза изображений • Структура и оптика глаза • Спектральное и темпоральное восприятие света • Визуальные явления • Восприятие глубины

Тематика курса • О чем курс? • В курсе рассматриваются теоретические и практические основы фотореалистичного синтеза изображений моделей трехмерных объектов и сцен • Для кого курс? • Для студентов 2-5 курсов. • Для 2-го курса: для желающих распределиться на кафедру АСВК, лаборатория компьютерной графики и мультимедиа

Взаимосвязь курса с поточным курсом по графике • Выбраны темы, не освещаемые широко в основном курсе машграфа • Более «продвинутое» и детальное рассмотрение • Уровень сложности выше! • Не требует знаний из поточного курса

Структура курса • Лекционная часть • 9 лекций • Практическая часть • Три практических задания • Экзамен-тест • Баллы и оценки • http://courses.graphicon.ru/main/imagesynt

Структура курса: Лекционная часть • Лекция 1: Принципы восприятия света и цвета человеком • Лекция 2: Свет как энергия, радиометрия • Лекция 3: Цвета, цветовые пространства и модели • Лекция 4: Гамма, HDR. • Лекция 5: Модели камеры. Стереопроекция. • Лекция 6: Модели освещения. • Лекция 7: Геометрическое моделирование. Разновидности моделей. • Лекция 8: Трассировка лучей. Алгоритмы поиска пересечений и ускоряющие структуры. • Лекция 9: Синтез изображений методом излучательности

Структура курса: Практическая часть • Три задания: • Свет и цвет: цветовые модели • Моделирование: представления геометрии • Синтез фотореалистичных изображений: трассировка фотонов

Структура курса: Баллы и оценки • Распределение баллов • Посещение лекции: +1 балл • Задание 1: 15-35 баллов • Задание 2: 20-40 баллов • Задание 3: 25-45 баллов • Экзамен-тест: 30 баллов • Оценки • 5 -- 80 баллов и выше • 4 -- 66-79 баллов • 3 -- 50-65 баллов • 2 -- менее 50 баллов

Структура курса: Вебсайт • http://courses.graphicon.ru/main/imagesynt • На сайте: • Новости • Выкладываются лекции • .ppt + доп. материалы • Выкладываются задания • Сдача практических заданий и оценки • Общение: Форум

Знания, идеи Текст Изображение Задача синтеза изображений Информационная коммуникация

Фотореаличные изображения • Разработка алгоритмов синтеза изображений = разработка способов коммуникации с помощью изображений • В: Что такое синтез фотореалистичных изображений? • О: Синтез «убедительных» изображений, неотличимых от восприятия реальности глазом или фотоаппаратом

Виртуальная реальность • Одна из задач в рамках создания убедительной модели реальности – создание неотличимых от реальности изображений • Синтез фотореалистичных изображений необходим для создания приложений виртуальной реальности

Задача синтеза изображений • Необходимо разработать следующие модели и алгоритмы: • Модель функционирования зрительной системы и головного мозга * • Модель переноса световой энергии • Геометрическая модель пространства • Алгоритм синтеза изображения * вариант – оптики и матрицы камеры

Текст Изображение Модель функционирования зрительной системы • Для синтеза убедительных изображений нужно понимание принципов функционирования человеческой зрительной системы • Модель этого механизма => генерация изображений, аналогичных воспринимаемым глазом и мозгом => создание ощущения полной реалистичности синтезированного изображения. • Любая зрительная система состоит из двух частей • оптическая • чувствительная

Модель переноса световой энергии • Необходимо понять законы распространения света и его взаимодействия с материалами •  Невозможно передать всю полноту физических законов, по которым происходит перенос световой энергии в мире • Возможно моделировать только ключевые и существенные эффекты • Пример • зная, что основную роль в формировании ощущение глубины на плоском анимированном изображении играют перспектива и параллакс и падающие тени, в очередь нужно обратить внимание на эти эффекты

Геометрическая модель пространства • Модели зрительной системы и принципов распространения света не могут функционировать без приложения к моделиинтересующей части пространства • Модель содержит информацию о форме и материалах объектов, оптических свойствах среды и т.п. • Невозможно полностью оцифровать => тип модели подбирается под конкретную задачу • Пример • некоторые модели оцифровывают объемы объектов (воксельные модели), другие хранят информацию только о поверхности (граничные модели)

Алгоритм экранизации • Методы синтеза изображений моделей трехмерных объектов (еще называемые методами экранизации) – отдельный раздел науки • Цель – рассчитать цвет каждой точки финального изображения в условиях ограниченных вычислительных мощностей и требуемых характеристик изображения • К процессу экранизации предъявляются противоречивые требования: • в одних приложениях требуется максимальная точность получаемого изображения • в других можно пожертвовать качеством ради интерактивности

Что такое свет • Свет • Электромагнитное излучение, испускаемое нагретым или находящимся в возбужденном состоянии веществом • Принцип дуальности • Электромагнитная волна • Поток фотонов • Фотон - частица, обладающая определенной энергией и нулевой массой покоя

Электромагнитный спектр • Видимым диапазон • Диапазон частоты электромагнитного излучения, на который реагирует чувствительная система глаза • Обычно в видимый диапазон включают частоты от 380 до 780 нанометров (1 нм = 10-9м)

Спектр излучения • Видимый свет испускается источниками света, которыми служит все, что не является абсолютно черным -- солнце, лампы, отражения от объектов • Каждый источник света характеризуется спектральным составом излучения • Спектральный состав характеризуется функцией спектрального распределения C(λ), еще называемой просто спектром. • Аргументом функции является длина волны λ, а значением функции – мощность излучения соответствующей частоты • Практически все источники света излучают колебания в достаточно широком диапазоне частот. Исключение составляют источники когерентных колебаний – лазеры

Структура и оптика человеческого глаза • Светопреломляющий аппарат • Роговица • Жидкости камер • Хрусталик • Стекловидное тело • Аккомодационный аппарат • Радужка • Зрачок • Хрусталик • Рецепторный аппарат • сетчатка

Структура и оптика глаза: светопреломляющий аппарат • Как мы видим свет: • Световые лучи входят в глаз через роговицу • фокусировка • Проходят через зрачок, окруженный радужкой • Изменение количества света • Проходят через хрусталик • дальнейшая фокусировка) • Проходят через стекловидное тело • Попадают на сетчатку • Изображение уменьшенное и перевернутое

Структура и оптика глаза: аккомодационный аппарат • Аккомодация – процесс изменений оптической силы глаза для поддержания четкого изображения на сетчатке

Структура и оптика глаза: рецепторный аппарат Поле зрения глаза составляет 125° по вертикали и 150° по горизонтали В каждом глазу 6 млн колбочек и 120 млн палочек

Спектральное восприятие цвета • После фокусировки света на сетчатке происходит восприятие и обработка получаемой электромагнитной энергии • Первый этап обработки: получение светового сигнала фоточувствительными ячейками на сетчатке глаза • Свет порождает химическую реакцию • основа – фотопигмент на сетчатке • Результат: электрический сигнал, посылаемый далее в мозг

Спектральное восприятие цвета: Палочки • Фоточувствительные сенсоры глаза не одинаково чувствительны во всех областях видимого диапазона • Вещество палочек – родопсин (зрительный пигмент) • Пик чувствительности в области 500нм (сине-зеленый цвет) • Это согласуется с чувствительностью зрительной системы в ночное время • света не хватает для работы колбочек, и палочки становятся доминирующим сенсором • Высокая чувствительность к свету, но низкое разрешение! • Комбинируется сигнал с большого количества палочек

Спектральное восприятие цвета: Колбочки • Три вида колбочек • Колбочки каждого вида содержат свой особый пигмент • Три типа колбочек называют либо как B, G и R, либо как S, M и L (от Small, Medium, Long) • Пики их чувствительности приходятся примерно на 440 нм, 545 нм и 580 нм (для "усредненного" наблюдателя).

Спектральное восприятие цвета: Принцип одномерности • Единственной информацией, посылаемой палочкой или колбочкой является факт стимуляции фотопигмента светом, т.е. информации о длине световой волны не передается! Это называется «принципом одномерности» • Вероятность поглощения фотона конкретным рецептором является функцией спектральной чувствительности рецептора и интенсивности света • т.е. если рецептор на 30% чувствителен на некоторой длине волны, то около 30 их 100 фотонов будут поглощены) • Зрительная система может восстановить интенсивность и цветовую характеристику входного сигнала только путем комбинации сигналов фоторецепторов с разной чувствительностью • такая реконструкция выполняется на одном из ранних этапов визуальной обработки

Спектральное восприятие цвета: Принцип одномерности (2) • Почему визуальная система эволюционировала таким образом, что самый первый шаг обработки отбрасывает информацию, которая затем должна быть реконструирована? • Зрительная система человека представляет собой компромисс между точной передачей цвета и высоким пространственным разрешением

Темпоральное восприятие цвета • Химические процессы в фоторецепторе длятся несколько миллисекунд • Дополнительные фотоны, попавшие на рецептор в течение этого времени, добавляются к общему отклику • Появляется эффект, называемый темпоральным сглаживанием

Темпоральное восприятие цвета: реакция на мигание • Когда мигание медленное – воспринимаем индивидуальные вспышки света • После увеличения частоты мигания до некоторой критической отметки мигания сливаются в одно • Критическая частота для человека при наилучших условиях находится около 60Hz • Ранние фильмы производили эффект мигания, т.к. скорость воспроизведения пленки была недостаточна для того, чтобы глаз передавал интегрированное, гладкое изображение вместо последовательности статичных картинок.

Темпоральное сглаживание: адаптация • Наши глаза могут различать очень широкий диапазон интенсивности света • Это достигается за счет явления адаптации • Увеличение чувствительности рецепторов при низком уровне освещения и уменьшение при высоком • Диапазон адаптации крайне широк

Визуальные явления • Известно очень много особенностей (явлений) человеческого зрения по сравнению с идеальной оптической системой • Некоторые из них можно и нужно учитывать в задачах синтеза изображений • Чувствительность к контрасту • Восприятие цвета

Визуальные явления: чувствительность к контрасту • Чувствительность зрительной системы к контрасту определяет способность восприятия деталей и общую четкость восприятия

Чувствительность к контрасту: минимальная различимая разница • Задача – найти минимальную различимую разницу интенсивностей ΔI • JND – just noticeable difference • Экспериментально получена кривая чувствительности к контрасту (закон Вебера) • ΔI/I ~ const ~ 0.02 • Вывод: глаз реагирует на относительные интенсивности! I I+ΔI ΔI/I I (яркость источника) http://en.wikipedia.org/wiki/Weber-Fechner_law http://en.wikipedia.org/wiki/Jnd http://www.usd.edu/psyc301/WebersLaw.htm

Чувствительность к контрасту: функция чувствительности к контрасту

Функция чувствительности к контрасту: дневное/ночное зрение

Функция чувствительности к контрасту: изменение с возрастом

Функция чувствительности к контрасту: ориентация • Наибольшая чувствительность к горизонтальным и вертикальным перепадам яркости

Визуальные явления: шум • Человеческий глаз крайне толерантен к шуму

Визуальные явления: полосы Маха • «Полосы Маха» - иллюзия границ на стыке участков разной интенсивности или плавного градиента Ernst Mach http://www.yorku.ca/eye/machban1.htm http://en.wikipedia.org/wiki/Mach_band http://www.purveslab.net/research/explanation/brightness/mach.html

+ + + + - - - - Визуальные явления: полосы Маха (2) C A D B

Визуальные явления: яркостный контраст • Яркость цвета зависит от контекста • Одновременный контраст, последовательный контраст • Невозможно выбрать два цвета и ожидать предсказуемого поведения в разных частях изображения http://en.wikipedia.org/wiki/Simultaneous_contrast

Методы фотореалистичного синтеза изображений

Методы фотореалистичного синтеза изображений

Presentation Transcript