Применение свертки при увеличении изображений ( “ линейные методы ресамплинга ” )

1. Применение свертки при увеличенииизображений (“линейные методы ресамплинга”)

2. План • Введение • Интерполяция • Артефакты интерполяции • Алиасинг • Размытие • Эффект Гиббса

3. Введение • Изображения представляются в виде двумерной матрицы пикселей • Как увеличить размер изображения? • Простейший способ: метод «ближайшего соседа», или просто растяжение пикселей

4. Введение • Увеличение методом «ближайшего соседа», или повторением пикселей Недостаток метода: Изображение получается сильно пикселизованным

5. Интерполяция • Интерполяция – нахождение промежуточных значений по имеющемуся дискретному набору известных значений.

6. Интерполяция • Существуют разные способы интерполяции. На этом слайде показан метод «ближайшего соседа»

7. Интерполяция • Функция становится более гладкой, если вместо ступенек соединять точки прямыми. Это простейшая линейная интерполяция первого порядка

8. Интерполяция • Функцию можно также аппроксимировать с помощью кубических сплайнов. Этот метод наиболее широко используется в программах обработки изображений

9. Интерполяция • Кубический сплайн Эрмита – функция, которая на каждом отрезке интерполяции: • является многочленом третьей степени • непрерывна и имеет непрерывную производную S(xi-1) = f(xi-1) S(xi) = f(xi) Si (x)=a3x+b2x+cx+d S’(xi-1) = f ’(xi-1) S’(xi) = f ’(xi) xi-1 xi

10. Интерполяция • Интерполяция изображений • Пиксели изображений представляются в виде точек • Сутью увеличения изображений является нахождение значений в промежуточных точках

11. Интерполяция • Билинейная интерполяция – это линейная интерполяция в двумерном случае 1 y 0 x 0 1

12. Интерполяция • Бикубическая интерполяция • Кубический сплайн Эрмита в двумерном случае: • Фиксация значений функции и её производных , • , в узлах сетки 1 y 0 x

13. Интерполяция • Невозможно точно восстановить информацию

14. Интерполяция • Сравнение простейших методов интерполяции Метод «ближайшего соседа» Билинейная интерполяция Бикубическая интерполяция

15. Интерполяция • Любой линейный методпредставляет собой свёртку • В двумерном случае • Результат зависит от выбора ядра K

16. Интерполяция • Примеры ядер: • Метод «ближайшего соседа» • Линейная интерполяция • Кубическая интерполяция

17. Интерполяция • Примеры ядер: • Гауссовская интерполяция • «Идеальная» интерполяция

18. Интерполяция • Примеры ядер: • Интерполяция Ланцоша 2 и 3 порядка

19. Интерполяция • Недостатки линейных методов: • Алиасинг (неровности, эффект «лесенки») • Размытие • Эффект Гиббса

20. Алиасинг • Значения слова «алиасинг» • Ступенчатость, неровность (при увеличении) • Эффект наложения (при уменьшении)(т. Котельникова) • Зубцеобразный дефект (в синтезе) Исходное изображение Метод ближайшего соседа Билинейная интерполяция Нелинейный адаптивный метод

21. Алиасинг • Алиасинг как эффект наложения при уменьшении

22. Алиасинг • Алиасинг как зубцеобразный дефект при построении линий и текстур

23. Эффект Гиббса • Эффект Гиббса – это негативный эффект, возникающий при интерполяции. На изображениях проявляется в виде ореолов возле резких перепадов интенсивности

24. Недостатки линейных методовЭффект Гиббса • Эффект Гиббса – это негативный эффект, возникающий при интерполяции. На изображениях проявляется в виде ореолов возле резких перепадов интенсивности

25. Эффект Гиббса билинейная интерполяция нелинейный метод • эффект Гиббса

26. Интерполяция • Невозможно построить наилучший линейный метод Алиасинг Метод «ближайшего соседа» Билинейнаяинтерполяция Интерполяция Ланцоша 2 порядка Интерполяция Ланцоша 3 порядка Гауссовскаяинтерполяция Размытие Эффект Гиббса Бикубическая интерполяция «Идеальная» интерполяция

27. Нелинейные методы • Избавиться от недостатков линейных методов можно с помощью адаптивных нелинейных методов Линейные методы Нелинейный метод

28. Нелинейные методы • билинейная интерполяция • нелинейный метод

29. Примеры нелинейных методов Градиентные методы • Основная идея: использование разных ядер для интерполяции вдоль и поперёк границ x y

30. Примеры нелинейных методов NEDI • Увеличение только в 2 раза • Основная идея: самоподобие изображения при увеличении Белый цвет – пиксели исходного изображения Зелёный – первый проход Красный – второй проход

31. Примеры нелинейных методов NEDI • Первый проход Коэффициенты выбираются из предположения, что эти же коэффициенты использовались при получении текущего изображения из его уменьшенной версии

32. Примеры нелинейных методов NEDI • Второй проход Второй проход аналогичен первому.В интерполяции участвуют пиксели, посчитанные в первом проходе

33. Примеры нелинейных методов NEDI • Второй проход Второй проход аналогичен первому.В интерполяции участвуют пиксели, посчитанные в первом проходе

34. Примеры нелинейных методов Обратная задача • Постановка задачи в виде уравнения где z – увеличенное изображение,u – уменьшенное изображение,A – оператор, уменьшающий изображение • Увеличение как решение уравненияс применением итерационных методов • Проблемы: для одного и того же u существует несколько z+ неустойчивость.

35. Нелинейные методыРегуляризирующий метод • Одним из способов решения некорректной задачи Az=uявляется метод регуляризации,созданный основоположникомфакультета ВМК академикомА.Н.Тихоновым • Регуляризация сводит некорректно поставленную задачу к корректной за счет использования дополнительных ограничений.

36. Нелинейные методыРегуляризирующий метод • Решение задачи повышения разрешения ищется в видегде - параметр регуляризации

37. Нелинейные методыРегуляризирующий метод • Выбор стабилизатора • Тихоновский • Total Variation , • Bilateral TVи - операторы сдвига по осям xиy на sиt пикселей соответственно, , р=1

38. Нелинейные методыРегуляризирующий метод • Для минимизации регуляризирующего функционала применяется итерационный субградиентный метод

39. Нелинейные методыРегуляризирующий метод билинейная интерполяция регуляризирующий метод • эффект Гиббса

40. Регуляризирующий метод Постобработка методом квазирешений Нелинейные методыРегуляризирующий метод

41. Нелинейные методыУвеличение с подавлением эффекта Гиббса http://imaging.cs.msu.ru/software Исходные изображения, увеличенные методом ближайшего соседа Увеличение регуляризирующим методом с подавлением эффекта Гиббса Билинейная интерполяция Увеличение регуляризирующим методом

42. Повышение разрешения изображений • Введение • Линейные методы повышения разрешения • Примеры интерполяции • Представление в общем виде • Недостатки линейных методов • Нелинейные методы • Примеры нелинейных методов • Регуляризирующий метод • Суперразрешение

43. Суперразрешение • Задача суперразрешения – это реконструкция изображения высокого разрешения по нескольким изображениям низкого разрешения

44. Суперразрешение • Источник дополнительной информации – субпиксельные сдвиги Движущийся объект Получаемые с камеры изображения

45. Суперразрешение • Зная информацию о сдвигах, можно построить изображение более высокого разрешения Получаемые с камеры изображения Соответствие между пикселями изображений низкого разрешения и реконструируемого изображения высокого разрешения

46. Суперразрешение • Построение через решение обратной задачи: найти такое изображение высокого разрешения, которое, будучи уменьшенным с учётом сдвигов, даст исходные изображения

47. Суперразрешение • Ak – оператор понижения разрешения • Hcam – размытие камерой (подавление алиасинга, моделируется фильтром Гаусса) • Hatm – эффекты в среде • n – шум • Fk – оператор смещения (оптического потока) • D – оператор прореживания

48. Суперразрешение z – реконструируемое изображение F1 FN Применение операторов движения Fk F2 Уменьшение изображений (операторы Dи H)

49. Суперразрешение Исходныеизображения Метод ближайшего соседа Нелинейный метод интерполяции Быстрая реализация супер-разрешения Качественная реализация супер-разрешения

50. Суперразрешение Бикубическая интерполяция Суперразрешение Увеличение видео в 4 раза