Основы визуального восприятия

1. Лектор: Лукин Алексей Сергеевич Основы визуального восприятия

2. Свет и цвет • Восприятие цвета • Цветовые системы • Меры близости изображений • PSNR, MSE • Основы восприятия: фильтрация, CSF, маскировка • Меры, учитывающие восприятие План лекции

3. Свет и цвет • Свет и его спектр • 380–470 нм – фиолетовый, синий • 500–560 нм – зеленый • 560–590 нм – желтый, оранжевый • 590–760 нм – красный • Аналогия с «цветами» звуковых шумов

4. P (чувствительность колбочек глаза) G I (интенсивность) R I (λ) B 440 540 580 λ, нм (длина волны) λ • Восприятие цвета Свет и цвет Какой это цвет?

5. Свет и цвет • Цветовые системы • RGB и дисплеи, гамма-коррекция • Закон Вебера: чувство = log(стимул) • Аддитивные (RGB) и субтрактивные (CMYK) системы RGB CMY

6. Свет и цвет • Цветовые системы • HSV (Hue/Saturation/Value) • Система YUV и прореживание хроматических компонент

7. Свет и цвет • Система YUV: разделение яркости и хроматических компонент • Системы CIE Lab, Luv, CIEDE2000 и равномерность восприятия

8. Метрики близости • Как измерить похожесть двух изображений? исходное изображение искаженное изображение

9. Метрики близости • Среднеквадратичная ошибка (MSE) • Пиковое отношение сигнал/шум (PSNR) N – число пикселей M – максимальное значение пикселя

10. Метрики близости • PSNR и MSE не учитывают особенности человеческого восприятия! Оригинал Далее будут использованы рисунки из статьи Wang, Bovik, Lu “WHY IS IMAGE QUALITY ASSESMENT SO DIFFICULT?”

11. Метрики близости • У этих изображений одинаковые PSNR с оригиналом (примерно 25 dB) Повышена контрастность Добавлен белый гауссов шум

12. Метрики близости • И у этих – тоже примерно 25 dB! Добавлен импульсный шум Размытие

13. Метрики близости • И у этого – тоже! Артефакт блочности после JPEG

14. Метрики близости • Вывод: PSNR не всегда отражает реальный видимый уровень искажений • Как улучшить? • Использовать функцию чувствительности глаза к различным частотам (CSF) • Использовать свойство маскировки • Использовать равномерные к восприятию цветовые пространства (CIE Lab, CIEDE2000) HVS models (human visual system)

15. Метрики качества • Contrast sensitivity function (CSF) • Показывает чувствительность глаза к различным частотам Абсцисса – пространственная частота (колебаний / градус угла обзора)

16. Маскировка

17. Cortex Transform • Разбиение плоскости частот ωy θ ωx ρ gain = 1 gain = 0 Частотные характеристики нескольких кортекс-фильтров Watson “The Cortex Transform: Rapid Computation of Simulated Neural Images” (Computer Vision, Graphics, and Image Processing, 1987)

18. Cortex Transform • Разбиение плоскости частот ωy θ ωx ρ gain = 1 gain = 0 Частотные характеристики складываются

19. Cortex Transform • Разбиение плоскости частот ωy θ ωx ρ gain = 1 gain = 0 Частотные характеристики складываются

20. Cortex Transform • Пример кортекс-фильтра y x Импульсный отклик

21. Cortex Transform • Примеры кортекс-фильтров ωy y ωx x АЧХ Исходное изображение

22. Cortex Transform • Примеры кортекс-фильтров ωy y ωx x АЧХ Отфильтрованное изображение

23. Cortex Transform • Примеры кортекс-фильтров ωy y ωx x АЧХ Отфильтрованное изображение

24. Cortex Transform • Вычисление • ΦиΦ-1– вещественнозначные двумерные DFT, их можно вычислить через FFT • Кортекс-фильтры обладают линейной фазой и пологими склонами АЧХ

25. VDP • Visual Differences Predictor* • Перевести оба изображения в однородное пространство яркостей • Вычислить их кортекс-преобразования • Вычислить повышение порога восприятия в результате маскировки • Вычислить вероятность обнаружения артефактов Threshold elevation Mask contrast * Daly “The visible differences predictor: An algorithm for the assessment of image fidelity” (Digital Image and Human Vision, 1993) Mantiuk, Daly, Muszkowsky, Seidel “Predicting visible differences in high dynamic range images – model and its calibration” (Human Vision and Electronic Imaging, 2005)