Основы визуального восприятия

Лектор:
Лукин Алексей Сергеевич
Основы визуального
восприятия
План лекции

Свет и цвет
► Восприятие цвета
► Цветовые системы

Меры близости изображений
► PSNR, MSE
► Основы восприятия: фильтрация, CSF, маскировка
► Меры, учитывающие восприятие
Свет и цвет

Свет и его спектр
380–470 нм
500–560 нм
560–590 нм
590–760 нм

–
–
–
–
фиолетовый, синий
зеленый
желтый, оранжевый
красный
Аналогия с «цветами» звуковых шумов
Свет и цвет

R   I ( ) PR ( )d
Восприятие цвета
G   I ( ) PG ( )d
B   I ( ) PB ( )d
P
(чувствительность
колбочек глаза)
G
I
R
(интенсивность)
I (λ)
B
440
540
580
λ, нм
(длина волны)
λ
Какой это цвет?
Свет и цвет

Цветовые системы
► RGB и дисплеи, гамма-коррекция
► Закон Вебера: чувство = log(стимул)
► Аддитивные (RGB) и субтрактивные (CMYK) системы
RGB
CMY
Свет и цвет

Цветовые системы
► HSV (Hue/Saturation/Value)
► Система YUV и прореживание хроматических компонент
Свет и цвет

Система YUV: разделение яркости и хроматических
компонент
Y  0.299R  0.587G  0.114B
U  0.147R  0.289G  0.436B
V  0.615R  0.515G  0.100B

Системы CIE Lab, Luv, CIEDE2000 и равномерность
восприятия
Метрики близости

Как измерить похожесть двух изображений?
исходное
изображение
искаженное
изображение
Метрики близости

Среднеквадратичная ошибка (MSE)
1
MSE 
N

N
 (x  y )
i 1
i
2
i
N – число пикселей
Пиковое отношение сигнал/шум (PSNR)
M2
PSNRdB  10 lg
MSE
M – максимальное
значение пикселя
Метрики близости

PSNR и MSE не учитывают особенности
человеческого восприятия!
Оригинал
Далее будут использованы рисунки из статьи
Wang, Bovik, Lu “WHY IS IMAGE QUALITY ASSESMENT SO DIFFICULT?”
Метрики близости

У этих изображений одинаковые PSNR с
оригиналом (примерно 25 dB)
Повышена контрастность
Добавлен белый гауссов шум
Метрики близости

И у этих – тоже примерно 25 dB!
Добавлен импульсный шум
Размытие
Метрики близости

И у этого – тоже!
Артефакт блочности после JPEG
Метрики близости


Вывод: PSNR не всегда отражает реальный
видимый уровень искажений
Как улучшить?
►
HVS models
(human visual system)
►
►
Использовать функцию чувствительности
глаза к различным частотам (CSF)
Использовать свойство маскировки
Использовать равномерные к восприятию
цветовые пространства (CIE Lab, CIEDE2000)
Метрики качества

Contrast sensitivity function (CSF)
►
Показывает чувствительность глаза к различным
частотам
Абсцисса – пространственная частота
(колебаний / градус угла обзора)
Маскировка
Cortex Transform

Разбиение плоскости частот
ωy
cortexk ,l (  , )  domk (  )  fanl ( )
θ
ωx
ρ
gain = 1
gain = 0
Частотные характеристики нескольких кортекс-фильтров
Watson “The Cortex Transform: Rapid Computation of Simulated Neural Images” (Computer Vision, Graphics, and Image Processing, 1987)
Cortex Transform

Разбиение плоскости частот
ωy
cortexk ,l (  , )  domk (  )  fanl ( )
θ
ωx
gain = 1
gain = 0
Частотные характеристики складываются
ρ
Cortex Transform

Разбиение плоскости частот
ωy
cortexk ,l (  , )  domk (  )  fanl ( )
θ
ωx
gain = 1
gain = 0
Частотные характеристики складываются
ρ
Cortex Transform

Пример кортекс-фильтра
y
x
Импульсный отклик
Cortex Transform

Примеры кортекс-фильтров
ωy
y
ωx
АЧХ
x
Исходное изображение
Cortex Transform

Примеры кортекс-фильтров
ωy
y
ωx
АЧХ
x
Отфильтрованное изображение
Cortex Transform

Примеры кортекс-фильтров
ωy
y
ωx
АЧХ
x
Отфильтрованное изображение
Cortex Transform

Вычисление
Bk ,l ( x, y)  1cortexk ,l ( x, y)  I ( x, y)
►Φ и Φ-1 – вещественнозначные
двумерные DFT, их можно вычислить
через FFT
►Кортекс-фильтры обладают линейной
фазой и пологими склонами АЧХ
VDP

Visual Differences Predictor*
1. Перевести оба изображения в однородное
пространство яркостей
2. Вычислить их кортекс-преобразования
3. Вычислить повышение порога восприятия в
результате маскировки
1b
Threshold elevation
Mask contrast
s b

k ,l

T ( x, y)  1  k1  k2 mn ( x, y)  

 

k ,l
e
mnk ,l ( x, y)  1cortexk ,l ( x, y)  csf ( x, y)  I ( x, y)
4. Вычислить вероятность обнаружения
артефактов
* Daly “The visible differences predictor: An algorithm for the assessment of image fidelity” (Digital Image and Human Vision, 1993)
Mantiuk, Daly, Muszkowsky, Seidel “Predicting visible differences in high dynamic range images – model and its calibration” (Human Vision and Electronic Imaging, 2005)