1331485300_13537_mgu_cvintro_1_2

Зрение человека
• Построим модель изображения
Камера-обскура
• Принцип был известен
еще Аристотелю (384-322
до Н.Э.)
• Помогала художникам:
описана Леонардо да
Винчи (1452-1519)
Gemma Frisius, 1558
Source: A. Efros
Модель камеры-обскуры
Камера-обскура:
• Захватывает пучок лучей, проходящих через одну точку
• Точка называется Центр проекции (фокальная точка / focal
point)
• Изображение формируется на картинной плоскости (Image
plane)
Slide by Steve Seitz
Машина Понижения Размерности
3D мир
2D картина
Point of observation
Что мы теряем?
• Углы
• Расстояния и длины
Slide by A. Efros
Figures © Stephen E. Palmer, 2002
Перспективные искажения
• Крайние колонны кажутся толще
• Эти искажения вызваны не погрешностью линз!
• Проблема была отмечена еще да Винчи
Slide by F. Durand
Перспективные искажения: Люди
Slide by S. Lazebnik
Фотоаппарат
• Тот же принцип, что и у камеры-обскуры
• Лучи фокусируются с помощью объектива
• Изображение формируется на светочувствительной
плёнке
Цифровая камера
Изображение (опр.)
Изображение оптическое – картина, получаемая в результате
прохождения через оптическую систему лучей, распространяющихся
от объекта, и воспроизводящая его контуры и детали.
Физический энциклопедический словарь.
Функция интенсивности (яркости) канала,
заданная на 2х мерной сетке (матрице)
I  g ( x, y), {x [ x0 , x1 ], y [ y0 , y1 ]}
Используется дискретное представление
I  g (i, j ),{i  1, n, j 1, m}
10 событий в истории фотографии
http://listverse.com/history/top-10-incredible-early-firsts-in-photography/
1957 год, 176*176 пикселов
Slide by S. Lazebnik
Цветные фотографии??
Что такое цвет?
Wassily Kandinsky (18661944), Murnau Street with
Women, 1908
• Цвет – это психологическое свойство нашего
зрения, возникающее при наблюдении объектов и
света, а не физические свойства объектов и света
(S. Palmer, Vision Science: Photons to
Phenomenology)
• Цвет – это результат взаимодействия света, сцены
и нашей зрительной системы
Slide by S. Lazebnik
Электромагнитный спектр
Human Luminance Sensitivity Function
Почему мы видим свет именно в таком диапазоне?
Потому что именно такой диапазон излучения солнца
Slide by S. Lazebnik
Физика света
Любой источник света можно полностью описать
спектром: количество излученной энергии в единицу
времени для каждой длины волны в интервале 400 700 nm.
Relative
# Photons
spectral
(per power
ms.)
400 500
600
700
Wavelength (nm.)
Slide
by S. Lazebnik
© Stephen
E. Palmer,
2002
Физика света
Примеры спектров разных источников света
.
400 500
600
700
Rel. power
B. Gallium Phosphide Crystal
# Photons
Rel. power
# Photons
A. Ruby Laser
400 500
Wavelength (nm.)
700
Rel. power
D. Normal Daylight
# Photons
# Photons
Rel. power
600
700
Wavelength (nm.)
C. Tungsten Lightbulb
400 500
600
400 500
600
700
Slide
by S. Lazebnik
© Stephen
E. Palmer,
2002
Физика света
% Отраженного света
Примеры спектров отраженного света от предметов
Red
400
Yellow
700 400
Blue
700 400
Длина волны (nm)
Purple
700 400
700
Slide
by S. Lazebnik
© Stephen
E. Palmer,
2002
Взаимодействие света и объектов
Видимый цвет это
результат
взаимодействия спектра
излучаемого света и
поверхности
Slide by S. Lazebnik
Человеческий глаз
Глаз как камера!
• Радужка – цветная пленка с радиальными мышцами
• Зрачок - дырка (аппертура), диаметр управляется радужкой
• Линза – меняет форму под действием мышц
• Где матрица?
– Клетки-фоторецепторы на сетчатке
Slide by Steve Seitz
Тест на внимательность
Плотность палочек и колбочек
pigment
molecules
Палочки и колбочки распределены неравномерно
•
•
Палочки измеряют яркость, колбочки цвет
Fovea – маленькая область(1 or 2°) в центре визуального поля с
наибольшей плотностью колбочек и без палочек
•
На периферии все больше палочек подсоединены к одному нейрону
Slide by Steve Seitz
Что мы на самом деле видим
Source: A. Yarbus
Движения глаз
Source: A. Yarbus
Восприятие цвета
M
L
Power
S
Wavelength
Палочки и колбочки – фильтры спектра
• Кривая отклика домножается на спектр, производится
интегрирование по всем длинам волн
– Каждая колбочка даёт 1 число
• В: Как же мы можем описать весь спектр 3мя числами?
• О: Мы и не можем! Большая часть информации теряется.
– Два разных спектра могут быть неотличимы
» Такие спектры называются метамеры
Slide by Steve Seitz
Спектры некоторых объектов
metamers
Slide by S. Lazebnik
Стандартизация восприятия цвета
Мы хотим понять, какие спектры света вызывают
одинаковые цветовые ощущения у людей
Эксперименты по сопоставлению цвета
Foundations of Vision, by Brian Wandell, Sinauer Assoc., 1995
Эксперимент №1
Source: W. Freeman
Эксперимент №1
p1 p2
p3
Source: W. Freeman
Эксперимент №1
p1 p2
p3
Source: W. Freeman
Эксперимент №1
Основные цвета,
необходимые для
сопоставления
p1 p2
p3
Source: W. Freeman
Эксперимент №2
Source: W. Freeman
Эксперимент №2
p1 p2
p3
Source: W. Freeman
Эксперимент №2
p1 p2
p3
Source: W. Freeman
Эксперимент №2
Мы называем м
«отрицательным»
весом основного
цвета, если цвет
нужно добавлять
к
сопоставляемому
свету.
p1 p2
p3
Веса основных
цветов, необходимых
для сопоставления:
p1 p2
p3
p1 p2
p3
Source: W. Freeman
Трихроматическая теория
В экспериментах по сопоставлению цвета
большинству людей достаточно 3х основных
цветов, чтобы сопоставить любой цвет
• Основные цвета должны быть независимы
Для одного и того же спектра, и одних и тех же
основных цветов, люди выбирают одинаковые
веса
• Исключения: цветовая слепота
Трихроматическая теория
• Трех чисел оказывается достаточно, чтобы описать цвет
• История восходит к 18у веку (Томас Юнг)
Slide by S. Lazebnik
Линейные цветовые пространства
• Определяются выбором 3х основных цветов
• «Координаты цвета» задаются весами основных
цветов, необходимых для сопоставления
• Каждая координата кодируется 1-2 байтами
• Функции сопоставления: веса, необходимые для
сопоставления с когерентными источниками
света
Смешение двух основных цветов
Смешение трех цветов
Линейные цветовые модели: RGB
• Основные цвета – монохроматические (в мониторе
им соответствует три вида фосфоров)
• Вычитание необходимо для соответствия
некоторым длинам волны
Функции сопоставления для RGB
Slide by S. Lazebnik
Модель HSV
Координаты выбраны с учетом человеческого
восприятия:
Hue (Тон), Saturation(Насыщенность), Value
(Intensity) (Интенсивность)
Slide by S. Lazebnik
Почему линейные?
• Grassmann’s Law:
• Даны два источника света, с цветом (R1,G1,B1) и
(R2,G2,B2)
• Тогда объединённый поток света имеет цвет
(R1+R2,G1+G2,B1+B2)
Первые цветные фотографии
Сергей Прокудин-Горский (1863-1944)
Фотографии Российской империи(19091916)
Lantern
projector
http://en.wikipedia.org/wiki/Sergei_Mikhailovich_Prokudin-Gorskii
http://www.loc.gov/exhibits/empire/
Slide by А.Efros
Лев Толстой
Цветное цифровое изображение
Байеровский шаблон
Демозаикинг (оценка
пропущенных
значений цвета)
Source: Steve Seitz
Ошибки демозакинга
Цветовой
муар
Slide by F. Durand
Причина цветового муар
матрица
Тонкие черные и белые детали
интерпретируются как изменения цвета
Slide by F. Durand
Восприятие цвета
Постоянство цвета и освещенности
• Способность зрительной системы человека оценивать
собственные отражательные свойства поверхностей в не
зависимости от условий освещенности
Мгновенные эффекты
• Одновременный контраст: цвета фона влияют на
воспринимаемый цвет объекта
• Полосы Маха (Mach bands)
Постепенные эффекты
• Адаптация к свету/темноте
• Хроматическая адаптация
• Остаточные изображения (afterimages)
Slide by S. Lazebnik
Постоянство освещенности
Белый цвет
на свету и в
тени
J. S. Sargent, The Daughters of Edward D. Boit, 1882
Slide by F. Durand
Постоянство яркости
http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html
Slide by S. Lazebnik
Постоянство яркости
http://web.mit.edu/persci/people/adelson/checkershadow_illusion.html
Slide by S. Lazebnik
Полосы Маха
Source: D. Forsyth
Edwin H. Land
• Один из основателей Polaroid
• Retinex = Retina + Cortex (1971)
• Автор “Color constancy”
Хроматическая адаптация
Чувствительность зрительной системы меняется в
зависимости от доминантной освещенности
наблюдаемой сцены
• Механизм плохо изучен
Адаптация к разным уровням освещенности
• Размер зрачка регулирует объем света, попадающий на
сетчатку
• Размер резко меняется при входе в здание с ярко
освещенной солнцем улицы
Цветовая адаптация
• Клетки сетчатки меняю свою чувствительность
• Пример: если доля красного в освещении повышается,
понижается чувствительность клеток, отвечающий за
красный, пока вид сцены не придет к норме
• Мы лучше адаптируемся при яркой освещенности, при
освещении свечой все остается в желтых тонах
http://www.schorsch.com/kbase/glossary/adaptation.html
Slide by S. Lazebnik
Баланс белого
Когда мы смотрим на фотографию или монитор, глаза
адаптируются к освещению в комнате, а не к
освещению сцены на фотографии
Если баланс белого неточен, цвета фотографии кажутся
неестественными
incorrect white balance
correct white balance
http://www.cambridgeincolour.com/tutorials/white-balance.htm
Slide by S. Lazebnik
Баланс белого
Пленочные камеры:
• Разные виды пленки и светофильтры применяются для
разных сцен
Цифровые камеры:
• Автоматический баланс белого
• Предустановки баланса белого для
типичных условий съемки
• Настраиваемый по опорному объекту
http://www.cambridgeincolour.com/tutorials/white-balance.htm
Slide by S. Lazebnik
Баланс белого
Von Kries adaptation
•
•
Домножаем каждый канал на коэффициент передачи
В ряде случаев эффект более сложный, соответствующий
домножению на матрицу 3x3
Простейший способ: серые (белые) карточки
•
•
Фотографируем нейтральный объект (белый)
Оцениваем вес каждого канала
– Если цвет объект записывается как rw, gw, bw
тогда веса 1/rw, 1/gw, 1/bw
Slide by S. Lazebnik
Баланс белого
Если нет серых карточек, тогда нам нужно угадать
(или оценить) коэффициенты усиления
Модель «Серого мира» (Grayworld)
• Средний уровень («серый») по каждому каналу должен
быть одинаков для всех каналов
• Если цветовой баланс нарушен, тогда «серый» в этом
канале больше «серого» других каналов
• Вычислим коэффициенты усиления так, чтобы среднее в
каждом канале стало одинаковым:
Slide by S. Lazebnik
«Серый мир» - примеры
«Серый мир» - примеры
«Серый мир» - примеры
Другие подходы
Модель блика
• Цвета бликов обычно соответствуют цвету источника
• Ищем самый яркий пиксел, и веса берем обратно
пропорционально его цветам
Сопоставление диапазона (Gamut)
• Gamut: выпуклая оболочка цветов всех пикселей
• Выбираем преобразование, которое переводит диапазон
изображения к «стандартному» при дневном освещении
Распознавание баланса белого
Идея: Для каждого класса
объектов, присутствующих в
сцене, вычисляем
преобразование таким
образом, чтобы диапазон
цветов объекта совпадал со
средним диапазоном
объектов этого класса на
«типичных» изображениях
J. Van de Weijer, C. Schmid and J. Verbeek, Using High-Level Visual Information for Color
Constancy, ICCV 2007.
Slide by S. Lazebnik