Модели с неявной и дискретной геометрией Алексей Игнатенко Лекция 6
advertisement
Модели с неявной и дискретной геометрией Алексей Игнатенко Лекция 6 16 ноября 2006 На прошлой лекции Пленоптик-функция задает излучение во всех возможных направлениях Задача моделирования – эффективно представить пленоптик-функцию Спектр методов: от набора изображений до полной геометрии Методы на основе интерполяции изображений: Панорамы Мозаики Световые поля Склейки «Море изображений» 16 ноября 2006 Основы синтеза изображений 2 На лекции Представления с неявной геометрией Представления с дискретной геометрией 16 ноября 2006 Основы синтеза изображений 3 Спектр моделей Изображения Только изображения Световые поля, Люмиграф 16 ноября 2006 Геометрия Изображения + частичная геометрия Изобр. с глубиной Многосл. изобр. с глубиной Полная геометрия Камерозависимая геометрия, камерозависимая текстура Камерозависимая геометрия, фиксир. текстура Основы синтеза изображений Фиксир. геометрия, камерозависимая текстура 4 На прошлой лекции: модели использующие только изображения Изображения Только изображения Световые поля, Люмиграф 16 ноября 2006 Геометрия Изображения + частичная геометрия Изобр. с глубиной Многосл. изобр. с глубиной Полная геометрия Камерозависимая геометрия, камерозависимая текстура Основы синтеза изображений Камерозависимая геометрия, фиксир. текстура Фиксир. геометрия, камерозависимая текстура 5 Сегодня: изображения + доп. информация Изображения Только изображения Световые поля, Люмиграф 16 ноября 2006 Геометрия Изображения + частичная геометрия Изобр. с глубиной Многосл. изобр. с глубиной Полная геометрия Камерозависимая геометрия, камерозависимая текстура Основы синтеза изображений Камерозависимая геометрия, фиксир. текстура Фиксир. геометрия, камерозависимая текстура 6 Проблемы подходов на основе интерполяции изображений Высокие требования к количеству исходных фотографий (изображений) Сложность получения Большой объем данных Статичность Нет анимации Нельзя менять положение источников света 16 ноября 2006 Основы синтеза изображений 7 Как можно уменьшить необходимое количество фотографий? Для чего нужно много фотографий? Для плавной интерполяции Параллакс Блики Можно взять меньше фотографий, но добиться того же эффекта за счет: Более «умной» интерполяции Использования дополнительных данных о содержании изображений 16 ноября 2006 Основы синтеза изображений 8 Представления с неявной геометрией Небольшое число исходных изображений Использование дополнительной информацию о соответствиях (matches) пикселей на различных изображениях Неявная геометрия 3D положения точек не восстанавливаются целевое изображение реконструируется с помощью манипуляции с соответствиями на изображениях Подход позволяет увеличить дистанцию между изображениями 16 ноября 2006 Основы синтеза изображений 9 Интерполяция вида (view interpolation) 1994г Один из первых подходов на основе «умной» интерполяции Основан на реконструкции плотного оптического потока между соседними изображениями Далее - интерполяция 16 ноября 2006 Основы синтеза изображений 10 Интерполяция вида: алгоритм синтеза 1. Реконструируется оптический поток Методы машинного зрения 2. Для заданного положения наблюдателя репроецируются оба исходных изображения 3. Для заливания дырок используется интерполяция 16 ноября 2006 Основы синтеза изображений 11 Интерполяция вида: алгоритм синтеза 2 Одно изображение 16 ноября 2006 Два изображения Два изображения (исходные камеры ближе) Основы синтеза изображений Два изображения с интерполяцией 12 Интерполяция вида: результаты Найдите десять отличий Синтез Интерполяция 16 ноября 2006 Основы синтеза изображений 13 Интерполяция вида: свойства Небольшое число фотографий Нет предположений о геометрии, материалах Высокая скорость экранизации Необходимо вычисление плотного стерео (диспаритета для каждой точки) Как следствие, изображения расположены достаточно часто Расстояние не более одного метра 16 ноября 2006 Основы синтеза изображений 14 Видовой морфинг (view morphing) Метод похож на интерполяцию вида Но не требуется реконструкции плотного стерео Ограничение: движение только между центрами проекций изображений 16 ноября 2006 Основы синтеза изображений 15 Видовой морфинг: алгоритм синтеза 1. Регистрация двух изображений 2. Ректификация изображений 3. Стандартный морфинг вдоль строк (на основе особенностей) Эпиполярные линии горизонтальны Левое и правое – в центр 4. Де-ректификация изображений 5. Смешивание изображений 16 ноября 2006 Основы синтеза изображений 16 Видовой морфинг: морфинг параллельных видов Морфинг вдоль горизонтальных линий 16 ноября 2006 Основы синтеза изображений 17 Видовой морфинг: морфинг произвольных видов ректификация 16 ноября 2006 Основы синтеза изображений 18 Видовой морфинг: примеры 16 ноября 2006 Основы синтеза изображений 19 Видовой морфинг: примеры 2 16 ноября 2006 Основы синтеза изображений 20 Видовой морфинг: сравнение с обычным 16 ноября 2006 Основы синтеза изображений 21 Видовой морфинг: свойства Небольшое число фотографий Нет предположений о геометрии, материалах Не требуется оптический поток Ограниченная область применения 16 ноября 2006 Основы синтеза изображений 22 Пленоптик-моделирование (plenoptic modeling) Идея метода Восстановление оптического потока между двумя цилиндрическими панорамами и интерполяция между ними 16 ноября 2006 Основы синтеза изображений 23 Пленоптик-моделирование: алгоритм получения и синтеза Создание панорамных изображений из набора фотографий Регистрация Полуавтоматическая Вычисление плотного стерео Реконструкция панорамного изображения для заданного положения наблюдателя 16 ноября 2006 Основы синтеза изображений 24 Пленоптик-моделирование: пример 16 ноября 2006 Основы синтеза изображений 25 Пленоптик-моделирование: свойства Небольшое число фотографий Нет предположений о геометрии, материалах Высокая скорость экранизации Необходимо вычисление плотного стерео (диспаритета для каждой точки) Как следствие, панорамы расположены достаточно часто Расстояние не более одного метра Наилучшие результаты при движении по линии, соединяющии центры проекций панорам 16 ноября 2006 Основы синтеза изображений 26 Модели с дискретной геометрией Модели содержат явную 3D информацию в дискретной форме Обычно: глубина каждого пикселя изображения вдоль направления взгляда. Такие представления не содержат информации о том, как достраивать значения до поверхности В отличие от граничных полигональных представлений, например Полигональные представления не попадают в этот класс 16 ноября 2006 Основы синтеза изображений 27 Модели с дискретной геометрией: карты глубины Каждой точке сопоставлено расстояние до объекта Известна калибровка камеры Часто результат работы лазерных сканеров 16 ноября 2006 Основы синтеза изображений 28 Деформация карт глубины Точка поверхности объекта Исходное изображение Целевое изображение Возможно построить целевое изображение без реконструкции трехмерных точек! 16 ноября 2006 Основы синтеза изображений 29 Деформация карт глубины: алгоритмы синтеза Прямая деформация Обходим точки исходного, получаем координаты в целевом Обратная деформация Обходим точки в целевом, получаем координаты в исходном 16 ноября 2006 Основы синтеза изображений 30 Алгоритмы синтеза: прямая деформация Исходное Быстро! Проблемы дискретизация и реконструкции 16 ноября 2006 Целевое Сплаттинг Основы синтеза изображений 31 Алгоритмы синтеза: обратная деформация Исходное Целевое Проблема реконструкции заменяется на проблему сэмплирования 16 ноября 2006 Медленно, фактически трассировка лучей Основы синтеза изображений 32 Деформация карт глубины: свойства Небольшое число изображений с глубиной Возможна аппаратная поддержка Сейчас уже есть реализации на шейдерах Сложность получение карт глубины В несколько раз (или даже в несколько десяткой раз!) меньше, чем просто изображения для интерполяции Опять может потребоваться CV Обычно только ламбертовы поверхности Хотя есть методы, позволяющие использовать модели освещения 16 ноября 2006 Основы синтеза изображений 33 Многослойные карты глубины (Layered Depth Images) Одно «изображение» позволяет хранить полную информацию об объекте Трехмерная структура данных собой прямоугольная матрица каждый элемент – список точек Каждая точка содержит глубину и атрибуты 16 ноября 2006 в простейшем случае – цвет Основы синтеза изображений 34 Многослойные карты глубины: методы синтеза Модифицированный алгоритм деформации 16 ноября 2006 Основы синтеза изображений 35 Деревья многослойных карт глубины (LDI Trees) Вместо одного LDI формируется восьмеричное дерево В каждом узле которого находится свой LDI и ссылки на другие узлы В них находится LDI меньшего размера (в единицах сцены), но того же разрешения. Каждый LDI в дереве содержит информацию только о той части сцены, которая содержится в его ограничивающем параллелепипеде. Ограничивающие параллелепипеды узлов следующего уровня дерева получаются дроблением ограничивающего параллелепипеда текущего уровня на восемь равных частей. 16 ноября 2006 Основы синтеза изображений 36 Итоги Методы на основе изображений с неявной геометрией позволяют понизить требования к количеству исходных изображений Но требуются сложные алгоритмы машинного зрения для поиска соответствий Сужение области применения Методы на основе дискретной геометрии Обычно используется для работы с данными трехмерных сканеров или результатов работы алгоритмов машинного зрения Нужно еще меньше фотографий Сложности с получением (карты глубины) Ограничения на модель тонирования 16 ноября 2006 Основы синтеза изображений 37
