Video Group CS MSU Graphics & Media Lab
реклама
Введение в стереозрение Дмитрий Ватолин Video Group CS MSU Graphics & Media Lab Only for Maxus План лекции Восприятие трехмерного пространства человеком. Источники информации о глубине сцены Стереоизображения. Параллакс. Запас глубины. Комфортное восприятие стерео CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 2 Only for Maxus Восприятие пространства Монокулярный стереоэффект Последовательно-временной стереоэффект Информация о глубине из вторичных факторов пространственного зрения Информация о глубине из перемещения объектов сцены Бинокулярный стереоэффект Информация о глубине из разности изображения с двух точек зрения CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 3 Only for Maxus Монокулярный стереоэффект Наложение объектов Линейная перспектива: относительные размеры объектов CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источники: i86.servimg.com, www.cs.cmu.edu/~dccrow 4 Only for Maxus Монокулярный стереоэффект Расположение объектов относительно горизонта Воздушная перспектива: рассеяние света по мере удаления от наблюдателя CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источники: www.3dtv.fr, Wikipedia 5 Only for Maxus Монокулярный стереоэффект Текстурные градиенты Тени, блики и отражения CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источники: cs.ru.nl/~ths, Wikipedia 6 Only for Maxus Последовательновременной стереоэффект Смещение точки зрения / камеры Относительная скорость объектов CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источники: www.3dtv.fr, Wikipedia 7 Only for Maxus Бинокулярный стереоэффект Раскрытие наложения объектов с одной из точек зрения Стереоскопический параллакс Расположение объектов на сетчатке глаза Различие формы объекта с разных точек зрения CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источник: www.3dtv.fr 8 Only for Maxus Бинокулярное зрение Человек видит разные картинки каждым из глаз Их объединение дает информацию о глубине CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источник: i.cmpnet.com 9 Only for Maxus Стереоизображения Стереоизображение делают из двух обычных картинок Разные изображения для каждого глаза CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 10 Only for Maxus Конвергенция и дивергенция При слежении за сопряженными точками зрительные оси глаз могут сходиться или расходиться в зависимости от удаленности объекта CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 11 Only for Maxus Параллакс Параллакс — величина взаимного смещения сопряженных точек на сетчатках глаз или в изображениях стереопары CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источник: www.3dtv.fr 12 Only for Maxus Параллакс в стерео Параллакс — расстояние между картинками для разных глаз на экране CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источник: www.3dtv.fr 13 Only for Maxus Параллакс в стерео Параллакс — расстояние между картинками для разных глаз на экране положительный: объект далеко CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ отрицательный: объект рядом Источник: lightillusion.com 14 Only for Maxus Положительный параллакс Зрительные оси пересекаются за плоскостью изображения стереопары Восприятие почти не зависит от расстояния зрителя до экрана CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 15 Only for Maxus Положительный параллакс Максимальный параллакс: Расстояние между картинками равно расстоянию между глазами Зрительные оси параллельны Объекты находятся на стереоскопической бесконечности (воспринимаются на расстоянии 10 метров) CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 16 Only for Maxus Положительный параллакс Параллакс больше максимального: Расстояние до объектов еще больше Глаза смотрят в разные стороны — дискомфорт CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 17 Only for Maxus Отрицательный параллакс Зрительные оси пересекаются перед плоскостью изображения стереопары Глубина задается относительно расстояния до экрана CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 18 Only for Maxus Отрицательный параллакс Серединный отрицательный параллакс (MDP — Mid-Point Parallax): Расстояние между картинками равно расстоянию между глазами Расстояние до объекта равно половине расстояния до экрана CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 19 Only for Maxus Отрицательный параллакс Максимальный отрицательный параллакс: зависит от времени статичные объекты: 1-2x MDP движущиеся объекты: 3-5x MDP CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 20 Only for Maxus Запас глубины Доступная глубина = (максимальный положительный параллакс) + (максимальный отрицательный параллакс) В пикселях: ±30px для разрешения 2000px, 30” –45—100 для сильного эффекта 3D CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источник: www.3dtv.fr 21 Only for Maxus Зоны комфортного восприятия стерео Серый: невидимая зона Красный: опасная зона Оранжевый: быстрая зона Большая нагрузка на глаза Объект виден только одному глазу — нагрузка Зеленый: зона отдыха глаз Рядом с плоскостью экрана Комфортная для восприятия CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Источник: www.3dtv.fr 22 Современные стандарты 3D Video Group CS MSU Graphics & Media Lab Only for Maxus Содержание Форматы 3D кино Полосно-пропускные Затворные Поляризационные CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 24 Only for Maxus Форматы 3D кино Полосно-пропускные Разделение изображений для разных ракурсов по длинам волн Основные форматы: Анаглиф (греч. Anaglyph, выпуклая резьба «барельеф», ἀνά «над», γλύϕ-ειν «вырезать») Dolby 3D CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Рисунок - http://dtcinema.ru 25 Only for Maxus Полосно-пропускные Dolby 3D Разработка технологии компанией Infitec (Interference filter technologie) Объединение Infitec с Dolby Laboratories Inc. Создание стандарта Dolby 3D CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 26 Only for Maxus Dolby 3D Принцип работы Развитие идеи анаглифного стерео, более сложное разделение изображений по длине волны света Применение интерференционных полоснопропускающих фильтров Получение изображения смешиванием цветов из полос пропускания Left eye: Red 629nm, Green 532nm, Blue 446nm Right eye: Red 615nm, Green 518nm, Blue 432nm CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD27 Dolby-3D-XpanD-MasterImage.html Only for Maxus Dolby 3D Принцип работы CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://litvinovs.net/reflection/3d/ 28 Only for Maxus Dolby 3D Оборудование Обычный матовый экран Один проектор + вращающийся диск-светофильтр 4320 оборотов в минуту Частота обновления – 72Гц для каждого глаза Очки со спектральными светофильтрами CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperD29 Dolby-3D-XpanD-MasterImage.html Only for Maxus Содержание Форматы 3D кино Полосно-пропускные Затворные Поляризационные CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 30 Only for Maxus Форматы 3D кино Затворные Поочередное перекрывание каждого глаза В каждый момент времени вывод на экран только одного ракурса Основные форматы: NVIDIA 3D Vision XpanD 3D CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 31 Only for Maxus NVIDIA 3D Vision Оборудование Мощная видеокарта Качественный дисплей Специализированный набор IR-синхронизатор + активные очки CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://www.nvidia.com 32 http://www.nvidia.com 33 Only for Maxus XpanD 3D Оборудование Затворные очки Полноцветное изображение Частота развертки не ниже 100Гц (50Гц для каждого глаза) Необходимость синхронизации и элементов питания Техническая сложность и высокая стоимость (60 - 100 €) CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://www.xpand.me/technology/xpand-3d/ 34 Only for Maxus XpanD 3D Оборудование IR-эмиттеры синхронизации 280 инфракрасных диодов Большой радиус действия Устанавливается рядом с проектором Направляется на экран Сигнал отражается от экрана в кинозал CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://www.xpand.me/technology/xpand-3d/ 35 http://www.xpand.me/technology/xpand-3d/ 36 Only for Maxus Содержание Форматы 3D кино Полосно-пропускные Затворные Поляризационные CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 37 Only for Maxus Поляризация Нарушение симметрии в распределении волн Неполяризованный свет CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Частично поляризованный свет http://en.wikipedia.org Поляризованный свет 38 Only for Maxus Поляризация Виды поляризации Линейная поляризация, применение: Ранние модели IMAX 3D Круговая поляризация, применение: Современный IMAX 3D RealD 3D MasterImage CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://en.wikipedia.org 39 Only for Maxus Линейная поляризация Теория Колебания э/м возмущений в одной плоскости Принцип работы фильтров – анизотропные свойства кристалла CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://en.wikipedia.org 40 Only for Maxus Круговая поляризация Теория Циркуляция вектора амплитуды э/м возмущений Правая (по часовой стрелке) поляризация волны CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://en.wikipedia.org 41 Only for Maxus Круговая поляризация Устройство фильтра Линейная поляризатор под углом 45° Четвертьволновая пластина CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://en.wikipedia.org 42 Only for Maxus Круговая поляризация Четвертьволновая пластина Вертикальноориентированная часть волны проходит без изменений Горизонтальноориентированная часть задерживается на четверть волны Δ=λ /4 CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://en.wikipedia.org 43 Only for Maxus Поляризационные Общие характеристики Экран с особым покрытием, неизменяющим поляризацию падающего света Фильтры для проекторов и очков Зависимость качества 3D эффекта от наклона головы зрителя (в меньшей степени для круговой поляризации) Существенное уменьшение яркости изображения из-за поляризации CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://hdsofa.ru/Stati/Tehnologii-3D-kino-IMAX-RealD-SuperDDolby-3D-XpanD-MasterImage.html 44 Only for Maxus RealD 3D Версии формата RealD – стандартная с максимальной шириной экрана – 13.7 м RealD XL (в России – SuperD) – для больших экранов до 24 м RealD XLS – решение проблемы уменьшения яркости изображения, экран – до 15 м RealD LP – переносная версия для конференций и выставок, экран до 5 м CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 45 Only for Maxus RealD 3D RealD, RealD XL Один проектор с частотой 140Гц Попеременное отображение кадров Система переключаемых фильтров RealD Z screen, синхронизируемая с проектором Экран с серебряным покрытием Пассивные поляризующие очки CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Система RealD Z Screen http://www.brunogilbert.com/reald.htm 46 Only for Maxus RealD 3D RealD, RealD XL CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://www.edcf.net/edcf_docs/real-d.pdf 47 Only for Maxus RealD 3D RealD XLS Использование в два раза большего проектора Одновременный показ двух ракурсов на одном кадре RealD Z Screen разделяет кадр на ракурсы и поляризует 858 2048 2160 CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 4096 48 Only for Maxus RealD 3D RealD LP Переносной вариант Ориентирован для конфренций 2D - 120Гц / 3D - 60Гц режимы работы Совместим с уже существующими моделями проекторов CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ RealD Z Screen для RealD LP http://www.brunogilbert.com/reald.htm 49 Only for Maxus MasterImage Более дешевая система с вращающимися фильтрами CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 50 Only for Maxus IMAX Не является только форматом 3D Специфицирует все элементы кинопоказа Формат фильмов и кинотеатров с большим размером экрана и эффектом погружения CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 51 Only for Maxus IMAX Версии IMAX GT – «Большой кинотеатр», без 3D IMAX GT 3D – Два «GT» проектора IMAX SR – мультиплексовый вариант с меньшим экраном, поддержкой 3D IMAX MPX – технология оборудования существующих мультиплексов под формат IMAX IMAX Dome – куполообразный экран CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://www.ieee.ca/millennium/imax/imax_technical.html 52 Only for Maxus IMAX Оборудование Специализированная конструкция кинозала: Большой экран (стандарт – 20х16 м) Высокий угол наклона сидений зрителей (до 23°) Небольшое расстояние от экрана до зрителя CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Рисунок - http://media.popularmechanics.com http://www.ieee.ca/millennium/imax/imax_technical.html 53 Only for Maxus IMAX Оборудование Больший размер пленки и специальные камеры CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://en.wikipedia.org 54 Only for Maxus IMAX Оборудование Мощные ксеноновые проекционные лампы (7-15кВт) для увеличения яркости картинки CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://en.wikipedia.org 55 Only for Maxus IMAX Технологии IMAX HD – увеличение качества картинки засчет записи 48 кадров в секунду IMAX DMR (Digital Media Remastering) – перевод 35мм фильмов в 70мм IMAX Digital Theatre System – цифровой хранения видео (введен в 2008 году) IMAX DMR (1995 Apollo 13) CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ http://www.ieee.ca/millennium/imax/imax_technical.html 56 Only for Maxus Форматы 3D кино Заключение Dolby 3D NVIDIA 3D Vision RealD 3D IMAX Спектральный Затворный поляризационный поляризационный Дисплей с высокой частотой развертки 1 проектор 2 мощных проектора Экран с покрытием Большой экран Активные дорогостоящие очки Пассивные очки Низкая стоимость Пассивные очки Низкая стоимость Нацелен на персональное использование Очень распространен, возможность оснащения старых залов Считается лучшим форматом, эффект погружения 1 проектор Обычный экран Пассивные очки Низкая стоимость Самый дешевый вариант CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ 57 Приложения S3D-видео и связанные технологии Video Group CS MSU Graphics & Media Lab Only for Maxus Что подразумевается под «S3D-видео» Рассматриваются форматы видео, которые позволяют зрителям воспринимать глубину сцены по принципу бинокулярного стерео зрения Левый + правый канал Примеры форматов: Стереоскопический Многоракурсный Видео с произвольной точкой наблюдения (ПТН, Free Viewpoint) «2D+глубина» (становится более доступным на данный момент) CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ M.-T. Sun, “Applications and Processing of 3D Video,” 2011 2D + глубина 59 Only for Maxus Приложения S3D-видео Кино и телевидение Медицина Применение 3D технологий Искусство, дизайн, проектирование CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Виртуальная реальность Стерео камеры и дисплеи M.-T. Sun, “Applications and Processing of 3D Video,” 2011 60 Only for Maxus Связанные технологии Область S3D-видео охватывает следующие технологии: Съемка 3D: стерео камеры, камеры глубины, многоракурсные системы, калибровка камер, сопоставление ракурсов Отображение 3D: очковые системы с поляризацией, затворные, автостереоскопические лентикулярные, параллакс-барьерные системы Конвертация из 2D в 3D: Вычисление и обработка карт глубины и диспаритета Depth image-based rendering (DIBR) – задачи генерации ракурсов: 3D warping, hole filling, blending Сжатие и кодирование: H.264/Multi-view video coding, depth coding Задачи распознавания на основе видео в различных 3D-форматах … CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ M.-T. Sun, “Applications and Processing of 3D Video,” 2011 61 Only for Maxus Тенденции развития видеоинформационных систем ТСПТН — Телевидение с произвольной точкой наблюдения ТВЧ — телевидение высокой четкости ТУВЧ — телевидение ультравысокой четкости CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ В. Дворкович, М. Чобану, «Проблемы и перспективы развития систем кодирования динамических изображений», 2011. 63 Only for Maxus Тенденции развития систем отображения 3D CS MSU Graphics & Media Lab (Video Group) www.compression.ru/video/ Объемы продаж (млн) Количество устройств с поддержкой 3D (млн) На данный момент предполагается активный рост востребованности 3D-технологий C. Camaroto, “3D Display Technology and Market Forecast Report”, DisplaySearch, 2010 64 КОНЕЦ ЛЕКЦИИ 1.
