Кодирование областей произвольной формы

MULTIMEDIA
Solomeshch Natalya
КОДИРОВАНИЕ ОБЛАСТЕЙ ПРОИЗВОЛЬНОЙ
ФОРМЫ
ОСНОВНОЙ ПРОФИЛЬ
чересстрочная развертка;
 объектно-ориентированное кодирование с «серой»
(градуированной) формой («альфа-плоскостью»);
 кодирование «спрайтов»


«Спрайтом» называется видео объект (задний плана
или фон), который полностью или частично
передается в начале сцены и который может слегка
меняться во время отображения на видео сцене.
ФОРМЫ
ОСНОВНОЙ ПРОФИЛЬ
ГРАДУИРОВАННОЕ КОДИРОВАНИЕ ФОРМЫ
Бинарный носитель маски
Градуированная альфа-плоскость
ФОРМЫ
ОСНОВНОЙ ПРОФИЛЬ
СТАТИЧЕСКОЕ КОДИРОВАНИЕ “СПРАЙТОВ”
 Статическим «спрайтом» называется текстурное
изображение, которое может перемещаться и
деформироваться только в некоторых ограниченных
пределах.

«Спрайт» заднего плана и три разных «взгляда» видеокамеры.
ФОРМЫ
ОСНОВНОЙ ПРОФИЛЬ
СТАТИЧЕСКОЕ КОДИРОВАНИЕ “СПРАЙТОВ”

Базовый “спрайт” - передается целиком в начале
видеопоследовательности

“Спрайт” с малой задержкой по времени –
обновляется по ходу передачи видеоряда
ФОРМЫ
ПРОФИЛЬ ПОВЫШЕННОЙ СТЕПЕНИ СЖАТИЯ
(ADVANCED CODING EFFICIENCY)





Прогноз компенсации движения с точностью в четверть пиксела;
GMC (Global Motion Compensation);
Чересстрочная развертка;
Градуированное кодирование формы;
Адаптированное к форме преобразование DCT(SA-DCT, ShapeAdaptive DCT)
1. Сдвинуть непрозрачные величины X блока 8x8 вверх.
2. Применить одномерное DCT к каждому столбцу (число точек преобразования
совпадает с числом непрозрачных величин в каждом столбце).
3. Полученные промежуточные коэффициенты Y сдвинуть влево.
4. Применить одномерное DCT к каждой строке (с совпадением по числу значений в
каждой строке).
КОДИРОВАНИЕ
ОБЛАСТЕЙ ПРОИЗВОЛЬНОЙ
ФОРМЫ
N-БИТОВЫЙ ПРОФИЛЬ
Предоставляет дополнительные инструменты
для работы со словами из N-бит, которые позволяют
представлять цветовые компоненты (яркость и
хроматичность) с глубиной от 4 до 12 бит на сэмпл
(вместо стандартных 8 бит).
Применяется при кодировании видео для
дисплеев с низкой глубиной цветопередачи (менее 8
бит на сэмпл) и для высококачественных дисплеев с
большой глубиной цветопередачи (где цветовые
компоненты имеют глубину больше 8 бит на сэмпл и
следовательно,
требуется
высокая
точность
воспроизведения цвета)
МАСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ
Пространственное масштабирование
 Временное масштабирование
 Мелкозернистая масштабируемость

(Fine Grain Scalability)
МАСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ
ПРОСТРАНСТВЕННОЕ МАСШТАБИРОВАНИЕ
Кодирование:
1. Сделать
подcэмплирование
каждого
входного
кадра(или видео объекта) по горизонтали и
вертикали используя укрупненные сэмплы.
2.
3.
Кодировать кадры с сокращенным разрешением для
формирования базового слоя.
Декодировать базовый слой и сделать измельчающее
сэмплирование до исходного разрешения для
нахождения кадра-прогноза
МАСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ
ПРОСТРАНСТВЕННОЕ МАСШТАБИРОВАНИЕ
4.
Вычесть исходный кадр с полным разрешением из кадрапрогноза.
Кодировать полученную разность (остаток) для получения
улучшающего слоя.
Декодирование:
1.
Декодировать базовый слой и сделать измельчающее
сэмплирование до исходного разрешения.
2.
Декодировать улучшающий слой.
3.
Сложить декодированный остаток из улучшающего слоя и
декодированный базовый слой для получения требуемого
выходного видеоряда.
5.
МАСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ
ВРЕМЕННОЕ МАСШТАБИРОВАНИЕ
МАСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ
МЕЛКОЗЕРНИСТАЯ МАСШТАБИРУЕМОСТЬ (FINE
GRAIN SCALABILITY)

1.
2.
Кодирование:
Найти старший (ненулевой) битовый разряд среди всех
остаточных коэффициентов кадра.
Кодировать каждую битовую плоскость, как описано выше,
начиная с битовой плоскости старшего разряда.
МАСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ
МЕЛКОЗЕРНИСТАЯ МАСШТАБИРУЕМОСТЬ (FINE GRAIN
SCALABILITY)

Декодирование:
МАСШТАБИРУЕМОЕ ВИДЕОКОДИРОВАНИЕ
МЕЛКОЗЕРНИСТАЯ МАСШТАБИРУЕМОСТЬ
ПРОФИЛИ

Простой масштабируемы профиль
1.
Объекты I-VOP, P-VOP, 4MV, неограниченный MV и прогнозирование в моде
intra;
2.
Видео пакеты, разделение данных и обратимые коды VLC;
3.
Объекты B-VOP;
4.
Прямоугольное временное масштабирование (один улучшающий слой);
5.
Прямоугольное пространственное масштабирование; (один улучшающий слой)

Базовый масштабируемый профиль
1.
Прямоугольное временное масштабирование (один улучшающий слой);
2.
Прямоугольное пространственное масштабирование (один улучшающий слой);
3.
Объектно-ориентированное пространственное масштабирование

Профиль мелкозернистой масштабируемости
1.
В-VOP, чересстрочная развертка и модуль альтернативного квантователя;
2.
Пространственное масштабирование FGS;
3.
Временное масштабирование FGS.
КОДИРОВАНИЕ ВИДЕО СТУДИЙНОГО
КАЧЕСТВА
КОДИРОВАНИЕ ВИДЕО СТУДИЙНОГО
КАЧЕСТВА
ПРОСТОЙ СТУДИЙНЫЙ ПРОФИЛЬ

Формат источника

Преобразование и квантование
Кодирование формы
Слои

Заголовки


КОДИРОВАНИЕ ВИДЕО СТУДИЙНОГО
КАЧЕСТВА
БАЗОВЫЙ СТУДИЙНЫЙ ПРОФИЛЬ

В этом профиле добавлена поддержка
«спрайтов» и P-VOP к инструментам простого
студийного профиля. Кодирование «спрайтов»
модифицировано расширением параметров
контролирования трансформаций «спрайтов»,
чтобы они еще больше походили на съемку
«реальной» видеокамерой, например имитируя
дисторсию объектива. Компенсация движения
и векторы движения при кодировании
объектов P-VOP изменены для совместимости с
синтаксисом стандарта MPEG-2.
КОДИРОВАНИЕ СИНТЕТИЧЕСКИХ СЦЕН
Анимированное сеточное кодирование
(Synthetic Natural Hybrid Coding, SNHC, гибридное
синтетическое и натуральное кодирование)
 Анимация лиц и фигур (FBA, Face and Body
Animation)

ВЫВОДЫ


Стандарт MPEG-4 Visual поддерживает кодирование и
представление визуальных объектов с эффективной
компрессией и беспримерной гибкостью. Разнообразный
арсенал инструментов кодирования, описанных в стандарте,
дает возможность поддерживать широкий диапазон
приложений, таких как эффективное сжатие видеокадров,
видеокодирование для передачи по ненадежным сетям связи,
объектно-ориентированное кодирование и манипуляция,
кодирование синтетических и «гибридных»
искусственных/натуральных сцен и высокоинтерактивных
видеокоммуникаций.
Стандарт MPEG-4 продолжает развиваться с: добавлением
новых инструментов (например, профилей, поддерживающих
потоковое видео). Однако среди разработчиков и
производителей самыми популярными элементами MPEG-4 до
последнего времени оставались простой и простой расширенный
профили. Кроме того, все яснее проявляется возросшая
потребность видеоиндустрии в еще более эффективном
кодировании видео прямоугольных форматов. Эта потребность
вместе с затянувшимся периодом неопределенности в связи с
патентами и лицензированными выпусками MPEG-4 Visual
означает, что новый стандарт Н.264 имеет неплохие шансы
обойти на видеорынке стандарт MPEG-4 Visual.