Компьютерная обработка изображений Осенний семестр 17 лекций 8 лабораторные работы

Компьютерная обработка изображений
Осенний семестр





17 лекций
8 лабораторные работы
Контрольная работа
Курсовая работа
Зачет
Основной целью курса является освоение





алгоритмов трехмерной графики,
алгоритмов обработки изображений,
основных форматов представления изображений,
языков представления графики в INTERNET - HTML и VRML

В результате лабораторных работ необходимо написать программы,
выполняющие трехмерные преобразования объектов в пространстве
с удалением невидимых линий. Для задания объектов необходимо
написать простой транслятор с языка VRML V1.0

Курсовая работа – разработка сайта или электронного учебника с
использованием HTML
Предмет компьютерной обработки изображений
Выделяют следующие основные направления компьютерной
обработки изображений:





Компьютерная графика
Обработка изображений
Распознавание зрительных образов
Цифровая обработка видео изображений

Задача компьютерной графики - воспроизведение изображений в
тех
случаях,
когда
исходной
является
информация
неизобразительной природы

Пример визуализации: построение графиков функций (2-х и 3-х
мерных) или графиков экспериментальных данных; вывод
информации на экран в компьютерных играх; синтез визуальных
сцен, предназначенных для использования в пилотажных
тренажерах.

Машинная живопись, дизайн, синтез, синтез мультипликационных
фильмов - требует не только технической квалификации, но и
художественного таланта

Термин интерактивная компьютерная графика относится к
устройствам и системам, в которых пользователь влияет на
построение изображений. Например - графический редактор

Обработка изображений связана с решением таких задач, в
которых и выходные и входные данные являются изображениями

Одним из примеров являются системы передачи изображений, в
которых основной проблемой является проблема устранения шума
и сжатия данных

Другим - улучшение качества снимков. Может возникнуть задача
построения нового изображения по набору других (компьютерная
томография)

Расшифровка интерференционных
обработкой изображений
картин
тоже
связана
с

Задачей распознавания изображения является применение
методов, позволяющих получить некоторое описание изображения,
либо отнести это изображение к некоторому классу

Это наиболее трудная задача для компьютера, хотя для человека
она не представляет видимой сложности

Одна из решенных задач - ввод и распознавание текста

Цифровая обработки видео изображений отличается от
классической тем, что объем обрабатываемой информации резко
возрастает

Необходимость работы в реальном времени с частотой 25 кадров в
сек. требует разработки специализированных алгоритмов и
аппаратных устройств
Виды изображений
Можно выделить 4 класса изображений:



Изображения представляемые в виде отдельных точек
(растровая графика).
Изображения представляемые непрерывными кривыми и
линиями (векторная графика)
Изображения представляемые точками или многоугольниками
(трехмерная графика)
Компьютерное
растровое
изображение представляется в
виде прямоугольной матрицы,
каждая
ячейка
которой
представлена цветной точкой
Сама сетка получила название растровой карты (bitmap), а ее
единичный элемент (квадратная ячейка) называется пикселем (от
английского pixel - picture element).
Растровая карта представляет собой набор (массив) троек чисел: две
координаты пикселя на плоскости и его цвет

При оцифровке изображения оно делится на такие крошечные
ячейки, что глаз человека их не видит, воспринимая все изображение
как целое.

Пиксели подобны зернам фотографии
увеличении они становятся заметными.
и
при
значительном

Растровое изображение ближе к фотографии поскольку позволяет
более точно воспроизводить основные характеристики фотографии:
освещенность, прозрачность и глубина резкости

Для синтеза растровых изображений необходимо задавать разрешение
(resolution) и размеры изображения

С развитием компьютерной техники возможное разрешение
увеличивается. (VGA - 640х480, SVGA - 1024х768, 1280х1024,
1600х1280, 1980x1080)

Растровые изображения можно получить и непосредственно в
программах растровой графики или в программах векторной графики
путем преобразовании векторных изображений в растровые

Число различных значений, которые может принимать каждый
элемент матрицы, равно некоторой степени числа 2

Для кодирования ч/б изображений используется 24 (16), 28 (256) или
32 разряда (уровня)

Цветные изображения могут представляться либо при помощи 3-х
матриц (R G B), либо с помощью одной матрицы таким образом, что
отдельные биты каждого элемента представляют различные цвета

Для кодирования цветных изображений обычно используется - 3х8
(24 бита) или 4х8 (32 бита) уровней

Таким образом, общее количество информации достаточно велико

Например один видео кадр занимает 768 х 576 х 3
–
1 327 104 Байт
(1,3 Мбайт = 10 616 832 бит = 10,6 Мбит)
Если умножить на 24 кадра в сек. –
31 850 496 Байт
(31 Мбайт = 254 803 968 бит = 254,8 Мбит)
В минуту
– 1 911 029 760 Байт
(1,9 Гбайт = 15 288 238 080 бит = 15 Гбит)
Для одного часа видео необходимо
– 114 661 785 600 Байт




(114,6 Гбайт = 917 294 284 800 бит = 917 Гбит)

Наиболее часто растровые изображения получают с помощью
сканирования фотографий и других изображений, с помощью
цифровой фотокамеры или путем "захвата" кадра видеосъемки

В настоящее время для сокращения размера цифрового видео
используются различные алгоритмы сжатия

В последние десятилетия в области обработки изображений
произошла техническая революция, связанная с бурным развитием
компьютерной техники, усовершенствованием оптической и
электронной элементной базы.

Даже персональные компьютеры способны обрабатывать движущие
телевизионные изображения
Векторная графика

Векторная графика описывает
математических формул
изображение
с
помощью

Основное преимущество векторной графики состоит в том, что
при изменении масштаба изображения оно не теряет своего
качества. Отсюда следует и еще одно преимущество - при
изменении размеров изображения не изменяется размер файла
Векторная графика

Основным
элементом
векторного
изображения
является
геометрический объект или примитив, в качестве которого
принимаются такие простые фигуры, как прямоугольник, окружность,
эллипс, линия. Каждому примитиву можно назначить определенные
атрибуты (свойства) - толщину и цвет линии, разнообразные цветовые
заливки

Преимущество векторной графики заключается в том, что форма,
пространственное положение и цвет объектов описывается с помощью
математических формул. Это обеспечивает сравнительно небольшие
размеры файлов изображений, высокое качество трансформации объектов и
независимость от разрешения печатающего устройства или монитора

Например, для того, чтобы изобразить окружность на мониторе или
принтере, программе векторной графики нужно задать только координаты
центра окружности и ее радиус. Все точки для изображения окружности
рассчитываются непосредственно перед выводом по математической
формуле окружности

Векторные графические редакторы, типично, позволяют вращать,
перемещать, отражать, растягивать, скашивать, выполнять основные
аффинные преобразования над объектами, изменять и комбинировать
примитивы в более сложные объекты

Более изощрённые преобразования включают булевы операции на замкнутых
фигурах: объединение, дополнение, пересечение и т. д.

Векторная графика идеальна для простых или составных рисунков, которые
должны быть аппаратно-независимыми или не нуждаются в фотореализме. К
примеру, PostScript и PDF используют модель векторной графики

В настоящее время лидерами среди программных пакетов обработки
векторной графики можно назвать CorelDraw, Adobe Illustrator

Однако, создание на основе векторной графики фотореалистичных
изображений является очень трудоемким процессом и требует особых
навыков и техники

Графические данные в векторной форме могут выводиться на
различных устройствах, с различными разрешениями и размерами

Большинство устройств вывода, включая матричные принтеры,
лазерные принтеры и мониторы, являются растровыми устройствами

Это означает, что все объекты, должны быть преобразованы перед
выводом в растровую форму
3D графика

Трехмерная графика в отличие от двухмерной дает более
реалистичное представление образов
Графический конвейер


В большинстве подсистем трехмерной графики применяется
графический конвейер.
Конвейер - это логическая группа вычислений, выполняемых
последовательно, которые дают на выходе синтезируемую сцену

Конвейер разделен на множество этапов, на каждом из которых
аппаратно или программно выполняется некоторая функция

Наличием переходов между этапами конвейера обеспечивается
возможность выбора между программной и аппаратной
реализацией очередного этапа

Такой подход к настройке конвейера позволяет приложениям
трехмерной графики получать преимущества аппаратной
реализации, когда таковая доступна

Таким образом, реализация конвейера может чисто
программной, полностью аппаратной или смешанной
(программно-аппаратной)
Описание сцены


До начала работы геометрических преобразований необходимо
описать трехмерную сцену, изображение которой необходимо
синтезировать
Трехмерное приложение оперирует объектами, описанными в
некоторой глобальной системе координат. Чаще всего здесь
используется ортогональная (декартова) система координат, в
которой положение каждой точки задается ее расстоянием от начала
координат по трем взаимно перпендикулярным осям X, Y и Z

В некоторых случаях используется и сферическая система
координат, в которой положение точки задается удалением от
центра и двумя углами направления

Описание трехмерной сцены. В глобальных координатах
приложение создает объекты. В этом же пространстве
располагаются источники освещения, а также определяется
точка зрения и направление взгляда наблюдателя
Описание объекта

Приложение 3D графики создает модель, в котором объекты задаются
как совокупность тел и поверхностей. Тела могут иметь разнообразную
форму, описанную каким-либо математическим способом. Проще всего
иметь дело с многогранниками, у которых каждая грань представляет
собой часть плоскости, ограниченной полигоном

Описание такого тела относительно несложно - оно состоит из
упорядоченного списка вершин. Сложнее дело обстоит с объектами,
имеющими не плоские (криволинейные) поверхности. В этом случае в
модели поверхности описываются сплайнами (кривыми, которые
задаются сложными нелинейныеми уравнениями), однако для
дальнейших построений их использование проблематично из-за
требуемых громадных объемов вычислений
Во многих прикладных задачах используется одна из следующих
форм представления:



Аппроксимация поверхности многоугольниками. Грани - обычно
треугольники. После проектирования, изображение состоит из
многоугольников
Криволинейная аппроксимация поверхности. На поверхности тела
вычерчивается ряд кривых, описания которых затем используются для
получения проекция
Аппроксимация участками высшего порядка. Этот метод аналогичен
аппроксимации многоугольниками, но в качестве элементов,
образующих поверхность объекта, используются не плоские
многоугольники, а участки поверхностей высшего порядка.

Для упрощения задачи криволинейные поверхности аппроксимируются
полигонами, и, конечно же, чем мельче полигоны, тем ближе аппроксимация
к модели, но и тем более громоздким становится описание объекта, а,
следовательно, и больше времени требуется на его обработку
Представление
криволинейной
поверхности совокупностью плоских
граней-полигонов
называется
тесселяцией (Tesselation)
Слово "tessera", от которого произошел
этот термин, означает кубики из
смальты, из которых художники
собирают мозаику. Как и смальтовые
кубики, полигоны-грани должны быть
простыми (не пересекающими себя),
плоскими и выпуклыми - эти
ограничения заметно упрощают их
дальнейшую обработку
Стадия геометрических преобразований
Стадия геометрических преобразований состоит из четырех этапов.

Первый этап заключается в описании каждого объекта группой
треугольников (многоугольников). Треугольники формируются на
основе множества вершин, заданных приложением. Объекты,
сконструированные из треугольников или многоугольников,
называются каркасной (проволочной) моделью

На втором этапе выполняются модельные преобразования, такие как
перенос, вращение и изменение масштаба. Преобразования позволяют
перемещать объекты в сцене

На третьем этапе выбираются модели освещения и вычисляется
освещенность объектов. Модель освещения описывает тип
используемых источников света и затем, когда определены свойства
освещаемого
объекта,
формируется
эффект
освещения.
Общепринятые модели освещения включают рассеянный свет,
направленный и точечный источники света. Отражающие свойства
материала в сочетании с моделью освещения задают цвет объекта

Завершает стадию геометрических преобразований этап установки.
На этапе установки изменяются размеры треугольников в
зависимости от положения точки наблюдения сцены. Также
удаляются невидимые грани
Стадия рендеринга

Рендеринг - это процесс преобразования объекта или сцены,
созданных в приложении трехмерной графики, для вывода на экран
монитора, который представляет собой двухмерную плоскость.

На стадии рендеринга по описанию треугольников генерируются
пиксели изображения.

В отличие от механизма геометрических преобразований в процессе
рендеринга объем операций с плавающей точкой не столь велик и в
основном состоит из простых операций над пикселями

Этапы стадии рендеринга
 Первый этап: сортировка по Z-буферу
 Второй этап на стадии рендеринга состоит в наложении текстурной
карты на объект
 Третий этап стадии рендеринга состоит в закраске треугольников
 На заключительном этапе рендеринга примененяется алгоритм
сглаживания (антиалайзинг) для устранения эффекта дискретизации,
ступенчатости изображения на границе объектов
Трассировка лучей


Одним из недостатков традиционного подхода при формировании
трехмерных изображений в современных компьютерных играх и даже в
ряде профессиональных программ трехмерного моделирования и
визуализации является весьма приближенная модель освещения.
Упрощенная модель принципиально не позволяет получить многих
эффектов, необходимых для реалистичного с точки зрения освещения
изображения сцены. В первую очередь — так называемого вторичного
освещения, когда некоторые затененные части сцены слегка освещены
отраженным светом. Преломления и отражения лучей света,
распространение света в среде и другие световые эффекты тоже не
рассчитываются
Одним из наиболее распространенных и наглядных методов построения
реалистичных изображений является метод трассировки лучей
(RayTracing, рэйтрейсинг), позволяющий строить фотореалистичные
изображения сложных сцен с учетом таких эффектов как отражение и
преломление

Алгоритмы метода трассировки лучей позволяют естественным
образом отображать реалистичное освещение, но уступают
традиционной технологии в других компонентах

Метод трассировки лучей ориентирован на честное физическое
моделирование, которое является сложной вычислительной задачей и в
отличие от полигонального метода, основанного на очень простом и
коротком цикле рисования треугольника его трудно реализовать на
элементарных ускорителях

Благодаря высокой реалистичности изображения этот метод будет
непременно использоваться в профессиональных задачах —
спецэффектах в кино, телевизионных роликах, мультфильмах, при
моделировании проектируемых объектов, наконец (автомобили,
интерьеры, здания и пр.).
Виртуальная реальность

Искусственная действительность, созданная с использованием
программных и аппаратных средств

При
этом,
между
искусственной
действительностью
воспринимающим ее человеком образуется двусторонняя связь

Динамическая модель реальности создается средствами трехмерной
компьютерной
графики
и
обеспечивает
взаимодействие
пользователя с виртуальными объектами в режиме реального
времени с эффектом его участия в конструируемых сценах и
событиях
и

Термин "виртуальная реальность" вошел в наш лексикон в общем-то
недавно (по некоторым данным, термин "виртуальная реальность" был
придуман в Массачусетском Технологическом Институте в конце 1970х годов, чтобы выразить идею присутствия человека в компьютерносоздаваемом пространстве)

Большинство поклонников этой технологии вряд ли догадывается, что
лет 25 - 30 назад устройства виртуальной реальности уже существовали.
Правда, назывались они не столь интригующе и к тому же были
известны лишь узкому кругу специалистов

Это были тренажеры. Область их применения уже в те времена была
достаточно обширна: подготовка танкистов, артиллеристов, моряков,
подводников, космонавтов, авиадиспетчеров, операторов АЭС. Но
наиболее массовыми и передовыми с технической точки зрения были и
остаются авиационные тренажеры

Когда-то тренажеры и системы виртуальной реальности были по
карману только крупным военным или исследовательским ведомствам.
Ныне же эти средства становятся ключевым инструментом для
делового успеха многих "обычных" фирм и организаций

Системы виртуальной реальности используются для научных
исследований и оценки проектов в стадии разработки, в моделировании
катастроф и образовании, для быстрого изготовления прототипов и
фотопечати, при обучении управлению транспортом на земле, на воде, в
воздухе и в космосе
Захват движения (Motion Capture)

Это новое направление в анимации, которое дает возможность
передавать естественные, реалистичные движения в реальном
времени

Маленькие легкие датчики прикрепляются на живого актера в тех
местах, которые будут приведены в соответствие с контрольными
точками компьютерной модели для ввода и оцифровки движения

Координаты актера и его ориентация в пространстве передаются
графической станции, и анимационные модели оживают

При создании трёхмерных мультфильмов нет необходимости
использовать стереокамеры, трёхмерное изображение генерирует
машина. Именно по такому пути пошли авторы фильма "Беовульф",
который сейчас выходит на экраны. Он с самого начала продумывался
и снимался таким образом, чтобы хорошо смотреться не только в
обычном, но и в стереоформате.
Хотя персонажи выглядят почти
живыми, на самом деле - это всего
лишь реалистичный компьютерный
мультфильм. Правда, трёхмерными
моделями управляли не только
аниматоры, но и сами актёры.
Чтобы оцифровать их движения и
мимику, использовались сотни
крохотных датчиков.

Рентгеновские сканеры применялись в работе с мумией
Тутанхамона впервые, снимки были сделаны в январе 2005 года.
Группы специалистов из Франции, Египта и США независимо друг
от друга занимались воссозданием лица Тутанхамона по снимкам
черепа, но пришли к почти одинаковым результатам
Лицо Тутанхамона по версии
американских ученых
Портрет Тутанхомона, составленный
учеными из Франции

Наиболее интересны методы, позволяющие вводить информацию о
трехмерном профиле бесконтактными способами
На рынке существует большое количество фирм, занимающихся
производством 3D сканеров. В первую очередь, следует упомянуть
американскую фирму Cyberware, которая по праву считается одним из
лидеров в производстве лазерных 3D сканеров. Компания занимается
производством дорогостоящего оборудования, полный комплект
которого может быть использован в работе над фильмом с большим
количеством сложных эффектов



Последняя версия The Whole Body X 3D
Scanner (WBX) обойдется заказчику в
240 000$.
Общий процесс сканирования человека занимает у сканера
WBX компании Cyberware порядка 17 секунд. В среднем на
выходе получается модель на 250-300 тысяч полигонов при
глубине цвета 8 bit и разрешение по оси X – 5мм, по оси Y – 8
мм, по оси Z- 0,5 мм. Стоимость аппарата 240 тысяч долларов.
Сканер WBX 4 компании Cyberware
Оригинал
Примеры ввода трехмерных тел
Копия
Визуализация трехмерных изображений

Первый и самый очевидный
способ
реализации
«двуглазого»
принципа
простое разделение картинок.
Достаточно
предоставить
каждому
глазу
свой
собственный
монитор,
на
котором и показывать нужное
изображение.
На
способе
пространственного разделения
основывается
множество
устройств различных компаний

Носимые монокулярные проекторы - миниатюрные проекторы,
направляющие изображение непосредственно в глаз. Проектор
крепится к душке очков так, что источник изображения находится
сбоку от лица и не маячит перед глазами. Пучок света доставляется и
направляется в глаз по светопроводу из полимерного материала с
тщательно подобранными оптическими свойствами. Устройства
укрепляют на оправе очков или на оголовье наушников. Проекторы
дают четкую, контрастную картинку, отлично видимую даже при
дневном свете. Засветка лица в темноте сведена к минимуму.
Пользователь видит как бы висящий в воздухе
экран монитора. Оптическую систему можно
настроить на разное фокусное расстояние
простым перемещением деталей, при этом
угловые размеры изображения не меняются. Для
глаза проекция может представать как очень
большой экран на расстоянии пять метров или же
как обычный компьютерный монитор на
расстоянии 0,6 метра.
Благодаря этому "виртуальный дисплей"
можно держать в одной плоскости с
реальным объектом, легко переводя взгляд с
одного на другой

Компания
Kopin,
известный
американский
производитель
микродисплеев для мобильной бытовой и военной электроники,
сообщила о том, что ее давний китайский партнер, компания Shenzhen
Oriscape Electronic, выпустила новый ультралегкий стереоскопический
головной дисплей Kopin CyberMan GVD510-3D, способный
воспроизводить перед глазами пользователя высококачественное
трехмерное изображение на виртуальном 40-дюймовом экране,
который как бы расположен на двухметровом расстоянии от глаз
смотрящего
Дисплей построен с использованием
цветных 0,44-дюймовых микродисплеев
Kopin
CyberDisplay,
созданных
с
применением нанотехнологии и VGAразрешением 640 x 480 пикселей, низким
энергопотреблением
и
способностью
отображать 16,7 млн. цветов

Японский Общенациональный институт передовых промышленных
наук и технологий (Advanced Industrial Science and Technology - AIST)
продемонстрировал работоспособный трёхмерный дисплей. Никаких
специальных оптических эффектов не используется

Конвергирующие инфракрасные лазерные лучи формируют прямо в
воздухе небольшие сгустки плазмы - отдельные "пиксели", словно
парящие в воздухе
Лазерные лучи отражаются от
нескольких рефлекторов, и в
общей сложности, за одну секунду
в воздухе удаётся сгенерировать до
сотни
"парящих
пикселей",
которые могут располагаться в
нескольких метрах от источника
излучения

В сообщении института AIST, используется высококачественный и
высокоинтенсивный инфракрасный импульсный лазер с частотой
импульса порядка 100 Гц
Время одной эмиссии составляет
около 1 наносекунды (10-9с),
при этом для генерации любой
одной точки используется 1
импульс
Человеческий глаз способен
различить горящую в воздухе
точку благодаря инерции глазной
сетчатки
Программы для создания 3D графики и анимации

3D Studio Max. Производитель : Discreet (ранее Kinetix)

Программы для моделирования, анимации и рендеринга для PC.
Сегодня MAX - это один из самых популярных, если не самый
популярный пакет 3D-графики и анимации
Результаты работы этого пакета вы можете увидеть во многих
голливудских фильмах (Lost in Space, Ally McBeal и пр.)
Открытая архитектура, удобный интерфейс, большое количество
внешних модулей и дополнений (plug-ins) обеспечили этому пакету
беспрецедентный успех во всем мире.



Maya. Производитель : Alias | Wavefront

Maya - это результат более чем десятилетнего труда разработчиков
программного обеспечения компаний Alias, TDI и Wavefront. Все
лучшие идеи и возможности пакетов Alias Power Animator, TDI Explore,
Wavefront Advanced Visualizer, Dynamation и Kinemation были собраны
воедино и реализованы в совершенно новом проекте
Пример объекта
Пример объекта
Пример объекта
С помощью этих программ
разговаривающие объекты
можно
создавать
движущие
и

В ходе съемок фильма «Гладиатор» умер замечательный английский
актер Оливер Рид, но съемки не были даже приостановлены, потому
что все ведущие актеры заранее были отсканированы, и умершего
актера заменил дублер на общих планах и тот же дублер, но уже с
оцифрованным лицом Оливера Рида - на крупных.