Программа по Мультимедийным системам

Правительство Российской Федерации
Государственное образовательное бюджетное учреждение
высшего профессионального образования
«Государственный университет Высшая школа экономики»
Факультет Бизнес-информатики
Отделение программной инженерии
Программа дисциплины
“Информатика, математическая логика и теория алгоритмов”
для направления 231000.62 «Программная инженерия»
подготовки бакалавра
Автор программы
профессор, д.т.н. Гостев И.М.
igostev@hse.ru
Рекомендована секцией УМС
факультета бизнес-информатики
Председатель
_________________Таратухина Ю.В.
«_____» __________________ 2011 г.
Одобрена на заседании кафедры
управления разработкой
программного обеспечения
Зав. кафедрой
_____________________Авдошин С.М.
«____»_____________________ 2011 г.
Утверждена Ученым Советом
факультета Бизнес-информатики
Ученый секретарь
____________________Фомичев В.А.
« ____» ___________________2011 г.
Москва 2011г.
I. Пояснительная записка
Автор программы:
д.т.н., профессор Гостев И.М..
Общие сведения об учебной дисциплине:
Дисциплина читается студентам бакалаврской программы «Программная
инженерия» (направление 231000.62) на отделении программной инженерии факультета
бизнес-информатики НИУ-ВШЭ. Она относится к числу обязательных дисциплин
математического и естественно-научного цикла базового учебного плана и предлагается
студентам в первом и втором модулях четвертого года обучения. Продолжительность
курса составляет 64 аудиторных учебных часа (в рамках 2 модулей), образованных 32
часами лекций и 32 часами практических занятий. Предусмотренный учебным планом
текущий контроль по дисциплине включает: домашние задания (Д в первом и втором
модулях) и контрольную работу (К во втором модуле). В конце дисциплины проводится
итоговый экзамен (Э в конце второго модуля).
Требования к студентам:
Дисциплина требует предварительного изучение основ математического анализа,
линейной алгебры, теории вероятностей и математической статистики, знания теории
алгоритмов и структур данных, умения программировать в среде С++. Она читается
студентам бакалаврской программы четвертого года обучения в первом и втором модулях.
Цель дисциплины:
Основной целью дисциплины является ознакомление студентов с основными
видами мультимедийной информации и изучение базовых методов работы с ней. Курс
предполагает рассмотрение различных методов и алгоритмов работы с мультимедийной
информацией как с использованием готовых, так и самостоятельно разработанных в
рамках данного курса программ.
Основная цель достигается освоением следующих тем:
1. Основные понятия мультимедийной информации (аудио, видео и изображений).
Понятия цвета и света, звука, видеопотока.
2. Особенности восприятия мультимедийной информации человеком.
3. Представление мультимедийной информации в компьютере. Особенности
дискретизации мультимедийной информации.
4. Принципы построения систем для обработки мультимедийной информации.
5. Устройства, драйверы устройств, сигналы и протоколы управления
мультимедийной информацией.
6. Базовые приложения, редакторы мультимедиа-информации, авторские разработки.
7. Математические основы обработки мультимедийной информации, используемые в
зависимости от целей ее дальнейшего использования.
8. Методы обработки графической информации. Геометрическая обработка и
коррекция. Техника гистограмм. Принципы фильтрации. Линейные и нелинейные
методы обработки. Нормализация. Соляризация. Морфологическая обработка.
Выделение контуров. Бинаризация.
9. Методы оценки качества представляемой мультимедийной информации. Понятие
шума. Оценка уровня шума. Принципы повышения качества информации
(подавления шумов и помех).
10. Методы измерений в среде мультимедийной информации.
11. Математические основы обработки звуковой и видео информации. Специальные
графические, звуковые и видео эффекты. Программное обеспечение для
реализации таких методов.
12. Особенности реализации методов относительно различных видов информации –
графической, видео, аудио.
2
13. Принципы сжатия мультимедийной информации. С потерями и без потерь.
Особенности алгоритмов сжатия. Стеганография;
14. Выделение из потоков информации нужных фрагментов. Понятие распознавания
образов среде мультимедийной информации. Основы принципов распознавания.
Особенности распознавания мультимедийной информации на современном этапе
технологического развития.
С точки зрения практической составляющей курса, основной целью ставится
изучение математических методов обработки мультимедийной информации, которые
позволяют студентам получить представление о способах работы с мультимедийной
информацией. В данном курсе поставлена задача, сформировать у студентов набор
компетенций, связанных с базовыми понятиями о мультимедийной информации,
современными системами и программными пакетами, которые позволяют решать задачи с
использованием готового и разработке нового программного обеспечения для решения
задач по обработке мультимедийной информации.
Аннотация:
Предлагаемая дисциплина ориентирована на формирование у студентов навыков
разработки программного обеспечения для решения задач по обработке мультимедийной
информации с использованием существующего программного обеспечения и/или готовых
пакетов программ. Основной акцент в курсе сделан на изучении основ обработки
изображений, как наиболее развитый в настоящее время и практическую тренировку в
написании программ с использованием готовых пакетов, реализующих базовые функции.
Учебные задачи курса:
В результате прохождения учебной дисциплины студенты должны:
1. сформировать представлений о типах информации в современных компьютерных
системах и методах ее получения, обработки, хранения и представлению
пользователю;
2. понимать основные методы и приемы обработки мультимедийной информации, и
её представления в современных компьютерных системах;
3. приобрести способность использовать полученные знания для решения задач,
содержащих мультимедийную информацию в различных контекстах,
II. Тематический план учебной дисциплины
№
Всего
часов по
теме
Название темы
Аудиторные часы
Лекции
Практические
занятия
Первый модуль.
Лекций – 16 часов. Практических занятий – 16 часов.
Формы текущего контроля – контрольная работа К1. Итоговый контроль – Зачет З.
Понятие информации по Шеннону. Принципы исчисления
информации. Ее свойства. Виды информации в
1 современных
компьютерных
системах.
Понятие
мультимедиа информации – звук, видео, графика.
Особенности работы с мультимедиа информацией.
3
4
2
2
Понятие сигнала. Типы сигналов. Дискретизация сигналов.
Способы описания и представления сигналов. Понятие
2 фильтрации.
Назначение
фильтрации.
Частотная,
амплитудная и фазовая фильтрация. Гауссова пирамида
изображений.
4
2
2
Особенности
восприятия
зрительных
сигналов.
Формирование изображений в глазу человека. Понятие
скотопического
зрения.
Динамический
диапазон
зрительного восприятия. Получение изображений и их
3
свойства. Изображения в видимом, ультрафиолетовом и
инфракрасном диапазонах. Математическая модель
изображения.
Дискретизация
и
квантование.
Пространственное и яркостное разрешение. Эффект Муара.
8
4
4
Методы и единицы измерений в среде мультимедийной
4 информации. Пиксели. Связность. Смежность. Путь.
Контур.
4
2
2
Способы представления изображений. Системы RGB, HSV,
HSL. Диаграмма цветности. Типы преобразований
изображений. Градационные преобразования (точечные),
пространственные
(площадные),
геометрические
и
5
кадровые. Простейшие точечные преобразования: яркости,
контрастности,
γ-коррекция,
негатив,
соляризация,
бинаризация,
логарифмические
и
степенные
преобразования.
8
4
4
Пространственные
преобразования
изображений.
Назначение фильтрации. Фильтрация линейная и
нелинейная. Фильтры: сглаживающие, повышающие
6
резкость. Комбинированные фильтры пространственного
улучшения. Фурье и вейвлет анализ мультимедийной
информации.
4
2
2
Второй модуль.
Лекций – 16 часов. Практических занятий – 16 часов.
Формы текущего контроля – домашнее задание Д2. Итоговый контроль – экзамен Э.
Гистограммный
анализ.
Понятие
гистограммы.
Эквализация гистограмм. Улучшение изображений на
7
основе гистограммного анализа. Гистограммные функции.
Понятие текстуры. Виды текстур.
4
2
2
Геометрические преобразования изображений. Понятие
аффинных, евклидовых и проективных преобразований.
8
Кадровые преобразования, их назначение и области
применения.
4
2
2
Особенности восприятия слуховых сигналов. Устройство
слухового аппарата человека. Интерференция акустических
волн.
Бинауральный
эффект.
Псофометрические
9 характеристики уха. психоакустические процессоры.
Эффект Хааса. Параметрический эквалайзер. Гейт (Gate) –
обработка. RMS – компрессор. Шумоподавитель DNL.
Шумоподавитель Долби. Понятие реверберации.
8
4
4
4
Понятие шума. Оценка уровня шума. Методы оценки
качества представляемой мультимедийной информации.
10
Принципы повышения качества информации (подавления
шумов и помех)
4
2
2
Принципы сжатия информации, С потерями и без потерь.
Особенности алгоритмов сжатия. Метод RLE, Шеннона11
Фэно, Лемпела-Зива, адаптивный алгоритм Хаффмена.
Понятие стеганографии.
4
2
2
Морфологическая обработка изображений. Понятие
12 объектов и признаков на изображении. Выделение
признаков и построение их описания.
4
2
2
4
2
2
64
32
32
Выделение из потоков информации нужных фрагментов.
Понятие распознавания образов среде мультимедийной
информации.
Основы
принципов
распознавания.
Элементарные методы распознавания. Особенности
13
методов
распознавания
объектов
мультимедийной
информации на современном этапе технологического
развития.
Итого:
III. Базовые учебники
Книги:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982,
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996
 J. Benesti "Audio signal processing for next-generation multimedia communication
systems", Kluwer, Academic Publishers, 2004
 F. Alton "The Master Handbook Of Acoustics", 4th edition Everest, McGraw-Hill 2001
 Б. Яне Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2007.
. Другие (печатные) рекомендуемые источники:
 R. Haralick, L. Shapiro Computer and Robot Vision, Addison-Wesley, 1992.
 Л. Френкс Теория сигналов М.: Сов.Радио 1974 344с.
 В. В. Лидовский Теория информации: Уч. пос.М.: Спутник. 2004.
 L. Shapiro, G. Stockman. Computer Vision. East Lancing, MI: 2000.
 W. K. Pratt Digital Image Processing N.Y. 2001.
 B. Jähne Practical Handbook on Image Processing for Scientific and Technical
Applications London 2004.
 R. Crane A simplified approach to image processing and modern techniques in C
Hewlett-Packard 1997.
 S. Mann Intelligent Image Processing. John Wiley & Sons, Inc. 2002.
 И. Д. Мандель Кластерный анализ. М.: Финансы и статистика. 1988
 Yali Amit 2D Object Detection and Recognition The MIT Press Cambridge 2002.
 Р. Дуда, П. Харт Распознавание образов и анализ сцен М.: Мир. 1976.
 J. Goutsias ed. Mathematical Morphology and Its Application To Image And Signals
Processing Kluwer Academic Publishers, Boston 2000.
5






Хьюбел Д., Визель Т. Центральные механизмы зрения // в книге Мозг. М.: Мир,
1982.
Линдсей П., Норман Д. Переработка информации у человека. М.: Мир, 1974.
Jain A. Fundamentals of Digital Image Processing, Prentice-Hall, 1986.
Фу К., Структурные методы в распознавании образов, М.: «Мир», 1977.
Pavlidis T. Algorithms for Graphics and Image Processing. Rockville, Maryland,
Computer Science Press, 1982, pp.416.
Ту Дж., Гонсалес Р. Принципы распознавания образов. М.: Мир, 1978.-411с
IV. Формы контроля
Текущий контроль предусматривает домашнее задание в каждом модуле и
контрольную письменную работу в конце первого модуля. Итоговый контроль - экзамен в
конце второго модуля.
Итоговая оценка по учебной дисциплине складывается из следующих
элементов:
Элементы текущего контроля первого модуля:
Д1 – оценка за первое домашнее задание. Домашнее задание, предлагаемого в первом
модуле, заключается в написании программы в среде MS Windows и C++Builder
содержащее графический интерфейс и реализующее несколько функций по
элементарной обработке изображения. Приложение должно включать в себя
возможности загрузки изображения, отображение его в поле окна приложения,
выполнения предложенных студенту элементарных операций по обработке
изображения, вывод результатов обработки в файл в формате .bmp. Срок сдачи
домашнего задания – седьмая неделя первого модуля. Оценка за домашнее задание
выставляется по десятибалльной шкале при условии сдачи задания в срок и по
восьмибалльной шкале в ином случае.
К1 – оценка по десятибалльной шкале за контрольную работу в первом модуле.
Контрольная работа проводится по окончанию первого модуля в письменной форме.
Студенты получают 5 вопросов из пройденного в первом модуле материала и
письменно отвечают на них в течении 60 минут. Оценка определяется по написанному
тексту работы, а каждый вопрос оценивается максимум в два балла. Студенты, не
явившиеся на компьютерное тестирование, получают оценку К1=0 баллов.
Элементы текущего контроля второго модуля:
Д2 – оценка за второе домашнее задание. Второе домашнее задание предлагается во
втором модуле и является продолжением работы над программой из домашнего
задания первого модуля. Оно предполагает дополнение программы более сложными
элементами по обработке изображений и/или обработки акустической информации.
Отчет по домашнему заданию состоит из двух частей: архив с именем ☺.rar или ☺.zip
(где ☺ фамилия студента) должен включать исходные коды, исполняемый модуль,
изображение до и после обработки, текст описания работы программы. Вторая часть
заключается в сдаче распечатанного отчета и защите сделанной работы
преподавателю. Срок сдачи домашнего задания – седьмая неделя второго модуля.
Оценка за домашнее задание выставляется по десятибалльной шкале при условии
сдачи задания в срок и по восьмибалльной шкале в ином случае.
Элементы итогового контроля:
Итоговая оценка Э по дисциплине формируется из оценок текущего и итогового контроля
по следующим правилам.
Итоговая оценка Э по дисциплине формируется по десятибалльной шкале как взвешенная
сумма полученных оценок текущего контроля по формуле Э = 0,3Д1 + 0,3К1 + 0,4Д2 с
6
учетом правил округления до целого числа баллов при условии (Д1>3)& (К1>3)& (Д2>3),
в противном случае пишется итоговая экзаменационная работа. Здесь:
Д1 - оценка за домашнее задание в первом модуле,
К1 - оценка за контрольную работу в первом модуле,
Д2 - оценка за домашнее задание во втором модуле,
Студент не удовлетворенный своей итоговой оценкой, сформированной из оценок
текущего контроля, вправе отказаться от нее, написав письменное заявление на имя
руководителя отделения. Заявление сдается в учебную часть в течение трех дней после
публикации оценок на доске обсуждений. В этом случае итоговая оценка аннулируется, и
экзамен сдается на общих основаниях. Получение итоговой оценки, сформированной из
оценок текущего контроля, не считается первой сдачей экзамена.
Итоговая экзаменационная работа является письменной и содержит 5 вопросов.
Стоимость каждого вопроса один балл. Вопросы охватывают темы дисциплины, которые
обсуждались на лекционных и практических занятиях в течение обоих модулей. Студент
имеет право на замену двух простых вопросов одним двухбалльным. На выполнение
экзаменационной работы отводится 60 минут.
Итоговая экзаменационная оценка Э по дисциплине в этом случае формируется как сумма
баллов полностью раскрытых вопросов.
При пересдаче экзамена (независимо от предыдущих оценок) итоговая экзаменационная
оценка Э по дисциплине формируется как взвешенная сумма полученных оценок за
каждый вопрос - Бi, по формуле Э = 0,8 (∑Бi ) с учетом правил округления до целого
числа баллов.
Правила округления до целого числа баллов при выставлении оценок: средневзвешенная
оценка округляется до большего целого, если дробная часть оценки не ниже 0,5, в
противном случае оценка округляется до меньшего целого.
Перевод итоговой экзаменационной оценки (Э) по дисциплине в оценку по пятибалльной
шкале осуществляется в соответствии со следующей таблицей:
Таблица соответствия оценок по десятибалльной и пятибалльной системам
По десятибалльной шкале
По пятибалльной шкале
1 – неудовлетворительно
2 – очень плохо
3 – плохо
4 – удовлетворительно
5 – весьма удовлетворительно
6 – хорошо
7 – очень хорошо
8 – почти отлично
9 – отлично
10 – блестяще
неудовлетворительно – 2
удовлетворительно – 3
хорошо – 4
отлично – 5
V. Содержание программы
 Тема 1. Введение в обработку мультимедийной информации.
Содержание лекционных занятий.
Понятие информации по Шеннону. Принципы исчисления информации. Ее свойства.
Виды информации в современных компьютерных системах. Понятие мультимедиа
информации – звук, видео, графика. Особенности работы с мультимедиа информацией.
7
Содержание практических занятий.
Практическая работа с мультимедийной информацией. Изучение основных приемов и
базовых мультимедийных систем в среде MS Windows для облегчения дальнейшего
изучения курса.
Основная литература:
 Воройский Ф. С. Информатика. Новый систематизированный толковый словарьсправочник М: 2002.
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
 Сапожков М. А. (ред.) Акустика: Справочник М.: Радио и связь, 1989, 336с.
Дополнительная литература:
 David J.C. MacKay Information Theory, Inference, and Learning Algorithms Cambridge
University Press 2003.
 Audio and Hi-Fi Handbook. Editor IAN R. SINCLAIR Newnes OXFORD 1998.
 B. Jähne Practical Handbook on Image Processing for Scientific and Technical
Applications London 2004.
 Тема 2. Понятие сигнала.
Содержание лекционных занятий.
Понятие сигнала. Типы сигналов. Дискретизация сигналов. Способы описания и
представления сигналов. Понятие фильтрации. Назначение фильтрации. Частотная,
амплитудная и фазовая фильтрация. Гауссова пирамида изображений.
Содержание практических занятий.
Преставление различных форм сигнала в компьютере. Генерация различных сигналов с
использованием среды MS Windows и C++Builder. Вычисление различных параметров
сигнала. Генерация сигналов сложной формы, как суперпозиции гармонических
колебаний и вычисление из параметров.
Основная литература:
 Френкс Л. Теория сигналов М.: Сов.Радио 1974 344с.
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
Дополнительная литература:
 Lee E. Structure and interpretation of signals and system Berkeley 2000.
 Тема 3. Модели зрения и изображений.
Содержание лекционных занятий.
Особенности восприятия зрительных сигналов. Формирование изображений в глазу
человека. Понятие скотопического зрения. Динамический диапазон зрительного
восприятия. Получение изображений и их свойства. Изображения в видимом,
ультрафиолетовом и инфракрасном диапазонах. Математическая модель изображения.
Дискретизация и квантование. Пространственное и яркостное разрешение. Эффект Муара.
Содержание практических занятий.
Исследование свойств изображений по отношению к человеческому восприятию.
Генерация различных типов изображений с использованием среды MS Windows и
C++Builder. Тестирование полученных изображений с учетом психофизиологических
особенностей человеческого зрения.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
8
 Тема 4. Методы и единицы измерений в среде мультимедийной информации.
Содержание лекционных занятий.
Методы и единицы измерений в среде мультимедийной информации. Пиксели. Связность.
Смежность. Путь. Контур. Акустические единицы измерений.
Содержание практических занятий.
Практическая работа с контуром изображения. Исследование свойств и расстояний на
изображении. Генерация контуров с различной связностью с использованием среды MS
Windows и C++Builder.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
 Тема 5. Способы представления изображений.
Содержание лекционных занятий.
Способы представления изображений. Системы RGB, HSV, HSL. Диаграмма цветности.
Типы преобразований изображений. Градационные преобразования (точечные),
пространственные (площадные), геометрические и кадровые. Простейшие точечные
преобразования: яркости, контрастности, γ-коррекция, негатив, соляризация, бинаризация,
логарифмические и степенные преобразования..
Содержание практических занятий.
Практическая работа с изображениями. Исследование свойств систем RGB, HSV, HSL.
Написание программ, реализующих элементарные операции с изображениями с
использованием среды MS Windows и C++Builder.
Основная литература:
 Д.Форсайт, Ж. Понс Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
 Тема 6. Пространственные преобразования изображений.
Содержание лекционных занятий.
Пространственные преобразования изображений. Назначение фильтрации. Фильтрация
линейная и нелинейная. Фильтры: сглаживающие, повышающие резкость.
Комбинированные фильтры пространственного улучшения. Фурье и вейвлет анализ
мультимедийной информации.
Содержание практических занятий.
Практическая работа с изображениями. Исследование свойств систем RGB, HSV, HSL.
Написание программ, реализующих элементарные пространственные операции с
изображениями с использованием среды MS Windows и C++Builder.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
9
 Тема 7. Гистограммный анализ. Текстуры.
Содержание лекционных занятий.
Гистограммный анализ. Понятие гистограммы. Гистограммные функции. Эквализация
гистограмм. Улучшение изображений на основе гистограммного анализа. Понятие
текстуры. Виды текстур.
Содержание практических занятий.
Написание программ, реализующих гистограммы изображений с использованием среды
MS Windows, C++Builder пакет ImageEN. Практическая работа с гистограммами.
Исследование свойств гистограмм. Преобразование изображений на основе
гистограммных функций.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
 Тема 8. Геометрические и кадровые преобразования изображений.
Содержание лекционных занятий.
Геометрические преобразования изображений. Понятие аффинных, евклидовых и
проективных преобразований. Кадровые преобразования, их назначение и области
применения..
Содержание практических занятий.
Написание программ, реализующих различные функции по геометрическому
преобразованию изображений с использованием среды MS Windows, C++Builder.
Исследование свойств геометрических преобразований.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
 Тема 9. Обработка акустической мультимедийной информации.
Содержание лекционных занятий.
Особенности восприятия слуховых сигналов. Устройство слухового аппарата человека.
Интерференция акустических волн. Бинауральный эффект. Псофометрические
характеристики уха. психоакустические процессоры. Эффект Хааса. Параметрический
эквалайзер. Гейт (Gate) – обработка. RMS – компрессор. Шумоподавитель DNL.
Шумоподавитель Долби. Понятие реверберации.
Содержание практических занятий.
Написание программ, реализующих различные функции по преобразованию акустических
сигналов с использованием среды MS Windows, C++Builder.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
 Сапожков М. А. (ред.) Акустика: Справочник М.: Радио и связь, 1989, 336с.
Дополнительная литература:
 Audio and Hi-Fi Handbook. Editor IAN R. SINCLAIR Newnes OXFORD 1998.
 Лепендин Л. Ф. Акустика: Учеб. пос. для втузов. М.: Высш. школа. 1978.
10
 Тема 10. Шумы в мультимедийной информации.
Содержание лекционных занятий.
Понятие шума. Оценка уровня шума. Методы оценки качества представляемой
мультимедийной информации. Принципы повышения качества информации (подавления
шумов и помех)..
Содержание практических занятий.
Написание программ, реализующих различные функции по геометрическому
преобразованию изображений с использованием среды MS Windows, C++Builder.
Исследование свойств геометрических преобразований.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
 Тема 11. Принципы и особенности сжатия мультимедийной информации.
Содержание лекционных занятий.
Принципы сжатия информации, С потерями и без потерь. Методы RLE и JPEG, Методы
Шеннона-Фэно, Лемпела-Зива. Особенности алгоритмов сжатия. Понятие стеганографии.
Содержание практических занятий.
Написание программ, реализующих различные методы сжатия мультимедийной
информации с использованием среды MS Windows, C++Builder.
Основная литература:
 Лидовский В. В. Теория информации: Уч. пос.М.: Спутник, 2004, 111с
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 David J.C. MacKay Information Theory, Inference, and Learning Algorithms.
Cambridge University Press 2003.
 В. В. Лидовский Теория информации: Уч. пос.М.: Спутник. 2004.
 Тема 12. Морфологическая обработка изображений.
Содержание лекционных занятий.
Морфологическая обработка изображений. Понятие объектов и признаков на
изображении. Выделение признаков и построение их описания..
Содержание практических занятий.
Написание программ, реализующих различные методы морфологической обработки
изображений с использованием среды MS Windows, C++Builder.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 К.Линдли Практическая обработка изображений на языке СИ. М. Мир. 1996.
Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
 J. Goutsias ed. Mathematical Morphology and Its Application To Image And Signals
Processing Kluwer Academic Publishers, Boston 2000.
 . Тема 13. Понятие распознавания мультимедиа образов.
Содержание лекционных занятий.
Выделение из потоков информации нужных фрагментов. Понятие распознавания образов
среде мультимедийной информации. Основы принципов распознавания. Элементарные
11
методы распознавания. Особенности методов распознавания объектов мультимедийной
информации на современном этапе технологического развития.
Содержание практических занятий.
Написание программ, реализующих различные методы морфологической обработки
изображений с использованием среды MS Windows, C++Builder.
Основная литература:
 Д.Форсайт, Ж. Понс, Компьютерное зрение М. Вильямс 2004.
 Р.Гонсалес,Р. Вуд Цифровая обработка изображений М.: ТЕХНОСФЕРА, 2005.
 И. Д. Мандель Кластерный анализ. М.: Финансы и статистика. 1988.
 Yali Amit 2D Object Detection and Recognition The MIT Press Cambridge 2002.
 Р. Дуда, П. Харт Распознавание образов и анализ сцен М.: Мир. 1976.

Дополнительная литература:
 У.Прэтт Цифровая обработка изображений. Т.1, 2, М.: Мир, 1982.
 R. Crane A simplified approach to image processing and modern techniques in C
Hewlett-Packard 1997.
VI. Тематика заданий по формам контроля
В качестве тем для домашнего задания, предлагаются следующие вопросы, тематика
которых обсуждается на лекциях и семинарах в первом и во втором модулях. Для первого
домашнего задания преподаватель назначает студенту один из вопросов 1-9 и определяет
совместно с ним конкретные исходные данные задания. Для второго домашнего задания
преподаватель назначает студенту один из вопросов 10-22, так, что бы оно
согласовывалось с первым заданием, также совместно обсуждая входные параметры.
Темы домашнего задания.
1. Генерация двумерного сигнала типа: ступенька, синус, экспонента,
суперпозиции гармонических колебаний, суперпозиции гармонического
колебания и тестового изображения.
2. Сглаживание изображения: усреднением, медианным фильтром, гауссианом,
линейным фильтром (сверкой).
3. Дифференцирование изображения (сверкой) вычисление первых и вторых
производных. Вычисление свертки с лапласианом гауссиана. Отсечение
«хвостов» в гауссиане.
4. Построение Гауссовы пирамиды изображений.
5. Построение однородных полутоновых изображений и исследование их свойств
по отношению к человеческому восприятию.
6. Построение контуров с четырех-, восьми- и диагональной связностью.
Построение контура на тестовом изображении при условии постоянной
смежности. Построение пути, если он доступен.
7. Построение изображения в системах RGB, HSL, HSV. Преобразование
изображений из одной системы в другую. Исследование свойств различных
систем.
8. Написание программ использующих градационные преобразования в системах
RGB, HSL, HSV: яркость контрастность, цветность, насыщенность, цветовой
оттенок, γ-коррекция, негатив, логарифмические и степенные
преобразования параметров изображения. Соляризация. Бинаризация.
9. Пространственные преобразования изображений. Фильтры, повышающие
резкость. Вычисление Фурье преобразования и вейвлет-анализ изображений.
10. Вычисление и построение гистограмм изображений. Гистограммный анализ
изображений. Определение порогов. Вычисление гистограммных функций.
11. Генерация текстур. Анализ текстур. Вычисление свойств текстур.
Наложение текстур на изображения.
12. Вычисление геометрических преобразований изображений: сдвиг масштаб
поворот.
12
13. Написание программ для кадровых преобразований: наложение кадров с
суммированием и вычитанием.
14. Написание программ реализующих психоакустические процессоры:
параметрического эквалайзера, программу для Гейт (Gate) – обработки,
RMS – компрессора, шумоподавителей DNL и Долби-B. программы
ревербератора и их тестирование.
15. Разработка программ вносящих различный шум (равномерный, гауссовский,
треугольный и т.п.) на изображение и звук. Тестирование этих программ.
16. Разработка программ уменьшающих влияние шумов на изображение и звук.
17. Разработка программ, реализующих методы Шеннона-Фэно, Метод ЛемпелаЗива, адаптивный алгоритм Хаффмена и их тестирование.
18. Написание программ для простых морфологической обработки изображений
(dilatation, erosion, opening, closing) и их тестирование.
19. Написание программ для морфологической обработки изображений с
использованием более сложных масок и комбинированных операций и их
тестирование.
20. Написание программ выделяющих признаки изображений. Индивидуальные,
контекстные, групповые, кадровые признаки и их тестирование.
21. Написание программ по решению задач кластеризации и их тестирование.
22. Написание программ реализующих простейшие методы распознавания
графических образов и их тестирование.
Тематика домашних заданий может быть расширена по желанию студентов.
Отчет по каждой части (1 и 2) домашнего задания состоит из двух частей.
1. Архив с именем ☺.rar или ☺.zip, содержащий исходные файлы программы,
сгенерированный загрузочный модуль, примеры изображений или аудио файлов, файл
пояснительной записки, где ☺ – фамилия студента.
2. Пояснительная записка в распечатанном виде.
VII. Вопросы для оценки качества освоения учебной дисциплины
1. Дайте определение понятия информации по Шеннону. Приведите ее свойства и
перечислите виды информации.
2. Понятие мультимедиа информации. Её особенности.
3. Понятие сигнала. Типы сигналов, Виды дискретизации сигналов.
4. Способы описания и представления мультимедийных сигналов.
5. Понятие фильтрации. Назначение фильтрации. Фильтрация по частоте, амплитуде
и фазе.
6. Гауссова пирамида изображений – что это?
7. Особенности визуального восприятия у человека. Динамический диапазон.
Понятие скотопического зрения.
8. Методы получения изображений и их свойства
9. Особенности изображений полученных в ультрафиолетовом и инфракрасном
диапазоне света. Раскрашивание изображений.
10. Цветовые пространства. Чем отличаются пространство RGB от HSL или HSV?
11. Понятие математической модели изображения.
12. Понятия пространственного, яркостного и цветового разрешения.
13. Что такое эффект Муара.
14. Методы и единицы измерений при работе с изображениями и видео.
15. Понятия и различия связности , смежности и пути.
16. Понятия контуров изображений. Методы описания контуров.
17. Классификация операций по обработке изображений.
18. Понятие точечных методов. Виды точечной обработки изображений и видео.
13
19. Понятие дискретной свертки для двумерного случая. Свойства свертки.
20. Понятие дискретной частоты. Преобразование Фурье для двумерного случая.
Свойства преобразования Фурье .
21. Понятие пространственной обработки изображений. Виды пространственной
обработки.
22. Фильтрация линейная и нелинейная. Комбинированные фильтры
пространственного улучшения.
23. Понятие гистограммного анализа и определение гистограммы. Методы обработки
и изображений на основе гистограмм. Виды гистограммных функций обработки
изображений.
24. Геометрическое преобразование изображений. Определение аффинных,
евклидовых и проективных преобразований.
25. Кадровые преобразования. Их назначение и области применения.
26. Особенности восприятия слуховых сигналов. Устройство слухового аппарата
человека.
27. Интерференция акустических волн. Бинауральный эффект. Понятие реверберации.
28. Псофометрические характеристики уха.
29. Понятие психоакустических процессоров.
30. Эффект Хааса.
31. Параметрический эквалайзер.
32. Гейт (Gate) – обработка.
33. RMS – компрессор.
34. Шумоподавитель DNL.
35. Шумоподавитель Долби.
36. Методы оценки качества представляемой мультимедийной информации.
37. Понятие шума. Оценка уровня шума.
38. Принципы повышения качества информации (подавления шумов и помех)
39. Принципы сжатия информации. С потерями и без потерь.
40. Особенности алгоритмов сжатия. Понятие стеганографии.
41. Фурье анализ мультимедийной информации.
42. Вейвлет-анализ мультимедийной информации.
43. Понятие объектов и признаков на изображении. Выделение признаков и
построение их описания.
44. Нахождение границ объектов. Принципы методов решения задач.
45. Понятие морфологической обработки. Виды морфологических операций
46. Понятие распознавания образов среде мультимедийной информации.
47. Элементарные методы распознавания.
48. Особенности методов распознавания объектов мультимедийной информации на
современном этапе технологического развития.
Примеры дополнительных вопросов стоимостью более 2-3 балла:
1. Две поверхности, цвет которых одинаков при одном освещении и разный при другом,
часто называют метамерами. Оптимальный цвет – это спектральная отражательная
способность или излучение, значение которого равно 0 при одной длине волны и 1 при
остальных. Хотя оптимальный цвет на практике не встречается:
1.1. Объясните с помощью оптимального цвета механизм метамеризма.
1.2. Известно значение характеристики отражательной (рассеивающей) способности
поверхности называемой альбедо. Объясните, как может существовать бесконечное
множество спектральных альбедо, метамерических данному.
14
1.3. Приведите примеры с помощью оптимального цвета поверхностей, которые будут
выглядеть разными при освещении одним светом (например, красная и зеленая) и
одинаковыми при другом.
2. Нужно отобразить цветовую гамму принтера в цветовую гамму монитора. В каждой
цветовой гамме есть цвета, которые на встречаются в другой. Можно ли подобрать для
заданного цвета монитора нужный цвет тона принтера?
3. Что получается со сверткой изображения представляющего собой все нули, кроме
одной центральной единицы с ядром:
  i  k  12   j  k  12 
1

Hij 
exp  
2
2


2
2



4.При наложении высокие пространственные частоты превращаются в низкие. Объясните
почему происходят следующие явления:
4.1. В старых вестернах, когда показывают движущийся вагон, часто кажется, что
колеса остаются неподвижными или движутся в обратную сторону.
4.2. Белые блузки с тонкими темными полосками часто приводят к возникновению
мерцающего набора цветов на телевизоре.
4.3. На изображениях, полученных методом лучевого зондирования, мягкие тени,
порожденные плоскими источниками, выглядят как мозаика.


5. Принципы суперпозиции для изображений и звуковых колебаний. Общее и отличия!
6. Пусть заданы две точки c1 , c2 с координатами  x1 , y1  и  x2 , y2  на диаграмме
цветностей. Выведете общее выражение для вычисления относительного процентного
соотношения цветов c1 и c2 в смеси, составляющей некоторый заданный цвет, про
который известно, что он лежит на отрезке, соединяющем эти два цвета.
7. К исходному изображению применяется усредняющая маска для подавления шума, а
затем маска лапласиана для улучшения мелких деталей. Изменится ли результат, если
поменять очередность этих операций?
8. Два изображения, f  x, y  и g  x, y  , имеют гистограммы h f и hg . Приведите условия,
при которых можно выразить через h f и hg гистограммы результатов следующих
преобразований:
8.1. f  x, y   g  x, y 
8.2. f  x, y   g  x, y 
8.3. f  x, y   g  x, y 
8.4. f  x, y  / g  x, y 
Объясните как вычислить гистограммы для каждого из случаев.
9. Рассмотрим следующее цветное изображение размерами 500  500 , состоящее из
квадратов чисто красного, зеленого и синего цветов.
9.1 Выполним следующую последовательность действий. Преобразуем изображение в
систему HSI, сгладим компоненту цветового тора при помощи усредняющей маски
размерами 25  25 и перейдем обратно в систему RGB. Как будет выглядеть полученный
результат?
9.2. А если сгладить компоненту насыщенности?
10. Может ли процедура неравномерного кодирования сжать изображение с
эквализированной гистограммой, имеющее 2 n уровней яркости? Поясните.
11. Может ли изображение иметь межэлементную избыточность, которую можно было бы
использовать для сжатия данных?
15
12. Все значения пикселей на изображении Im размером 500  500 пикселей –
независимые нормально распределенные случайные числа с нулевым средним значением
и единичным среднеквадратическим отклонением. Оцените количество пикселей,
значения которых больше 3, причем абсолютное значение производной по x оценивается
с помощью разности Imi 1, j  Imi , j .
13. Лапласиан гауссиана похож на разницу между двумя гауссианами при различном
масштабе. Сравните эти два ядра для различных хначений двух масштабов. Каков выбор
даст хорошую аппроксимацию? Насколько существенна ошибка аппроксимации при
определении края с помощью метода переходов через нуль?
14. Определите предельный эффект многократного применения низкочастотного
сглаживающего фильтра размерами 3  3 к дискретному изображению. Можете
игнорировать влияние границ изображения.
Автор программы: _____________________________Гостев И.М.
16