Анализ изображений и видео

Анализ изображений и видео
Автор: к.ф.-м.н. Антон Сергеевич Конушин
Лекция 1. Введение в анализ изображений (Introduction)







Задачи компьютерного зрения – метрическое и семантическое зрение.
Трудности в решение задачи.
Визуальные подсказки.
Постановки практических задач, примеры современных систем и алгоритмов
компьютерного зрения.
Камера и цвет.
Устройство оптической системы человека.
Цветовое постоянство (баланс белого).
Лекция 2. Обработка изображений (Image processing)





Гистограммы.
Линейная и нелинейная коррекции яркости.
Операция свертки. Виды шума. Фильтр гаусса, медианный фильтр, повышение
резкости.
Выравнивание освещенности – алгоритм Retinex.
Выделение краев, алгоритм Canny.
Лекция 3. Представление изображений (Image representation)




Иерархическое представление – пирамиды гаусса, лапласа, управляемые фильтры.
Разреженное представление и обучение словаря, фильтры габора, вейвлеты.
Приложения для обработки изображений – подавление шума, восстановление
изображений, детектор краев.
Скелетонизация.
Лекция 4. Выделение особенностей и сопоставление (Feature extraction and matching)






Задача сопоставление изображений.
Поиск шаблонов, методы ускорения на основе карт краёв (chamfer matching,
hausdorf distance).
Понятие точечной особенности. Детекторы углов Харриса, LOG, DOG, HarrisLaplacian.
Детекторы областей (IBR, MSER).
Дескрипторы особенностей - гистограмы градиентов (SIFT), контекст формы.
Сопоставление изображений. Расстояние MND.
Лекция 5. Оценка параметров моделей (Model fitting)




Методы поиска линий на изображении, МНК, M-оценки.
Сопоставление изображений по точечным особенностям с выбросами с помощью
рандомизированных алгоритмов, схема RANSAC и ее модификации.
Построение мозаики (панорамы).
Поиск прямых и окружностей на изображении с помощью схема голосования,
преобразования Радона и Хафа (Hough transform).

Обобщенное преобразование Хафа и его применение для поиска объектов.
Лекция 6. Распознавание и классификация изображений (Image recognition and
classification)




Задачи распознавания изображений. История развития методов.
Распознавание на основе сопоставления по интересным точкам.
Метод «мешка слов» (bag of features), построение словаря визуальных слов,
пирамиды.
Классификация изображений на основе случайного решающего леса.
Лекция 7. Поиск и локализация классов объектов (Category-level localization)








Задача поиска и локализации классов объектов.
Скользящее окно, методы на основе "мешка слов".
Методы на основе частей объекта.
Поиск пешеходов, гистограммы ориентированных градиентов (HOG-detector),
использование каскада.
Каскады классификаторов. Поиск лиц, интегральные изображения, признаки
Хоара, метод Viola-Jones.
Бутстраппинг для обучения классификаторов.
Базы изображений PASCAL VOC.
Современные методы поиска и локализации объектов.
Лекция 8. Поиск изображений в базе (Image retrieval)





Проблемы задачи поиска изображений.
Индексирование изображений, обратный индекс.
Подходы к ускорению поиска в базах, приближенные методы, хэширование.
Использование пространственной информации.
Сохранение цветовой информации – выравнивание освещения, цветовые признаки.
Лекция 9. Сегментация изображений (Image segmentation)





Постановка задачи сегментации изображений.
Сегментация на основе кластеризации – К-средних и сдвиг среднего (MeanShift).
Методы разрастания регионов (region growing), слияния/разделения (split and
merge), водораздела (watershed), тобоганнинг (toboganning).
Современные алгоритмы сегментации, метод QuickShift.
Алгоритмы сегментации, основанные на разрезах графов (Intelligent scissors,
Normalized cuts, Interactive segmentation by graph cuts).
Лекция 10. Семантическая сегментация изображений (Semantic image segmentation)




Общая схема методов семантической сегментации, пространственная поддержка.
Введение в Марковские случайные поля (МСП).
Использование МСП для сегментации изображении, алгоритмы TextonBoost,
Semantic Texton Forests.
Использование текстовых аннотаций для сегментации, модель «Вещи и
материалы»
Лекция 11. Редактирование изображений и фотомонтаж (Image editing and
composition)




Интерактивное выделение объектов, мягкая сегментация – матирование
изображений.
Склейка изображений, алгоритм Пуассона.
Реконструкция изображений.
Фотомонтаж.
Лекция 12. Метод «грубой силы» на основе больших коллекций изображений (Brute
force approach with massive image collections)




Большие коллекции изображений – Flikr, Яндекс-картинки.
Задачи, которые можно решать с использованием больших коллекций.
Дескриптор ГИСТ. Дополнение изображений (Image completion), построение
коллажей по наброскам пользователя, определение места съемки.
Сверхбольшие коллекции малых изображений и задачи на них.
Литература
1. R.Szeliski, "Computer Vision: Algorithms and Applications" http://szeliski.org/Book/ (В
свободном доступе)
2. Д. Форсайт, Ж. Понс. "Компьютерное зрение. Современный подход", Вильямс, 2004.
http://www.ozon.ru/context/detail/id/1635123/
3. Р. Гонсалес, Р. Вудс, "Цифровая обработка изображений", Техносфера, 2006.
http://www.technosphera.ru/77.html