Структурный граф цветовых сгустков: структуры контрастов и их применение Кий К.И. ,

Структурный граф цветовых сгустков:
структуры контрастов и их применение
Кий К.И.
Институт Прикладной Математики им. Келдыша РАН,
IKI 15-17 марта 2011
• Постановка задачи и связь с
предыдущими исследованиями
• Решаются задача определения новых
типов
характерных
точек
и
мест
изображений
и
задача
разработки
алгоритмов их нахождения.
• Определяются возможные применения
разработанных методов.
• Кратко обсуждаются знакомые автору
другие работы в данной области.
•
•
•
•
•
•
•
•
Mishra A. K., Aloimonos Y. Active segmentation // International Journal of Humanoid
Robotics 6 (3), 361–386 (2009).
Kadir T., Brady M. Saliency, scale and image description // International Journal of
Computer Vision, 45 (2), 83--105, 2001.
K. Mikolajczyk, T. Tuytelaars, C. Schmid et al. (2005) A Comparison of Affine Region
Detectors // International Journal of Computer Vision, Vol. 65, No. 1, 2005. P.43-72.
Hongwen Kang, Alexei A. Efros, Martial Hebert, Takeo Kanade. "Image Composition
for Object Pop-out", IEEE Workshop on 3D Representation for Recognition (3dRR09), in association with IEEE International Conference on Computer Vision (ICCV)
2009.
J. Correa and A. Soto, "Active visual perception for mobile robot localization". Journal
of Intelligent and Robotic Systems, vol. 58, No. 3-4, 2010, pp. 339-354.
P. Espinace, T. Kollar, A. Soto, and N. Roy, "Indoor Scene Recognition through
Object Detection". Proc. of IEEE International Conference on Robotics and
Automation (ICRA), 2010.
Forsyth D. A., Ponce J. Computer Vision: a Modern Approach //NY.: Prentice Hall,
2003.
Yu. B. Blokhinov, Automation of Mutual Orientation of Digital Images Based on
Computer Vision Algorithms, Journal of Computer and Systems Sciences
International, 49 (6), 981--991 (2010).
Задача cегментации на структурном графе
цветовых сгустков
• В предыдущих работах автора каждому цветному
изображению поставлен в соответствие структурный граф
цветовых сгустков.
• Изображение разбито на полосы равной ширины,
параллельные вертикальной или горизонтальной оси
системы координат, связанной с изображением.
• Каждой полосе соответствует своя часть графа цветовых
сгустков. Пусть полосы параллельны горизонтальной оси.
Вершины структурного графа, соответствующие полосе,
есть интервалы горизонтальной оси [cn,dn]. Каждому
интервалу поставлены в соответствие числа Cardn, и тройки
• (Hmin, Hmean, Hmax), (Smin, Smean, Smax) и (Imin, Imean, Imax).
Пример множества вершин графа цветовых сгустков
Вершины графа цветовых сгустков уличной сцены
• Построение структуры цветовых контрастов на
графе цветовых сгустков
Решаются следующие задачи:
• 1.
Нахождение
контрастных
соседних
цветовых сгустков.
• 2. Объединение похожих соседних цветовых
сгустков в один.
• При решении делается попытка разработать
формальный аппарат для учета свойств
человеческого зрения.
• Основные конструкции
• Каждый цветовой сгусток задается набором чисел
- интервал на оси, который параллелен стороне
полос разбиения изображения
- интервалы значений
- средние значения
,
соответствующие сгустку
• Интервалы
симметризованы относительно средних значений:
• Пусть
- два числовых интервала,
- длина интервала
Интервалы очень значительно
пересекаются:
Интервалы значительно пересекаются:
Пусть
,
.
Значения S квантованы от 0 до 15;
значения I разделены на 8 зон от 0 до 7;
значения H разделены на 6 зон от 0 до 5.
Для каждого квантового значения и каждой зоны
установлены пороги:
• Вводятся переменные hue_close,
saturation_close, intensity_close.
• Строится система продукций, которая
на основе введенных переменных
присваивает hue_close, saturation_close,
intensity_close значения из множества
(3, 2, 1, 0, -1, -2, -3) для сгустков
с близкими или пересекающимися
интервалами
и
.
• Далее строится различающая функция
• Discr(hue_close, saturation_close,identity_close),
принимающая значения (4, 3,2, 1, 0, -1, -2, -3, -4).
• Положительные значения означают, что
интервалы
с
некоторой
степенью
уверенности
можно
объединить,
отрицательные
значения
определяют
некоторую степень контраста.
• Нулевое значение означает, что вывод не
сделан.
• Далее
приводятся
примеры
работы
алгоритмов
построения
виртуальных
граничных точек.
Снимок с конференции
Примеры структур контрастов
• Структура с найденным ориентиром
• Более детальное изучение ориентира
• Пара изображений, снятая из близких точек
• Выводы
• Разработан новый метод выделения характерных мест на
изображении, основанный на методе геометризованных
гистограмм, удобный для решения задач понимания
изображений в реальном времени.
• Основу
представления
данных
составляет
структура
контрастов, поставленная в соответствие любому цветному
изображению.
• Предложенная техника может быть полезной при решении
навигационных задач при движении робота и анализе движения
объектов на изображении.
• Разрабатывается система поиска ориентиров на изображениях,
основанная на развитой технике и поиска объектов на
изображении по содержательному вербальному описанию.
Программная реализация
реализована в С++ (Visual
Studio 2008) вместе со средствами
сопряжения с вводом изображений из
телекамер с использованием DirectX SDK.
• Скорость
обработки
для
цветных
изображений
640х480
8-10
fps,
для
изображений 320х240, в четыре раза
быстрее.
• Система имеет средства для работы через
сеть, включая работу через Internet.
• Система
Спасибо за внимание!