I. Построение базисных цветовых характеристик

Классификация, кластеризация и поиск
изображений на основе низкоуровневых
характеристик
Наталья Васильева
natalia@ntc-it.ru
Руководитель: Новиков Б. А.
Поиск изображений
 Поиск по ключевым словам (Description Based Image Retrieval  Поиск по содержанию (Content Based Image Retrieval - CBIR)
Запрос
Текстовый
запрос
Картинкаобразец
Текст
Картинка
Эскиз
DBIR)
поиск
индексация
CBIR : традиционный подход
изображение
вычисление
сигнатур
запрос
вычисление
сигнатур
база данных
сравнение
уточнение запроса
результат
Сигнатуры
 Цветовые характеристики
 гистограммы
 статистические модели
 Текстура
 фильтры Габора
 Формы и объекты
 Пространственное распределение
Основные проблемы
 Семантический разрыв
 Запрос-образец
 Сложность процесса визуального восприятия
 Точность моделей – время обработки запроса
 Комбинирование различных моделей и метрик
уровни содержания изображения
Семантический разрыв – описание проблемы
Объекты
(машина, дерево)
Текстура
Цвет, яркость
семантика
изображения
семантический
разрыв
низкоуровневые
характеристики
Семантический разрыв – вариант решения (1)
 Построение базисных цветовых характеристик
 Построение базисных лексических характеристик
 Сопоставление низкоуровневых(цветовых) и лексических
характеристик
Цветовая хар-ка 1
Кластер 1
Лексическая хар-ка 1
Цветовая хар-ка 1
Кластер 2
Лексическая хар-ка 1
Цветовая хар-ка 1
Кластер 3
Лексическая хар-ка 1
…
…
…
Цветовая хар-ка 1
Кластер N
Лексическая хар-ка 1
Семантический разрыв – вариант решения (2)
I. Построение базисных цветовых характеристик
 Выбор обучающего набора
 Построение цветовой
характеристики для каждого
изображения из набора
 Вычисление степени схожести
для каждой пары изображений
 Кластеризация обучающего
набора
 Построение базисных цветовых
характеристик как среднее
характеристик каждого кластера
Семантический разрыв – вариант решения (3)
II. Построение базисных лексических характеристик
город, ночь, река, шоссе

Слова русского языка, которым
соответствует определенный
зрительный образ (лес, небо).

Абстрактные понятия (воля, разум).
снег, зима, небо, гора
Семантический разрыв – применение решения (1)
I. Индексация
изображение
вычисление
цветовой
характеристики
Использование того же алгоритма,
что и при вычислении
характеристик изображений из
обучающего набора
база данных
определение
кластера
Вычисление расстояний между
индексируемым изображением
и центральными характеристиками
кластера
Семантический разрыв – применение решения (2)
II. Поиск
Пользователь
Система
текстовый запрос
n изображений из кластера
Определение кластера
Оценка результата
оценка результата,
запрос-образец
результат
Оценка результата
уточненный запрос
…
Уточнение кластеров,
поиск по содержанию
Процесс визуального восприятия – направления
 Построение разбиения цветового пространства в
соответсвии с визуальным восприятием человека
 Нелинейное восприятие цвета
 Нелинейная зависимость от яркости
 Ориентация и расположение объектов
 Использование механизма обратной связи (relevance
feedback) для корректировки запроса с учетом
оценки пользователя
Направления дальнейших исследований:
 Поиск оптимальных параметров для кластеризации с помощью
экспериментального сравнения кластеров:
 полученных при использовании различных цветовых пространств и
цветовых разбиений;
 полученных при использовании совместной оценки цвета и яркости
(сейчас только цвет);
 построенных по сегментам изображений.
 Использование политики реорганизации кластеров в
зависимости от оценок пользователя при поиске изображений.
 Использование информации о кластерах для ускорения поиска.
 Комбинирование метрик на основе цвета и текстуры использование механизма обратной связи.