Построение соответствий между низкоуровневыми характеристиками и семантикой статических изображений Наталья Васильева, Борис Новиков

Построение соответствий между
низкоуровневыми характеристиками и
семантикой статических изображений
Наталья Васильева, Борис Новиков
( [email protected],
[email protected] )
Санкт-Петербургский Государственный Университет
RCDL 2005
Поиск изображений
 Поиск по ключевым словам (Description Based Image Retrieval  Поиск по содержанию (Content Based Image Retrieval - CBIR)
Запрос
Текстовый
запрос
Картинкаобразец
Текст
Картинка
Эскиз
RCDL 2005
DBIR)
уровни содержания изображения
Проблема «семантического разрыва»
Объекты
(машина, дерево)
Текстура
Цвет, яркость
семантика
изображения
семантический
разрыв
низкоуровневые
характеристики
RCDL 2005
Предлагаемое решение
 Построение базисных цветовых характеристик
 Построение базисных лексических
характеристик
 Сопоставление низкоуровневых(цветовых) и
лексических характеристик
RCDL 2005
Построение базисных цветовых характеристик
 Выбор обучающего набора
 Построение цветовой
характеристики для каждого
изображения из набора
 Вычисление степени схожести
для каждой пары изображений
 Кластеризация обучающего
набора
 Построение базисных цветовых
характеристик как среднее
характеристик каждого кластера
RCDL 2005
Построение цветовой характеристики
Представление изображения в виде набора векторов
{sk}
k = 1..N:
sk = (rk, gk, bk, pk, xk, yk), где

rk, gk, bk – характеристики цвета цветового промежутка;

pk – отношение количества пикселей, принадлежащих данному

xk, yk – координаты центра цветового пятна;

K = 1..N – цветовой промежуток выбранного цветового разбиения.
цветовому промежутку, к общему числу пикселей в изображении;
RCDL 2005
Пример цветовой характеристики
RCDL 2005
Вычисление степени схожести изображений
Для изображений I, J:
 (|p
N
dist(I, J) =
Ik
- pJk| * Eucl((xIk, yIk), (xJk, yJk))) ,
k=1
где
Eucl((xIk, yIk), (xJk, yJk)) =

 ( xIk - xJk)2 + ( yIk - yJk)2 , p
const , pIk = 0  pJk = 0
N - количество цветовых промежутков.
RCDL 2005
Ik
>0
 pJk > 0
,
Кластеризация обучающего набора
Кластеры были построены с помощью пакета CLUTO*
с использованием алгоритма повторяемых разбиений
на основе матрицы расстояний между
изображениями.
* - Software Package for Clustering High-Dimensional Datasets,
http://www-users.cs.umn.edu/~karypis/cluto
RCDL 2005
Примеры полученных кластеров (кластер А)
изображения кластера
диаграммы цветовых
характеристик
RCDL 2005
Примеры полученных кластеров (кластер Б)
изображения кластера
диаграммы цветовых
характеристик
RCDL 2005
Построение базисных цветовых характеристик
Кластер 1
Базисная характеристика 1
Кластер 2
Базисная характеристика 2
Кластер 3
Базисная характеристика 3
…
…
Кластер N
Базисная характеристика N
Базисные цветовые характеристики представляют собой характеристики
полученных кластеров и строятся как среднее на основе характеристик
изображений кластера.
RCDL 2005
Построение базисной цветовой характеристики
Базисная цветовая характеристика:
набор векторов {Sk}k = 1..N: Sk = (Rk, Gk, Bk, Pk, Xk, Yk), где

R, G, B – характеристики цветового промежутка (цвета данного цветового
промежутка присутствуют на всех изображениях соответствующего кластера);

P–
P=

 p , где N - количество изображений в кластере;
N
i
i=1
p - компонента вектора изображения кластера,
соответсвующего цветовому промежутку (R, G, B).
N
X, Y – средние координаты центра цветового пятна на изображениях кластера:
x
N
X=

i=1
N
i
y
N
;Y=
i=1
N
i
, где N - количество изображений в кластере;
x, y - компоненты вектора изображения кластера,
соответсвующего цветовому промежутку (R, G, B).
N – количество цветовых промежутков, цвета которых присутствуют на всех
изображения кластера.
RCDL 2005
Построение базисных лексических характеристик
Цветовая хар-ка 1
Кластер 1
Лексическая хар-ка 1
Цветовая хар-ка 1
Кластер 2
Лексическая хар-ка 1
Цветовая хар-ка 1
Кластер 3
Лексическая хар-ка 1
…
…
…
Цветовая хар-ка 1
Кластер N
Лексическая хар-ка 1


Слова русского языка, которым соответствует
определенный зрительный образ (лес, небо).
Абстрактные понятия (воля, разум).
RCDL 2005
Примеры лексических характеристик
город, ночь, река, шоссе
снег, зима, небо, гора
RCDL 2005
Предполагаемое применение (1)
I. Индексация
изображение
вычисление
цветовой
характеристики
Использование того же алгоритма,
что и при вычислении
характеристик изображений из
обучающего набора
база данных
определение
кластера
Вычисление расстояний между
индексируемым изображением
и центральными характеристиками
кластера
RCDL 2005
Предполагаемое применение (2)
II. Поиск
Пользователь
Система
текстовый запрос
n изображений из кластера
Определение кластера
Оценка результата
оценка результата,
запрос-образец
результат
Оценка результата
уточненный запрос
…
RCDL 2005
Уточнение кластеров,
поиск по содержанию
Дальнейшая работа:
 Поиск оптимальных параметров для кластеризации с помощью
экспериментального сравнения кластеров:
 полученных при использовании различных цветовых пространств и
цветовых разбиений;
 полученных при использовании совместной оценки цвета и яркости (сейчас
только цвет);
 построенных по сегментам изображений.
 Использование политики реорганизации кластеров в
зависимости от оценок пользователя при поиске изображений.
RCDL 2005