tr 2

Поиск изображений.
Синтез различных методов поиска при
формировании результатов.
Наталья Васильева
Александр Дольник
Илья Марков
Санкт-Петербургский Государственный Университет
Интернет-Математика 2007
Синтез данных в контексте CBIR
цвет (2)
цвет
аннотации
текстура
 Комбинированный поиск
(различные характеристики)
 Уточнение результатов
поиска (разные алгоритмы)
 Дополнение результатов
поиска (разные множества)
Интернет-Математика 2007
синтез
результат
форма
Поиск в частично аннотированной базе
поиск по
аннотациям
TextResult1, textrank1
TR2, tr2,
...
по содержанию
Текстовый запрос
tr1
…
tr2
…
…
Интернет-Математика 2007
Результат
Синтез ранжированных списков с весами
ωi – вес i-го списка; rik - ранг k-го элемента в списке i
ω1
(x11, r11), (x12, r12), … , (x1n, r1n)
ω2
(x2
1,
r2
1),
(x2
2,
r2
2),
…,
(x2
n,
r2
n)
…
ωm
r0k = f(Ω, Rk), где
Ω – множество весов всех списков,
Rk - множество рангов элемента k
(xm1, rm1), (xm2, rm2), … , (xmn, rmn)
Существующие решения:





CombMax, CombMin, CombSum
CombAVG
CombMNZ = CombSUM * number of nonzero similarities
ProbFuse
HSC3D
Интернет-Математика 2007
Свойства функции синтеза
1) Симметричность
2) Монотонность по каждому из аргументов
3) Функции для определения ранга объекта
Функция ранга ([0..1], [0..1])N -> [0..1]
Функция веса [0..1]N -> [0..1]
4) MinMax условие /CombMin, CombMax, CombAVG/:
min{ rx(1 ) , rx( 2 ) ,..., rx( N ) }  rx( 0)  max{ rx(1 ) , rx( 2 ) ,..., rx( N ) }
5) Дополнительное свойство (аналог HSC3D):
условие взвешенной стабилизации элементов с высоким рангом
(правило конусов)
Интернет-Математика 2007
Weighted Total with Gravitation Function
Модернизация CombAVG, в качестве веса - стабилизационная
(гравитационная) функция:
где
Интернет-Математика 2007
Эксперименты: метод оценки
Параметры Roverlap, Noverlap:
Roverlap ( x) 
M  R ( 0) ( x)
M
R
( i )
N overlap ( x) 
( x)
M  N ( 0) ( x)
M
( i )
N
 ( x)
i
i
Lee J. H. Analyses of multiple evidence combination. SIGIR '97: Proceedings of the 20th annual
international ACM SIGIR conference on Research and development in information retrieval.
New York, NY, USA: ACM Press, 1997. – P. 267-276.
Интернет-Математика 2007
Описание эксперимента I
Данные:
Коллекция Flickr (~15000)
Методы:




Random с условиями MinMax
CombMNZ
WTGF_MT
WeightedTotal
Интернет-Математика 2007
Результаты эксперимента I: Roverlap
а) Зависимость Roverlap от размера списка
при delta=0.03 для 10 входных списков
б) Зависимость Roverlap от размера списка
при delta=0.07 для 10 входных списков
Интернет-Математика 2007
Результаты эксперимента I: Noverlap
а) Зависимость Noverlap от размера списка
при delta=0.03 для 10 входных списков
б) Зависимость Noverlap от размера списка
при delta=0.07 для 10 входных списков
Интернет-Математика 2007
Описание эксперимента II
Данные:
Коллекция Corel Photo Set (285)
Участники синтеза (попарное смешивание):
 цветовые гистограммы с пространственной информацией (СolorHist )
 статистическая характеристика цвета (СolorHist )
 текстурная характеристика на основе фильтров ICA (ICAHist)
Методы:
 CombMNZ
 WTGF_MT
 WTGF_MT_weighted
Интернет-Математика 2007
Результаты эксперимента II
Графики зависимости значений Roverlap от размера списков для различных функций
синтеза применительно к различным методам поиска по содержанию:
а) ColorHist и ColorMoment; b) ColorHist и ICAHist; c) ColorMoment и ICAHist.
Интернет-Математика 2007
Выводы
 Методы синтеза применимы к задаче поиска изображений и
позволяют существенно улучшить результаты поиска.
 WTGF:
- большое количество источников;
- невысокая степень перекрытия источников;
- источники с различными весами.
 CombMNZ:
- равнозначные источники;
- высокая степень перекрытия источников.
 Предложенная схема поиска по частично аннотированной базе
оправдала себя.
Интернет-Математика 2007