Поиск статических изображений по содержанию: использование текстового запроса Наталья Васильева [email protected] 9 октября 2004 Поиск изображений Поиск по ключевым словам (Description Based Image Retrieval Поиск по содержанию (Content Based Image Retrieval - CBIR) Запрос Текстовый запрос Картинкаобразец Текст Картинка Эскиз 9 октября 2004 DBIR) поиск индексация CBIR : традиционный подход изображение вычисление сигнатур запрос вычисление сигнатур база данных сравнение уточнение запроса 9 октября 2004 результат Основные проблемы Семантический разрыв Сложность процесса визуального восприятия Точность моделей – время обработки запроса Комбинирование различных моделей и метрик 9 октября 2004 Основные цели Запрос на естественном языке Согласованность с особенностями человеческого восприятия Уменьшение затрат на индексирование Построение модели изображения, включающей цветовые и текстурные характеристики 9 октября 2004 Архитектура системы (I) I. Подготовка I. Подготовка II. Индексация Пляж, море, песчаный берег, пальмы, природа, … Выборка небольшого подмножества Кластеризация выбранного подмножества Вычисление средних характеристик для каждого кластера Описание кластеров с помощью ключевых слов 9 октября 2004 III. Поиск Архитектура системы (II) II. Индексация Вычисление сигнатур для всех изображений в базе Классификация изображений базы по созданным кластерам – сравнение характеристик отдельно взятого изображения со средними характеристиками кластеров 9 октября 2004 Архитектура системы (II) III. Поиск Пользователь Система текстовый запрос n изображений из кластера Определение кластера Оценка результата оценка результата, запрос-образец результат Оценка результата уточненный запрос … 9 октября 2004 Уточнение кластеров, поиск по содержанию Модель изображения S(color, size, x, y) color – усредненный цвет пятна; size – размер цветового пятна (%); x, y – координаты центра пятна; Допущения: 32 цветовых отрезка Цвет учитывается, если > 3% 9 октября 2004 Примеры (1) 9 октября 2004 Примеры (2) 9 октября 2004 Примеры (3) 9 октября 2004 Примеры (4) 9 октября 2004 Недостатки Выбор цветовых отрезков В зависимости от изображения Порог значимости цвета Эксперименты, в зависимости от количества других цветов Вычисление центра пятна Сегментация Форма пятна Направленный элипс 9 октября 2004 Особенности восприятия человеком Нелинейное восприятие цвета Нелинейная зависимость от яркости Ориентация и расположение объектов Другие ? 9 октября 2004 В дальнейшем: Политика реорганизации кластеров в зависимости от оценок пользователя Усложнение модели изображения, вероятностная модель? Совместная оценка цвета и яркости (сейчас только цвет) Сегментация изображений, построение кластеров по сегментам 9 октября 2004 Спасибо! Наталья Васильева [email protected] 9 октября 2004