Семантическая классификация JPEG изображений
реклама
Семантическая классификация JPEG изображений Результаты экспериментального исследования ЛЭТИ'2006 1 Что такое семантика? • Семантика дает ответ на вопрос: Что изображено на картинке? • В рамках данного исследования семантика определяется двумя понятиями: • Концепт (Concept) – существительное • Модификатор (modifier) – прилагательное • например: «Лесная река» ЛЭТИ'2006 2 Принципы построения алгоритма семантической классификации • 1. Сегментация изображения • 2. Семантическая классификация сегментов по прецедентам • 3. Нечеткое статистическое отношение: семантика сегмента – семантика образа • 4. Дублирующая семантическая классификация ЛЭТИ'2006 3 Формирование базы данных • На этапе накопления базы данных, для каждого сегмента и каждого образа оператор вводит концептуальные понятия (concept) и определения к ним (modifier) в виде текстовых слов. Эта пара слов считается семантикой изображения или его сегмента. • Вместе с семантикой в базе данных сохраняется набор количественных признаков ЛЭТИ'2006 4 JPEG- кодирование изображений ЛЭТИ'2006 5 Цветовое пространство R, G, B 0,255 ЛЭТИ'2006 6 Косинусное преобразование 2 x 1 i 2 y 1 j 1 7 7 Ck i, j f k x, y cos cos , 4 x 0 y 0 16 16 1 7 7 Ck 0, 0 f k x, y , 8 x 0 y 0 i, j 0, ЛЭТИ'2006 i, j 0, k 1,2,3 7 Первичные информативные признаки DCf k Ck 0,0 . • Цветовой фон k 1,2,3 • Вариабельность цветности ACf k 7 7 C i, j i 1 j 1 2 k • Цветовой контраст 1 ACf k Cont k 2 DCf k ЛЭТИ'2006 8 Сегментация изображений 3 L xi yi / Di • Мера различия векторов i 1 h1 h2 hi 1 hi 0.85 h3 ЛЭТИ'2006 9 Пример сегментации ЛЭТИ'2006 10 Признаковое пространство сегмента • • • • Относительная площадь Позиция сегмента в поле изображения Доминирующий фон Вариабельность цветности: 1 aYCbCr i S ACf i ЛЭТИ'2006 2 s 11 Полигон сегмента cont k k 1,2,,14 ЛЭТИ'2006 12 Характеристики полигона • • • • • • • Относительная площадь Относительный диаметр Фактор формы Угол ориентации диаметра Координаты центра масс Координаты геометрического центра Угол ориентации главной компоненты ЛЭТИ'2006 13 Полигон изображения cont k k 1,2,,21 ЛЭТИ'2006 14 Информативность признаков x y a 0 m00 1 m10 2 3 4 m40 n0 b m01 m11 m41 n1 c m02 n2 d m03 n3 e m04 n4 f m05 n5 g m06 h m07 n6 n7 mi mi H x log M i M m0 m1 m2 m3 m4 M H y j H x M H x y H x: y H x H y H x y S x: y H x: y * 2 nj i j log mij M nj M log Hy ЛЭТИ'2006 15 mij M Агрегирование признаков Признаки полигона Одиночный признак Сложный признак FormFactor 0.659 0.8719 EFactor 0.677 Potential 0.673 Radius 0.651 Mass_center (y) 0.637 Polygon_center (y) 0.643 i 0.9222 ЛЭТИ'2006 16 Нечеткая классификация • Уровень достоверности признака i 1 min d ki max d ki k k • Функция принадлежности к прецеденту 1 p k min i , i p i 1 • Функция принадлежности к семантике s max k k K s ЛЭТИ'2006 17 Нечеткая классификация образов по семантике сегментов n 1 Im i s k Transit i, k n m i k 1 n - число сегментов в образе Transit - матрица нечеткого отношения между семантикой сегментов и семантикой образов. ЛЭТИ'2006 18 Нечеткая классификация образов по параметрам полигона образа • Уровень достоверности признака i 1 min d ki max d ki k k • Функция принадлежности к прецеденту g 1 k min i , i g i 1 • Функция принадлежности к семантике s max k k K s ЛЭТИ'2006 19 Комплексирование результатов min Im , p ЛЭТИ'2006 20 Моделирующая программа ЛЭТИ'2006 21 Характеристика базы данных Число примеров =100 Число сегментов =535 Число концептуальных понятий =86 Число модификаторов понятий =154 Число сочетаний Concept/Мodifier на уровне сегментов=214 Число сочетаний Concept/Мodifier на уровне образов=67 Средний размер изображений 120*120 пикселов ЛЭТИ'2006 22 Эксперимент 1 Паттерн ЛЭТИ'2006 23 Эксперимент 2 Паттерн ЛЭТИ'2006 24 Публикации • Дорогов А.Ю., Курбанов Р.Г., Разин В.В • Быстродействующий алгоритм семантической классификации JPEG– изображений. • Электронный журнал «Нейроинформатика» 2006, том 1, № 2 с.124-144. http://www.ni.iont.ru/Journal/N2/ ЛЭТИ'2006 25
