Семантическая классификация JPEG изображений

Семантическая классификация
JPEG изображений
Результаты экспериментального
исследования
ЛЭТИ'2006
1
Что такое семантика?
• Семантика дает ответ на вопрос: Что
изображено на картинке?
• В рамках данного исследования
семантика определяется двумя
понятиями:
• Концепт (Concept) – существительное
• Модификатор (modifier) – прилагательное
•
например: «Лесная река»
ЛЭТИ'2006
2
Принципы построения алгоритма
семантической классификации
• 1. Сегментация изображения
• 2. Семантическая классификация
сегментов по прецедентам
• 3. Нечеткое статистическое отношение:
семантика сегмента – семантика образа
• 4. Дублирующая семантическая
классификация
ЛЭТИ'2006
3
Формирование базы данных
• На этапе накопления базы данных, для каждого
сегмента и каждого образа оператор вводит
концептуальные понятия (concept) и
определения к ним (modifier) в виде текстовых
слов. Эта пара слов считается семантикой
изображения или его сегмента.
• Вместе с семантикой в базе данных сохраняется
набор количественных признаков
ЛЭТИ'2006
4
JPEG- кодирование изображений
ЛЭТИ'2006
5
Цветовое пространство
R, G, B  0,255
ЛЭТИ'2006
6
Косинусное преобразование
 2 x  1 i    2 y  1 j  
1 7 7
Ck  i, j    f k  x, y  cos
cos
,
4 x 0 y 0
16
16
1 7 7
Ck  0, 0    f k  x, y ,
8 x 0 y 0
i, j  0,
ЛЭТИ'2006
i, j  0,
k  1,2,3
7
Первичные информативные
признаки
DCf  k   Ck  0,0 .
• Цветовой фон
k  1,2,3
• Вариабельность
цветности
ACf  k  
7
7
 C  i, j 
i 1 j 1
2
k
• Цветовой контраст
1 ACf  k 
Cont  k  
2 DCf  k 
ЛЭТИ'2006
8
Сегментация изображений
3
L   xi  yi / Di
• Мера различия
векторов
i 1
h1
h2
hi 1 hi  0.85
h3
ЛЭТИ'2006
9
Пример сегментации
ЛЭТИ'2006
10
Признаковое пространство
сегмента
•
•
•
•
Относительная площадь
Позиция сегмента в поле изображения
Доминирующий фон
Вариабельность цветности:
1
aYCbCr  i  
S
 ACf i 
ЛЭТИ'2006
2
s
11
Полигон сегмента
cont k  
k  1,2,,14
ЛЭТИ'2006
12
Характеристики полигона
•
•
•
•
•
•
•
Относительная площадь
Относительный диаметр
Фактор формы
Угол ориентации диаметра
Координаты центра масс
Координаты геометрического центра
Угол ориентации главной компоненты
ЛЭТИ'2006
13
Полигон изображения
cont k  
k  1,2,,21
ЛЭТИ'2006
14
Информативность признаков
x y a
0 m00
1 m10
2
3
4 m40
n0
b
m01
m11
m41
n1
c
m02
n2
d
m03
n3
e
m04
n4
f
m05
n5
g
m06
h
m07
n6
n7
mi
mi
H x   log
M
i M
m0
m1
m2
m3
m4
M
H y  
j
H
x
M
H x  y  
H x: y  H x  H y  H x  y
S x: y  H x: y * 2
nj
i
j
log
mij
M
nj
M
log
 Hy 
ЛЭТИ'2006
15
mij
M
Агрегирование признаков
Признаки полигона
Одиночный признак
Сложный признак
FormFactor
0.659
0.8719
EFactor
0.677
Potential
0.673
Radius
0.651
Mass_center (y)
0.637
Polygon_center (y)
0.643
i
0.9222
ЛЭТИ'2006
16
Нечеткая классификация
• Уровень достоверности признака
i  1  min  d ki  max  d ki 
k
k
• Функция принадлежности к прецеденту
1 p
k   min i ,  i 
p i 1
• Функция принадлежности к семантике
s  max k 
k K s
ЛЭТИ'2006
17
Нечеткая классификация образов
по семантике сегментов
n
1
Im  i  
 s  k  Transit  i, k 

n  m  i  k 1
n - число сегментов в образе
Transit - матрица нечеткого отношения между
семантикой сегментов и семантикой образов.
ЛЭТИ'2006
18
Нечеткая классификация образов
по параметрам полигона образа
• Уровень достоверности признака
i  1  min  d ki  max  d ki 
k
k
• Функция принадлежности к прецеденту
g
1
k   min i ,  i 
g i 1
• Функция принадлежности к семантике
s  max k 
k K s
ЛЭТИ'2006
19
Комплексирование
результатов
  min  Im ,  p 
ЛЭТИ'2006
20
Моделирующая программа
ЛЭТИ'2006
21
Характеристика базы данных
Число примеров =100
Число сегментов =535
Число концептуальных понятий =86
Число модификаторов понятий =154
Число сочетаний Concept/Мodifier на уровне
сегментов=214
Число сочетаний Concept/Мodifier на уровне
образов=67
Средний размер изображений 120*120 пикселов
ЛЭТИ'2006
22
Эксперимент 1
Паттерн
ЛЭТИ'2006
23
Эксперимент 2
Паттерн
ЛЭТИ'2006
24
Публикации
• Дорогов А.Ю., Курбанов Р.Г., Разин В.В
• Быстродействующий алгоритм
семантической классификации JPEG–
изображений.
• Электронный журнал
«Нейроинформатика» 2006, том 1, № 2
с.124-144.
http://www.ni.iont.ru/Journal/N2/
ЛЭТИ'2006
25