Сравнение критериев взаимной информации, морфологической

Сравнение критериев
взаимной информации,
морфологической
и геометрической корреляции
в задаче привязки изображений
разных спектральных диапазонов
А.Ю. Рубис
аспирант, Московский авиационный институт
(национальный исследовательский университет)
План доклада
1. Критерии сходства изображений: взаимная
информация, морфологическая корреляция и
геометрическая корреляция
2. Экспериментальное сравнение критериев
взаимной информации, морфологической и
геометрической корреляции в задаче привязки
изображений разных спектральных диапазонов
3. Теоретическое исследование связи критериев
взаимной информации и геометрической
корреляции в частных случаях
2
Задача сравнения изображений
различных спектральных диапазонов
Для взаимной привязки изображений различных спектральных
диапазонов с целью дальнейшего комплексирования или анализа
возникает проблема численной оценки их сходства.
В рамках классического подхода для сравнения изображений
инвариантно к линейным преобразованиям яркости вводится
понятие нормированного коэффициента корреляции. Однако при
сравнении изображений сцены, полученных в различных
спектральных диапазонах, из-за нелинейных преобразований
яркости между ними возникает необходимость использования
мер сходства, инвариантных к яркостной составляющей
изображений.
3
1. Критерии взаимной информации,
морфологической и геометрической корреляции
4
Критерий взаимной информации
Взаимная информация – статистическая функция двух случайных величин,
описывающая количество информации, содержащееся в одной случайной
величине относительно другой:
p ( a, b)
I ( A; B)   p(a, b) log 2
p(a) p(b)
a
b
где p AB и pA , pB - совместное и частные распределения соответственно.
Совместное распределение вероятности pAB  a, b  и частные pA  a  , pB  a 
могут быть получены посредством нормализации совместной и частных
гистограмм соответственно.
5
Критерий взаимной информации
Взаимная информация определяется через энтропию и условную энтропию двух
случайных величин как
I ( A; B)  H  A  H  A | B   H  A  H  B   H  A, B 
Свойства взаимной информации:
 Взаимная информация является симметричной функцией случайных величин:
I ( A; B)  I ( B; A)

Взаимная информация неотрицательна и не превосходит информационную
энтропию аргументов:
0  I ( A; B)  min  H  A  , H  B  
В частности, для независимых случайных величин взаимная информация равна нулю:
I ( A; B)  H  A  H  A | B   H  A  H  A  0
В случае, когда одна случайная величина (например, A) является детерминированной
функцией другой случайной величины (B), взаимная информация равна энтропии:
I ( A; B)  H  A  H  A | B   H  A  0  H  A
6
Морфологический коэффициент корреляции
В рамках простейшей морфологии Пытьева
рассматриваются как кусочно-постоянные функции вида
1,
0,
g  x, y   i 1 gi Gi  x, y , G ( x, y)  
n
i
изображения
if ( x, y)  Gi ;
otherwise
где n – число областей разбиения G кадра  на связные непересекающиеся
области постоянной яркости, G  G1 ,, Gn  , g   g1 ,, gn  – вектор
действительных значений яркости, соответствующих каждой области
разбиения; Gi  x, y  0,1 – характеристическая функция i-й области яркости:
Множество изображений одной формы разбиения кадра G в таком
случае образовывает выпуклое и замкнутое подпространство F  L2 () :
G 


g  x, y   i 1 gi Gi  x, y ,g  R n .
n
Формы образуют алгебраическую структуру типа «решетка», в которой
для любых двух форм F и G можно указать форму более сложную F  G и
менее сложную F  G . Более сложные формы получаются из менее сложных
7
разбиением, а менее сложные из более сложных – слиянием областей.
Морфологический коэффициент
корреляции
Для любого изображения f  x, y   L2   может быть определена проекция на
форму G:
fG  x, y   PG f  x, y    i 1 fi Gi  x, y , f Gi  ( Gi , f ) / || Gi ||2 , i  1, , n
n
fGi  ( Gi , g) / || Gi ||2 , i  1, , n
Морфологическое сравнение изображений f(x,y) и g(x,y) в рамках
морфологии Пытьева осуществляется при помощи морфологических
квазирасстояний d M  f , G   f – PG f
и нормированных морфологических коэффициентов корреляции:
K Mp  f , G  
PG f
f
8
Несимметричные коэффициенты геометрической
корреляции
Введем дополнительно следующие обозначения:
S – площадь кадра ;
Si  ||  Fi  x, y  ||2 – площадь области разбиения
Cвойства СКМК:
K ( F , G)  0,1;
1. M
Fi; 2. KM ( F , F )  1;
S j  || Gj  x, y  || – площадь области разбиения Gj;
2
3. K M ( F , F  G)  1;
4. G  F : K M ( F  G, F )  1 .
Sij  (  Fi  x, y  , Gj  x, y ) – площадь пересечения Fi  G j .
Cреднеквадратичный эффективный коэффициент
морфологической корреляции (СКМК) форм F и G определяется:
2
Sij Sij

||
f
||

2
G
K M ( F , G) 
  j 1,...,m  i 1,..., n

2
|| f || 
S Sj
  j 1,...,m i 1,...,n K  Fi , G j  KM 2 G j , Fi  (1)
где K   Fi , G j   Sij / S – нормированный коэффициент значимости пары
областей Fi и Gj для оценки сходства разбиений F и G (он тем выше, чем
больше площадь Fi  G j ); K M 2  G j , Fi   Sij / S j – квадрат нормированного
морфологического коэффициента парной корреляции пары областей Fi и Gj.
9
Несимметричные коэффициенты геометрической
корреляции
Среднеквадратичным
эффективным
коэффициентом
корреляции с центрированием (СКМКЦ) определяется как:
морфологической
 Sij Si




j 1,..., m
i 1,..., n 
2
S
Sj S
|| f G  f 0 || 

2
K MC ( F , G ) 

2
|| f  f 0 ||2 
 Si 
1   i 1,..., n  
S 
Sj



2
Данный коэффициент связан с (1) следующим соотношением:
K MC ( F , G ) 
2
KM
2
S 
( F , G )  i 1,..., n  i 
S 
2
S 
1  i 1,..., n  i 
S 
2
Если формы G и F независимы в смысле Пытьева (т.е. проекции их
центрированных изображений друг на друга являются нулевыми), то K MC ( F , G)  0 .
Кроме того, поскольку при n=1 знаменатель данного выражения обращается в 0, то
для пустой (нулевой) формы O коэффциент СКМКЦ не определен (как и линейный
центрированный коэффициент корреляции).
10
Симметричные коэффициенты геометрической
корреляции
Симметричный морфологический коэффициент парной геометрической корреляции
областей Fi и Gj определяется, следующим образом:
K MS ( Fi , G j ) 
fi  g j
2
fi  g j
2

Sij
Si  S j  Sij
.
Симметричный коэффициент геометрической корреляции (СКГК) форм F и G,
определяемый выражением
2
Sij
1
K MS ( F , G)   j 1,...,m i 1,...,n

S
Si  S j  Sij
  j 1,...,m  i 1,...,n K  ( Fi , G j ) K MS (G j , Fi ).
Свойства СКГК:
1.
KMS  F , G  0,1;
2.
KMS  F , F   1;
3. KMS  F , G   KMS G, F  .
11
Симметричные коэффициенты геометрической
корреляции
Симметричный линейный коэффициент парной геометрической корреляции
областей Fi и Gj:
K N ( Fi , G j ) 
(  Fi ,  G j )
||  Fi ||||  G j ||

Sij
Si S j
,
Тогда симметричный коэффициент линейной корреляции (СКЛК) форм F и G будет
определяться выражением
Sij 2
1
K N ( F , G )   j 1,...,m  i 1,...,n

S
Si S j
  j 1,...,m  i 1,...,n K  ( Fi , G j ) K N (G j , Fi ).
Свойства СКЛК идентичны свойствам СКГК.
12
2. Экспериментальное сравнение критериев
взаимной информации, морфологической и
геометрической корреляции в задаче привязки
изображений разных спектральных диапазонов
13
Описание эксперимента
ТВ
ИК
Входные
данные
Кадрирование
(фрагменты а, б)
а)
б)
14
Описание эксперимента
Расчет значения корреляционного поля критерия C(x,y)
при текущем сдвиге (x,y) ТВ относительно ИК
Добавление гауссовского шума
Гистограммная сегментация методом
динамического
программирования
(число мод гистограммы n=4)
Расчет значения корреляционного
поля текущего критерия C(x,y)
Глобальный максимум корреляционной функции в точке (xm, ym)
соответствует положению левого верхнего угла наиболее похожего
на ТВ фрагмент фрагмента ИК.
15
Описание эксперимента
Для оценки качества критериев сравнения использовались следующие показатели:
SNR 
E
Cglob  

Cglob  
Cloc ( )  
где Cglob – значение глобального максимума корреляционной функции;
Cloc(ξ) – первый локальный максимум вне прямоугольной окрестности ξ глобального
максимума;
μ – среднее значение корреляционной функции;
σ – среднеквадратическое отклонение корреляционной функции;
16
Результаты экспериментов
a)
в)
б)
г)
Пример 1 ТВ (слева) и ИК (справа) изображений:
а) эталонный ТВ фрагмент; б) тестовое ИК изображение; в)
сегментированный ТВ-фрагмент; г) соответствующий сегментированный
ИК-фрагмент
17
Результаты экспериментов
Числовые данные для примера 1.
Критерий
Макс.
Знач.
SNR
E
MI
0.24656
4.7081
4.0960
Kp
0.21137
4.7742
3.7534
Km
0.34802
4.5509
3.3205
Kmc
0.11181
4.5509
3.3205
Kms
0.22668
4.3525
3.6011
Kn
0.3657
4.3262
3.6699
Kp ~ KMp2
Km ~ KM2
Kmc ~ KMC2
MI ~I(A; B)
Корреляционные функции сопоставления
фрагментов ТВ и ИК (пример 1).
18
Результаты экспериментов
a)
в)
б)
г)
Пример 2 ТВ (слева) и ИК (справа) изображений (аддитивный гауссовский
шум МО=0, СКО=100): а) эталонный ТВ фрагмент; б) тестовое ИК
изображение; в) сегментированный ТВ-фрагмент; г) соответствующий
сегментированный ИК-фрагмент
19
Результаты экспериментов
Числовые данные для примера 2.
Критерий
Макс. Знач.
SNR
E
MI
0.00865*10-3
4.7334 2.7357
Kp
0.01159
4.7320 2.9902
Km
0.25491
4.7200 2.7725
Kmc
0.00384*10-3
4.7200 2.7725
Kms
0.14647
4.8785 2.5354
Kn
0.25548
4.8587 2.3340
Kp ~ KMp2
Km ~ KM2
Kmc ~ KMC2
MI ~I(A; B)
Корреляционные функции сопоставления фрагментов ТВ
и ИК (пример 2).
20
Результаты экспериментов
a)
б)
в)
г)
Пример 3 ТВ (слева) и ИК (справа) изображений:
а) эталонный ТВ фрагмент; б) тестовое ИК изображение; в)
сегментированный ТВ-фрагмент; г) соответствующий сегментированный
21
ИК-фрагмент
Результаты экспериментов
Числовые данные для примера 3.
Критерий
Макс.
Знач.
SNR
E
MI
0.48085
11.6132 3.1376
Kp
0.42765
11.8372 2.9574
Km
0.57948
12.4476 2.9327
Kmc
0.26054
12.4476 2.9327
Kms
0.31426
7.4284
1.8112
Kn
0.47429
7.5972
2.1409
Kp ~ KMp2
Km ~ KM2
Kmc ~ KMC2
MI ~I(A; B)
Корреляционные функции сопоставления
фрагментов ТВ и ИК (пример 3).
22
Результаты экспериментов
a)
б)
в)
г)
Пример 4 ТВ (слева) и ИК (справа) изображений (аддитивный гауссовский
шум МО=0, СКО=70):
а) эталонный ТВ фрагмент; б) тестовое ИК изображение; в)
сегментированный ТВ-фрагмент; г) соответствующий сегментированный
ИК-фрагмент
23
Результаты экспериментов
Числовые данные для примера 4.
Критерий
Макс. Знач.
SNR
E
MI
0.03613
9.2157
1.7512
Kp
0.04361
8.9576
1.6643
Km
0.28774
10.3510 1.8913
Kmc
0.00159*10-3 10.3510 1.8913
Kms
0.1599
4.6429
1.2303
Kn
0.27794
4.1009
1.2635
Kp ~ KMp2
Km ~ KM2
Kmc ~ KMC2
MI ~I(A; B)
Корреляционные функции сопоставления
фрагментов ТВ и ИК (пример 4).
24
3. Теоретическое исследование связи критериев
взаимной информации и геометрической
корреляции в частных случаях
25
Связь критериев геометрической корреляции и взаимной
информации в случае идеально эквализованных гистограмм
Возьмем
pi 
Si
1
 p
n
S
Sj
1
q
pj 
m
S
pij 
Sij
S
Тогда несимметричный коэффициент геометрической корреляции (СКМК) определяется как
K M2  
i
j
2
ij
p
pj
 p
2
ij

i
j
q
В [*] предложена следующая аппроксимация взаимной информации рядом Тейлора:
pij  pi p j 

1
I ( A; B) 
 p p
2 ln 2 i j
i j
2
Подставляя значения pi, pj, получим:
I ( A; B) 
1

2 ln 2 i j
 pij  pi p j 
pi p j
2

  pij2 2 pq  pij
2
 pq    1  1 K 2  1 ~ MI
1  i j
j
i



M


2
2 ln 2  p
pq
2 ln 2  pq
pq





Т.е. в данном частном случае критерии KM2 и I(A; B) оказываются линейно зависимы.
[*] Goebel, B. An Approximation to the Distribution of Finite Sample Size Mutual Information Estimates, 2005 IEEE
International Conference on Communications, pp. 1102 - 1106 Vol. 2
26
Связь критериев геометрической корреляции и взаимной
информации в случае идеально эквализованных гистограмм
Пример 1.
Пример 2.
Изображение f
Изображение f
Изображение g
Изображение g
K M2  0.3125
MI  0.18034
K M2  0.75
MI  1.4427
27
Связь критериев геометрической корреляции и взаимной
информации в случае идеально эквализованных гистограмм
Пример 3.
Изображение f
Изображение g
K M2  0.375
MI  0.36067
Пример 4.
Изображение f
Изображение g
K M2  0.5
MI  0.72135
28
Связь критериев геометрической корреляции и взаимной
информации в случае идеально эквализованных гистограмм
Численные значения K M2 и MI
K M2
MI
Пр. 1
0.3125
0.18034
Пр. 2
0.75
1.4427
Пр. 3
0.375
0.36067
Пр. 4
0.5
0.72135
Вывод: в случае идеально эквализованных гистограмм сравниваемых
изображений зависимость между K M2 и MI линейная.
29
Связь несимметричного и симметричного нормированного
коэффициентов геометрической корреляции в случае совпадения
гистограмм сравниваемых изображений
Возьмем
S 1 S
1
pi  p j  i   j   q
S n S m
pij 
Sij
S
Тогда несимметричный коэффициент определяется как
K M2  
i
j
2
ij
p
pj
 p
2
ij

i
j
q
Симметричный коэффициент опеределяется как
K N  
i
j
pij2
pi p j

2
p
 ij
i
j
q
 K M2
В частном случае равенства гистограмм коэффициенты KM2 и KN равны.
30
Связь несимметричного и симметричного нормированного коэффициентов
геометрической корреляции в случае идеальной эквализации и совпадения
гистограмм сравниваемых изображений
Пример 1
Изображение f
Изображение g
K M2  0.5
K N  0.5
Пример 2.
Изображение f
Изображение g
K M2  0.8125
K N  0.8125
Вывод:
в случае равенства гистограмм сравниваемых изображений значения KM2 и KN равны.
31
Заключение
Из вышеизложенного можно сделать следующие выводы:
1. В проведенных экспериментах несимметричные коэффициенты ГК по
выбранным численным характеристикам корреляционной функции
близки с критерием взаимной информации, а в ряде случаев обладают
лучшими показателями (статистического исследования пока не
проводилось), при более простом и быстром расчете значений (особенно
нецентрированного несимметричного коэффициента).
2. Центрированный несимметричный коэффициент ГК может достигать
очень малых средних значений корреляционной функции, что требует
задания большей точности вычислений.
3. Надежность симметричных коэффициентов сильно зависит от
зашумления и размера фрагмента.
4. В частном случае идеально эквализованных гистограмм сравниваемых
изображений аппроксимация взаимной информации рядом Тейлора и
нецентрированный несимметричный коэффициент ГК линейно
зависимы.
5. В частном случае совпадения гистограмм несимметричный и
симметричный нормированный коэффициенты равны.
32
Спасибо за внимание!
33