Бутенков С.А. Энтропийный подход к оценке качества

ЭНТРОПИЙНЫЙ ПОДХОД К ОЦЕНКЕ КАЧЕСТВА
ГРАНУЛИРОВАНИЯ МНОГОМЕРНЫХ ДАННЫХ
С.А. БУТЕНКОВ
Южный федеральный университет
1. Введение
Теория информационной грануляции (ТИГ) является подходом, способным на единой
методологической
базе
обобщить
множество
различных
подходов
и
методов
интеллектуального анализа данных, которые до сего момента развивались независимо [1-3].
Ценность ТИГ для практики, согласно руководящему принципу мягких вычислений,
заключается в возможности разработки подходов и частных методов, позволяющих
существенно компактифицировать данные для манипулирования, при этом не получая
существенных потерь в качестве решения поставленных задач. В настоящее время методы
ТИГ значительно развиты применительно к одномерным данным [2], активно развиваются в
области двумерных данных (изображений) [3-5] и начинают распространяться в область
многомерных данных (например, цветных изображений) [6-8]. Ключевым пунктом
дальнейшего развития в этой области является поиск математически корректных методов,
реализующих идеи ТИГ [9].
Одним из основных подходов к оценке является энтропийный подход [10]. Понятие
энтропии, первоначально введенное C. Shannon, в дальнейшем было значительно обобщено
[11] и применялось в весьма широком спектре прикладных задач [12]. Однако классическая
энтропия имеет ряд свойств, препятствующих ее эффективному применению в задачах,
связанных с анализом структуры данных [7,10]. Поэтому необходимо дальнейшее развитие
теории энтропийных мер в область гранулированного представления данных. В настоящей
работе предлагаются основы такого расширения и приводятся результаты экспериментов,
связанных с оценкой эффективности предлагаемого подхода.
1. Основные понятия теории информации для многомерных данных
Понятие энтропии было введено C. Shannon для задач, связанных с оцениванием
неизвестных плотностей вероятности
p ( x ) . Основной подход состоит в построении
гистограммы значений X (i ) с использованием интервала значений x . Тогда после
подсчета значений, попадающих в интервалы
mk , k 1, 2,.., M 
( xk , xk  x) . Тогда
вероятность того, что данное значение принадлежит k интервалу равна pk  mk N , где N –
объем выборки. Для этого случая оценка энтропии записывается как
M
H s ( X )   pk ln( pk ) ,
(1)
k 1
где M - число интервалов.
Используются также другие функции энтропии. Основными из них являются
1. Энтропия Burg [12]:
 ln( X ) ;
( X )    X ln( X ) ;
( X )   X  M  X ln( X | M ) .
Hb ( X )  
пиксели
2. Энтропия Frieden [12]:
Hf
пиксели
3. Энтропия Gull and Skilling [12]:
Hg
пиксели
К сожалению, все усовершенствованные энтропийные функции введены формально и
обладают рядом недостатков, снижающих их практическую полезность. Все они достигают
максимума, когда сигнал постоянен. Тот факт, что сигнал имеет максимальную
информативность, когда он постоянен, несомненно противоречит интуитивному пониманию
меры информативности. Далее, если сигнал имеет много особенностей из-за шума, то он
формально обладает большим количеством информации. Наконец, эти меры не учитывают
сложность структуры данных [6]. На следующем рисунке приведен пример [12],
иллюстрирующий эти недостатки энтропийных оценок.
a)
b)
Рис. 1. Примеры изображений, эквивалентных по классически энтропийным оценкам.
Рис. 1(а) и 1(b) показывают соответственно изображение Lenna, качество которого
искусственно снижено путем ограничения числа уровней яркости до 25 , и изображение,
полученное из него путем случайной перестановки пикселов. Стандартные методы оценки
энтропии дадут одно и то же значение для обоих изображений и, с точки зрения (1) оба
изображения содержат одинаковое количество информации. Очевидно, что стандартные
оценки
энтропии
мало
приспособлены
для
оценки
количества
информации
в
структурированных данных.
Причиной этого является то, что в структурированном изображении как правило
выделяются как минимум два подмножества, условно называемые объект и фон [13].
Способность отделять объект от фона в весьма сложных случаях (когда байесовские
классификаторы не работают [13,14]), является результатом семантической сегментации
[14], присущей зрительной системе человека. Поэтому для разработки практически полезных
методов интеллектуального анализа данных необходимо введение новых обобщенных
энтропийных мер.
2. Развитие методов получения оценок энтропии в перцептуальных системах
Алгебраический
подход
к
описанию
дуальных,
структурированных
данных
(изображений) был предложен в работе [15] для простого случая однородных изображений
объекта и фона. Однако он связан с катастрофическим ростом объема вычислений при
неоднородности объекта и/или фона.
В связи с тем, что понятия объекта и фона, строго говоря, являются нечеткими, т.е. в
отличие от подхода [15] степень принадлежности пиксела как объекту, так и фону может
быть ненулевой [4], корректным представляется использование мер, связанных с оценкой
внутренней противоречивости, двусмысленности, неопределенности, которые в теории
нечетких множеств (НМ) названы показателями размытости НМ [16]. Второй аспект оценки
показателей размытости связан с интерпретацией показателя размытости как меры отличия
нечеткого множеств от обычного множества, что позволяет использовать его совместно с
подходом, предложенным в [15].
Согласно [17], функционал является показателем размытости нечеткого множества A в
том случае, когда он допускает представление


d ( A)   T j  A  x j  ,
N
j 1
(2)
где для всех j  J  1, 2,..., N T j  y  – вещественные функции от y  0,1 такие что
Tj  0  0 , Tj  y   Tj 1  y  и T j
строго возрастают на интервале
0, 0,5 ,
причем
предполагается, что X  x1 , x2 ,..., xN  .
По аналогии с (1) в [18] предложена логарифмическая энтропия НМ в виде


d ( A)  k  S  A  x j  ,
N
j 1
(3)
где S  y    y ln y  1  y  ln 1  y  , а k – положительная константа.
Выбор конкретного показателя типа (2) зависит от условий решаемой с его помощью
задачи.
В
[16,18]
обсуждается
связь
между
показателем
размытости
НМ
и
неопределенностью, возникающей при принятии решения о том, к какому из двух классов
«А» или «не А» отнести объекты множества X .
В нашей работе [14] предлагается реализация семантического подхода к решению задачи
сегментации (поиска цели или объекта), основанная на формализации представления того,
что «объект» есть «не фон». Для этого введено понятие канонической формы многомерных
данных, обобщающее понятие бинарного изображения [7] и для него получены оценки
энтропии, связанные с (3).
3. Энтропийная оценка неопределенности в бинарных изображениях
Обозначим вероятности наличия уровней яркостей полутонового изображения как
p( w), w  0, ..., W  1 , где W – максимальная яркость изображения. Обозначим также
уровень яркости, разделяющий объект интереса и фон изображения как T , T  [1,W  1] .
Тогда вероятности принадлежности пиксела объекту или фону запишем как
p f ( w), 0  w  T , pb (w), T  1  w   G 1 ,
(4)
Для полного изображения:
T
Pf (T )  Pf   p( w) , Pb (T )  Pb 
w 0
G 1

p ( w) .
(5)
w T 1
Запишем зависимость энтропии объекта и фона от параметра порогового разделения
объекта и фона T в виде:
T
H f (T )   p f ( w) log 2 p f ( w) , H b (T )  
w 0
G 1

w T 1
pb ( w) log 2 pb ( w) .
(6)
Полная энтропия изображения, используемая для оценки внутреннего противоречия в
системе «объект-фон», представляется как
H (T )  H f (T )  H b (T ) .
(7)
Для канонической бинарной модели данных [7] W  2 и p f ( w)  p(1) . Для размера
изображения KM обозначим количество ненулевых информационных элементов как N и
вычислим вероятности (4) как
p1 
N
K M  N
 1  p1 .
,p 
K M 0
K M
(8)
Тогда полная энтропия бинарного изображения по (7) запишется как
 1  p1 
H  H1  H 0   p1 log 2 ( p1 )  p0 log 2 ( p0 ) = p1 log 2 
  log 2 (1  p1 ) .
 p1 
(9)
Полученный в результате показатель (9) был использован в работе [8] для оценки
качества представления формы объектов.
Сходные соображения приводят к получению показателей, характеризующих качество
гранулированного представления данных [8].
4. Основы теории информационной грануляции
Информационной гранулой называется подмножество универсума U , на котором
определено отношение сходства, неразличимости и т.п. [1]. Множество гранул, которое
содержит все объекты универсума, называется гранулированием универсума. Подмножество
A  U называется составной (не элементарной) гранулой если оно представляет собой
объединение атомарных гранул [3].
Определив на плоскости проекции произвольной гранулы G , обозначаемые как prxG и
pryG ,
зададим
инкапсулирующую
декартову
гранулу
для
произвольного
G
как
G  prxG  pryG . Гранула G  является точной верхней гранью конечного множества всех
гранул, содержащих G .
Мереологическое определение информационной гранулы широко обсуждалось в работах
Л. Задэ [1,2]. Введем ряд определений для общих процедур грануляции. Пусть G1 ,..., Gn –
гранулы в U1 ,...,U n соответственно, тогда гранула G  G1    Gn – это декартова гранула.
Для простоты мы будем предполагать, что n  2 (рис. 1), что соответствует определению
математической модели изображения [8].
Y
G2
Декартовой гранулой называется
декартово произведение гранул
G = G1 x … x G n
G
G1
X
Например : G = (среднего возраста) x высокий
Рис. 2. Декартова гранула для произвольных подмножеств.
Важность понятия декартовой гранулы происходит в большой степени от ее роли в
процессе, называемом инкапсуляцией информации. Рассмотрим гранулу G , для которой Gx
и G y обозначают проекции G на U и V областей X и Y соответственно. Таким образом,
G (u )  supv G (u, v), u U , v V , Gy (v)  supu G (u, v). Тогда декартова гранула G 
x
определяемая как
G   Gx  Gy
(10)
инкапсулирует исходную произвольную гранулу G в том смысле, что является точной
верхней гранью декартовых гранул, которые содержат G (рис. 2). Таким образом, G  может
использоваться как верхняя аппроксимация G [1]. В более общей постановке мы можем
построить цилиндрическое расширение G [2]. Более конкретно цилиндрическое расширение
G гранулы G в направлении  является цилиндрическим нечетким множеством, таким
что G   sup  G  R ( p;  )  , где R( p;  ) – луч, то есть прямая, проходящая через точку p в

направлении  ,    1 , 2  , где 1 и  2 – углы, определяющие  . С помощью такого
Любая G
гранула
G может быть аппроксимирована сверху
построения G инкапсулирует
.
описывающей ее декартовой гранулой G+
V
G+
G
0
G+=projuG x projvG
U
Принцип следования
X is G
is G+
Рис. 3. Гранула G , ее проекции
и Xинкапсулирующая
гранула G  .
С понятием инкапсулирующей гранулы тесно связано фундаментальное понятие
аппроксимирующего графика отношения. Согласно [2], график на плоском множестве
задается как f *  A1x  A1y  ...  Anx  Any  i Aix  Aix , i  1,..., n , где операция ”+” означает
дизъюнкцию в широком смысле слова [2]. Отметим, что в настоящей работе речь идет о
декартовых координатах в отличие от лингвистических переменных.
5. Энтропийная оценка неопределенности в гранулированных изображениях
В работах [3,8] предложены основы метода покрытия сегментированных изображений
декартовыми гранулами согласно идее ТИГ (10). В этих же работах предложен
алгебраический аппарат, позволяющий компактно кодировать параметры декартовых гранул.
Каждая гранула характеризуется параметрами ширины wi , hi  , i  1, 2,..., N . Используя эти
параметры мы можем вычислить энтропию покрытия бинарного изображения H G с
помощью аппроксимирующего графика на декартовых гранулах [3] в виде
D

wi  hi


wi  hi

 1  i 1
H G  i 1
log 2  D K  M
K M

wi  hi
 
i 1

 K M
D

D

wi  hi


  log 2 (1  i 1
).
K M




(11)
Таким образом, оптимизация качества покрытия канонических многомерных данных
декартовыми гранулами сводится к задаче
J  min  H  HG  .
G
(12)
Отметим, что поведение функции H G по (11) существенно зависит от исходных
геометрических характеристик данных (изображения), от метода покрытия гранулами [8].
6. Применение показателей неопределенности гранулированных изображений
Предложенный критерий (12) был использованы в базовом программном обеспечении
анализа
изображений.
Следующие
рисунки
демонстрируют
примеры
применения
полученных методов и алгоритмов в программной системе семантической сегментации
изображений в условиях неопределенности.
mas
bi1 255
Рис. 4 Пример оптимального выделения объектов интереса на неоднородном фоне.
bi1 255
mas
Рис. 5 Пример выделения объектов различной интенсивности на неоднородном фоне.
Отметим, что выделенные на предыдущих рисунках 4-5 объекты минимизируют
неопределенность в отношении объект/фон согласно (12). Никакие априорные данные о
характеристиках выделяемых объектов не использовались.
7. Заключение
В результате проведенных исследований и развития полученных ранее результатов в
области оценок качества гранулированного представления многомерных данных с
сохранением информации были разработаны алгоритмы анализа изображений, позволяющие
сохранять исходную неопределенность соотношения объект/фон. В отличие от классических
методов оценки энтропии, мы использовали оценку покрытия декартовыми гранулами. К
ним применяется оценка, развививающая идеи De Luca [18]. В результате процесс
гранулирования становится контролируемым.
Список литературы
1.
Zadeh L. Fuzzy sets and Information Granularity. In “Advances in Fuzzy Set Theory and Applications”,
M. Gupta, R. Ragade, and R. Yager, Eds. Amsterdam, The Netherlands: North-Holland, 1979, pp. 3–18.
2.
Zadeh L. Toward a theory of fuzzy information granulation and its centrality in human reasoning and
fuzzy logic. Fuzzy Sets Syst., vol. 90, pp. 111–127, 1997.
3.
Butenkov S. Granular Computing in Image Processing and Understanding. In Proc. IASTED International Conf. On AI and Applications “AIA 2004”, Innsbruk, Austria, February 10-14, 2004.
4.
Tizhoosh H.R. Fuzzy Image Processing. Springer, 1997, ISBN: 3-540-63137-2.
5.
Walker E. Perspectives on Fuzzy Systems in Computer Vision. Proc. of the Annual Conference of the
North American Fuzzy Information Processing Society [NAFIPS '98], August, 1998, pp. 296-300.
6.
Бутенков С.А. Формализация неопределенности в многомерных данных. В сб. трудов
международной научно-технической конференции „Интеллектуальные системы” (IEEE AIS’03),
Москва, Физматлит, 2003, с. 104-113.
7.
Бутенков С.А. Вычисления со словами в задачах интеллектуальной обработки многомерной
информации.
В
сб.
трудов
III
Международного
научно-практического
семинара
“Интегрированные модели и мягкие вычисления в искусственном интеллекте”, Коломна, 15-17
мая 2005 г., с. 133-139.
8.
Бутенков С.А., Бутенков Д.С., Кривша В.В. Гранулированные вычисления в системах
интеллектуального анализа пространственных данных. В сб. трудов V Международной
конференции “ Интеллектуальный анализ информации”, Киев, 17-20 мая 2005 г., с. 108-117.
9.
Bezdek J.C., Pal S.K. (editors) Fuzzy Models for Pattern Recognition. IEEE Press, 1992.
10. Sankur B., Sezginb M. Image Thresholding Techniques: a Survey over Categories. Journal of Electronic
Imaging, vol. 13(1), pp. 146-165, 2004.
11. Klir G.J. An Update on Generalized Information Theory. // ISIPTA'03. Lugano, Switzerland, 2003.
12. Starck J.L., Murtagh F., Gastaud R. A new entropy measure based on the wavelet transform and
noise modeling. Special Issue on Multirate Systems, Filter Banks, Wavelets, and Applications of
IEEE Transactions on CAS II, 45(8), 1998.
13. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.:Мир, 1976.
14. Бутенков С.А., Кривша В.В., Зюзерова Н.С. Семантический подход в задачах интеллектуальной
сегментации. “Искусственный интеллект”, №4, 2006, с. 319-324.
15. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации //
Проблемы кибернетики.- М:Наука, 1978, вып. 33.
16. Нечеткие множества в моделях управления и искусственного интеллекта/под ред. Д.А.
Поспелова.- М.: Наука, 1986, 312 с.
17. Батыршин И.З. О мерах энтропии размытых множеств.- В кн.: Исследование операций и
аналитическое проектирование в технике, Вып. 1, Казань: КАИ, 1978, с. 40-45.
18. De Luca A., Termini S. A definition of a non-probabilistic entropy in the setting of fuzzy sets theory.Information and Control, 1972, v. 20, p.301-312.