классификация изображений с использованием ядер на

СБОРНИК НАУЧНЫХ ТРУДОВ НГТУ. – 2011. – № 3(65). – 55–60
УДК 519.24
КЛАССИФИКАЦИЯ ИЗОБРАЖЕНИЙ
С ИСПОЛЬЗОВАНИЕМ ЯДЕР
НА СТРУКТУРИРОВАННЫХ ДАННЫХ*
А.В. КУЗНЕЦОВ
Рассматривается алгоритм классификации изображений, основанный на применении метода опорных векторов к структурированным данным. Изображения представляются в
виде графа, вершинами которого являются цветовые гистограммы частей изображения.
Ключевые слова: классификация изображений, структурированные данные, ядра.
ВВЕДЕНИЕ
Классификация изображений является одной из центральных проблем
компьютерного зрения и исследуется на протяжении нескольких лет. Результаты, полученные при решении задач классификации, часто находят применение при поиске изображений и распознавании объектов. Постоянно предлагаются новые методы для улучшения точности и эффективности решения
данных задач.
Ядра на структурированных данных в сочетании с методом опорных векторов применяются к широкому кругу задач машинного обучения в таких
областях, как биоинформатика, обработка естественного языка. Но до недавнего времени не осуществлялось попыток использовать преимущества этих
технологий для задач компьютерного зрения. Использование таких структурированных данных, как графы, открывает возможности для улучшения существующих методов и создания принципиально новых подходов для решения
проблем классификации и распознавания.
1. МЕТОД ОПОРНЫХ ВЕКТОРОВ
Метод опорных векторов часто применяется для задач классификации. В
общем случае задача разделения элементов xi , i  1,  , l по двум классам
yi  1, 1 рассматривается как оптимизационная задача квадратичного программирования
* Статья получена 8 июля 2011 г.
А.В. Кузнецов
56
1
min T Q  eT  ,
2
с ограничениями
(1)
T
yT   0 , 0  i  C i  1, ..., l , где e  1, ..., 1 – вектор
из единиц, матрица Q – положительно полуопределенная с элементами
Qij  yi y j K ( xi , x j ) ; C – параметр регуляризации; K ( xi , x j ) – ядерная
функция.
Ядерная функция задает неявное отображение исходного пространства
признаков на Гильбертово пространство, что важно в случае представления
данных, имеющих сложную структуру. Данная функция должна быть симметричной и удовлетворять условиям Мерсера [1]. Условия Мерсера необходимы
для того, чтобы гарантировать сходимость.
При обработке данных имеющих структуру, ранее применялись те же ядра, что и для векторных данных, например Гауссово ядро форм, которое вычислялось от глобальных признаков изображения [2]. Однако для более эффективного использования признаков структуры необходимо определить
новые ядра. Использование внутренней структуры изображений может способствовать повышению точности методов классификации. Также могут быть
использованы модели частичного обучения, способные к обучению на помеченных и непомеченных данных одновременно [3].
В качестве структурированных данных могут выступать последовательности, деревья и графы [4]. Представление изображения в виде графа более
естественно среди этих вариантов. Каждое изображение представляется в виде
графа G  (V , E ) , где V – множество вершин; E – множество ребер. В основе многих мер схожести между графами лежит нахождение лучших соответствий между вершинами и ребрами графов, вплоть до точного совпадения. Эти
соответствия можно искать среди маршрутов, циклов графов или путей.
Путь – это последовательность, состоящая из вершин vi  V , соединенных
ребрами ei , таких что ei  (vi , vi 1 )  E .
Ядро Кашима вычисляет математическое ожидание от значения схожести
путей [5]. Его можно записать в виде
(2)
K (G , G )   K C (h, h ) pG (h) pG (h ) ,
hG
hG
h  h
Классификация изображений с использованием ядер
57
где G , G – два графа; h, h – пути в этих графах; KC (h, h) – ядро от путей;
pG (h) – вероятность получить путь h в графе G ; h – длина пути. В целях
упрощения и увеличения скорости расчета ядра в некоторых методах вероятности pG (h) не учитываются, что эквивалентно равной вероятности всех
путей [6]. В других методах вычисляются не все значения схожести путей, а
только тех, которые достигают наибольших значений схожести. Ядро с применением максимумов можно встретить в [7], оно имеет вид
(3)
K (G, G )  max max K C (h, h) .
hG hG 
h  h
При расчете ядра по формуле (3) не гарантируется выполнение условий
Мерсера.
Использование очень длинных путей h приводит к большим вычислительным затратам и не всегда способствует повышению качества работы метода.
2. ЯДРА ОТ ИЗОБРАЖЕНИЙ
Для получения графа из изображения могут использоваться различные
подходы. Среди них методы, основанные на выделении описателей особых
точек, методы сегментации изображений по цвету. Различные признаки изображения могут выступать как в роли вершин, так и ребер графа, например в
ядре, предложенном в [7]. Нечеткость совпадения вершин должна отражаться
при выборе ядра от путей. При сегментации изображений вершинами являются сегменты, пара смежных сегментов в новом представлении образуют ребро
графа. Альтернативой сегментации может выступать выделение особых точек
и последующее использование их дескрипторов, но в таком случае невозможно определить признак смежности вершин графа, как следствие, граф будет
полным и потребует больше вычислений.
В настоящей работе используется быстрый алгоритм сегментации изображений, предложенный в работе [8]. Этот алгоритм начинает работу с представления изображения в виде графа, в котором каждый пиксел образует вершину, а ребро определяется как расстояние между цветами пикселов. Каждая
вершина имеет до четырех смежных. Затем при рассмотрении ребер полученного графа в порядке возрастания меры различия вершины ребер объединяются в один сегмент, если вес ребра не превышает порогового значения, зависящего от размеров сегментов, которым принадлежат вершины
А.В. Кузнецов
58
рассматриваемого ребра. После этого сегменты очень малого размера присоединяются к более крупным.
В качестве ядра путей будем использовать ядро вида
h
KC (h, h)   k (vi , vi ) ,
(4)
i 1
где vi – вершины пути, а h – длина пути.
Ядро от вершин графа – радиальная базисная функция от хи-квадрата расстояния цветовых гистограмм сегментов.

N  p  p  2 
i

,

k  v, v    exp   i
 i 1 pi  pi 


(5)
где pi величины столбцов гистограммы; N – размер гистограммы; ,  –
параметры ядра.
3. РЕЗУЛЬТАТЫ
Для исследований качества работы алгоритма в зависимости от различных параметров была использована база изображений COIL-100 Колумбийского университета [9].
Этот набор состоит из 7200 изображений. Класс образуют цветные изображения одного объекта, сделанные с разных ракурсов на черном фоне. Изображения имеют одинаковый размер 128x128 пикселей. Каждый класс содержит по 72 фотографии.
Критерием качества работы метода является точность классификации –
отношение количества верно классифицированных объектов к количеству
классифицируемых.
Приведенные результаты получены при использовании 10 % базы в
качестве обучающей выборки, 70 % – тестовая выборка. Количество
экспериментов по методу Монте-Карло – 50.
На точность влияет выбранное значение параметра масштаба  в ядре
(рис. 1). Лучшая точность при небольших значениях параметра объясняется
Классификация изображений с использованием ядер
100
59
100
Точность
Точность
98
50
96
94
92
90
0
1
10
0.1
0.001 0.01
Параметр масштаба
100
Рис. 1. Точность метода при различных значениях параметра 
64
512
1728
Размер гистограмм
4096
Рис. 2. Точность метода при различных
размерах гистограмм
тем, что сравнение гистограмм областей происходит менее точно с допускаемыми небольшими отклонениями по столбцам гистограмм.
Были проведены исследования влияния рамера гистограмм (рис. 2). При
увеличении размера точность повышается, но вместе с тем растет количество
обрабатываемых данных, что влияет на скорость расчета ядра от вершин
графа.
100
Точность
99
98
97
96
95
15
25
30
10
20
Размер обучающей выборки, %
Рис. 3. Точность метода при различных объемах
обучающей выборки
При увеличении объема обучающей выборки до 30 % классификация
становится более точной, достигает значений, близких к 100 % (рис. 3).
Влияние параметра регуляризации С метода опорных векторов оказалось
незначительно при изменении значений от 10 до 10 000.
ЗАКЛЮЧЕНИЕ
А.В. Кузнецов
60
Исследован метод, использующий гистограммы цветов областей в качестве структурированных данных. Определено влияние параметров на точность
получаемого результата.
[1] Vapnik V. The Nature of Statistical Learning Theory. New York: Springer
– Verlag New York, 1999. – 314 p.
[2] Chapelle O., Haffner P., Vapnik V.N. Support vector machines for histogram-based image classification // IEEE Trans. Neural Networks. – 1999. – V. 10.
– Iss. 5. – P. 1055–1064.
[3] Chapelle O., Zien A. Semi-Supervised Classification by Low Density Separation // in Proceedings of Tenth International Workshop on Artificial Intelligence
and Statistics. 2005. – P. 57–64.
[4] Christiani N., Shawe-Taylor J. Kernel Methods for Pattern Analysis. New
York: Cambridge Univ. Press, 2004.
[5] Kashima H., Tsuda K., Inokuchi A. Kernels for Graphs // Kernel methods
in computational biology. 2004. – P. 155–170.
[6] Harchaoui Z., Bach F. Image Classification with Segmentation Graph
Kernels // Conference on Computer Vision and Pattern Recognition. 2007. – P. 1–
8.
[7] Lebrun J., Philipp-Foliguet S., Gosselin P.-H. Image retrieval with graph
kernel on regions // in Proceedings of 19th International Conference on Pattern
Recognition, 2008. – P. 1–4.
[8] Felzenszwalb P., Huttenlocher D. Efficient Graph-Based Image Segmentation // International Journal of Computer Vision. 2004. – P. 167–181.
[9] Nene S., Nayar S.K., Muraseet H. Columbia Object Image Library (COIL100) Technical Report CUCS-006-96, 1996.
Кузнецов Андрей Викторович – магистрант, инженер кафедры программных систем и баз данных Новосибирского государственного технического университета. Е-mail: andreykuznetsov@hotmail.com
A.V. Kuznetsov
Image classification using kernels on structured data
The present work investigates image classification method, based on using structured data by support vector machines. In this paper we study the method of image classification based on support vector machines and kernels for
structured data. Structured data extracted from the image segmentation by color, as features of the vertices of the
graph obtained using color histograms. Studies conducted by the Monte Carlo method. The effect of tuning various
parameters was examined.
Классификация изображений с использованием ядер
Key words: image classification, support vector machine, kernels on structured data, graph kernels.
61