ЗАДАЧА ОТБОРА ЛОГИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ ДЛЯ ПОСТРОЕНИЯ КЛАССИФИКАТОРА И.С. Масич, к.ф.-м.н., доцент

ЗАДАЧА ОТБОРА ЛОГИЧЕСКИХ ЗАКОНОМЕРНОСТЕЙ
ДЛЯ ПОСТРОЕНИЯ КЛАССИФИКАТОРА
И.С. Масич, к.ф.-м.н., доцент
Сибирский государственный аэрокосмический университет
имени М.Ф. Решетнева, г. Красноярск
Е-mail: [email protected]
Рассмотрим задачу распознавания объектов, описываемых бинарными
признаками и разделенных на два класса K  K   K   {0,1}n . Под закономерностью P
понимается терм, который покрывает хотя бы один объект некоторого класса и не
покрывает ни одного объекта другого класса. Закономерность P, которая не
пересекается с , будем называть положительной, а закономерность P’, которая не
пересекается с - отрицательной.
Предположим, что в результате выполнения процедуры поиска закономерностей
по обучающей выборке найден ряд положительных закономерностей Pi, i=1,…,p, и
отрицательных закономерностей Nj, j=1,…,n. Решающая функция может быть задана
выражением
1 p
1 n
D ( a )   Pi ( a )   N j ( a ) для некоторого объекта a,
p i 1
n j 1
где Pi(a)=1, если закономерность Pi покрывает объект a, и Pi(a)=0 в противном случае.
То же самое для Nj(a).
В [1] описаны алгоритмы поиска закономерностей. В частности, это алгоритмы,
которые ведут поиск закономерности, опираясь на некоторый объект обучающей
выборки. Поэтому, в результате их работы может быть записано большое число
закономерностей, вплоть до числа объектов обучающей выборки, некоторые из
которых, впрочем, могут повторяться. При решении многих задач встает вопрос отбора
закономерностей из общего их числа для формирования решающего правила, что
способно не только уменьшить его размер, но, в некоторых случаях, и улучшить
распознавание. В связи с этим исследуем некоторые способы отбора из общего числа
найденных закономерностей.
Введем переменные, определяющие, будет ли закономерность присутствовать в
решающей функции.
 1, Pi присутствует в решающей функции,
xi  
 0, в противном случае.
 1, N j присутствует в решающей функции,
yj  
 0, в противном случае.
Один из способов произвести отбор закономерностей – выделить подмножество
закономерностей, которые необходимы для покрытия всех объектов обучающей
выборки [2]. Каждый объект обучающей выборки должен при этом покрываться хотя
бы одной закономерностью. Используя введенные переменные, это условие можно
записать в виде
p
 x i Pi (a )  1 для любого a  K  ,
i 1
n
 y j N j (a )  1 для любого
j 1
aK .
Таким образом, имеем задачу минимизации числа используемых в решающем
правиле закономерностей при приведенных выше ограничениях на переменные:
p
q
i 1
j 1
 xi   y j  min .
Полученная оптимизационная модель представляет собой задачу условной
псевдобулевой оптимизации, в которой целевая функция и функции в ограничениях
являются унимодальными монотонными псевдобулевыми функциями.
Еще один способ заключается в том, чтобы произвести отбор таких
закономерностей, которые при совместном использовании увеличат разделяющую
способность решающего правила.
В качестве критерия при формировании решающего правила рассмотрим
ширину «разделяющей полосы»
min{D( a ) : a  K  }  max{D( a ) : a  K  } ,
1 p
1 n
D
(
a
)

P
(
a
)

 i
 N j ( a ) для некоторого объекта a,
где
p i 1
n j 1
Учтем наличие выбросов, которые могут присутствовать в реальных задачах.
Для этого введем переменную
 1, a принимается за выброс,
z 
 0, в противном случае.
a
Тогда задачу отбора закономерностей можно записать в следующем виде.
v   v   C  z a  b a  max ,
aK
где v   min{D ( a ) : a  K  , z a  0} ,
v   min{ D ( a ) : a  K  , z a  0} ,
n
p
D ( a ) 
 x i Pi (a )
i 1
p
 xi
i 1

 y j N j (a )
j 1
n
yj
,
j 1
 v   D(a), a  K  ,
ba  
v   D(a), a  K  .
Подводя итог, следует заключить, что отбор логических закономерностей,
произведенный в соответствие с некоторым критерием, позволяет значительно снизить
их число и упростить решающее правило, лишь немного снижая точность
распознавания. При решении ряда практических задач распознавания и
прогнозирования большое значение имеет интерпретируемость получаемых решений и
возможность их обосновать, опираясь на правила и закономерности, которые, в свою
очередь, основаны на прецедентах в виде объектов выборки данных. Поэтому
использование описанных в этой работе подходов является полезным.
Список литературы:
1. Antamoshkin A.N., Masich I.S. Combinatorial optimization and rule search in
logical algorithms of machine learning. Engineering & automation problems, V. 7, № 1, 2010,
с. 52-57.
2. Hammer P.L., Bonates T. Logical Analysis of Data: From Combinatorial
Optimization to Medical Applications. RUTCOR Research Report 10-2005, 2005.