Выявление и моделирование закономерностей сходства

1В
УДК 004.93’14
Васильев В.И.
Международный научно-учебный центр информационных
технологий и систем НАН Украины
Ланге Т.И.
Fachhochschule Merseburg, Ctesaer Strabe
Шевченко А.И.
Донецкий государственный институт проблем искусственного интеллекта HAH Украины



Рассматривается лишь ограниченный класс закономерностей, хотя и небольшой, но покрывающий
достаточно обширную область часто встречающихся связей: закономерности равенства, сходства
и порядка. Закономерности сходства указывают правила, по которым отдельные объекты могут
быть отнесены к определенному классу, объединяющему в своих пределах сходные или похожие
объекты. Закономерности равенства устанавливают функциональную зависимость некоторого
целевого параметра от одного или многих измеряемых величин. Закономерности порядка
указывают, в каком порядке объекты следуют один за другим по какому-то плохо определяемому
(нечеткому) свойству, например свойству «красивый».
Не вступая в спор об определении как искусственного так и
естественного интеллектов, можно утверждать, что в сознании происходит
отражение объективной реальности, которое лежит в основе любой человеческой
деятельности. «Порядок», «понятие», «закономерность» – не более чем слова,
которыми человек переводит проявления природы на свой язык для углубления ее
понимания. Суть не в том, какой степени точности достигнуты описания
причинных связей, а в том, являются ли источником познания объективные
закономерности природы. Признание объективности закономерностей находится
в неразрывной связи с признанием объективной реальности внешнего мира, а
признание объективных закономерностей природы и приблизительно верное
отражение этих закономерностей в сознании есть материализм. Природа может
быть понята только через саму природу, так как причинная зависимость
содержится в самой природе. Сущность познания лежит в опыте, в
индуцировании результатов этого опыта на новые факты. Обнаружение всякой
новой закономерности пополняет такие знания. Под знаниями будем понимать
информацию (объективную реальность), воспринятую, отраженную и
обработанную сознанием.
Практически все новое, что узнают о мире, в своих первоистоках
базируется на анализе реальных фактов, получаемых либо в результате
осознанных наблюдений за естественным ходом процессов, происходящих в
26
«Искусственный интеллект» 3’2001
Выявление и моделирование закономерностей сходства, равенства и порядка
1В
природе, либо в результате специальных организованных экспериментов, так как
опыт – это смысл и содержание познания, отражающегося на восприятии,
получаемом из объективного мира. Опыт позволяет обнаружить необходимые
связи и зависимости явлений, определяющие собой закономерности. Факты,
составляющие опыт, бывают крайне малочисленны, но зато они в сознании
объективно отражают реальность и содержат в себе все тайны и закономерности
реального мира. В нашем случае под сознанием будем понимать:
Сознание – высшая форма нервной деятельности живого организма,
владеющая определенным количеством информации о себе и своем
окружении, способная получать информацию, формировать знания,
определять смысл и цель своего существования.
Малочисленность фактов влечет за собой основные трудности
обнаружения закономерностей, так как в основе большинства методов лежит
индуктивный принцип, далеко не всегда позволяющий получить надежные
результаты. Поэтому становится весьма заманчивым построение алгоритмов,
которые, анализируя ограниченный фактический материал, представленный в
виде протоколов наблюдений или экспериментов, могли бы обнаруживать
особого рода закономерности, скрытые в этих протоколах. Внешний мир
отражается в протоколах или таблицах, а задача заключается в обнаружении
связей и взаимозависимостей, скрытых в этих протоколах.
Во всех задачах предполагается, что все эмпирические данные могут быть
сведены в определенного вида протокол или таблицу (табл. 1), и на основании
анализа этой таблицы нужно восстановить некоторую функцию вида:
y  F X  ,
(1)
где y – целевой параметр, а X  X ( x1 , ... , x m ) – многомерный вектор,
составляющие которого в той или иной мере определяют целевой периметр y . В
закономерностях сходства F – индикаторная функция, определяющая
принадлежность любого объекта к определенному множеству; в закономерностях
равенства F – это непрерывная функция, отображающая вектор X в определенное значение скаляра y ; в закономерностях порядка F – это функция
принадлежности, устанавливающая на множестве объектов X определенный
порядок.
Все эти задачи решаются на базе одного и того же подхода, основанного
на принципе редукции, состоящего в том, что на основе анализа эмпирических
данных выбираются только такие аргументы xi , которые формируют наиболее
простые закономерности, устанавливающие связь целевого параметра y только с
определенными составляющими вектора X . При этом отбрасывается все то, что
мешает проявлению закономерности. Принцип редукции дает возможность
влиять не только на процедуру построения функции F , но и на процесс синтеза
пространства, в котором эта функция выражена наиболее просто и рельефно.
Вместо построения хитроумных и сложных функций в пространстве размерности
m , выбираются только такие n0  m составляющие xi , в пространстве которых
простая зависимость F проявляется наиболее ярко.
«Штучний інтелект» 3’2001
27
Васильев В.И., Ланге Т.И., Шевченко А.И.
1В
Таблица 1
x1
x2
.........
xm
y1
x11
x12
...
x1m
y2
...
yl
x 21
...
xl1
x 22
...
xl 2
...
x2 m
...
xlm
X
y
...
...


Вначале мы не будем фиксировать внимание на содержании задач
обнаружения, не будем замечать различие между закономерностями равенства,
сходств и порядка. Вместо этого обратим внимание на то общее, что объединяет
эти задачи. Попробуем мысленно представить процесс обнаружения
закономерностей как процесс отражения внешнего мира и договориться о том, что
будет лежать в основе этого процесса, что должно стать его информационной
базой и, конечно же, что является его основополагающей целью. Прежде всего
нужно договориться о содержании протокола (табл. 1), представляющего собой
отображение внешнего мира на языке измерительных средств. Каждый столбец
таблицы нужно рассматривать как показания измерительного прибора,
соответствующие различным объектам, а каждая строка указывает отдельный
объект, на котором проводятся m наблюдений. Задачи обнаружения могут
отличаться содержанием протокола и поставленной целью. Рассмотрим несколько
вариантов таких задач. Предположим, что вся таблица заполнена и указан целевой
параметр y . Тогда задача состоит в том, чтобы ответить на вопросы:
1. Существует ли зависимость целевого параметра y от каких-либо
столбцов таблицы, т.е. некоторых величин, измеряемых прибором xi (i  1, m) ?
2. Если такая зависимость существует, то ее нужно восстановить, т.е.
построить модель реально существующей функции F , связывающей величины
xi , с параметром y .
Если же таблица оказывается незаполненной, а только указаны объекты, на
которых можно производить измерения, то задача обнаружения зависимости
целевого параметра от каких-то свойств выбранных объектов существенно
усложняется. В этом случае нужно указать алгоритм, который мог бы оценить
каждое измерение, с точки зрения его влияния на параметр y . Другими словами,
нужно организовать процесс последовательного измерения различными приборами
некоторых характеристик на всех заранее отобранных объектах с целью выделения
только тех приборов, показания которых существенно участвуют в формировании
функции F . В результате может быть восстановлена такая зависимость с заранее
28
«Искусственный интеллект» 3’2001
Выявление и моделирование закономерностей сходства, равенства и порядка
неизвестной структурой (неизвестными xi ), которая и будет отражать искомую
закономерность, связывающую целевой параметр с выявленными в процессе
экспериментов характеристиками xi . Здесь мы говорим «может быть» потому, что
закономерность будет обнаружена, только если она существует, т.е. тогда, когда
среди измерительных средств будут те, которые в своей совокупности достаточно
полно характеризуют искомую закономерность. (1)
Еще более сложная задача состоит в том, что вначале не указан ни набор
объектов, на которых нужно проводить измерения, ни перечень измерительных
приборов, т.е. таблица 1 оказывается пустой. Указан только целевой параметр y ,
и требуется ответить на вопрос: существует ли зависимость параметра у от какихлибо измерений xi (i  1, m) , проводимых на объектах, которые будут
последовательно, один за другим предъявляется в процессе наблюдений. Если
такая зависимость с неизвестной заранее структурой существует, то ее нужно
восстановить.
И, наконец, бывают практические задачи, в которых целевой параметр
заранее не указывается, но таблица заполнена полностью, кроме столбца,
соответствующего параметру y . Требуется ответить на вопрос: существует ли
какая-либо закономерность в определенном наборе эмпирических данных? В этом
случае задается таблица, в которой все столбцы равноправны и представляют
собой набор из m измерений, проводимых на l объектах. Нужно обнаружить
зависимость последовательно выбираемых столбцов от всех остальных. Если для
каких-либо столбцов такая зависимость существует, ее нужно восстановить.
В основе всех предлагаемых алгоритмов лежит одна идея, состоящая в
том, что и процесс обнаружения и процесс восстановления закономерностей
основан не столько на стремлении обнаружения и моделирования функции F ,
сколько на выявлении условий, при которых эта функция, во-первых, вообще
существует, а во-вторых, проявляется наиболее устойчиво. При этом особое
внимание уделяется правильному соотнесению сложности структуры
восстановляемой функции F и количеством используемых эмпирических
данных. Ограниченность эмпирической информации порождает серьезные
ограничения на сложность моделей, отражающих объективные закономерности.
Чем больше известных фактов, тем выше может быть предельная сложность
модели. И, наоборот – чем беднее фактический материал, тем беднее по
сложности может быть модель. Переусложненная модель может очень хорошо
объяснять эмпирические факты, но вне этих фактов в рамках изучаемого явления
становится абсолютно «слепой». Здесь встает центральная проблема всех
индуктивных методов, состоящая в правильном соотнесении сложности
синтезируемой модели с количеством имеющихся фактов.
В основе всех далее рассматриваемых методов лежит давно известная, но
вновь замеченная зависимость расположения точек в пространстве от координат
этого пространства. Такая зависимость указывает на то, что сами закономерности
существуют только в пространствах с определенными координатами. Закон Ома
можно обнаружить лишь в определенных координатах, т.е. напряжение (u )
связывается в отчетливую закономерность в координатах тока (I ) и
сопротивления (R) , но не цвета провода и яркости окраски его изоляции.
«Штучний інтелект» 3’2001
29
1В
Васильев В.И., Ланге Т.И., Шевченко А.И.
1В
Поэтому вначале необходимо правильно указать координаты пространства, в
котором будет осуществляться поиск закономерности, а задача восстановления
самой закономерности отодвигается на второй план, как более простая и более
изученная.

Выбор координат пространства существенно влияет на «расположение»
точек в этом пространстве. Например, если измерять вес животного, то корова и
лев будут близкими по этому свойству. Если же измерять длину клыков, то лев и
корова окажутся весьма удаленными друг от друга, но зато близкими окажутся
волк и лев, хотя они существенно отличаются по весу. Такая зависимость
взаимного расположения точек от выбора координат пространства позволяет с
помощью фиксации различных свойств объектов управлять расположением точек,
соответствующих различным объектам.
Рис. 1
Рассмотрим простой, но очень наглядный пример, уже ранее
использованный в работе [1]. В этом примере (рис.1) в качестве объектов
выбраны восемь плоских фигур одинаковой толщины, изготовленных из
различных по удельному весу материалов, имеющих вырезы одинаковой формы,
но различной площади (рис.1). В качестве измеряемых свойств объектов
выбираются площадь фигуры (S ) ; площадь выреза ( S 0 ) и вес фигуры (P) . В
таблице 2 приведены нормированные значения веса и площади фигуры и площади
выреза. На картинках а, б и в приведено расположение точек в различных
30
«Искусственный интеллект» 3’2001
Выявление и моделирование закономерностей сходства, равенства и порядка
плоскостях ( P  S ; P  S 0 ; S  S 0 ) . На каждом из этих рисунков отмечено
различное расположение точек, соответствующих приведенным на рисунке
объектам. Так, например, разным координатам соответствует различные по
расположению и их содержанию кластеры. Если же условиться к одному образу
относить объекты 1, 2, 3, 4, а другому – 5, 6, 7, 8, то только в координатах P, S
образы линейно разделимы. Если же условиться образами называть объекты 1, 2,
7, 8, то линейное их разделение возможно сразу в двух плоскостях ( P, S 0 и S , S 0 ) .
Если условиться устанавливать отношение порядка в соответствии с расстоянием
до первого объекта, то в плоскости P, S будет установлен порядок 1, 3, 4, 6, 5, 7,
8, 2; в плоскости P, S 0 – порядок 1, 7, 8, 6, 5, 2, 3, 4, а в плоскости S , S 0 –
порядок 1, 2, 7, 6, 5, 8, 4, 3. Поэтому, подбирая координаты пространства, можно
управлять расположением точек. Можно, например, потребовать сосредоточения
точек в определенные кластеры, можно расположить точки различных образов по
разные стороны, относительно наперед заданной плоскости или, выбирая
координаты пространства, расположить их в определенном порядке и т.д.
Подмеченное свойство существенно расширяет возможности многих
методов экстраполяции, таких, как обучение распознаванию образов, кластеризации, восстановления функций, идентификации, интерпретации понятий и др.,
так как, кроме общепринятых рычагов, влияющих на процессы построения
различных конструкций, приводящих к решению задачи, появляется еще один
очень мощный рычаг управления, часто приводящий к кардинальному
упрощению задачи, а иногда даже сводящий очень сложные задачи к
тривиальным. Поэтому принцип, основанный на предварительном формировании
пространства назван принципом редукции (упрощения), а соответствующая этому
принципу теория – теорией редукции. Этот принцип может быть успешно
применен для решения задач обнаружения закономерностей сходства, равенства и
порядка, обеспечивая при этом требуемое соотношение сложности
восстанавливаемых конструкций и объема эмпирических данных.

Закономерности сходства определяют собой некоторые внутренние
свойства объектов, позволяющие определить сходство или различие некоторых
множеств объектов, заданных эмпирическими данными, представленными в
табл.1. В этом случае соотношение (1) представляет собой индикаторную
функцию, принимающую, например, только два значения. Если таблица
заполнена полностью, то задача непосредственно сводится к типичной задаче
обучения распознаванию образов. Если же в таблице отсутствует значение y , то
задача сводится к задаче кластеризации (самообучения) с заранее неизвестным
числом кластеров. В результате на эмпирических данных указываются множества
схожих между собой объектов, причем указываются такие свойства объектов
(столбцы таблицы), в пространстве которых в смысле выбранного критерия
сходство выражено наиболее отчетливо.
Особое место занимает задача обнаружения закономерностей сходства,
когда на первом этапе таблица вообще отсутствует. В этом случае поиск
закономерности происходит постепенно, по мере появления эмпирических
«Штучний інтелект» 3’2001
31
1В
Васильев В.И., Ланге Т.И., Шевченко А.И.
1В
данных, которые поступают в виде строк таблицы, а алгоритм должен путем проб
и ошибок пытаться строить некие конструкции, предположения или гипотезы,
которые либо подтверждаются, либо опровергаются новыми эмпирическими
данными (новыми строками таблицы).
Принцип редукции впервые был использован для решения задач
обучения распознаванию образов (задача ОРО) [2]. Поскольку при решении таких
задач наиболее полно раскрываются все возможности этого принципа и его
теории, остановимся на этом более подробно, тем более что многие последующие
задачи обнаружения будут сводиться к задаче ОРО.
Все индуктивные методы ОРО могут быть сведены к одной схеме, в
основе которой лежит оценка среднего риска по эмпирическому, вычисленному
на обучающей или экзаменационной выборке. Обозначим функцию (1) в виде
F (, X ) , где  – параметры функции (1), например ее коэффициенты, a Rэ () –
эмпирический риск, вычисленный на обучающей выборке при условии, что
функция F ( X ) определена параметром  . Требуется по эмпирическому риску
оценить величину среднего риска P() . Именно здесь кроется вся сложность
проблемы, так как эмпирический риск далеко не всегда достаточно полно
характеризует истинное положение вещей. Наоборот, очень часто эмпирические
данные дают успокаивающие результаты, в то время как истина очень далека от
них. Например, может показаться, что эмпирические данные указывают на
существование закономерности F (, X ) , в то время как в действительности
такой закономерности не существует.
В задачах ОРО функция F (, X ) – суть решающая функция,
устанавливающая сходство любого объекта с тем или иным множеством, при
фиксированном значении  . Согласно классической теории вероятностей частота
появления любого события сходиться к вероятности этого события при
неограниченном увеличении числа испытаний. В нашем случае событием
является факт выбора решающего правила F (, X ) с параметром a . Теория
эмпирического риска устанавливает правила, выполнение которых обеспечивает
достаточно хорошее совпадение среднего и эмпирического риска. Эти правила
базируются на теореме [2], которая утверждает, что если из N решающих правил
(различных функций F (, X ) выбирается одно, безошибочно разделяющее
случайную и независимую выборку длины l , то с вероятностью (1  ) можно
утверждать, что вероятность ошибочной классификации с помощью этого
правила не превысит величины:

ln N  ln 
.
l
(2)
Если в качестве величины N выбирать число способов, которыми любая
выборка длины l может быть разделена на два подмножества выбранным классом
решающих правил, то теорема полностью характеризует выбранный алгоритм
распознавания. При заданных  и  можно вычислить минимальную допустимую длину обучающей выборки. Если же заданы l и  , то можно указать гарантированную вероятность правильного распознавания выбранным классом решающих правил при условии, что обучающая выборка разделена безошибочно (рис. 2).
32
«Искусственный интеллект» 3’2001
Выявление и моделирование закономерностей сходства, равенства и порядка
Эта теория указывает на то, что для устранения противоречий между
качеством распознавания и объемом эмпирических данных нужно выбирать l
достаточно большим. Так, для достижения   0, 1 и (1  )  0, 9 нужно выбирать
l  4000 , что в практических задачах встречается крайне редко. Но впоследствии
было замечено, что величина N сильно зависит еще и от сложности решающего
правила и размерности вектора X . Поэтому для повышения качества
распознавания нужно еще и упрощать задачу, т.е. снижать размерность
пространства и предельно упрощать решающее правило. Именно этой цели
достигает принцип редукции, который позволяет предельно сократить
размерность пространства и использовать самое простое, т.е. линейное решающее
правило. Этот принцип указывает способы отбрасывания несущественной
информации (отбрасывание «мусора») и выделяет только то, что способствует
объединению объектов в образы или вносит различие между ними.
Рис. 2
В основу принципа редукции положена теорема (2). В этой теореме
величина вероятности ошибки  существенно зависит от размерности
пространства, в котором строится функция F (, X ) и от сложности выбираемого
класса решающих правил. Если организовать последовательный синтез
(последовательное наращивание) пространства, в котором в конце концов
наступит линейное разделение образов на выборке длиной l , то ln N  n0 ln m ,
где m – число столбцов (число измерительных приборов), из которых выбирается
«Штучний інтелект» 3’2001
33
1В
Васильев В.И., Ланге Т.И., Шевченко А.И.
1В
n0 признаков. Подставив это соотношение в теорему (2), можно вычислить
размерность пространства n0 , в котором факт безошибочного линейного
разделения случайной и независимой выборки длины l означает гарантию
достижения заданных значений  и  .
Процедуры, использующие принцип редукции, объединяются общим
названием: метод предельных упрощений (МПУ) [3], а одной из самых удачных
разновидностей МПУ является альфа-процедура. Основная особенность этой
процедуры состоит в том, что каждое из m свойств (табл. 1) подвергается особой
оценке, после которой к синтезу пространства допускаются только такие
признаки, которые гарантируют линейное разделение образов, заданных на
обучающей выборке длиной l . Здесь мы не будем останавливаться на деталях
этой процедуры, поскольку она уже описана в литературе [3]. Отметим лишь ее
основную особенность, состоящую в конструировании такого пространства, в
котором объекты одного образа легли бы так, что оказались бы линейно
отделимыми от объектов другого. Вся теория редукции основана на механизме,
основанном на выборе координат пространства, которые обеспечивают
задуманное расположение точек, относительно гипотетической плоскости.
На практике часто встречаются задачи, в которых эмпирические данные
накапливаются постепенно, т.е. объекты, а значит и строки таблицы, появляются
последовательно, один объект за другим. В первый момент таблица оказывается
пустой, а затем появляются различные новые строки, т.е. отдельные реализации
функции (1). Алгоритм должен по мере поступления новых эмпирических данных
выбирать такие составляющие вектора X , в пространстве которых
формировались бы функция, достаточно хорошо связывающая целевой параметр
y с отдельными составляющими xi и при этом построенная функция должна
выделять в отдельные группы сходные между собой объекты. Для этой цели
может быть использована альфа-процедура в итеративной реализации [4], которая
должна начинать работать сразу же после появления объектов из разных групп
сходства. На первом шаге альфа-процедура должна выбрать такое свойство, на
оси которого ближайшие объекты различных групп сходства были бы
максимально удалены. Если при появлении нового объекта по выбранному
свойству не обеспечивается безошибочного разделения групп сходства, то
стандартная альфа-процедура выбирает еще одно свойство, которое в
совокупности с уже выбранными обеспечит линейное разделение. Такая
процедура повторяется до тех пор, пока появление новых строк таблицы не
перестает вызывать новые итерации.
Особый класс задач состоит в том, чтобы в синтезируемом пространстве
точки сосредотачивались в кластеры, обладающие определенными свойствами.
При случайном выборе пространства в нем будут образованы случайные
компактные множества (абстрактные образы [5]). Абстрактные образы
объединяют объекты, похожие в смысле выбранных свойств. Каково
пространство, таковы и абстрактные образы (кластеры). Часто в случайно (а
может быть, и не случайно) выбранном пространстве кластеры никак не
определены, а задача сводится к выделению в пространстве похожих объектов. В
этом случае алгоритмы кластеризации, выделяя компактные множества,
генерируют новую информацию, которой заранее никто не знал, т.е.
34
«Искусственный интеллект» 3’2001
Выявление и моделирование закономерностей сходства, равенства и порядка
1В
обнаруживают закономерности сходства в заданном пространстве. При этом в
табл. 1 отсутствуют значения y , а алгоритмы кластеризации сами устанавливают
и число кластеров и их содержание.
Может быть поставлена задача синтеза такого пространства, в котором
кластеры оказываются наилучшими в смысле выбранного критерия (например,
наиболее плотные в наиболее разряженном пространстве). Здесь мы не будем
рассматривать конкретные алгоритмы кластеризации, так как все они в той или
иной степени успеха решают одну и ту же задачу: выделяют компактные
множества в заданном пространстве.

Ранее рассматривалась задача обнаружения закономерностей сходства
как задач восстановления индикаторной функции (1). Теперь представим себе, что
(1) – непрерывная многомерная функция. Пусть задана таблица 1, в каждой
строчке которой располагается одна реализация функции (1), т.е. задана выборка
пар y1 , X 1 ; ... ; y1 , X 1 , где y v  X ( x1 , ... , x m ) а y v – значение функции F в точке
соответствия X v . Требуется восстановить многомерную функцию (1) так, чтобы
для любого xv выполнялось неравенство:
y v  F ( X v )   .
(3)
Поставим каждому X v в соответствие два значения y :
y v1  y v  ;
y v2  y v   .
(4)
При этом таблица 1 увеличится вдвое, так что в одной ее части будут
элементы y v1  V1 а в другой – y v2  V2 . Подмножества V1 и V2 можно
рассматривать как образы в задачах обучения распознаванию образов (задача
ОРО), и если удастся разделить эти образы безошибочно, то тем самым удастся
восстановить функцию (1), гарантирующую исполнение (3) для всей таблицы.
Нарушение соотношения (3) будет происходить с частотой ошибочного
распознавания образов V1 и V2 , а значит, восстановленная функция будет
определять закономерность равенства с точностью, определяемой величиной   .
Для разделения образов можно использовать  - процедуру, и, если она
приведет к успеху, тем самым будет синтезировано пространство малой
размерности, в котором восстанавливаемая функция окажется линейной по
параметрам, и при этом ни на одной из точек обучающей выборки не будет
нарушено неравенство (3). В качестве аппроксимирующей функции используется
полином:
m
m
y   0   ai xi  
i 1
i 1
m
m
  ij xi x j  
j 1
i 1
m
m

j 1
 ijk x i x j x k  ...,
(5)
k 1
где m – размерность вектора X  X ( x1 ,..., x m ) ,  – настраиваемые коэффициенты.
С геометрической точки зрения, полином (5) представляет собой гиперплоскость в
«Штучний інтелект» 3’2001
35
Васильев В.И., Ланге Т.И., Шевченко А.И.
1В
спрямляющем пространстве обобщенных координат xi , xij и т.д. Именно в этом
смысле восстанавливаемая функция считается линейной по параметрам. Каждое
слагаемое этого полинома можно рассматривать как исходное свойство для  процедуры. В конце концов, процедура выберет только те слагаемые, которые не
будут противоречить неравенству (3), т.е. процедура как бы пропустит полином (5)
через сито, оставив только то, что определяет зависимость F (, X ) , а весь «мусор»
будет отсеян. Полученный полином будет линейным по параметрам, но
существенно нелинейным по исходным переменным xi .
Представим теперь, что обучающая выборка состоит не из пар, как ранее
(табл.1), а только из векторов ( X 1 ... X l ) , составляющими которых являются
переменные xi . Эту обучающую выборку можно представить в виде таблицы
эмпирических данных, аналогично табл. 1. Используя новую таблицу, составим
относительно каждого столбца гипотетические зависимости:
x11  f 1 ( x12 , x13 , ...x1m ); ...x1m  f m ( x11 , x12 , ......, x1( m 1) );
x 21  f1 ( x 22 , x 23 , ...x 2 m ); ...x 2m  f m ( x 21 , x 22 , ......, x 2( m 1) );
..........................................................
xlm  f 1 ( x12 , x13 , ...xlm ); ...xlm  f m ( x12 , x12 , ......, xl ( m1) ).
В этих зависимостях заменим
x11  y11 ; x 21  y 12 ;...x   y 1p ;
x12  y12 ; x 22  y 22 ;...x12  y 2p ;
..........................................................
xlm  y1m ; x 2m  y 2m ;...xlm  y lm .
Тогда каждая зависимость f1 , f 2 , ... f m будет представлена своей
обучающей выборкой. Теперь сформулируем задачу так. Задана исходная
выборка векторов X 1 ,......X l (табл. 2). В соотношении с (3) зададим конкретное
  const . Требуется ответить на вопрос: существуют ли в таблице
закономерности в рамках выбранного значения  . Другими словами, нужно
ответить на вопрос: существуют ли такие f , связывающие столбцы таблицы так,
чтобы восстановленные зависимости вкладывались в коридор   . Если такие
зависимости существуют, их нужно восстановить. Для этого следует m раз
применить стандартную  -процедуру при одинаковых значениях  . И если
удастся восстановить одну или несколько зависимостей, удовлетворяющих (3),
эти зависимости будут функциональными закономерностями равенства,
скрытыми в исходной таблице эмпирических данных.
Таблица 2
P (вес)
S
S0
36
1
0,25
1
0,25
2
1
0,9
0,33
3
0,19
0,6
0,9
4
0,57
0,7
1
5
0,5
0,7
0,80
6
0,44
0,5
0,66
7
0,12
0,4
0,16
8
0,06
0,3
0,08
«Искусственный интеллект» 3’2001
Выявление и моделирование закономерностей сходства, равенства и порядка
1В


Закономерности порядка, так же, как и закономерности сходства и
равенства, тесно связаны с бинарными отношениями на множествах.
Закономерности сходства связаны с соотношением эквивалентности и
толерантности [5], закономерности равенства – с соотношением равенства, а
закономерности порядка с отношением порядка. Мы не будем детально
останавливаться на отношениях равенства, эквивалентности и толерантности,
укажем лишь основные свойства отношения порядка, которое соотносит объект
множества по взаимному старшинству, по важности, т.е. устанавливает правило
предшествования. Класс V объектов a, в, c называется частично упорядоченным
множеством, если между некоторыми парами его элементов a, в определено
соотношение порядка a  в , такое, что из a  в и в  c следует a  c
(трезитивность); a  a (рефлексивность); из a  в и a  в следует a  в ; из a  в
и в  а следует а  в (антисимметричность), т.е. а  в исключает в  a . Если
отношение порядка транзитивно и антирефлексорно, то это отношение строгого
порядка. Антирефлексивность здесь указывает, что из a  в следует а  в , т.е.
отношение выполняется только для несовпадающих объектов. Если на некотором
множестве задано отношение строгого порядка, то элемент а называется
минимальным (максимальным), если не существует никакого элемента в , для
которого в  а (соответственно в  а ).
Пусть наблюдается l объектов ( X 1 , X 2 , ..., X l )  V . На этих объектах
установлен строгий порядок [ y ] относительно величины y т.е. y1  y2  ...  yl .
Величина y характеризует все объекты X  V обучающей выборки, с точки
зрения некоторого размытого понятия (например, «умный», «дурак»). Это значит,
что если объект X 1 , соответствует величине y1 , а объекту X 2 – величина y 2 и
т.д., то объекты X расположены по мере увеличения y . Среди объектов
обучающей выборки указан максимальный (минимальный) элемент X 0 . На
каждом объекте измеряются m свойств xi (i  1, m) . Требуется восстановить
такую функцию (1) из класса F , что величина y , вычисленная по этой функции
для каждого объекта X 1 , ..., X l соотносилась бы в соответствии с заданным
порядком [ y ] . Согласно основному принципу редукции нужно подобрать такие
n0 свойств (n0  m) , в пространстве которых можно установить порядок, не
отличающийся от порядка, установленного на обучающей выборке. Другими
словами, порядок [ p] , т.е. система неравенств p1  p 2  ...  pl , должен совпадать
с порядком [ y ] , т.е. с системой неравенств y1  y 2  ...  y l . Ранее было показано
(рис.1), что расположение точек в пространстве зависит от выбора координат
этого пространства.
«Штучний інтелект» 3’2001
37
Васильев В.И., Ланге Т.И., Шевченко А.И.
1В
О мере упорядочивания набора ( p) относительно набора [ p] можно

судить по величине R ( p  y )  , где  – число элементов множества X  V ,
l
для которых номер индекса в наборе [ p] совпадает с номером в наборе [ y ] . При
R ( p  y )  1 порядок элементов набора [ p] полностью совпадает с порядком
элементов в наборе [ y ] .
Предположим, что для каждого объекта X  V известны значения
свойств xi (i  1, m) , измеряемых на этих объектах. Задача состоит в том, чтобы
выбрать такое подпространство свойств (размерности n0  m ), в котором
существует функция, принадлежащая некоторому классу F , для которой с
вероятностью, не меньшей (1  ) , можно утверждать, что вероятность
ошибочного указания порядкового индекса v для любого объекта не превысит
значения  .
Пусть X 0  V является максимальным (минимальным) объектом
множества V . Класс функций F определим как всевозможные расстояния от
объекта X 0 до любой точки пространства. Обозначим функцию F (, X )  F
через
n
p  d na ( X 0 , X v ) 
 (x
i0
 xiv ) 2 .
(6)
i 1
Здесь xi – одно из m свойств, измеряемых на объектах;  – индекс
подпространства размерности n  m , являющегося одним из подпространств,
определяемых совокупностью из m свойств.
Требуется найти подпространство таких свойств, размерность которого
не превосходит предельно допустимого значения n0 , а порядок [ p] объектов
обучающей выборки в этом подпространстве должен совпадать с порядком [ y ] .
Здесь n0 определяется согласно теореме (2). Предположим, что ln N  n0 ln m .
Для каждого свойства xi объектов обучающей выборки l в соответствии с (6)
формируется вектор расстояния по этому свойству до объекта X 0 . Для каждого
свойства xi вычисляется его упорядочивающаяся сила R( xi )  i . В качестве
l
первой координаты x1 синтезируемого пространства выбирается свойство,
1
упорядочивающей силе которого удовлетворяет соотношение R( xi ) 
. Затем
n0
выбирается новое свойство xi 1 и в пространстве, определяемом уже
отобранными свойствами x1 и свойством xi 1 , формируется вектор расстояний от
X 0 до всех остальных объектов. Затем вычисляется упорядочивающая сила пары
x1 , xi 1 , и если R( x1 , xi 1 )  2 , то свойство xi 1 объявляется координатой x2
n0
38
«Искусственный интеллект» 3’2001
Выявление и моделирование закономерностей сходства, равенства и порядка
1В
синтезируемого пространства. Если n0 выбирается согласно (2) (с учетом, что
ln N  n0 ln m ), то алгоритм приводит к синтезу такого пространства размерности
n  n0 , в котором расстояние определяет место каждого объекта в порядке [ y ] и
при этом с вероятностью, не меньшей (1  ) можно утверждать, что вероятность
ошибочного указания места каждого объекта в порядке [ y ] не будет превышать
величины  .

1.
2.
3.
4.
5.
6.
7.
Васильев В.И., Шевченко А.И. Искусственный интеллект. Распознавание и формирование
образов. – Издание второе, дополненное и переработанное. – Донецк: ДонГИИИ, 2000. – 360 с.
Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. - М., Наука, -1974.-c.416.
Васильев В.И. Теория редукции в проблемах экстраполяции// Проблемы управления и
информатики. - 1996. - № 1, 2 - с.239-251
Васильев В.И., Ланге Т.И., Принцип дуальности в проблемах обучения распознавания
образов// Кибернетика и вычислительная техника. - 1998. - Вып. 121. с.7-17.
Васильев В.И. Итеративная процедура обучения имитационному поведению // Кибернетика и
вычислительная техника. - 1989. - Вып. 84. - с.27-33.
Васильев В.И. Распознающие системы. - Киев.: Наукова думка, 1983. - с.168.
Васильев В.И., Сушко В.И. Синтез пространств для восстановления функций принадлежности
в задачах распознавания нечетких множеств// Автоматика. - 1994. - №1-2. - с.76-82.
Материал поступил в редакцию 18.06.01.
«Штучний інтелект» 3’2001
39