- 1 - Лекция №8

-1Лекция №8
Параллельные процедуры распознавания образов
Рассмотрим несколько параллельных процедур распознавания образов и
классификации. При этом объекты будем представлять не точками в евклидовом пространстве, а упорядоченным списком признаков, которыми они могут обладать или не обладать. Математически это означает, что будут
обсуждаться процедуры классификации на основе анализа семейства
двоичных
векторов. Двоичный вектор интерпретируется так: информация «j – й разряд
содержит 1(0) эквивалентна утверждению « присутствует (отсутствует) j - й
признак»
Одна из первых описанных в литературе машинно-ориентированных систем
распознавания образов и классификации получила название персеп-трон
(Розенблатт, 1958, 1962). В переводе на русский язык персептрон – это
устройство восприятия. В обобщённом виде схема работы системы показана
на рис.8.1.
Рассматриваемая
сцена
Абстрактные
логические
признаки
сцены
Применение
правила
обучения
к двоичным
векторам
Рис.8.1. Основные шаги распознавания персептроном зрительных
образов
Рассматриваемая сцена предъявляется анализатору признаков, который
регистрирует
Рассматриваемая
присутствие
сцена предъявляется
или отсутствие
анализатору
определённых
признаков,
компонент
который
сцены.
Сами сцены должны относиться к интересующим классам, например к изображениям мужчин и женщин. Система распознавания образов затем обучается классификации двоичных записей, соответствующих сценам из некоторого класса.
Возможности персептронов сводились к формированию определённых
правил классификации. Эти устройства вычисляют конечное множество
функций объекта, подлещащего классификации, а затем функцию, аргументами которой служат результаты предыдущих вычислений. Значение последней функции представляет результат классификации. Если эта функция
является тестом, выясняющим, превосходит ли взвешенная сумма значений
исходных функций некоторый порог, то это устройство – персептрон.
Уже на ранних этапах исследований персептронов было обнаружено, что
применение в персептронах алгоритмов обучения даёт удивительно мощные
-2правила классификации, которые нашли применение в «машинном
обучении».
8.1.Возможности персептронов при решении задач
распознавания образов.
По аналогии с системами технического зрения вход для персептрона
определяется как упорядоченное множество двоичных элементов, совокупность которых называется сетчаткой R . Таким образом, R – ‘это набор переменных
R  ( x1 ,..., xr ).
В отдельных случаях сетчатку R удобно представлять в виде матрицы с элементами xij  переменная в i-й строке и j-м столбце. Такое представление
обычно используется, когда зависимость элементов от двумерного представления существенна или когда данная интерпретация удобна для иллюстрации.
Изображением Х называется совокупность значений элементов множества
R . В отличие от большинства систем технического зрения, для которых
элементы сетчатки xij  это двоичный код интенсивности соответствующей
точки изображения, элемент xi множества R персептрона принимает
значения: xi  1, xi  0. Например, некоторое изображение X можно записать
в виде
X  ( x1, x2 , x3 ,..., xi ,..., x j ,..., xr ).
Если сетчатка имеет r переменных, то существует
2 r возможных
изображений. Каждое из этих изображений относится точно к одному из с
классов. Число возможных комбинаций растёт довольно быстро, так как
r
отнести изображения к классам можно c 2 способами.
8.1.1. Предикаты
Предикатом
 называется логическая функция, которая отображает
множество изображений на множество истина, ложь. Можно представить
себе предикат как логическую функцию от r двоичных переменных. Однако
во многих интересных случаях для вычисления значения  можно
использовать не все, а лишь некоторые точки (переменные) из R. В таких
случаях  называется частным предикатом, а множество переменных в R,
которое надо использовать для определения (X ), называется носителем
S ( ) этого предиката. Данное множество должно быть наименьшим.
Проиллюстрируем эти понятия на примере сетчатки, элементы которой
расположены в виде квадрата 5 5 (рис.8.2). Допустим,
интерес
представляет предикат ( X )  X , который содержит элементы на
диагоналях матрицы (выделены жирным шрифтом). Очевидно, что ( X )
принимает значение истина тогда и только тогда, когда эти элементы равны
1.
-3Предикаты классифицируются по характеристикам их носителей.
Локальные предикаты: предикат  называется локальным, если число точек
в носителе S () этого предиката мало, при этом набор переменных R
интерпретируется набором точек на плоскости.
ψ11 12
 21 ψ 22
 31  32
 41 ψ 42
ψ 51  52
13
 23
ψ 33
 43
 53
14
ψ 24
 34
ψ 44
 54
ψ15
 25
 35
 45
ψ 55
Рис.8.2. Сетчатка, состоящая из 25 элементов, представлена в
виде квадрата 5 5.
Предикат  называется конъюнктивно локальным, если существует такое
множество Ф  i , i  1,..., p, локальных предикатов, что ( X ) можно
представить в виде их конъюнкции.
Порядок n предиката  определяется числом переменных n носителя
S ( ) этого предиката.
8.1.2.Переход от логического выражения к арифметическому
и обратно
Если логическое выражение входит в арифметическое, его значение
считается равным 1 в случае, когда логическое значение есть истина, и
равно 0 в противном случае. Например, если i , i  1,..., p, множество
предикатов, а ai   множество вещественных чисел, то сумма
p
 ai i ( X )  является
i 1
суммой таких чисел ai , у которых соответствующие
предикаты для изображения Х имеют значение истина.
Аналогично осуществляется переход от логических выражений к
арифметическим. Пусть логическому выражению Q  необходимо приписать
соответствующие арифметические значения. Если f (X )  арифметическое
выражение,   величина постоянная, а R  арифметическое соотношение,
то предикат можно записать в виде
( X )   f ( X ) R.
Линейные предикаты имеют вид
p

 ( X )   ai i ( X )  .
(8.1)
 i 1

-4Выражение (8.1) определяет предикат , линейный относительно множества
 частных предикатов. Обозначим множество всех таких предикатов L().
8.1.3. Определение персептрона.
Персептрон – это гипотетическое устройство, которое может вычислить все
предикаты, линейные относительно фиксированного множества частных
предикатов. Линейный предикат является правилом классификации, так как
он относит любые изображения X либо к классу 0, либо к классу 1.
Персептрон называется ограниченным k- го прядка, если носители его
предикатов i  состоят не более чем из k точек, т.е. этим значением
ограничивается множество точек в сетчатке R, на которые «смотрит» каждый
отдельный предикат при классификации изображения. Порядок устройства
указывает на степень сложности его элементарных операций. Предположим,
что порядок некоторого персептрона так же велик, как и число точек в R.
Это означает, что некоторый предикат  i персептрона «смотрит» на всю
сетчатку. Поскольку на сложность предиката  i , за исключением его
порядка, нет ограничений, такой
предикат
мог бы просто быть
r
отображением, показывающим для каждого из 2 возможных изображений
X, должна ли соответствующая классификация быть 0 или 1. Если порядок
персептрона меньше размера сетчатки, т.е. отсутствует соответствующий
сильный предикат, то существование линейного предиката для каждой из
r
22 возможных классификаций не гарантировано. Из того вытекает
необходимость определения круга задач, для которых возможно
формирование линейных комбинаций логических функций локальных
свойств изображения X , чтобы осуществлять классификацию, основанную
на его глобальном смысле.
Предикат e A называется маской, если он принимает значение истина
тогда и только тогда, когда все точки конечного множества A  R являются
единицами, т.е. находятся в «возбуждённом» состоянии. Сама маска –линейный предикат порядка 1. Обозначим через N(S ) число элементов множества
S и определим  как множество предикатов xi  1 для всех xi  A. Тогда
маска e A определяется так:


e A ( X )    i ( X )  N ( A)  1.
 i 

Размером маски назовём число элементов её носителя.
8.2. Основные теоремы для персептронов ограниченного порядка
Поскольку распознавание образов состоит из выделения признаков и
приписывание им весов, важно предположить возможный подход к
распознаванию при фиксированных ограничениях на сложность указанных
этапов. Ограничение линейными весовыми функциями и ограничение на
порядок персептрона задают соответственно систему выбора весов и
сложность выделения признаков.
-5Изучение персептронов конечного порядка
целесообразно по двум
причинам. Соответствующие теоремы позволяют установить ограничения
линейных машин, которые можно в принципе построить. С другой стороны
доказательства этих теорем может служить иллюстрацией применения формальных методов при анализе возможностей систем искусственного интеллекта.
8.2.1.Теорема о масках
(теорема о положительной нормальной форме)
Каждый предикат  линеен относительно множества всех масок.
Если предикат   L(), где   какое-то множество масок, то порядок
предиката  определяется размером наибольшей маски из .
Д о к а з а т е л ь с т в о. Любую булеву функцию ( X ) на множестве xi 
логических переменных x1 ,..., xr из R можно записать в дизъюнктив-ной
нормальной форме
 ( X )  C1 ( X )  ...Ck ( X ),
где C j ( X ), j  1,..., k , логические произведения r членов. Так как все эти
произведения различны, то

  



C j ( X )  1  C j ( X )  0, j  j ; j, j  1,..., k.

 

Это означает, что самое большое одно из логических произведений будет истинным. Следовательно, ( X ) можно записать в линейной форме
k

( X )   C j ( X )  0.
 i 1

Если все C j можно представить в виде линейной комбинации масок, то
( X ) будет линейной комбинацией линейных комбинаций и ,следовательно,
линейной на множестве масок. Покажем, что все C j обладают этим свойством.
Любое логическое произведение C j можно записать как произведение
переменных и их отрицаний:
C j ( X )  x1 x2 ...xS 1 xS xS 1 xS 2 ...xr .
(8.2)
Пусть xS  первое отрицание, тогда (8.2) можно представить в виде
(8.3)
C j ( X )  Cj xS Cj,
где
C j  x1 x2 ...xS 1 ,
Cj  xS 1 xS 2 ...xr .
(8.5)
(8.4)
-6Очевидно отличие C j и C j : если C j содержит только сами переменные,
то C j включает как переменные, так и их отрицания. Алгебраические преобразования дают
(8.6)
C j ( X )  Cj xS Cj  Cj (1  xS )Cj  Cj Cj  Cj xS Cj.
Мы получили C j (X ) в виде линейной комбинации двух логических
произведений, первое из которых содержит переменную x S , а второе нет.
Каждое преобразование типа (8.6) устраняет одно отрицание. Если проделать
эту процедуру со всеми C j и со всеми выведенными из них логическими
произведениями, а затем со всеми последующими произведениями и т.д., то
в итоге ( X ) будет линейной комбинацией логических произведений,
содержащих только переменные (а не их отрицания). Такие логические
произведения как раз и являются масками. Теорема доказана.
П р и м е р . Пусть R состоит из трёх точек x1 , x2 , x3 , а  ( X )  предикат
« X содержит нечётное число точек из R ».Этот предикат принимает значение
«истина», если все точки из R или только одна принадлежат X . Таким
образом, ( X ) можно записать как
( X )  ( x1 x2 x3  x1 x2 x3  x1 x2 x3  x1 x2 x3 )  0.
(8.7)
Последовательно применяя (8.6) к (8.7), получим
( X )  [(( x1 x3  x1 x2 x3 )  ( x2 xˆ3  x1 x2 x3 ) 
 ( x2 x3  x1 x2 x3 )  x1 x2 x3 )  0] 
 [( x1  x1 x3 )  ( x1 x2  x1 x2 x3 )  ( x2  x2 x3 ) 
(8.8)
 ( x1 x2  x1 x2 x3 )  ( x3  x2 x3 )  ( x1 x3  x1 x2 x3 )  0] 
 [ x1  x2  x3  2 x1 x2  2 x1 x3  2 x2 x3  4 x1 x2 x3 )  0]
Это линейный предикат на множестве масок.
Представление предиката в виде линейной комбинации масок называется его
положительной нормальной формой. Эта форма является единственной, а
предикат имеет порядок k тогда и только тогда, когда наибольшая маска с
ненулевым коэффициентом в положительной нормальной форме имеет
размер k.