Решение задач кластеризации с использованием хаотической

СЕКЦИЯ 1
Е.Н. БЕНДЕРСКАЯ, С.В. ЖУКОВА
Санкт-Петербургский государственный политехнический университет
[email protected], [email protected]
РЕШЕНИЕ ЗАДАЧ КЛАСТЕРИЗАЦИИ
С ИСПОЛЬЗОВАНИЕМ ХАОТИЧЕСКОЙ
НЕЙРОННОЙ СЕТИ
Аннотация
Рассмотрено место задачи кластеризации в задачах по извлечению
знаний и распознаванию образов. Проведен анализ классических методов
кластеризации и их недостатков. Обоснована необходимость применения
нейронных сетей при решении задачи кластеризации и использования
элементов теории хаоса. Представлено описание работы хаотической
нейронной сети и рекомендации по областям ее применения.
Выявление скрытых закономерностей, знаний в заданном наборе данных часто может быть выполнено только на основе решения задачи кластеризации. Кластеризация – это процесс разбиения [1] множества объектов на заданное или неизвестное число кластеров на основании некоторого математического критерия качества кластеризации. Элементы в кластерах объединяются по причине сходства некоторого набора признаков.
В результате решения задачи кластеризации выявляется скрытая структура данных и обнаруживаются неочевидные закономерности в данных.
Многообразие алгоритмов кластерного анализа обусловлено множеством различных критериев, отражающих те или иные аспекты качества
автоматической группировки. При этом практически все методы характеризуются высокой вычислительной сложностью и чувствительностью к
точности задания априорной информации о количестве кластеров или
максимально допустимом размере кластера, о предполагаемой структуре
кластеров. При решении практических задач, включающих в себя использование результатов кластеризации, такая информация чаще всего недоступна, а формальных методик преодоления априорной неопределенности
с целью определения параметров алгоритмов кластеризации на сегодняшний день не разработано.
Одно из активно развиваемых в настоящее время направлений совершенствования методов кластеризации – привлечение современных интеллектуальных технологий, таких как нейронные сети, нечеткая логика. Это
позволяет не только решить проблему ресурсоемкости задач кластеризаУДК 004.032.26(06) Нейронные сети
54
СЕКЦИЯ 1
ции за счет параллельной обработки информации, но и обеспечить большую гибкость в формировании решений и самонастройку на конкретный
тип задачи, учесть ее особенности.
Подлежащие кластеризации объекты описываются некоторым набором параметров (признаковым вектором) и могут быть представлены как
точки в многомерном пространстве. Поэтому для проверки работы различных методов кластеризации часто используются изображения разной
степени сложности. Это удобно не только для собственно задач кластеризации точек в изображениях (обработка результатов фотосъемок местности и др.), но и для наглядного представления процесса и результатов кластеризации любой задачи, так как в этом случае она трактуется как задача
распознавания многомерных изображений (образов).
Для распознавания сложных (пересекающихся) образов в настоящее
время предлагается применять в алгоритмах кластеризации элементы нечеткой логики. В нечеткой кластеризации элемент образа может одновременно принадлежать нескольким кластерам, при этом будет различаться
степень его принадлежности к тому или иному кластеру. Качество кластеризации при таком подходе определяется точностью задания априорной информации о количестве кластеров и набором представителей каждого кластера.
Последние разработки, направленные на получение результатов кластеризации высокого качества, лежат в области применения теории нелинейных динамических систем, теории хаоса. В данной работе исследуется
метод кластеризации, в котором используются элементы теории хаоса, а
реализация выполнена на основе аппарата нейронных сетей. При этом
достигается соединение результатов теории самоорганизации в распределенных системах и теории нейронных сетей в виде модели хаотической
нейронной сети. Исследование возможностей решения задачи кластеризации на основе хаотической нейронной сети обусловлено следующими
причинами.
 Задачи кластеризации ресурсоемки. Для решения задачи кластеризации в системе с распределенными вычислениями ее всякий раз нужно
приводить к специальному виду. В нейронной сети данные изначально
представлены в распараллеленном виде. Снимается проблема вычислительной сложности.
 Повышается отказоустойчивость вычислительной системы, так как
повышается ее толерантность по отношению к ошибкам, благодаря
большой степени параллелизма при обработке данных.
УДК 004.032.26(06) Нейронные сети
55
СЕКЦИЯ 1
 Статистические методы, основанные на концепции усреднения по
выборке, приводят к потере информации. Поэтому принцип переработки
информации должен быть близок к биологическому прототипу.
 Необходим метод, не требующий априорной информации о структуре кластеров и основанный на выявлении скрытых закономерностей
путем самоорганизации элементов.
 Традиционные методы не позволяют обрабатывать наборы данных,
составленных из элементов, описываемых избыточным полем признаков.
В этом случае снижается эффективность обработки входной информации,
так как особенностью некоторых методов является невозможность отбрасывать незначащую (в рамках решаемой задачи) или дублирующую информацию. Учет этих признаков происходит за счет снижения меры значимости других [1].
Таким образом, одним из перспективных методов решения задачи кластеризации для самых разнообразных практических приложений является
хаотическая нейронная сеть (ХНС). По структуре ХНС [2] напоминает
нейронную сеть Хопфилда, так как является однослойной рекуррентной
сетью – элементы связаны «каждый с каждым», без образования связи
«сам на себя». Структуру сети образуют N нейронов, каждый из которых
отвечает за конкретный объект при этом связи симметричные. Обучение
ХНС, как и сети Хопфилда, заключается в формировании один раз весовых коэффициентов сети, которые определяют меру взаимного влияния
пар нейронов друг на друга.
Основное отличие ХНС от других сетей заключается в образовании
группового поведения нейронов и выделении из первоначального хаоса
некоторого уникального порядка, присущего только заданному входному
набору объектов, представленных в виде отдельных точек некоторого
условного изображения. Принято считать, что такие свойства нейронной
сети как большие вычислительные возможности и устойчивость к ошибке
в нейродинамических системах обуславливается коллективным поведением всех нейронов. Это становится возможным благодаря сильному взаимодействию между нейронами, когда каждый связан с каждым. Имеет
место глобальный характер связи [3]: если не различаются мгновенные
состояния элементов, то не отличается и действующее на них поле.
В ХНС на вход в начальный момент времени подается единожды сразу
все изображение (представляются сразу все данные, подлежащие кластеризации и только один раз), в отличие от других нейронных сетей, построенных на основе соревновательного слоя (например, нейронной сети
Кохонена), где элементы представляются по очереди и неоднократно.
УДК 004.032.26(06) Нейронные сети
56
СЕКЦИЯ 1
Состояние сети задается состоянием нейронов. Чтобы значения функции активации нейронов, колебались в диапазоне [-1, 1], используется
специальная логистическая функция
f ( x)  1  2 x 2 .
(1)
Сеть отпускается на некоторый период времени в свободное функционирование для того, чтобы можно было построить фазовые портреты поведения (карты), отражающие поведение каждого нейрона в отдельности.
Подача на вход сети набора объектов может быть рассмотрена как влияние
окружающей среды на первоначально неупорядоченное поведение нейронов и формирование под ее воздействием нейронных ансамблей. При этом
совместное функционирование нейронов является проявлением интеллекта
на уровне малого коллектива, решающего задачу кластеризации.
Рассматривая совместную динамику поведения нейронов после прохождения переходного процесса, выделяются пары нейронов, которые
меняют свои состояния синхронно. Формируются данные о совместной
информации, которую несет каждая синхронизированная пара нейронов и
на ее основе делается вывод о том, какие нейроны следует считать относящимися к одному кластеру. Иными словами работа по выявлению значимости признаков скрыта в работе ХНС – как объекты взаимодействуют
друг с другом. Первоначальный хаос переходного процесса, с течением
времени уменьшается, так как за счет выявления взаимосвязи значений
выходов некоторых пар нейронов начинают изменяться синфазно. Именно поэтому работа ХНС разделяется на две части: переходной период работы и период наблюдения, когда считается, что хаос минимален, и можно начинать извлекать информацию.
Входной образ инициализирует ХНС, и как результат формируется
матрица весовых коэффициентов взаимного влияния пар объектов друг на
друга. Таким образом, коэффициенты настраиваются один раз и в течение
работы сети не изменяются:
 ( xi  x j ) 2
wij  exp  

2a 2


,


(2)
где ( xi  x j ) – расстояние между двумя объектами, а – масштабирующая
константа.
Каждому из выходов нейронов ставится в соответствие случайная величина в диапазоне от -1 до 1. После этого задается некоторое время переходного процесса, в течение которого система переходит в стационарУДК 004.032.26(06) Нейронные сети
57
СЕКЦИЯ 1
ный режим, причем значения переменных yi(t + 1) вычисляются по формуле
1
(3)
y i (t  1) 
 wij f ( y i (t )) ,
Ci i  j
где C i 
 wij , а f(yi(t)) определяется в соответствии с (1).
i j
Состояние отдельного нейрона изменяется за счет изменения всех других нейронов. После истечение времени переходного процесса считается,
что система находится в установившемся режиме. Затем выделяется следующий промежуток времени – время наблюдения, в течение которого,
собирается статистическая информация о поведении каждой из переменной yi, и строится матрица наблюдения. Эта матрица является основой для
расчета матрицы информации, которую несут друг о друге пары точек
(каждая с каждой).
Так как каждый объект входного пространства представлен в ХНС
своим нейроном, то распределение нейронов по образовавшимся кластерам может быть использовано для кластеризации объектов.
Для исследования возможностей ХНС и оценки влияния ее параметров
на качество кластеризации в условиях решения задач кластеризации разной сложности была разработана имитационная модель и проведены эксперименты, позволившие определить области предпочтительного использования ХНС и дать рекомендации по ее настройке.
Значение длительности переходного периода в общем случае нужно
выбирать порядка 100000 для любого изображения. В этом случае система
гарантировано перейдет в установившийся режим. Так как нас интересует
именно установившийся режим, то начальные условия (для динамического процесса) перестают иметь значение, когда он уже наступил. Время
периода наблюдения целесообразно выбирать в пределах сотни.
Одним из главных недостатков ХНС является то, что она не позволяет
использовать результаты кластеризации для дальнейшей классификации.
Если требуется принять решение о том, к какому из уже созданных кластеров относится элемент, который не присутствовал в образе в момент
формирования кластеров, хаотическую нейронную сеть нужно обучать
заново. Что влечет за собой затраты ресурсов. Поэтому можно рекомендовать ее использование для решения задачи кластеризации изображений
с наличием значительных областей перекрытия, а также для фильтрации
шума в исходном изображении, так как ХНС позволяет не выделять в отдельные кластеры элементы с малыми значениями взаимной информации,
УДК 004.032.26(06) Нейронные сети
58
СЕКЦИЯ 1
к каким и принадлежат точки шума. Кроме того, представляется актуальным использование ХНС в задачах информационного поиска для кластеризации коллекций документов, имеющих достаточно сильную корреляцию.
При этом необходимо отметить, что чем больше элементов изображения (объектов, документов), тем быстрее образуются отдельные ансамбли
нейронов – коллективы-кластеры и их поведение менее чувствительно к
заданию начальных параметров сети. Это следует из проведенных экспериментов по обработке изображений большей размерности с большим
количеством точек. Возможность получения различных вариантов результатов кластеризации при разных значениях порога кластеризации является несомненным достоинством, особенно для задач, в которых отсутствует априорная информация о количестве кластеров. Однако это требует
дополнительного анализа различных вариантов кластеризации и соотнесения с конкретной практической задачей для определения лучшего варианта кластеризации.
В ХНС нейроны отвечают за объекты – точки, представленные признаковыми векторами. В кластеры объединяются объекты, в отличие от
самоорганизующихся карт Кохонена, где нейроны отвечают за центры
кластеров. Образование кластеров непосредственно из кластеризуемых
объектов дает дополнительное преимущество ХНС по решению задач
кластеризации, в которых кластеры не могут быть представлены типичным представителем и гипотеза о строгой компактности образов не выполняется. При использовании нейронных сетей Кохонена необходима
дополнительная интерпретация результатов путем формирования ответов
в процессе функционирования сети. Результаты кластеризации в ХНС в
общем случае не требуют дополнительной обработки, т.к. непосредственным результатом работы ХНС является распределение объектов по кластерам.
Список литературы
1. Дюк В. Data mining: учебный курс. СПб: Питер, 2001. 368 с.
2. Ormerod C., Bordes N.S., Pailthorpe B.A. Characterising coupled map lattices, Proceeding
of HPC-Asia 2001 (Queensland, Australia), Gold Coast, Sept 24-28, 2001. Page 10-16.
3. Иванова А.С., Кузнецов С.П. Волна кластеризации в цепочке систем, каждая из которых содержит набор элементов с внутренней глобальной связью // Известия вузов. Прикладная нелинейная динамика. Т.11. 2003. № 4-5. С.80-88.
УДК 004.032.26(06) Нейронные сети
59