Document 2689885

2005
НАУЧНЫЙ ВЕСТНИК МГТУ ГА
№ 85
серия Эксплуатация воздушного транспорта и ремонт авиационной техники. Безопасность полетов
УДК 629.7
КЛАССИФИКАЦИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ
П.И. РАКОВ, Б.А. ЧИЧКОВ
В статье приводится классификация нейронных сетей и предлагается для решения задач идентификации использовать рекуррентные сети, а сети с обучением по методу обратного распространения ошибок - для
задачи прогнозирования.
Для решения задач идентификации и прогнозирования технического состояния в процессе эксплуатации авиационной техники (АТ) могут быть использованы искусственные
нейронные сети (ИНС) или, просто, нейронные сети (НС) различного рода.
Для реализации с максимальным эффектом функций НС, как правило, существует оптимальная совокупность параметров НС. Следовательно, одной из основных задач, стоящих перед разработчиком НС, является выбор этой совокупности, определяющей, в конечном итоге, вид сети.
Основным элементом сети является искусственный нейрон (далее нейрон). Нейроны делятся на три типа (рис. 1) в соответствии с функциями, выполняемыми ими в сети. Входные нейроны (нейроны входного слоя) принимают данные из внешней среды и определенным образом
распределяют их далее по сети. На промежуточные нейроны (нейроны скрытого слоя) возлагается роль основных участников процесса решения задачи. Выходные же нейроны (нейроны выходного слоя) передают результаты работы сети во внешнюю среду (потребителю).
Ошибка!
Нейроны
Входные
Промежуточные
Выходные
Рис. 1. Типы нейронов в зависимости от их функций в сети
В зависимости от механизма обработки получаемых данных можно выделить целый ряд
математических моделей нейронов (см. рис. 2). Существует две группы моделей нейронов, которые принадлежат, соответственно, двум типам сетей: классическим и нечетким. Каждая из
моделей нейронов обладает рядом присущих ей свойств, однако имеются и общие черты, к которым можно отнести наличие входного и выходного сигналов, а также блока их обработки.
Для решения конкретной задачи существует ряд наиболее предпочтительных моделей нейронов. Модель нейрона МакКаллока-Питса, сигмоидальный нейрон и нейрон типа “адалайн”
имеют схожие структуры и отличаются лишь видами функций активации (реакции нейрона на
входящий сигнал). Вышеприведенные модели нейронов могут обучаться только с учителем, то
есть требуют наличия входного и выходного векторов (значений). Так как функция активации
нейрона МакКаллока-Питса дискретна (выходной сигнал может принимать только два значения
– 0 или 1), то невозможно проследить за изменением значения выхода. Достижение необходимого результата в некоторых задачах может оказаться невозможным. В этом случае более предпочтительной может являться сигмоидальная модель нейрона. Модели нейронов типа “инстар”
и “оутстар Гроссберга” дополняют друг друга и отличаются от вышеуказанных трех типов нейронов тем, что могут обучаться и без учителя (имея только входной вектор).
Классификация искусственных нейронных сетей
83
Математические модели нейронов
Для нечетких сетей
Для классических сетей
Модель Мамдани-Заде
Персептрон (модель МакКаллока-Питса)
Сигмоидальный нейрон
“Адалайн”
Модель TSK
Инстар Гроссберга
Оутстар Гроссберга
Нейроны типа WTA
Модель нейрона Хебба
Стохастическая модель нейрона
Рис. 2. Виды математических моделей нейронов
Нейроны типа WTA (от англ. –“победитель получает всё”) чаще всего используются в задачах классификации и распознавания данных и образов. Они, как и модели нейронов Гроссберга,
в процессе обучения также не нуждаются в учителе. Однако существенным недостатком нейронов этого типа является значительно возрастающая погрешность распознавания данных вследствие наличия мертвых нейронов, которые не смогли выжить в конкурентной борьбе. Модель
нейрона Хебба схожа с моделью нейрона обычной формы (вход - блок обработки - выход). Может обучаться как с учителем, так и без него. Особенностью данной модели является то, что вес
связи нейрона изменяется пропорционально произведению его входного и выходного сигналов.
В стохастической модели выходное значение нейрона зависит еще и от некоторой случайной
переменной, лежащей в интервале (0,1), что позволяет при подборе весов снизить до минимума
среднеквадратичную погрешность. Модели нейронов нечетких сетей применяются главным образом для аппроксимации с произвольной точностью любой нелинейной функции многих переменных и используются там, где входные данные ненадежны и слабо формализованы.
Одна и та же модель нейрона в разных сетях может иметь разные функции активации
(рис. 3).
Функции активации нейронов
Полулинейная
Синусоидальная
Квадратичная
Логистическая (сигмоидальная)
Модульная
Сигмоидальная (рациональная)
Пороговая
Гиперболический тангенс (сигмоидальная)
Экспоненциальная
Знаковая (сигнатурная)
Линейная
Тождественная
Шаговая (линейная с насыщением)
Нетождественная
Рис. 3. Функции активации нейронов
П.И. Раков, Б.А. Чичков
84
Однако это высказывание справедливо не для всех типов нейронов. Так, например, персептрон может иметь только пороговую функцию активации (функция единичного скачка). Несмотря на все многообразие функций активации, наиболее распространенной является нелинейная функция активации с насыщением (сигмоидальная функция). Необходимо так же отметить, что нейроны входного слоя имеют тождественные функции активации, что позволяет им
распределять полученные сигналы нейронам скрытого слоя без изменений.
Cовокупности нейронов образуют нейронные сети. НС различаются по архитектуре
(рис. 4), по типу входящих в нее нейронов (см. рис. 5), по типу обрабатываемых ею сигналов
(см. рис. 6), по типу смены состояния нейронов в момент времени (см. рис. 7). НС различаются
так же топологией (см. рис. 8-10). Отметим, что статическими и динамическими НС являются
однонаправленные и рекуррентные НС соответственно. Одним из отрицательных качеств динамических НС является их возможная неустойчивость при работе.
Однородность НС (использование однотипных нейронов с единой функцией активации) в
различных задачах по-разному влияет на производительность и скорость обучения НС.
Нейронные сети
Классические
Статические
Fuzzy-структуры (нечеткие сети)
Динамические
Рис. 4. Обобщенная классификация нейронных сетей с точки зрения их архитектуры
Ошибка!
Нейронные сети
Гомогенные (однородные)
Гетерогенные (разнородные)
Рис. 5. Классификация нейронных сетей по типу входящих в нее нейронов
Ошибка!
Нейронные сети
Бинарные (логические 0 и 1)
Аналоговые
Рис. 6. Классификация нейронных сетей по типу обрабатываемых сигналов
Нейронные сети
Ошибка!
Синхронные
Асинхронные
Рис. 7. Классификация нейронных сетей по типу смены состояния в момент времени
Классификация искусственных нейронных сетей
85
Нейронные сети
Ошибка!
Полносвязные
С последовательными связями
Гибридные
Однослойные
Слабосвязные (с локальными
связями)
Многослойные (слоистые)
Рис. 8. Топология (архитектура) нейронных сетей
Синхронность НС означает, что в каждый момент времени только один нейрон меняет свое
состояние. Асинхронность подразумевает смену состояний у целого ряда нейронов (чаще всего
- слоя). На практике большее предпочтение отдается синхронным НС.
Многослойные (слоистые) нейронные сети
Ошибка!
Монотонные
Без обратных связей
Полносвязанные
С обратными связями
Рекуррентные сети
Частично полносвязанные
Рециркуляционные
сети
Слоисто-циклические
Слоисто-полносвязанные
Полносвязанно-слоистые
Частично-рекуррентные
SRN (сеть Элмана)
Сеть Джордана
Рис. 9. Многослойные (слоистые) нейронные сети
Весьма обширна и топология (архитектура) НС, что говорит о довольно узкой направленности каждого типа НС для оптимального решения определенного круга задач. Однако для решения сложных задач наибольший интерес представляют многослойные однонаправленные
(без обратных связей) и рекуррентные НС.
Для выполнения сетью поставленной задачи ее необходимо обучить, то есть сообщить ей,
каким образом она должна действовать, чтобы выдать разработчику желаемый результат. Стратегии обучения нейронных сетей представлены на рис. 11. Особенностью обучения с учителем
(обучение под надзором) является то, что наряду с входным вектором (значения элементов входа) априори известен и выходной вектор (соответствующие входам значения элементов выхода). Если значения выхода НС заранее не известны, то необходимо воспользоваться другой
стратегией – обучение без учителя. Тогда подбор весовых коэффициентов (в этом и заключается суть обучения) осуществляется по соответствующим стратегиям обучения с использованием
определенных алгоритмов (рис. 12).
П.И. Раков, Б.А. Чичков
86
Ошибка!
Типы решеток расположения нейронов в слабосвязных нейронных сетях
Прямоугольные
Связи с 4 нейронами
Гексагональные
Связи с 8 нейронами
Окрестность фон Неймана
Окрестность Мура
Связи с 6 нейронами
Окрестность Голея
Рис. 10. Используемые типы решеток расположения нейронов
в слабосвязных нейронных сетях
Ошибка!
Стратегии обучения нейронных сетей
Без учителя
С учителем
Алгоритм обратного распространения ошибок
Рис. 11. Применяемые стратегии обучения нейронных сетей
Cтратегия обучения с учителем (алгоритм обратного распространения ошибок) представляет собой итеративный градиентный алгоритм обучения.
Ошибка!
Алгоритмы обучения нейронных сетей
Градиентные
Эвристические
Алгоритм наискорейшего спуска
Алгоритм переменной метрики
Алгоритм Левенберга-Марквардта
Алгоритм сопряженных градиентов
Рис. 12. Существующие алгоритмы обучения нейронных сетей
Для задач аппроксимации представляется целесообразным использование многослойной
НС прямого распространения, либо нечеткой НС.
Для задач идентификации состояний авиационной техники представляется целесообразным рассмотреть также возможность применения рекуррентных НС и НС с обучением по методу обратного распространения ошибок для решения задачи прогнозирования изменения
параметров АТ.
Классификация искусственных нейронных сетей
87
ЛИТЕРАТУРА
1. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.–М.: Горячая линия - Телеком, 2002.
2. Осовский С. Нейронные сети для обработки информации. – М.: Финансы и статистика, 2004.
3. Калан Р. Основные концепции нейронных сетей. –М.: дом “Вильямс”, 2003.
4. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Нейронные сети управления. – М.: Высшая школа, 2002.
CATEGORIZATION ARTIFICIAL NEURAL NETWORKS
Rakov P.I., Chichkov B.A.
In the article happens to a categorization neural networks and is offerred for deciding the problems to identifications
to use recurrence networks and network with educating on the method of inverse spreading the mistakes for the problem of
forecasting.
Сведения об авторах
Чичков Борис Анатольевич, 1969 г.р., окончил МИИ ГА (1993), доктор технических наук,
профессор кафедры двигателей летательных аппаратов МГТУ ГА, автор более 30 научных работ и
ряда программных средств для ПЭВМ, область научных интересов- модели систем, параметрическая
диагностика авиационных двигателей в эксплуатации.
Раков Павел Игоревич, 1981 г.р., окончил МГТУ ГА (2004), аспирант кафедры двигателей летательных аппаратов МГТУ ГА, область научных интересов - диагностика авиационных двигателей
по регистрируемым параметрам.