Введение в нейронные сети

Введение в нейронные сети
Лекция 15
Информатика
Гаврилов А.В.
НГТУ, кафедра АППМ
1
Искусственные нейронные сети
• Состоят из слоев искусственных нейронов, взаимосвязанных
между собой
• Имеются входы и выходы сети – входной и выходной векторы
• Сеть учится правильно реагировать на сигналы, поступающие
на входы
• Реализуются аппаратно или программно (чаще)
• Существуют много разных моделей, отличающихся
структурой, особенностями реализации нейронов, методами и
алгоритмами обучения
• Используются для задач распознавания, классификации,
предсказания в системах диагностики, финансового анализа,
мониторинга, интеллектуальных роботах и т.д.
Гаврилов А.В.
НГТУ, кафедра АППМ
2
Искусственный нейрон
x1
x2
xi
xn
w2
w1
S=
wi
∑wx
i i
f(S)
y
wn
f(S) – нелинейная функция, например, пороговая
В этом случае имеем формальный нейрон
МакКаллока-Питтса (предложен в 1948)
Гаврилов А.В.
НГТУ, кафедра АППМ
3
Различные виды активационной
функции нейрона
Пороговая
Линейная
Сигмоидная
Гауссовская
• Рациональная сигмоида
• Экспоненциальная сигмоида
• Гиперболический тангенс
Гаврилов А.В.
НГТУ, кафедра АППМ
4
Виды обучения нейронных сетей
• Обучение с учителем
– Пример при обучении – входной вектор и соответствующий
ему выходной вектор
• Обучение без учителя
– Нейронная сеть занимается кластеризацией (разбиением на
классы) входных векторов с учетом их похожести в
пространстве признаков
• Обучение с учителем-внешней средой
– Нейронная сеть, взаимодействуя с внешней средой,
получает от нее поощрения и наказания, и стремится
уменьшить вероятность поучения наказаний и увеличить поощрений
Гаврилов А.В.
НГТУ, кафедра АППМ
5
Многослойный персептрон
или нейронная сеть прямого распространения
„
Классификация (дискретный набор выходных значений)
„
Регрессия (непрерывные выходные значения)
Гаврилов А.В.
НГТУ, кафедра АППМ
6
Классификация
x2
m
К ласс C1
1
m
2
y1 = y 2
К ласс C2
x1
Гаврилов А.В.
НГТУ, кафедра АППМ
7
Классификация
„
Сеть с одним скрытым слоем, содержащим H нейронов со ступенчатой
функцией активации, способна осуществить произвольную классификацию
Hd точек d-мерного пространства (т.е. классифицировать Hd примеров).
„
Одного скрытого слоя нейронов с сигмоидной функцией активации
достаточно для аппроксимации любой границы между классами со сколь
угодно высокой точностью.
Гаврилов А.В.
НГТУ, кафедра АППМ
8
Регрессия (Аппроксимация)
•
Одного скрытого слоя нейронов с сигмоидной функцией активации достаточно для
аппроксимации любой функции со сколь угодно высокой точностью. (Более того,
такая сеть может одновременно аппроксимировать и саму функцию и ее
производные.)
Точность аппроксимации возрастает с числом нейронов скрытого слоя.
При H нейронах ошибка оценивается как
O(1 H ) .
Гаврилов А.В.
НГТУ, кафедра АППМ
9
Алгоритм обучения нейрона Маккалока-Питтса в
перцептроне Розенблатта (бинарного)
• Случайно выбираются веса wij
• На входы подается обучающий вектор x и
рассчитывается выходной сигнал yi с использованием
пороговой функции
• Если ожидаемое значение di совпадает с yi, то веса не
изменяются
• Если yi=0 и di=1, то wij(t+1)=wij(t)+xj
• Если yi=1 и di=0, то wij(t+1)=wij(t)-xj
• Повторяются шаги, начиная со второго, для новых
примеров
Гаврилов А.В.
НГТУ, кафедра АППМ
10
Правило обучения Видроу-Хоффа
wij(t+1)=wij(t)+xj(di-yi),
где di – желаемый выход,
yi – фактический выход
Задача минимизации целевой функции
(функции ошибки)
p
E = ∑( y
(k )
i
−d
(k )
i
)
2
k =1
P – количество примеров
Гаврилов А.В.
НГТУ, кафедра АППМ
11
Обучение методом обратного
распространения ошибки
wi, j (t +1) = wi, j (t) +rgj xi '
g j = y j (1 − y j )(d j − y j )
g j = x (1 − x ) ∑ g k w jk
'
j
'
j
Для выходного слоя
Для скрытого слоя
k
Гаврилов А.В.
НГТУ, кафедра АППМ
12