NeiroTECN9

Нейросетевые технологии в
обработке и защите данных
Защита информации иммунными
нейронными сетями
Лекция 9. Математические основы нечетких
систем. Нечеткие множества. Нечеткие операции.
1
Математические основы
нечетких систем
Нечеткие нейронные сети или гибридные сети
призваны объединить в себе достоинства
нейронных сетей и систем нечеткого вывода.
С одной стороны, они позволяют
разрабатывать и представлять модели систем в
форме правил нечетких продукций, которые
обладают наглядностью и простотой
содержательной интерпретации, c другой
стороны, для построения правил нечетких
продукций используются возможности нейронных
сетей.
2
Нечеткие нейронные сети
ANFIS – адаптивная система нечеткого вывода
(Adaptive-Network-Based Fuzzy Inference System),
предложенная Янгом (Jang) в начале девяностых
годов, реализована в пакете расширения Fuzzy
Logic Toolbox (пакете нечеткой логики) системы
MATLAB . ANFIS является одним из первых
вариантов гибридных нейро-нечетких моделей.
Архитектура нейро-нечеткой сети изоморфна
нечеткой базе знаний. В нейро-нечетких сетях
используются дифференцируемые реализации
треугольных норм, а также гладкие функции
принадлежности.
3
МАТЕМАТИЧЕСКИЕ ОСНОВЫ
НЕЧЕТКИХ СИСТЕМ
Нечеткая логика предназначена для
формализации неточных или приближенных
рассуждений, позволяющих более адекватно
описывать ситуации с неопределенностью.
Понятие нечетких множеств (англ.: fuzzy sets) как
обобщение обычных (четких) множеств было
введено американским ученым Л. Заде в 1965 г.
Традиционный метод представления элемента
множества А состоит в применении
характеристической функции  A (x), которая равна
1, если этот элемент принадлежит к множеству А,
или равна 0 в противном случае.
4
Первые промышленные применения
Первые реализации нечетких моделей в
промышленности относятся к середине 1970-х гг.
В это время в Великобритании Мамдани
использовал нечеткую логику для управления
парогенератором, в этот же период нечеткие
модели были применены при управлении печью
для обжига цемента.
Дальнейшее развитие нечеткая логика
получила в ряде программных средств поддержки
принятия решений и в экспертных системах
анализа данных.
5
Япония – лидер в области
приложений нечеткой логики
Нечеткая логика поддерживает разработку быстрого
прототипа технического устройства с последующим
усложнением его функциональности. Фотоаппараты и
видеокамеры используют нечеткую логику, чтобы
реализовать опыт фотографа в управлении этими
устройствами (фокусировка и стабилизация изображения).
Компания Matsushita выпускает стиральные машины,
в которых используются датчики и микропроцессоры с
нечеткими алгоритмами управления. Компания Mitsubishi
управляет каждой системой автомобиля на основе нечеткой
логики, также изменением температуры и влажности
кондиционеров.
6
Япония – лидер в области
приложений нечеткой логики
В городе Сендай ускорение и торможение
поездов метрополитена с 16 станциями
регулируется «нечетким» компьютером .
На фондовом рынке Токио используется
несколько трейдерных систем, основанных на
нечеткой логике, которые превосходят по
скоростным и динамическим характеристикам
традиционные информационные системы.
В Японии имеются «нечеткие» системы
управления уличным движением, пылесосы,
тостеры и другие устройства.
7
Европа и США преследуют Японию
Нечеткая логика применяется для разработки
систем управления внутренними компонентами
персональных компьютеров, а также алгоритмов
компрессии речи и видео.
Предложены и реализованы программные
алгоритмы для сетевой маршрутизации и
распознавания речи на основе нечеткой логики.
В США выделены ассигнования на исследования
в области построения систем управления
вооружением и тренажеров для обучения пилотов
истребителей, решения специальных задач в космосе
на основе нечетких технологий.
8
Анализ нечеткого и вероятностного подходов
к моделированию неопределенности
Изучением и разработкой моделей,
учитывающих неопределенность того или иного
вида, занимаются теория вероятностей, теория
информации, математическая статистика, теория
игр, теория массового обслуживания и теория
нечетких множеств.
Строго математически показано, что
концепция нечеткой меры включает как частный
случай вероятностную меру в аспектах
неопределенности.
9
Стохастическая неопределенность
Стохастическая неопределенность имеет место
в ситуациях, когда некоторое хорошо описанное
событие может произойти, а может и не произойти.
Условия рассматриваемого события, как правило,
характеризуют так называемый идеальный
эксперимент. При подбрасывании монеты,
например, монета и поверхность предполагаются
идеальной формы, вертикально монета не встает.
Высказываемое событие имеет смысл только по
отношению к событию в будущем. Для
вероятностных процессов возможно описание
статистических оценок их некоторых усредненных
характеристик .
10
Лингвистическая неопределенность
Нечеткая логика позволяет в случае
высказываний, не имеющих количественного
содержания, представить процессы принятия
решений и оценки ситуаций человеком в
некоторой алгоритмической форме.
Основное достоинство теории нечетких
множеств заключается в возможности
использования лингвистических переменных
вместо количественных, нечеткую логику вместо
бинарной логики для формального представления
неточных субъективных категорий.
11
МАТЕМАТИЧЕСКИЕ ОСНОВЫ
НЕЧЕТКИХ СИСТЕМ
В нечетких системах элемент может частично
принадлежать к любому множеству. Степень
принадлежности к множеству А, представляющая
собой обобщение характеристической функции,
называется функцией принадлежности  A (x) ,
 A ( x) [0, 1].
причем
Значения функции принадлежности являются
рациональными числами из интервала [0, 1], где 0
означает отсутствие принадлежности к
множеству, а 1 – полную принадлежность.
12
МАТЕМАТИЧЕСКИЕ ОСНОВЫ
НЕЧЕТКИХ СИСТЕМ
Конкретное значение функции
принадлежности  A (x) называется степенью
или коэффициентом принадлежности. Эта
степень может быть определена явным
образом в виде функциональной зависимости
либо дискретно – путем задания конечной
последовательности значений x {x N }
в виде

 ( xN ) 
  ( x1)  ( x2 )

A( x)  
,
,..., .

x1
x2
xN 



13
Пример дискретного задания
нечеткого множества
Для последовательности дискретных
значений переменной X, равных
х1=7, х2=8, х3=9, х4=10, х5=11, х6=12, х7=13,
степень принадлежности к числам, близким 10,
может быть определена в виде
 0,1 0,3 0,8 1,0 0,8 0,3 0,1
A( x)   ,
,
, ,
,
, .
 7 8 9 10 11 12 13 
14
Лингвистические переменные
Пусть переменная х обозначает температуру
(х = «температура»). Можно определить нечеткие
множества «отрицательная», «близкая к нулю»,
«положительная», характеризуемые функциями
принадлежности
 отриц ( x),  бл нул ь( x),  пол ож( x).
Лингвистическая переменная «температура»
может принимать различные лингвистические
значения («температура отрицательная»,
«температура близкая к нулю», «температура
положительная»).
15
Иллюстрация понятия принадлежности
температуры к различным областям
16
МАТЕМАТИЧЕСКИЕ ОСНОВЫ
НЕЧЕТКИХ СИСТЕМ
В теории нечетких множеств, помимо
переменных цифрового типа, существуют
лингвистические переменные с приписываемыми
им значениями.
На нечетких множествах, рассматриваемых
как обобщение обычных множеств, можно
определить ряд математических операций,
выполняемых на «четких» множествах.
17
МАТЕМАТИЧЕСКИЕ ОСНОВЫ
НЕЧЕТКИХ СИСТЕМ
Пересечением двух нечетких множеств A и B
называют некоторое третье нечеткое множество С,
заданное на этом же универсуме X, функция
принадлежности которого определяется по
следующей формуле:
C(x) = min {A(x), B(x)} ( xX).
Операция пересечения нечетких множеств по
аналогии с обычными множествами обозначается
знаком «». В этом случае результат операции
пересечения двух нечетких множеств
записывается в виде С = A  B .
18
Пусть A и B – произвольные (конечные
или бесконечные) нечеткие множества,
заданные на одном и том же универсуме X.
Объединением двух нечетких множеств
A и B называется наименьшее нечеткое
подмножество D = A  B, включающее как
A, так и B, с функцией принадлежности:
D(x) = max {A(x), B(x)} ( xX).
19
Разностью двух нечетких множеств A и B
называют некоторое третье нечеткое множество
E, заданное на этом же универсуме X, функция
принадлежности которого определяется по
следующей формуле:
E(x) = max {A(x) – B(x), 0} ( xX),
где под знаком максимума используется
обычная операция арифметической разности
двух чисел.
Операция разности двух нечетких множеств
по аналогии с обычными множествами
обозначается знаком «\».
20
Результат операции пересечения двух
нечетких множеств записывается в виде
E = A \B.
Следует заметить, что операция разности
двух нечетких множеств, в отличие от операций
объединения и пересечения, не является
коммутативной, в общем случае A \ B  B \ A.
По аналогии с обычными множествами
иногда оказывается полезной операция
симметрической разности двух нечетких
множеств A и B (обозначается через A ⊝ B).
21
По определению:
 A ⊝ B (x) = |A(x) – B(x)| ( xX),
где в правой части выражения применяется
операция вычисления абсолютного
значения числа. При этом оказывается
справедливым следующее утверждение:
A ⊝ B = (A \B)  (B \A), т. е.
симметрическая разность двух нечетких
множеств представляет собой объединение
двух разностей нечетких множеств A и B.
22
Дополнение нечеткого множества A
обозначается через Ā и определяется как
нечеткое множество Ā = {x|  Ā (x)},
функция принадлежности которого
определяется по следующей формуле:
 Ā (x) = 1 – A(x)
( xX).
Операторы пересечения и объединения
нечетких множеств определяются в классе
треугольных норм и конорм .
23
Системы с нечеткой логикой целесообразно
применять для сложных процессов,
 когда отсутствует простая математическая
модель;
 если экспертные знания об объекте или о
процессе можно сформулировать только в
лингвистической форме .
Для решения прикладных задач наиболее
часто используются треугольные,
трапецеидальные и «колоколообразные» функции
принадлежности.
24
Недостатки:
Основные недостатки систем с нечеткой
логикой связаны с тем, что:
исходный набор постулируемых нечетких правил
формулируется экспертом-человеком и может
оказаться неполным или противоречивым;
вид и параметры функции принадлежности,
описывающие входные и выходные переменные
системы, выбираются субъективно и могут
оказаться не вполне отражающими реальную
действительность.
25
НЕЧЕТКИЕ НЕЙРОННЫЕ СЕТИ
В гибридных сетях выводы делаются на
основе аппарата нечеткой логики, но
соответствующие функции принадлежности
подстраиваются с использованием алгоритмов
обучения нейронных сетей, например алгоритма
обратного распространения ошибки.
Такие системы не только используют
априорную информацию, но могут приобретать
новые знания и для пользователя являются
логически прозрачными
26
Рассмотрим простую нейронную сеть,
имеющую два входа и только один
выходной нейрон :
27
Треугольная норма
Треугольной нормой (t-нормой) называется
двуместная действительная функция
T: [0, 1]×[0, 1]→[0, 1], удовлетворяющая
следующим условиям:
1. Т(0, 0) = 0; Т(A, 1) = A, Т(1, A) = A
–
ограниченность;
2. Т(A, B) ≤ Т(C, D), если A ≤ C, B ≤ D –
монотонность;
3. Т(A, B) = Т(B, A)
– коммутативность;
4. Т(A, Т(B, C)) = Т(Т(A, B), C)
–
ассоциативность.
28
Треугольная конорма
Треугольной конормой (t-конормой) называется
двуместная действительная функция
S: [0, 1]×[0, 1]→[0, 1] со свойствами:
1. S(1, 1) = 0; S(A, 0) = A, S(0, A) = A
– ограниченность;
2. S(A, B) ≥ S(C, D), если A ≥ C, B ≥ D
– монотонность;
3. S(A, B) = S(B, A) – коммутативность;
4. S(A, S(B, C)) = S(S(A, B), C) – ассоциативность.
29
Гибридная нейронная сеть
Гибридная нейронная сеть – это
нейронная сеть с четкими сигналами,
весами и активационной функцией, но
с объединением xi и wi, p1 и p2 с
использованием t-нормы, t-конормы
или некоторых других непрерывных
операций.
30
Нечеткий нейрон «И»
Сигналы xi и веса wi в данном случае объединяются с
помощью треугольной конормы:
pi=S(wi, xi), i=1, 2,
а выход образуется с применением треугольной нормы
31
Нечеткий нейрон «И»
y = AND(p1, p2) = T(p1, p2) = T(S(w1, x1), S(w2, x2)).
Если принять T = min, S = max, тогда
нечеткий нейрон «И» реализует
композицию min-max:
y = min(w1  x1, w2  x2).
32
Нечеткий нейрон «ИЛИ»
Сигналы xi и веса wi здесь объединяются с помощью
треугольной нормы: pi=Т(wi, xi), i=1, 2,
а выход образуется с применением треугольной конормы
33
Нечеткий нейрон «ИЛИ»
y = OR(p1, p2) = S(p1, p2) = S(T(w1, x1), T(w2, x2)).
Если принять T = min, S = max, тогда нечеткий
нейрон «И» реализует композицию max-min:
y = max(w1 x1, w2 x2).
Входы, выходы и веса гибридной
нейронной сети – вещественные числа,
принадлежащие отрезку [0, 1].
34
Пример моделирования
Предположим, что гибридной сетью должно быть
реализовано отображение
у k  f ( х k )  f ( х k , х k ,..., х k ) , k = 1, 2, …, N,
1
2
п
при наличии обучающего множества {(x1, y1), …, (xN, yN)}
Для моделирования неизвестного отображения
f используем алгоритм нечеткого вывода со следующей
формой предикатных правил:
Пi: если x1 есть Аi и х2 есть Аi и … и хп есть Аiп ,
2
1
тогда y = zi, i = 1, 2, …, m, где Аi
– нечеткие числа
j
треугольной нормы, zi – вещественные числа, определяя
степень истинности i-го правила с помощью операции
умножения:
35
Пример моделирования
п
 i   Аi
j 1
 хk 
 j 

j
и определяя выход нечеткой системы дискретным
аналогом центрального метода:
m
оk    z
i i
i 1
m
 i
i 1
36
Введение функции ошибки для k-го
предъявленного образца вида:
Еk = (ok – yk)2
позволяет далее, как в обычных нейронных сетях,
использовать градиентный метод для подстройки
параметров заданных предикатных правил. Так
величины zi можно корректировать по соотношению
Еk
i
k
k


zi : zi  
 zi     о  у 

     ...  
zi
1
2
m
i = 1, 2, …, m, где α – константа, характеризующая
скорость обучения.
37
Сеть может быть представлена
следующим образом:
38
Характеристика гибридной сети
Предполагается, что объект
характеризуется двумя количественными
признаками x1 и x2 и относится к одному из
двух классов – с1 и с2.
Каждый вход представляется двумя
лингвистическими элементами, что
позволяет ограничиться всего четырьмя
правилами.
39