Нейросети

НЕЧЕТКИЕ СИСТЕМЫ:
СОВРЕМЕННОЕ СОСТОЯНИЕ
А.Аверкин
Вычислительный центр
им.А.А.Дородницына РАН
[email protected]
Мягкие вычисления
Мягкие
вычисления – симбиоз новых
направлений в принятий решений
• Профессор Л.Заде утверждает:
"...в отличие от традиционных жестких вычислений,
мягкие вычисления допускают использование
неточности, неопределенности и частичной
истинности для достижения наглядности,
робастности, низкой стоимости решения и лучшего
соответствия с реальностью”
• Основные компоненты Мягких
Вычислений:
-Приближенные рассуждения:
» Вероятностные рассуждения, нечеткая логика
-Поиск & оптимизация:
» Нейросети, Эволюционные алгоритмы
ECAI 2000
2
Техника решения
проблем
ЖЕСТКИЕ ВЫЧИСЛЕНИЯ
Точные модели
Рассуждения
в булевой
логике
Традиционное
численное
моделирование
и поиск
МЯГКИЕ ВЫЧИСЛЕНИЯ
Приближенные модели
Приближенные
рассуждения
ECAI 2000
Функциональная
аппроксимация и
случайный поиск
3
Хаотические
системы
Нелинейная
Фракталы
димамика
Системы
основанные на
знаниях
Генетические
алгоритмы
Нечеткие
•Нейросети
системы
Мягкие вычисления устранили противоречие между
когнитивным и коннекционистким подходом в ИИ

ECAI 2000
4
Мягкие вычисления : Гибридные
вероятностные системы
Приближенные
рассуждения
Вероятностные
модели
Многозначные
&
Нечеткие логики
Функциональная
аппроксимация/Случайный
поиск
Нейросети
Эволюционные
алгоритмы
Байесовские сети
доверия
Демпстер
-Шейфер-
ECAI 2000
5
Мягкие вычисления : Гибридные
вероятностные системы
Приближенные
рассуждения
Вероятностные
модели
Многозначные
&
Нечеткие логики
Функциональная
аппроксимация/Случайный поиск
Нейросети
Эволюционные
алгоритмы
Байесовские сети
доверия
Демпстер
-Шейфер-
Вероятность нечетких
Доверие к нечетким
событий
событиям
ECAI 2000
Мягкие
измерения
6
Мягкие вычисления : Гибридные
вероятностные системы
Приближенные
рассуждения
Вероятностные
модели
Многозначные
&
Нечеткие логики
Функциональная
аппроксимация/Случайный
поиск
Нейросети
Эволюционные
алгоритмы
Байесовские сети
доверия
Демпстер
-Шейфер-
Вероятность нечетких
Доверие к нечетким
событий
событиям
ECAI 2000
Нечеткие
диаграммы
влияния
7
Мягкие вычисления : Гибридные
вероятностные системы
Приближенные
рассуждения
Вероятностные
модели
Многозначные
&
Нечеткие логики
Функциональная
аппроксимация/Случайный
поиск
Нейросети
Эволюционные
алгоритмы
Байесовские сети
доверия
Демпстер
-Шейфер-
Вероятность нечетких Доверие к нечетким
событий
событиям
ECAI 2000
Нечеткие
диаграммы
влияния
8
Мягкие вычисления : Гибридные нечеткие
системы
Функциональная
Приближенные
рассуждения
Вероятностные
модели
Нечеткие
системы
Многозначные
& нечеткие
логики
аппроксимация /Случайный
поиск
Нейросети
Эволюционные
алгоритмы
Многозначные
алгебры
Нечеткие
регуляторы
ECAI 2000
9
Мягкие вычисления : Гибридные нечеткие
системы
Функциональная
Приближенные
рассуждения
Вероятностные
модели
Нечеткие
системы
Многозначные
& нечеткие
логики
аппроксимация /Случайный
поиск
Нейросети
Эволюционные
алгоритмы
Многозначные
алгебры
Нечеткие
регуляторы
Гибридные НЛ системы
Нечеткие регуляторы Нечеткие регуляторы,
Нейросети, модифиобучаемые
обучаемые и
нейросетью
порождаемые ГА
цируемые НС
ECAI 2000
10
Мягкие вычисления : Гибридные нечеткие
системы
Функциональная
Приближенные
рассуждения
Вероятностные
модели
Нечеткие
системы
Многозначные
& нечеткие
логики
аппроксимация /Случайный
поиск
Нейросети
Эволюционные
алгоритмы
Многозначные
алгебры
Нечеткие
регуляторы
Гибридные НЛ системы
Нечеткие регуляторы Нечеткие регуляторы,
Нейросети, модифиобучаемые
обучаемые и
нейросетью
порождаемые ГА
цируемые НС
ECAI 2000
11
Мягкие вычисления : Гибридные нечеткие
системы
Функциональная
Приближенные
рассуждения
Вероятностные
модели
Нечеткие
системы
Многозначные
& нечеткие
логики
аппроксимация /Случайный
поиск
Нейросети
Эволюционные
алгоритмы
Многозначные
алгебры
Нечеткие
регуляторы
Гибридные НЛ системы
Нечеткие регуляторы Нечеткие регуляторы,
Нейросети, модифиобучаемые
обучаемые и
нейросетью
порождаемые ГА
цируемые НС
ECAI 2000
12
Мягкие вычисления: Гибридные
нейросетевыеФункциональная
системы
Приближенные
рассуждения
аппроксимация /Случайный
поиск
Вероятностные Многозначные
& нечеткие
модели
логики
Нейросети
НС прямого
распространения
РБФ
Одно\многослойный
персепртрон
ECAI 2000
Эволюционные
алгоритмы
Рекурентные НС
Хопфильд
SOM
ART
13
Мягкие вычисления: Гибридные
нейросетевые Функциональная
системы
Приближенные
рассуждения
аппроксимация /Случайный
поиск
Вероятностные Многозначные
& нечеткие
модели
логики
Нейросети
НС прямого
распространения
РБФ
Одно\многослойный
персепртрон
Эволюционные
алгоритмы
Рекурентные НС
Хопфильд
SOM
ART
Гибридные нейросистемы
Топология НС &/или
веса
Порождаемые ГА
Параметры НС
(скорость обучения h
момент a )
управляемые НК
ECAI 2000
14
Мягкие вычисления: Гибридные
нейросетевые Функциональная
системы
Приближенные
рассуждения
аппроксимация /Случайный
поиск
Вероятностные Многозначные
& нечеткие
модели
логики
Нейросети
НС прямого
распространения
РБФ
Одно\многослойный
персепртрон
Гибридные нейросистемы
Параметры НС
(скорость обучения h
момент a )
управляемые НК
ECAI 2000
Эволюционные
алгоритмы
Рекурентные НС
Хопфильд
SOM
ART
Топология НС &/или
веса
Порождаемые ГА
15
Мягкие вычисления:
Функциональная
Гибридные
системы
ЭА
Приближенные
аппроксимация /Случайный
рассуждения
Вероятностные Многозначные
& нечеткие
модели
логики
поиск
Нейросети
Эволюционные
алгоритмы
Эволюционные
стратегии
Эволюционные
Программы
ECAI 2000
Генетические
алгоритмы
Генет.
Прогр.
16
Мягкие вычисления:
Функциональная
Гибридные
системы
ЭА
Приближенные
аппроксимация /Случайный
рассуждения
поиск
Вероятностные Многозначные
& нечеткие
модели
логики
Нейросети
Эволюционные
алгоритмы
Эволюционные
стратегии
Эволюционные
Программы
Генетические
алгоритмы
Генет.
Прогр.
Гибридные ЭА системы
Параметры ЭА
(N, P cr, P mu )
Управляемые НЛК
ЭА поиск
объединенный
с градиент.
ECAI 2000
Параметры ЭА
(разм.поп.селекц.
управляем. ЭА
17
Мягкие вычисления:
Функциональная
Гибридные
системы
ЭА
Приближенные
аппроксимация /Случайный
рассуждения
поиск
Вероятностные Многозначные
& нечеткие
модели
логики
Нейросети
Эволюционные
алгоритмы
Эволюционные
стратегии
Эволюционные
Программы
Генетические
алгоритмы
Генет.
Прогр.
Гибридные ЭА системы
Параметры ЭА
(N, Pcr, Pmu )
Управляемые НЛК
ЭА поиск
объединенный
с градиент.
ECAI 2000
Параметры ЭА
(разм.поп.селекц.
управляем. ЭА
18
Мягкие вычисления:
Функциональная
Гибридные
системы
ЭА
Приближенные
аппроксимация /Случайный
рассуждения
поиск
Вероятностные Многозначные
& нечеткие
модели
логики
Нейросети
Эволюционные
алгоритмы
Эволюционные
стратегии
Эволюционные
Программы
Генетические
алгоритмы
Гент.
Прогр.
Гибридные ЭА системы
Параметры ЭА
(N, Pcr, Pmu )
Управляемые НЛК
ЭА поиск
объединенный
с градиент.
ECAI 2000
Параметры ЭА
(разм.поп.селекц.
управляем. ЭА
19
Общая архитектура нейро-нечеткой cистемы Вывода
I
II

I1,1 x, y
x1
 1 x 
III
1
2

N
I1, N x, y

I 2,1 x, y
x2
 2 x 
1


agr1 x, y
1


2

N
1
y
2
y
N
.


agr2 x, y
2




I N ,1 x, y
 N x 
1
.

.
2


N

I N , N x, y

.

I N , 2 x, y
y
1
1
.

.
.
xn
y
.


I 2 , 2 x, y
I 2 , N x, y
.


I1, 2 x, y
IV

agrN x, y
N

ECAI 2000
1
NFIS
20
T-норма
Треугольная норма T - функция двух аргументов T: [0,1]
× [0,1] → [0,1], которая удовлетворяет следующим условиям для
a, b, c, d [0,1]:
Монотонность:T (a, b) ≤T (c, d); a ≤ c; b ≤ d
Коммутативность:T (a, b) =T (b, a)
Ассоциативность:T (T (a, b), c) =T (a, T (b, c))
Граничные условия:T (a, 0) =0; T (a, 1) = a
ECAI 2000
21
T-конорма (S-норма)
T- конорма (S-норма) - функция двух аргументов S: [0,1] × [0,1] → [0,1],
который удовлетворяет
следующие условия для a, b, c, d [0,1]
Монотонность:S (a, b) ≤ S (c, d); a ≤ c; b ≤ d
Коммутативность: S (a, b) =S (b, a)
Ассоциативность: S (S (a, b), c) =S (a, S (b, c))
Граничные условия: S (a, 0) = a; S (a, 1) =1
ECAI 2000
22
Нечеткая импликация
Нечеткое значение - это функция I: [0,1]2→[0,1] , удовлетворяющая
следующим условиям:
(I1) Если a1≤a3 тогда I(a1,a2) ≥ I(a3,a2), для всего a1,a2,a3[0,1]
(I2) Если a2≤a3 тогда I(a1,a2)≤I(a1,a3), для всего a1,a2,a3[0,1]
(I3) I(0,a2)=1, для всего a2[0,1] (ошибочность подразумевает что нибудь)
(I4) I(a1,1)=1, для всего a1[0,1]
(что - нибудь подразумевает тавтологию)
(I5) I(1,0)=0 (booleanity)
ECAI 2000
23
Гибкая нейро-нечеткая
система:
Логический подход
Импликация
Например:
СКОПЛЕНИЕ ПРАВИЛ
Например:
ECAI 2000
24
Гибкая нейро-нечеткая система: компромисс И-ТИПА
NFIS
I a, b  1   T a, b  S 1  a, b
  0,1
I a, b  1   min a, b   max 1  a, b

СИСТЕМА
0
MAMDANI тип
1
Логический тип
(0,1)
Компромисс
(MAMDANI и логического)
ECAI 2000
25
Методы когнитивного
моделирования ситуации
Нечеткая целевая иерархия
Цель
04.01.1900
03.01.1900
02.01.1900
01.01.1900
Нечеткая когнитивная
карта ситуации
ECAI 2000
Динамика изменения
достижимости цели
26
Гибридная модель слабо структурированной
ситуации
+
Иерархия
оценивания
=
Когнитивная
карта
Интегрированная
модель
I.Обеспечение пересечения факторов ситуации, описываемой в каждой из
моделей;
II.Обеспечение отображения значений факторов ситуации, полученной в
когнитивной модели, в значения листовых критериев модели
иерархического оценивания;
III.Учет консонанса значений факторов при оценивании прогнозов
развития ситуации;
IV.Определение альтернативы в интегрированной модели.
ECAI 2000
27
Когнитивное моделирование
Связи между
Факторами
Взаимовлияние
Факторов
Pij
Cij
Факторы
xm 
xim  xi ( m1 )
2
 xih 
xi( m1 )  xm
2
 xm
Эксперт
Мониторинг
ситуации
Внешняя среда
ECAI 2000
28
Построение целевой
иерархии
Целевой фактор
Эксперт
Нечеткая целевая иерархия
ECAI 2000
t ij \ a ij , 0  t ij  a ij ,  ij ,

 ij t ij   
  ij \ t ij , t ij  a ij ,  ij .
29
Взаимодействие моделей
zi   yij z j , i  V2
j
zi   yij z j , i  VM
j
cij 
ECAI 2000
pi  p j
pi  p j
30
Полученные результаты

Реализована возможность построения нечеткой целевой
иерархической модели ситуации

Впервые создана гибридная система, использующая
нечеткую когнитивную модель и нечеткую целевую
иерархию

Реализована возможность оценки состояния ситуации даже
когда информация о состоянии отдельных факторах
неизвестна

Система минимизирует количество запросов о состоянии
факторов и оптимизирует процесс передачи
информации
ECAI 2000
31
Заключение: Свойства интегрированной модели
1.
Интегрированная модель поддерживает все этапы процесса
поддержки принятия решений: анализ ситуации основывается на
декомпозиции цели,
определенной экспертом; генерация
альтернатив
осуществляется
методами
когнитивного
моделирования; выбор лучшего решения основан на оценивании
прогнозов развития ситуации.
2.
Множество альтернатив не фиксировано, есть возможность
конструирования альтернативы и
получения ее оценки
методами нечеткого иерархического моделирования.
3.
Интегрированная модель позволяет
текущего состояния ситуации.
ECAI 2000
оценивать
изменения
32
Инструментарий формирования
робастных БЗ
 Оптимизаторы
БЗ на мягких и
квантовых вычислениях
ECAI 2000
33
Интеллектуальные вычисления
Квантовые вычисления
Мягкие вычисления
Генетические алгоритмы
Нечеткие нейронные сети
Нечеткие системы на
основе нечеткой логики
Традиционные НР
Оптимизация
Программноаппаратная
поддержка
Оболочка для квантовых мягких вычислений
Квантовые поисковые алгоритмы
Обучение
Квантовые (хаос, ячейки, и
т. п.) нейронные сети
Проектирование & Синтез
Нечеткие системы на
основе квантовой
нечеткой логики
Оптимальное управление
ECAI 2000
Квантовые НР
34
Что такое – Встроенные Интеллектуальные
Системы?
ECAI 2000
35
Применение БСС в повседневной жизни
ECAI 2000
36
Развитие линейки «мотов» - Motes







Прототипы «умной пыли»
weC Mote.
Rene Mote
Dot
Mica node
Mica2
MicaZ
ECAI 2000
Источник: Джейсон Хил, Беркли
37
Многодисциплинарная область

Сенсорные сети дают возможность использовать и
смешивать знания и экспертизу из разных дисциплин:

обработка сигналов;

Искусственный интеллект

теория информации;

теория передачи данных;

операционные системы и языки программирования;

базы данных;

системы на базе запоминающих устройств (MEMs);

и многое другое...
ECAI 2000
38
Нечеткие встроенные
системы
Нечеткие системы являются универсальным
инструментарием для систем
интеллектуальной поддержки принятия
решений в беспроводных сенсорных сетях
для следующих уровней

Сетевой уровень

Уровень баз данных

Уровень слияния данных

Уровень распределенных ЭС

Уровень распределенного вывода

Многоагентный уровень
ECAI 2000
39
Smart Engine
В качестве инструментария предлагается
оболочка нечеткого (интеллектуального)
сенсора, позволяющая аппроксимировать
любую зависимость«вход-выход» в виде
набора нечетких продукционных правил
правил типа
ЕСЛИ Х = А, ТО Y = B
где X -входная, Y- выходная переменная
А,В – нечеткие лингвистические
переменные
ECAI 2000
40
Сетевой уровень
В виде нечетких сенсоров могут быть описаны
 Нечеткие правила маршрутизации
 Нечеткие правила энергосбережения
 Нечеткая система управления узлами сети,
встроенная в трафик (активные сети)
 Нечеткие алгоритмы кластеризации узлов
 Нечеткие алгоритмы мониторинга (или настройки
параметров мониторинга)
 Правила управления качеством обслуживания
 Правила обнаружения аномалий в системе
(искусственные иммунные системы)
ECAI 2000
41
Пример 1
А.Оценка качества работы сети
IF среднее использование каналов НИЗКОЕ И
средний процент запаздывания в канале ВЫСОКИЙ то
возможность возникновения очередей СРЕДНЯЯ
Б.Оценка качества маршрута
IF (LS=HIGH) AND (LC=HIGH) AND (NE=HIGH) AND (NH=LOW) THEN CACHE
IF (LS=LOW) AND (LC=HIGH) AND (NE=LOW) AND (NH=HIGH) THEN NO CACHE
Где LS = надежность канала
LC = пропускная способность канала
NE = заряд узлов
NH = число узлов
ECAI 2000
42
Слияние данных


Нечеткие сенсоры могут быть использованы
на разных уровнях многоуровневого
слияния данных– для фильтрации данных,
для выделения атрибутов, для
распознавание образов, для распознавание
ситуации.
Процедура слияния данных, записанная в
продукционной форме, легко
декомпозируется и имеет иерархический
характер. Слияние данных внутри сети
осуществляется иерархией узлов, между
которыми распределяются необходимые
знания.
ECAI 2000
43
Пример 2 (слияние данных)
А. Определение комфортности комнаты
Правило 1. Если Температура СРЕДНЯЯ и Влажность ВЫСОКАЯ и
Освещенность ВЫСОКАЯ, то Комфортность ОЧЕНЬ ВЫСОКАЯ
Правило 2. Если Температура НИЗКАЯ и Влажность ВЫСОКАЯ и
Освещенность НИЗКАЯ, то Комфортность НИЗКАЯ
Б. Определение возможности курения
Правило 3. Если Температура СРЕДНЯЯ и Влажность НИЗКАЯ и
Освещенность НИЗКАЯ , то Курят Наркотики ВОЗМОЖНО
Правило 4. Если Температура НИЗКАЯ и Влажность НИЗКАЯ КАЯ и
Освещенность ВЫСОКАЯ, то Курят Наркотики МАЛО
ВОЗМОЖНО
ECAI 2000
44
Уровень распределенных ЭС






БСС используется, как экспертная системы,
база знаний которой распределена по узлам
БСС.
Знания могут передаваться между узлами
База знаний может быть послана в эти узлы
вместе с запросом к БСС.
Процесс обработки запроса распределен по
сети.
Процесс вывода распределен по сети
Процесс распознавания распределен по
сети
ECAI 2000
45
Многоагентный уровень
Нечеткие сенсорные узлы могут обладать
активностью, мобильность, и коллективным
поведением

Миграция приложений для экономии памяти и
энергии

Мобильные агенты в сенсорные узлы для сбора
и обработки данных

Сенсорные узлы с функцией полезности –
соглашаются или отказываются передавать
данные в зависимости от заряда батареи

Взаимодействие сенсоров- агентов для слияния
данных (например, для лучшего распознавания
объекта)
ECAI 2000
46
Нечеткая продукционная система
на узле БСС
Умный сенсорный узел:
Система нечеткого вывода:
● Агрегация
● Кластеризация
● Слияние данных
ECAI 2000
47
Использование нечетких правил в
качестве детекторов в искусственных
иммунных системах в БСС
Выявление аномалий и их устранение
 Распознавание
 Вероятностное обнаружение
 Совместная стимуляция
 Саморегуляция
 Динамическая защита
 Обучение
 Память
 Распределенный поиск

ECAI 2000
48
Карта антител «чужого»
пространства
«Чужие»
«Свои»
X
Антитело
(с распознающим радиусом)
ECAI 2000
49
Карта антител «чужого»
пространства
«Чужие»
«Свои»
X
Автореакция
Антитело
Разрушение
ECAI 2000
50
Карта антител «чужого»
пространства
«Чужие»
«Свои»
X
X
Антиген
(сравнение с антителом)
ECAI 2000
51
Карта антител «чужого»
пространства
«Чужие»
«Свои»
X
X
X
X
Клонирование (развитие)
ECAI 2000
52
Спасибо за внимание!
ECAI 2000
53