КОНЦЕПЦИЯ ЭНТРОПИИ в СИСТЕМНОМ АНАЛИЗЕ

КОНЦЕПЦИЯ ЭНТРОПИИ
В
СИСТЕМНОМ АНАЛИЗЕ
Попков Ю.С.
Институт системного анализа
Российской академии наук
23 декабря 2014.
Энтропийная мера
1. Неопределенности S
2. Информации I =H0-H
ШКОЛА
?
H  H 0*
HH
1
11
*
0
3. Поведенческой мотивации max H = max P
?
Риски
РАО ЕЭС 1.5%
Газпром 1.2%
Р&K 18%
Котировки
РАО ЕЭС 12%
Газпром 8%
Рога и Копыта 28%
2
ТЕОРИЯ МАКРОСИСТЕМ
3
Системные эффекты
Физическая система
Биологическая система
Звездные структуры
Транспортная система
Экономическая система
 fast   slow
4
Индивидуальные и коллективные свойства
Устойчивое
распределение
Решения
Население
Производители
Потребители
…
Устойчивое
распределение
Априорные
вероятности
Макроуровень
коллективное поведение 
максимум энтропии
Микроуровень
индивидуальное
поведение
Элементы со
стохастическим
поведением
5
Феноменология равновесных состояний макросистемы
М А К Р О С И С Т Е М А
Макроуровень
Макросостояние N  {N1 ,, N m }
Микроуровень
ресурсы
6
Определение и классификация макросистем
Gi  емкость подмножества Si
li  емкость состояния в подмножестве Si
m  количество подмножеств
Классы элементов и подмножеств
Подмнож /
Элементы
D
I
D
DD
DI
I
ID
II
Макросостояние
DI – различимы
I - неразличимы
Классы статистик (емкость состояний li)
li=1
Ферми
li=∞
Эйнштейн
Li-любая
(элементов мало)
Больцман
1≤ li≤ ∞
Парастатистика
N  {N1 ,
, Nm }
7
Примеры функций распределения
вероятностей макросостояний
DD-парамакросистема
ID-парамакросистема
 неравные априорные вероятности
 неравные априорные вероятности
 равные априорные вероятности
 равные априорные вероятности
8
Вариационный принцип
Модели стационарных состояний макросистем
A) С полным использованием ресурсов
H ( N )  max
k (t, N )  qk , k 1, r
Б) С неполным использованием ресурсов
H ( N )  max
k (t, N )  qk , k 1, r
9
Феноменология неравновесных состояний макросистем
x(1)  {x1 (t ),..., xn (t )}  вектор
состояния блоков
U s (t )  u s ( x(t ))  универсальный
продукт
Y (t )  [ ysi (t ) | s, i 1, n]  потоки
универсального продукта
компоненты
в блоках
между блоками
процесс
самовоспроизведение
распределение
элементы
cпецифические x(t)
неспецифические Y(t)
природа
детерминированная
стохастическая
временная шкала
медленная
быстрая
время релаксации
 slow

 fast
10
Модель неравновесных состояний макросистемы
(динамическая система с энтропийным оператором)
•
Состояния блоков
x(t )  L( x(t ), Y * (t ))
L  материальный поток;
L( x, Y )  непрерывно-дифференцируемая вектор-функция;
t  шкала "медленного" времени.
•
Локально-стационарные состояния распределения потоков универсального
продукта
xs (t )
Априорная
вероятность
H (Y * , x)  max
Емкость
asi
Gsi
xi (t )
Y *  F ( x)
Y *  локально-стационарное
распределение потоков
универсальный продукт
Запасы
g
универсальный продукт
универсального продукта
Функции
потребления
( x, Y )
Ресурсные ограничения
F ( x)
11
Динамическая система с
энтропийным оператором
x (t )  L( x, y* ( x)), x  R n , y*  R m
Энтропийный оператор
y* ( x)  arg max{H ( y, x) | y  F ( x), x  R n , y  Rm }  0
y
12
Задачи энтропийного программирования
xi
 m

x
ln
, x  X  X   x : x  0

i

a
e
 i 1
i
H ( x)   m
 x ln xi  b  x  ln b  x , x  X  X  x : 0  x  q
i a i i i i

i
 i 1
ai ,, an  и bi ,, bn  - параметры
Энтропийно-линейное
программирование (ЭЛП)
Энтропийно-квадратичное
программирование (ЭКП)
Tx   Vx  p
0      *
Tx  F ( x)   , Vx  P( x)  p
F k ( x )  x ' F k x, P h ( x )  x ' P h x
0      p*
F k x, P k x - симметричные матрицы
 
 
'
'
F k x  Ak Ak , P h  B h B h
u k  A k x, d h  B h x


Tx  u ( 2 ) u1 , , u l   ;
Ak x  u k  0; B h x  d h  0,


Vx  d ( 2 ) d 1 ,, d r l   .


 

 
'
u ( 2 ) u1 , , u l   u k , u k , k 1, l ,



'
d ( 2 ) d 1 ,, d r l   d h , d h , h 1, r  l .


13
Мультипликативные алгоритмы с
(p,q)-активными переменными
Активные переменные (p,q) – заданы
1. Циклический выбор активных переменных (l=10, r=15)
итерация
0
1
2
3
4
5
6
номер перемен. z
1, l
1, 2
3, 4
5, 6
7, 8
9, 10
1, 2
...
p=2
номер перемен. μ
1, r  l
1, 2
3, 4
1, 2
3, 4
1, 2
3, 4
...
q=2
2. По максимальной невязке
 k z s ,  s   1  Bk z s ,  s   h z s ,  s    s 1   h z s ,  s 
 
h ( s)  arg max  z ,  ,
k j ( s)  arg max  k z s ,  s ,
s

h
s
p 1
q 1
3. По минимальной и максимальной невязке
 
z ,  ;
 
z ,  
k max
( s)  arg max k z s ,  s ; kimin ( s)  arg min k z s ,  s
j
h max
( s)  arg max  h
j
Алгоритмы по
двойственным переменным
s
s
himin ( s)  arg min  h
Алгоритмы по
прямым переменным
s
s
Смешанные
алгоритмы
14
МАТЕМАТИЧЕСКАЯ
ДЕМОЭКОНОМИКА
15
Население и экономика
Труд
Фонды
Товар
Система «население-экономика»
Экономика
Население
Природные
ресурсы
Потребление
товаров
Трудоспособное
население
Труд
Потребление
Экономика
Население
16
Почему энтропия?
Феноменология
Население
Экономика
Воспроизводство  Миграция
Производство  Население
Миграционное и репродуктивное
поведение человека
Экономическое поведение
производителей и потребителей
Факторы:
• экономические
• экологические
• культурологические
• религиозные
• т.п.
Факторы:
• прибыль
• риск
• транспортные издержки
• т.п.
17
Энтропийная модель
«Население»
dK n
 Gn K n   (Ynj  Y jn )  SnMC (t ) , n  1, N
dt
j
- воспроизводство
- внутренняя миграция
- внешняя миграция
Модуль «Воспроизводство»
Gn
- матрица поло-возрастной структуры рождаемости, старения и смертности
( BnW , DnM , DnW )
Внешняя миграция
SnMC - сальдо внешней миграции (экзогенная переменная)
18
Энтропийная модель
«Население»
Модуль «Внутренняя миграция»
Принципы:
локальных равновесий и максимизации энтропии
Y  arg max{H (Y , K , Z ) | Y M ( K , Z )}
Н – энтропия распределения миграционных потоков Y
Z – воздействие метасистемы
M – допустимое множество распределений миграционных потоков
Реализация:
энтропийно-линейное программирование
N
Ynj
n, j
eanj ( K , Z )
H (Y , K , Z )   Yij ln
t
knj
 max
Y
( K , Z )Ynj  qk ( K , Z ), k 1, r
n, j
anj ( K , Z ) – априорные вероятности выбора n-мигрантом региона j
tknj ( K , Z ) – удельные расходы k-го ресурса
qk ( K , Z ) – запас k-го ресурса
19
Модель
«Экономика»
Пространственная экономика
Потребность
Предложение
Рынок
труда
Ресурсы
Производство
Выпуск
Потоки
Распределение
занятых
Рынок
товаров
20
Энтропийная модель «Рынок товаров»
Ui – выпуск в i-м регионе
Fij – поток «товаров» из i-й в j-й регион
Энтропийная модель
H ( F )   fij ln
ij
f
ij
fij
vij (U i ,U j )
 max
 U i , i 1, N
j
f
ij
ij  T  транспортные расходы,
ij
ij  расстояние между i и j регионами
fс
ij kij
 qk (U i ,U j )  дополнительные ресурсы
ij
k 1, r
21
КОМПЬЮТЕРНАЯ
ТОМОГРАФИЯ
22
Энтропийное восстановление
томографических изображений
(i, j )  функция плотности изображения
E (i, j )  функция плотности априорного изображения
Вертикальная проекция
 (i, j)  h  h  
i
i
i
i 1, n
j
Горизонтальная проекция
 (i, j)  v
i
j
 v j   j n
j 1, m  1
0  (i, j )  1, 0  E(i, j)  1
Энтропия
n ,m
H F (, E )     (i, j ) ln
i , j 1
 (i, j )
 (1   (i, j )) ln(1   (i, j ))  max
E (i, j )

* ( E )  arg max( H F (, E ) |   D)  энтропийный оператор
23
Процедуры энтропийного
восстановления изображений
A) Статические процедуры
Б) Динамические процедуры
Обратная связь
Обратная связь
24
Некоторые типы обратных связей
• Обратная связь по текущему параметру
E t 1  L( E t , *t ); *t 1  *t 
1
*t 1  *t 

t 1
• Обратная связь по текущим среднему и дисперсии
E t 1  L( E t , *t , d*t ); d*t 1  d*t 
1
d*t  (*t 1  *t )2 

t 1
25
Пример энтропийного восстановления
томографических изображений
26
Энтропийно-робастное оценивание
и
рандомизированное прогнозирование
Рандомизация моделей
Вход
Модель
со случайными
интервальными
параметрами
Выход
Шум
Вещественные
параметры и шумы
Ансамбль
траекторий
Дискретные
параметры и шумы
плотность распределения
вероятностей
(ПРВ)
- нормированные ПРВ
- нормированные РВ
- интервальные ПРВ
- интервальные РВ
28
ПРИМЕР 1. Простейшая модель воспроизводства населения
нормально
распределенный
равномерно
распределенный
- решение уравнения
29
Рандомизированные динамические модели (РДМ)
полиномиального (вольтерровского) типа
с неструктурированными
нелинейностями
со структурированными
нелинейностями
случайные
импульсные
характеристики
Математическая модель
Преобразование
30
Функционалы правдоподобия и энтропия
логарифмические функции
правдоподобия
логарифмические функционалы
правдоподобия
- Крамера
- Крамера
Осреднение
- Ферми
- Ферми
Энтропийные функционалы
- Больцмана
- Ферми
31
Принцип робастно-энтропийного оценивания
(задача функционального энтропийно-линейного программирования)
при ограничениях на
•
класс ПРВ
o нормированные
o интервальные
Базируется на методологических интерпретациях понятия информационной энтропии как меры
неопределенности. Ее максимизация гарантирует получение наилучших решений при максимальной
неопределенности. Поскольку информационная энтропия характеризуется неопределенностью, связанной не
только со случайными параметрами РМ, но и с шумами наблюдений, то последнее ее качество гарантирует
получение наилучших оценок для максимально неопределенных (в единицах энтропии) шумов. Таким
образом, получаемые в результате максимизации информационной энтропии оценки ПРВ можно трактовать
как робастные.
32
Структурные свойства энтропийно-робастных оценок ПРВ
Функции ПРВ – экспоненциального класса
РМ с неструктурированными
нелинейностями
линейная форма
параметров
РМ со структурированными
нелинейностями
степенная форма
параметров
33
Примеры ПРВ
линейная РМ
квадратичная РМ
линейно-квадратичная РМ
кубическая РМ
34
Балансовые уравнения
(определения множителей Лагранжа)
Вход
РМ
Выход
Балансовые
уравнения
Наблюдения
35
Вычислительная процедура
1. Преобразование балансовых уравнений
Интегральные
компоненты
Интегральные
компоненты
Преобразование
Баланс
Баланс
Функция невязки
36
Вычислительная процедура
2. Структура алгоритма (технология Монте Карло)
Вычисление
интегральных
компонент:
• Монте Карло
• Символьные
вычисления
• Квадратурные
формулы
СТОП
37
Параллельные технологии Монте Карло
Общая архитектура
• Данные состоят из большого количества
однотипных элементов
• Каждый элемент данных – вход программы,
реализующей требуемые вычисления
Вычислительное
устройство
Программа
Параллельное
выполнение
• Программа – одна, данных – много
• Вычислительное устройство запускает
экземпляры программы для каждого элемента
входных данных
• Экземпляры программы выполняются
параллельно
• Количество одновременно выполняемых
программ зависит от свойств вычислительного
устройства
• Такая схема эффективно масштабируется на
несколько вычислительных устройств
Варианты аппаратной реализации
•
•
•
•
Универсальный многоядерный процессор
Вычислительный кластер
Графический процессор
Суперкомпьютер
38
Аппаратно-программная структура алгоритма
Датчик случайных
чисел
Параллельное вычисление
интегральных компонент:
• Вычислительный кластер
• Графический процессор
• Символьные вычислители
Сравнение
СТОП
39
ПРИМЕР 2. Рандомизированная динамическая модель
1-й степени
Интервалы
для параметров
Интервалы
для шума
Матрица входа
Измерения
количество точек
40
ПРИМЕР 3. Рандомизированная динамическая модель
c неструктурированными нелинейностями 2-й степени
линейный
блок
квадратичный
блок
Интервалы для параметров
1
2
3
4
5
6
7
8
9
0,50
0,46
0,42
1,00
0,92
0,85
0,85
0,79
0,72
1,00
0,92
0,85
2,00
1,84
1,70
1,70
1,58
1,44
Интервалы для шума
Измерения
Матрица входа
- MATLAB
- Символьные вычисления (Symbolic Math Toolbox)
- Оптимизация «Trust-region dogleg» (Optimization
Toolbox)
41
ПРИМЕР 4. Рандомизированная динамическая модель
cо структурированными нелинейностями 2-й степени
линейный
блок
квадратичный
блок
Интервалы
для параметров
Интервалы
для шума
Матрица входа
Измерения
42
Технология прогнозирования
Обучение
Входные
данные
Прогнозирование
Тестирование
Выходные
данные
Алгоритм
обучения
Параметры
Входные
данные
Оптимальная
динамическая
модель
OM
Выходные
данные
Оценка
качества
модели
Начальные
состояния
Оптимальная
динамическая
модель
OM
Прогнозированные
состояния
Прогнозируемые
состояния
Динамическая
обучаемая
модель
LM
Ядром технологии количественного
прогнозирования является динамическая
модель, параметры которой
определяются алгоритмом обучения так,
чтобы реакция модели с реальным
входом приближалась к реальному
выходу на минимальное расстояние.
Результатом обучения являются
оптимальная, для реальных входных и
выходных данных, динамическая модель
(LM)
Тестирование оптимальной
динамической модели (OM)
производится на массивах реальных
входных данных путем сравнения
выходов, генерируемых моделью, с
реальными выходными данными.
При положительном результате
тестирования оптимальная модель
используется для прогнозирования. на
вход модели подается реальная
информация о текущем состоянии
объекта и модель генерирует прогнозные
состояния.
Для сравнения назначается
количественный критерий,
определяющий качество (адекватность)
модели.
43
Инструменты прогнозирования
Вероятностные
Рандомизированные
Модель с неслучайными параметрами
Модель со случайными параметрами
Вход
Плотность
вероятности
Выход
Динамическая
модель
Параметр
Выход
Вход
Ансамбли
случайных
траекторий
Наблюдения
Шум
Оценка
характеристик
модели
Данные Функционал
близости
Шум
Данные Функционал
близости
Оценка
Гипотезы
- нормальность
- генеральная
совокупность
Оценка
Прогнозирование
состояний
модели
Ансамбль траекторий
- средняя
траектория
- дисперсионная
трубка
-- доверительные
интервалы
44
Реализация рандомизированного прогноза (1)
Технология прогнозирования
Шум
Входные данные
Для прогноза
ПРВ
шума
Энтропийно-оптимальная
динамическая РМ
Генерация энтропийно-оптимальных случайных последовательностей (1)
(мультипликативная ПРВ-линейная РМ)
Преобразователь
Преобразователь
45
Реализация рандомизированного прогноза (2)
Генерация энтропийно-оптимальных случайных последовательностей (2)
(общая структура ПРВ-нелинейной РМ)
Процедура генерации
46
Рандомизированный прогноз с использованием линейной РМ
(пример 2)
ПРВ параметров
дисперсионная
трубка
траектория
с максимальной
вероятностью
средняя
траектория
ПРВ шума
Прогноз
0,48
0,35
0,26
0,31
0,48
0,55
0,50
0,47
0,32
0,27
0,48
0,35
0,26
0,31
0,48
0,55
0,50
0,47
МНК
47
СПАСИБО ЗА ВНИМАНИЕ
48