Теория равновесных состояний Цепи Маркова

Лекция 11
Теория равновесных состояний
Цепи Маркова
1
Понятие случайного процесса
Случайные процессы – это протекающие во времени процессы переходов объекта случайного блуждания в некоторые наблюдаемые или прогнозируемые состояния – random walking.
Х – случайная величина, которая в разные точки может принимать различные значения.
Точки 1, 2, … 7 – сечения процесса
Что роднит эти 2 ломаные линии?
‐ То, что они принадлежат одному объекту случайного блуждания Общий «генетический код»
МП
монета – не кубик
Понятие случайного процесса ‐ это обобщение понятия случайной величины. Случайная величина соответствует случайному явлению «в статике», когда условия опыта не зависят от времени. Случайный процесс описывает явление «в динамике», т. е. в изменяющихся условиях опыта.
Пример: на величину валютного курса влияет огромное число факторов, которые зависят от 2
времени.
Задача о разорении игрока
Два игрока (казино) и (мы) перед началом игры имеют и монет.
Сначала игрок А подбрасывает монету, а игрок В должен угадать, упадет ли она «орлом» или «решкой». Если В угадывает, то выигрывает эту монету, если нет, то отдает свою. После этого игрок В подбрасывает монету, а игрок А угадывает, на тех же условиях.
Игра завершается, когда один из игроков проигрывает все монеты. Найти вероятность того, что у игрока А окажется монет, т. е. игрок В проиграет все свои монеты.
Решение
В процессе игры число монет , имеющихся у игрока , может колебаться от 0 до . Если 0, то игрок проиграл, и игра закончилась. Введем в рассмотрение случайный процесс , значения которого равны числу монет у игрока В в моменты времени t. Ясно, что t принимает значения t = 0, 1, ... i, ... , соответствующие номеру партии. Таким образом, возможные реализации случайного процесса выходят из точки с координатами (0, b) и заключены в «коридоре» между осью Оt и линией .
Обозначим вероятность того, что у игрока В имеется монет. В тогда, очевидно, что 0
1 у игрока В имеется 0монет и проиграл
0 у игрока В имеется (т. е. все монеты) и проиграть он не может.
Поскольку в состояние
монет игрок В мог попасть из предыдущих состояний 1или 1,гипотезы которых равновероятны, то запишем формулу полной вероятности:
1
1
1
1
2
2
3
Задача о разорении игрока
Выражение
1
2
И далее:
1
2
1
2
1
2
1
1
2
1
2
1
2
1
1
2
Теперь в столбик:
1
1
1
2
1
1
2
2
Просуммируем эти равенства, их всего: штук
3
…
1
Получим:
Если 1
2
1
1
можно переписать в виде
0
0
·
(игрок В выиграл), то мы помним, что тогда 0 1
1
Это означает, что
Следовательно
1
1
0‐ вероятность проиграть ·
Нас интересует значение этой вероятности при :
Если у казино (игрок А) 1000 монет, а у игрока В одна монета, то вероятность проигрыша 4
0,9990009, а выигрыша: 1 0,9990009 0,001
равна 1
Задача о разорении казино
1. Сколько нужно иметь монет, чтобы разорить казино )))
2. Сколько нужно иметь монет, чтобы с уверенностью 95% разорить казино
3. Каков должен быть размер собственного капитала, чтобы вероятность нехватки потока премий для осуществления текущего потока выплат была менее 5%?
5
Конечные цепи Маркова
Цепи Маркова – это случайные процессы, дальнейшее поведение которых зависит только от значения в настоящий момент времени и не зависит от
значений в предыдущие моменты времени: следующее число монет у игрока зависит только от текущего состояния, и неважно, сколько у него монет было несколько конов назад.
Конечные цепи Маркова – это случайные процессы, число состояний в которой ограничено естественными условиями, например, общим числом монет у игроков, или например, общим числом страхователей в городе. В конечных цепях процесс, добравшись до конечного состояния, прекращается. Конечные состояния процесса называются поглощающими. Подчеркнем, что для поглощающих состояний переход из состояния в состояние невозможен (т. е. уже состоялся, и цепь окончена), поэтому
1
1
Понятие матрицы перехода
Вероятности перехода
из состояния в состояние для цепи Маркова можно записать в виде квадратной матрицы, которая называется матрицей перехода:
…
…
… … … … …
6
Пример на построение матрицы перехода
Задача:
Постройте матрицу перехода для задачи о разорении игрока, если общее количество монет 3
Решение:
Сначала запишем общий формат матрицы:
1
Теперь запишем поглощающие состояния:
Имея 0 монет, игра не может начаться:
0
0
Поскольку кон не может закончиться вничью, то 1
0
0
0
0
0 и
Поскольку невозможно выиграть сразу 2 монеты, то
Возможные же переходы имеют вероятности 0,5: 0,5
Соберем все вместе: Вектор‐строка
0,5
0,5
0,5
1 0 0 0
0,5 0 0,5 0
0 0,5 0 0,5
0 0 0 1
– это вектор вероятностей цепи Маркова на шаге .
7
Теорема Маркова
Если имеется – вектор‐строка вероятностей значений случайной величины цепи Маркова на шаге , а также имеется матрица переходов , то вектор‐строка вероятностей распределения случайной величины на следующем шаге 1определяется соотношением:
– вектор‐строка вероятностей значений Аналогично, если имеется случайной величины цепи Маркова в начале процесса, а также имеется матрица переходов , то вектор‐строка вероятностей распределения случайной величины на шаге определяется соотношением:
8
Равновесное состояние и расчет равновесного распределения
Задача:
В городе имеется две страховые компании. Ежегодно страхователи (допустим, ОСАГО) либо остаются в старой компании, либо переходят в другую. Если страхователь застрахован в Первой компании, то он с вероятностью 0,7 в ней и останется. Страхователи Второй компании остаются в своей компании с вероятностью 0,6 и переходят в Первую с вероятностью 0,4. В базисном году страхователи были распределены по обеим компаниям поровну. Возможно ли предсказать, как распределятся страхователи по компаниям через, допустим, 6 лет? Если да, то каковы будут эти процентные соотношения?
Решение
Построим матрицу переходов:
Соберем все вместе: 0,7
0,3
0,7 0,3
0,4 0,6
Начальный вектор‐строка распределения страхователей 0,6
0,4
0,50,5
По теореме Маркова распределение страхователей после первого шага будет следующим: 0,7 0,3
0,50,5
0,5 · 0,7 0,5 · 0,40,5 · 0,3 0,5 · 0,6 ⇒
0,4 0,6
0,550,45
Очевидно:
0,50,5
0,7 0,3
0,4 0,6
Ответ:
МУМНОЖ массив1; массив2 … 6раз
0,57120,4288
За 6 лет доля компании В, если ничего не предпринимать, сократится с 50% до 42%
Третье золотое правило финансиста: нельзя не принимать управленческих решений
9
Стационарное распределение
Вероятности переходов страхователей из одной компании в другую задаются следующей матрицей переходов:
0,4 0,2
0,2 0,5
0,1 0,3
0,4
0,3
0,6
Определите конечный вектор стационарного распределения.
Решение
Для цепи Маркова при возрастании числа шагов вектор распределения вероятностей стремится к некоторому предельному значению, которое называется стационарным. Оно является решением системы уравнений:
·
В частности, в этом примере:
В общем случае:
⋯
1
1
1
⋯
…
⋯
1
1
2
5
4
3
4
0
0
0
0,2
0
0,4
0,5
1
0,3
17
;
59
,
0,3
0,6
1
20
;
59
,
0
0
22
59
,
Дальнейшее развитие темы: Деление страхователей на группы
и
Построение систем бонус‐малус (NCD систем)
11