(ТВиМС, 18.10.03) Семинар 7

(ТВиМС, 18.10.03) Семинар 7
Цепи Маркова 2
Пусть t (t=0, 1, 2,…) состояние однородной цепи Маркова в момент t. Положим pij(t)=P{t
= j| 0 =i}. Тогда (системы уравнений Колмогорова)
n
pij (t  s)   pik ( s ) p kj (t ), (i, j  1, n) .
k 1
Обозначим P(t) матрицу вероятностей перехода pij(t):
 p11 (t ) p12 (t ) ... p1n (t ) 


 p 21 (t ) p 22 (t ) ... p 2 n (t ) 
.
P(t )  
...
...
...
... 


 p (t ) p (t ) ... p (t ) 
n2
nn
 n1

Тогда P(t+s)=P(t) P(s), P(t)=Pt, где P=P(1) – матрица вероятностей перехода за один шаг..
t
Теорема. Если при некотором t0>0 все элементы матрицы P 0 положительны, то
существуют положительные пределы
lim pij (t )   j , j, i  1, n
t 
и не зависят от начального состояния. Предельные вероятности удовлетворяют системе
уравнений
n
 j    k p kj , j  1, n.
k 1
Распределение 1,…, n называется стационарным распределением.
Обозначим j(t) время пребывания, или число попаданий в состояние j, цепи Маркова за
время t. Будем говорить, что частота j(t)/t попадания в состояние j удовлетворяет закону больших
чисел, если для любого >0 при t
  (t )

lim P  i   i     1.
t 
 t

При изучении величины j(t) часто оказывается полезным ее представление в виде суммы:
j(t)= j(1)+ j(2)+…+  j(t),
где  j(s)=1, если в момент s (s= 1, t ) состоянием цепи было j, и  j(s)=0 в противном случае.
Задачи
1.В цепи Маркова с двумя состояниями 1 и 2 начальными состоянием является 1. Найти
вероятности переходов за два шага, если p12=1/3, p21=1/4. Ответ: p11(2)=19/36, p12(2)=17/36,
p21(2)=17/48, p22(2)=31/48.
2. Проверить, что последовательность независимых случайных величин 0, 1,…, образует цепь
Маркова. Найти в ней вероятности переходов за t шагов. Ответ: pkl(t)=pl, l,k= 1,3 .
3. Найти вероятности переходов за t шагов в цепи Маркова с двумя состояниями, если p12=,
p21=, 0<, <1.
 p (t ) p12 (t ) 
1     (1     ) t     
 

 

.
Ответ:  11
       
 p21 (t ) p22 (t )        
4. Найти стационарное распределение вероятностей цепи Маркова, определенной в задаче 1.
Ответ: 1=3/7.
5. Показать, что цепь Маркова с двумя состояниями и матрицей вероятностей перехода
0 1

P  
1 0
не имеет предельного распределения.
6. Найти стационарное распределение вероятностей для цепи Маркова с матрицей вероятностей
переходов
1 / 2 1 / 4 1 / 4 


P   0 3 / 4 1/ 4  .
 0 1/ 4 3 / 4 


Ответ: 1=0, 2=1/2, 3=1/2.
7. По целым точкам отрезка [0,n] движется частица. Из любой точки k (0< k<n) частица
независимо от прошлого движения переходит с вероятностью p в точку k+1 и с вероятностью q=1–
p в точку k–1. В точках 0 и n частица остается навсегда (поглощающее состояние).
a) Составить систему уравнений для вероятностей pk0(t) (k= 0, n ) и для вероятностей pkn(t)
(k= 0, n );
b) Составить уравнения для вероятностей поглощения  k 0  lim p k 0 (t ) ,  kn  lim p kn (t ) ;
t 
t 
c) Найти k0, kn при p=q=1/2.
Ответ: pk,i(t+1)=p pk+1,i(t)+q pk–1,i(t); k,i(t+1)=p k+1,i(t) + q k–1,i(t), k= 0, n , i=0,1; kn=k/n, k0=1–k/n.
8. Выразить через вероятности перехода pki(s) математическое ожидание и дисперсию числа j(t)
попаданий в состояние j цепи Маркова за время t, если начальным состоянием цепочки было k.
Указание: воспользоваться индикаторами.
t
t 1 t  v
s 1
v 1 u 1
Ответ: E j (t )   p kj ( s ) , D j (t )  E j (t )  2 p kj (v) p jj (u )  E j (t )  .
9. Для цепи Маркова t задачи 3 при 0=1 найти
1
1
a) E1(t); b) lim P E ( 1 (t ) |  0  1) ; c) lim P D( 1 (t ) |  0  1) .
t 
t


t
t
1  
Ответ:
где
E ( 1 (t ) |  0  1)  t 1  (1   1 )
(1  (1     ) t ) ,

 (2     )
.
(   ) 3
2
1 


;


;
Дополнительные задачи для желающих.
10. Помогите Шерлоку Холмсу расшифровать текст
11. Карл решил отправить Кларе шифрованную телеграмму. Каждой букве алфавита он приписал
числовое значение: букве А - 0, букве Б -1, ..., букве Я - 32. Затем он выбрал "секретное" слово и
приписал к нему справа текст исходного сообщения. Под каждой буквой исходного сообщения
Карл выписал сумму числовых значений этой буквы и k предыдущих букв, где k - длина
секретного слова. Наконец, каждая сумма заменялась буквой, числовое значение которой равно
остатку от деления этой суммы на 33. Получилось вот что:
СТДЖЬШЦМЁККЬЗЧЖСТГВСУГЖПЧЩИЫЬЪЙЮСАЪЧЧТБЬКЙБЛИЛЛСО
Какое сообщение послал Карл?