Марковские процессы Лямин Андрей Владимирович

Марковские процессы
Лямин Андрей Владимирович
Конечные автоматы
Конечным автоматом называется система
S={U, X, Y, f, g}, где U – входной алфавит,
X– алфавит состояний, Y – выходной
алфавит, f: UX – функция переходов, g:
UX – функция выходов.
Марковские процессы
• X = {x1, x2,…, xn}
• P( X k  x j / X 0  xs , X 1  xs ,..., X k 1  xi ) 
0
1
 P( X k  x j / X k 1  xi )  pij
• Свойства переходных вероятностей:
– pij > 0;
–
pij = 1.
j
Матрица
переходных вероятностей
G
p11
p12
p1n
p21
p22
p2 n
pn1
pn 2
pnn
Виды марковских процессов
• Дискретная марковская цепь
• Непрерывная марковская цепь
• Непрерывнозначный марковский процесс
Система массового обслуживания

P(n  k )  ak , k  0,1, 2,...,  ak  1
k 0
i  1  , i  1
j
 , i  0
a0 a1 a2 a3 a4
a0 a1 a2 a3 a4
G
0
a0
a1
a2
a3
0
0
a0
a1
a2
0
0
0
a0
a1
Матрица переходных
вероятностей за k-шагов
p j (k )  P( X k  x j )  p (k )  [ p1 (k ), p2 (k ),..., pn (k )]
pij (k )  P( X k  x j / X 0  xi )
pij (k )   P( X k 1  xs / X 0  xi ) psj   pis (k  1) psj
s
s
G (k )  G (k  1)G,
G (k  1)  G (k  2)G,
k

G
(
k
)

G



k
 p(k )  p(0)G

G (k  (k  2))  GG
Сообщающиеся состояния
• Если  xj и s: pij(s)>0 и для  k: pji(k)=0,
то xi - несущественное состояние.
• Если  s и k: pij(s)>0 и pji(k)>0, то
существенные состояния xi и xj
называются сообщающимися
Пример 1:
0
p
G
0
p
0
0
q 0
0 q
p q
0
0
p q
Неприводимая цепь Маркова
Пусть C класс состояний включающий в себя
существенное состояние xi и все состояния, с ним
сообщающиеся.
• Если класс C состоит из одного состояния xi, то
это состояние называется поглощающим.
• Если цепь Маркова состоит из одного класса
существенных сообщающихся состояний, то
она называется неприводимой.
Типы состояний

f j (k )  P( X k  x j , X k 1  x j ..., X 1  x j / X 0  x j ), F j   f j (k )
k 1
• Состояние xj называется возвратным, если
Fj=1.
• Состояние xj называется нулевым, если
pjj(k)0 при k.
• Состояние xj называется периодическим с
периодом dj, если возвращение в него
возможно только через кратное dj число шагов.
Пример 2:
p
0
G
0
0
p
0
q 0
0 q
p q
0
0
p q
Эргодическая цепь Маркова
• Цепь Маркова называется эргодической,
если существует предел pij(k)  pj при
k, который не зависит от i.
• Теорема. Неприводимая возвратная
непериодическая цепь Маркова является
эргодической.
Стационарное распределение
p11 (k )
p1n (k )
lim G (k )  lim G k  lim
k 
k 
k 
pn
pn
p1
pn

pn1 (k )
p1
p1
pnn (k )
p1
pn p11
p1n
p1
pn pn1
pnn
p11
p1n
pn1
pnn

p1
p1
pn
pn  p1
pn
Пример 3:
p1
p2  p1
p2
0.8 0.2
0.6 0.4
 p1  0.8 p1  0.6 p2
0  0.2 p1  0.6 p2


 p2  0.2 p1  0.4 p2
 0  0.2 p1  0.6 p2
0  0.2 p1  0.6 p2
 p  0.75 0.25

1  p1  p2

Непрерывные
марковские цепи
• Случайный процесс с непрерывным
временем называется непрерывной
марковской цепью, если поведение
системы после произвольного момента
времени t0 зависит только от состояния
процесса в момент времени t0 и не
зависит от поведения процесса до
момента времени t0 .
Процесс рождения и гибели
 Pi , j (t )  P( X (t  h)  x j / X (h)  xi )

 Pi ,i 1 (h)   i h  o(h) при h  0

 Pi ,i 1 (h)  i h  o(h) при h  0
 P (h)  1  (   )h  o( h) при h  0
i
i
 i ,i
 Pi , j (0)  i , j ,  0  0,  0  0, i  0,  i  0



k 0
k 0
Pi , j (t  h)   Pi ,k (h) Pk , j (t )   Pi ,k (t ) Pk , j (h)
Процесс рождения и гибели
 P0, j (t )   0 P0, j (t )   0 P1, j (t ),

 Pi , j (t )  i Pi 1, j (t )  ( i  i ) Pi , j (t )   i Pi 1, j (t )
 Pi ,0 (t )   0 Pi ,0 (t )  1 Pi ,1 (t ),

 Pi , j (t )   j 1 Pi , j 1 (t )  ( j   j ) Pi , j (t )   j 1 Pi , j 1 (t )
Граф состояний
0
0
1
1
1
2
2
2
3
3
Финальные вероятности
lim Pij (t )  p j , lim Pij (t )  0
t 
t 
 0 p0  1 p1  0
 j 1 p j 1  ( j   j ) p j   j 1 p j 1  0