МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ

МАРКОВСКИЕ СЛУЧАЙНЫЕ ПРОЦЕССЫ
Рассмотрим случайный процесс ξ(t), t ∈ R+ = {t > 0}, с непрерывным временем. Будем считать, что каждая из случайных величин ξ(t) принимает значения из некоторого
конечного множества X = {x1 , . . . , xs }. Случайный процесс ξ(t) называется марковским,
если при любых n ∈ N и t1 , . . . tn , 0 6 t1 < t2 < · · · < tn , для случайных величин
ξ1 = ξ(t1 ), . . . , ξn = ξ(tn ) выполнено условие
P (ξn = xin | ξn−1 = xin−1 , . . . , ξ1 = xi1 ) = P (ξn = xin | ξn−1 = xin−1 ).
(M)
Условные вероятности P ξ(t + u) = xj | ξ(t) = xi называются вероятностями перехода;
всюду далее мы будем считать, что эти вероятности при любых i, j = 1, . . . , s зависят только
от u и не зависят от t (свойство однородности марковского процесса). Таким образом, мы
имеем матричнозначную функцию π(·) : R+ 7→ M(s), где M(s) — множество матриц размера
s × s, определяемую равенствами
πi,j (u) = P ξ(t + u) = xj | ξ(t) = xi ,
i, j = 1, . . . , s.
Для однородного марковского случайного процесса совершенно аналогично случаю цепи
Маркова (марковского процесса с дискретным временем) можно вывести свойство стохастичности марицы перехода
s
X
πij (t) = 1,
i = 1, . . . , s,
(1)
t > 0,
j=1
и основное уравнение, связывающее матрицы перехода, — уравнение Чепмена–Колмогорова:
(2)
π(t + u) = π(t)π(u).
При этом, разумеется, для любого t > 0
P (ξ(t) = xj ) =
s
X
ai πij (t),
(3)
j = 1, . . . , s,
i=1
где ai = P (ξ(0) = xi ), i = 1, . . . , s, — начальное распределение,
Ps
i=1 ai
= 1.
Рассмотрим поведение матрицы перехода при t → +0. Очевидно, что за бесконечно
малый промежуток времени [0, t), t → 0, система, скорее всего, не уйдет из того состояния, в котором находилась в момент времени t = 0. Математически это можно записать
как πi,j (t) → δi,j при t → 0 или, в матричной записи, π(t) → I при t → 0 (здесь и далее предельный переход для (s × s)-матриц мы понимаем как совокупность s2 предельных
1
переходов для каждой пары соответствующих матричных элементов), где I – единичная
(s × s)-матрица. В дальнейшем мы будем считать это условие выполненным.
Система уравнений Колмогорова.
Если посмотреть на уравнение (2) как на функциональное уравнение относительно
обычных функций действительных переменных, то легко увидеть его очевидное решение:
π(t) = eλt , откуда можно заключить,что π(·) удовлетворяет дифференциальному уравнению dπ/dt = λπ. Покажем, что аналогичное уравнение справедливо и для матриц перехода.
Докажем две леммы.
Лемма 1.
Пусть π(h) → I при h → +0. Тогда π(·) — непрерывная функция на всем множестве
t > 0, т. е. для любого t > 0
lim π(t + h) = π(t),
(4)
h→0
где предельный переход для матриц понимается как предельный переход для каждого
элемента матрицы.
Доказательство. При любом фиксированном t и при h > 0 имеем в силу уравнения
Чепмена–Колмогорова π(t + h) = π(t)π(h) → π(t). В самом деле, при h → +0
πij (t + h) =
s
X
πik (h)πkj (t) →
s
X
δik (h)πkj (t) = πij (t).
k=1
k=1
Другими словами, непосредственно из уравнения Чепмена–Колмогорова мы получили непрерывность справа матричнозначной функции π(·) при любом t > 0.
Непрерывность слева требует менее тривиальных рассуждений. Во-первых, отметим,
что det π(h) → det I = 1 при h → +0 (определитель — это непрерывная функция от элементов матрицы). Поэтому найдется ε > 0 такое, что det π(t) 6= 0 при 0 < t < ε. Для любого
t > 0 найдется n ∈ N такое, что t/n < ε, а тогда в силу уравнения Чепмена–Колмогорова
det π(t) = det π n (t/n) 6= 0,
поэтому для любого t > 0 матрица π(t) обратима.
Во-вторых, элемент обратной матрицы π −1 (h) записывается как частное алгебраического дополнения к транспонированной матрице π T (h) (т. е. опять же непрерывной функции
от элементов матрицы π(h)) и det π(h), причем при малых h > 0 определитель отличен от
нуля. Таким образом, при малых h > 0 элемент обратной матрицы π −1 (h) непрерывным
образом зависит от элементов матрицы π(h). Отсюда π −1 (h) → I при h → +0. Теперь для
t > 0 и 0 < h < t мы можем записать
π(t) − π(t − h) π(h) = π(t + h) − π(t),
π(t) − π(t − h) = π(t + h) − π(t) π −1 (h) → 0
2
при h → 0, что доказывает непрерывность слева и, следовательно, непрерывность матричнозначной функции π(·).
Для непрерывной функции πij (·) мы можем записать формулу среднего
Z
t+h
πij (u) du = h · πij (uij ),
uij ∈ [t, t + h],
t
следовательно, πij (uij ) → πij (t) при h → +0 и
1
π(t) = lim
h→+0 h
Z
t+h
(5)
π(u) du,
t
где интеграл от матричнозначной функции π(·) понимается как матрица, элементами которой являются интегралы от элементов матрицы π(·) (равенство (5) понимается, конечно,
как набор s2 равенств для каждой пары соответствующих элементов матриц).
Лемма 2.
Матричнозначная функция π(·) имеет правую производную в точке t = 0 т. е. существует постоянная матрица Λ такая, что
lim
h→0
π(h) − I
= Λ,
h
(6)
где предельный переход опять же понимается как предельный переход для каждого
элемента матрицы.
Доказательство. Пусть 0 < t1 < t2 . Рассмотрим матрицу
Z t2
J(t1 , t2 ) =
π(u) du.
t1
В силу (5) при t2 → t1 + 0
1
det J(t1 , t2 ) → det π(t1 ) 6= 0,
t2 − t1
поэтому det J(t1 , t2 ) 6= 0 при достаточно малой величине t2 − t1 > 0, следовательно, существует обратная матрица R(t1 , t2 ) = J −1 (t1 , t2 ).
Вновь воспользуемся уравнением (2) Чепмена–Колмогорова и запишем цепочку равенств
π(h) − I J(t1 , t2 ) = π(h) − I
=
=
Z
t2
Z
t2
π(u) du =
t2
π(u) du −
t2
π(h)π(u) du −
t1
t1
π(h + u) du −
t1
Z t2 +h
Z
Z
Z
t2
π(u) du =
π(u) du,
3
t2 +h
t1 +h
t1
t1 +h
t1
Z
Z
t2
π(u) du =
t1
π(v) dv −
Z
t2
t1
π(u) du =
справедливую для любых 0 < t1 < t2 и 0 < h < t2 − t1 . Возьмем теперь достаточно близкие
значения t1 , t2 , чтобы существовала обратная матрица R(t1 , t2 ). Тогда
!
Z
Z
1 t1 +h
1 t2 +h
π(h) − I
π(u) du −
π(u) du R(t1 , t2 ).
=
h
h t2
h t1
При h → +0 с учетом (5) получаем
π(h) − I
def
→ π(t2 ) − π(t1 ) R(t1 , t2 ) == Λ,
h
другими словами, существует матрица
Лемма доказана.
dπ π(h) − π(0)
=
Λ = lim
h→+0
h
dt .
(7)
t=0
Теперь мы можем завершить вывод искомых дифференциальных уравнений для матрицы перехода.
Теорема.
Матричнозначная функция π(·) при всех t > 0 удовлетворяет уравнениям
dπ
= Λπ(t) = π(t)Λ,
dt
(8)
где постоянная матрица Λ определена в лемме 2.
Доказательство. Для произвольных t, h > 0 имеем
π(h) − π(0)
π(h) − π(0)
π(t + h) − π(t)
=
π(t) = π(t)
,
h
h
h
откуда
lim
h→+0
π(t + h) − π(t)
= Λπ(t) = π(t)Λ.
h
(9)
Для завершения доказательства следует найти левую производную: с учетом уже исполь
зовавшегося нами уравнения π(t) − π(t − h) π(h) = π(t + h) − π(t), имеем
π(t) − π(t − h)
π(t + h) − π(t) −1
π(h) − I −1
=
π (h) = π(t)
π (h).
h
h
h
Переходим к пределу при h → +0, тогда π −1 (h) → I и
lim
h→+0
π(t) − π(t − h)
= π(t)Λ = Λπ(t),
h
(10)
где равенство Λπ(t) = π(t)Λ верно в силу правой части (9), таким образом, мы получаем
уравнения типа (9) для левой производной и тем самым уравнения (8). Теорема доказана.
4
Замечание. В доказательстве всех утверждений существенную роль играла конечность
множества состояний марковского случайного процесса (конечная размерность матрицы переходных вероятностей): она позволяла переходить к пределу внутри конечных сумм, при
вычислении детермината, при обращении матриц и т. д. В случае счетного числа состояний система уравнений Колмогорова также верна, но следует наложить на матрицы π(t)
дополнительные условия.
Пусть pj (t) = P (ξ(t) = xj ). Пользуясь системой уравнений Колмогорова, выведем дифференциальные уравнения для pi (t). Воспользуемся распределением (3):
!
s
s
s
X
X
πij (t + h) − πij (t)
pj (t + h) − pj (t)
1 X
ai
ai πij (t) =
ai πij (t + h) −
=
,
h
h
h
i=1
i=1
i=1
откуда с учетом уравнений (8) получаем
s
s
s
s
s
s
i=1
i=1
k=1
k=1
i=1
k=1
X
X
X
dpj (t) X dπij (t) X X
=
=
ai
ai
πik (t)Λkj =
Λkj
ai πik (t) =
Λkj P (ξ(t) = xk ),
dt
dt
где Λkj — элемент матрицы Λ, k, j = 1, . . . , s. Таким образом, мы имеем систему дифференциальных уравнений (их также называют уравнениями Колмогорова)
s
dpj (t) X
Λkj pk (t),
j = 1, . . . , s,
(11)
=
dt
k=1
P
с начальными условиями pj (0) = aj , sj=1 aj = 1, для функций pj (·), задающих распреде-
ление сечения марковского случайного процесса в произвольный момент времени t > 0.
Уравнения (11) можно записать и в другой форме. Учтем свойство (1) стохастичности
матриц перехода:
s
X
πij (t + h) −
s
X
πij (t) = 1 − 1 = 0
j=1
j=1
для любого i = 1, . . . , s, любого t > 0 и любого h, |h| < t. Отсюда
Ps
Ps
s
X
dπij (t)
j=1 πij (t + h) −
j=1 πij (t)
= lim
=0
h→0
dt
h
j=1
для любого i = 1, . . . , s. Подставим в это соотношение уравнения (8), получим
0=
s
X
dπij (t)
j=1
dt
=
s
s X
X
Λik πkj (t) =
j=1 k=1
s
X
k=1
Λik
s
X
πkj (t) =
j=1
где мы учли стохастичность (1) матрицы π(t). Таким образом,
P
i = 1, . . . , s, следовательно, Λjj = − k6=j Λjk и
s
X
Λik ,
k=1
Ps
k=1 Λik
s
= 0 для любого
X
X
X
dpj (t) X
Λkj pk (t) =
Λkj pk (t) + Λjj pj (t) =
Λkj pk (t) −
Λjk · pj (t).
=
dt
k=1
k6=j
k6=j
5
k6=j
Итак, наряду с (11) мы можем написать для любого j = 1, . . . , s
X
X
dpj (t)
=
Λkj pk (t) − pj (t)
Λjk ,
dt
k6=j
k6=j
pj (0) = aj .
6
(12)