Российский университет дружбы народов В.В. Рыков ТЕОРИЯ

Российский университет дружбы народов
В.В. Рыков
ТЕОРИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ
Конспект лекций
Москва, 2008
2
Настоящее издание представляет собой конспект лекций, читавшихся в течение ряда лет студентам специальности “Прикладная математика и компьютерное моделирование” Российского
государственного университета нефти и газа им. И.М. Губкина и студентам специальности “Теория вероятностей и математическая статистика” Российского университета дружбы народов.
Материал основан на традиционных курсах теории случайных процессов. Некоторой особенностью данного курса, ориентированного на студентов специальности “Прикладная математика
и информатика” является замена полных доказательств некоторых фундаментальных теорем их
комментариями, позволяющими уяснить особенности доказательства и обойти сложные громоздкие вычисления и показать наличие “тонких мест”, но не исследовать их досконально.
Основной единицей курса является параграф, поэтому нумерация формул, рисунков, таблиц,
теорем и т.п. своя внутри каждого параграфа. При ссылках на формулы из других параграфов
используется двойная нумерация. В конце каждого параграфа приведены вопросы для самоконтроля, упражнения, задачи и краткие библиографические комментарии.
Часть задач подготовлена В.А. Кокотушкиным, которому выражаю свою признательность. В
подготовке и оформлении текста большую помощь мне оказал Д.В. Козырев, которому приношу
свою особую признательность.
Глава 1.
Введение
§ 1.
1.1.
Основные понятия
Предмет теории случайных процессов. Примеры
Многие физические, технические, экономические, социальные и другие явления подвержены случайным изменениям. Поэтому наблюдения за ними - это наблюдения случайных величин или
случайно изменяющихся состояний. Аналогично теории вероятностей, теория случайных функций (или процессов) является математической дисциплиной, занимающейся изучением случайных
явлений, однако в отличие от первой она исследует эти явления в динамике, как изменяющиеся во
времени, пространстве или ином процессе. Как и в теории вероятностей динамические случайные
явления исследуются с помощью математической модели (Ω, F, P), где Ω — пространство элементарных событий ω, F — семейство наблюдаемых событий и P — вероятностная мера. Однако
в отличие от теории вероятностей элементарные события (или исходы эксперимента) являются
наблюдениями за динамически развивающимися случайными явлениями и первоначально возникают как абстракция непосредственных наблюдений за изучаемым явлением или возможных
состояний рассматриваемого объекта. Примерами таких наблюдений могут служить (в приводимых ниже примерах и далее через R обозначается числовая прямая R = (−∞, ∞)):
• последовательность ω = {xn , n = 1, 2, . . . } наблюдений за пробегом автомобиля, расходом
электроэнергии некоторого предприятия, дебитом нефтяной или газовой скважины и т.п.;
• моменты ω = {ti , i = 0, 1, 2, . . . } отказов некоторого технического устройства;
• число запросов ω = {n(t), t ∈ R}, ожидающих обработки в АСУ в зависимости от времени;
• мощность отраженного радиосигнала ω = {x(t), t ∈ R} в дальней космической связи или
отраженного импульса ω = {y(t, x), t ∈ R, x ∈ R3 } при геофизических исследованиях, измеренная в различных точках x = (x1 , x2 , x3 ) пространства R3 и времени t ∈ R;
• расположение частиц некоторой системы (например, центров месторождений полезных ископаемых) ω = {xi = (x1i , x2i , x3i ), i = 1, 2, . . . } в пространстве и.т.п.
Проблемы фактического задания случайных процессов и построения вероятностного пространства произвольного случайного процесса или, как говорят, его канонического вероятностного пространства будут рассмотрены в конце настоящего параграфа, в следующем разделе будет дано
формальное определение случайных функций, приведены их первичная классификация, терминология и введены основные обозначения.
1.2.
Определение и классификация случайных функций. Терминология
и обозначения
В отличие от теории вероятностей в теории случайных функций (с.ф.) изучаются семейства случайных величин (с.в.) X = {X(t), t ∈ T }, заданных на одном и том же вероятностном пространстве (Ω, F, P) и зависящих от некоторого параметра t, принимающего значения в данном
множестве T .
4
Глава 1. Введение
Определение 1.1. Семейство с.в. X = {X(t), t ∈ T }, заданных на одном и том же вероятностном пространстве (Ω, F, P), зависящих от некоторого параметра t из заданного множества T , и
принимающих значения в некотором другом фиксированном множестве E, называется случайной
функцией (с.ф.), при этом множество T называется параметрическим множеством, а множество
E — множеством значений с.ф.
Это определение оправдывается тем соображением, что если множество значений с.ф. совпадает с действительной прямой, E = R, то при заданном элементарном событии ω ∈ Ω отображение
x = X(ω) : T → R представляет собой функцию x = {x(t), t ∈ T } в обычном смысле, которая
называется реализацией случайной функции X = {X(t), t ∈ T }.
Параметр t ∈ T может принимать числовые значения из счетного или непрерывного множества
и иметь смысл времени, местоположения или принимать значения в более сложных множествах.
В связи с этим используются различные специальные понятия для случайных функций. Если
множество T = N = {0, 1, 2, . . . } представляет собой множество натуральных чисел, то X =
{X(n), n ∈ N} называется случайной последовательностью и обозначается X = {Xn , n ∈ N}. Если T является действительной прямой T = R = (−∞, +∞) или ее интервалом вида (a, b), [a, b),
(a, b] или [a, b], −∞ ≤ a < b ≤ +∞, и интерпретируется как время, то с.ф. X = {X(t), t ∈ T } называется случайным процессом (с.п.), при этом ее реализация называется траекторией с.п. Если
параметрическое множество T представляет собой многомерное, скажем, евклидово пространство
T = Rd или его подмножество, например, единичный куб T = [0, 1]d , то {X(t), t ∈ T } называется случайным полем. Возможны также параметрические множества более сложной структуры, например, T может быть системой всех борелевских подмножеств. d-мерного евклидова
пространства T = Rd . Счетно-аддитивная с.ф. X = {X(B), B ∈ Rd } с σ-алгеброй в качестве
параметрического множества называется случайной мерой.
Если c.в. X(t), t ∈ T принимают значения в d-мерном евклидовом пространстве Rd , то
X = {X(t), t ∈ T } называется случайной вектор-функцией (соответственно, случайной векторной
последовательностью, процессом, полем, мерой). В частности, если X(t) = (X (1) (t), X (2) (t)), то
с.ф. {Z(t), t ∈ T } с Z(t) = X (1) (t) + iX (2) (t) называется комплекснозначной (или комплексной)
с.ф.
В дальнейшем мы ограничимся в основном изучением случайных последовательностей и про1
цессов, т.е. будем предполагать, что T = N = {0, 1, . . . }, T = R+
= [0, ∞), T = R1 = (−∞, ∞).
Приведенное в начале данного раздела определение не конструктивно и мало что дает для
конкретного задания с.п. В следующем разделе рассмотрим один из способов конкретного задания
с.п., — конструктивное его построение, а в следующем параграфе приведем основной способ его
конкретного задания с помощью построения его канонического вероятностного пространства.
1.3.
Конструктивное построение случайных функций
Определение 1.2. Конструктивно заданной будем называть с.ф., функционально или алгоритмически определенную на заданном вероятностном пространстве (Ω, F, P). Для пояснения этого
понятия рассмотрим два примера.
Пример 1. Время жизни (исправной работы) сложного технического устройства зависит от многих факторов и может рассматриваться как случайная величина X. Если отказаться от исследования зависимости свойств с.в. X от различных производственных и эксплуатационных факторов и
предположить функцию распределения (ф.р.) F (·) с.в. X известной (например, из статистических
данных), то в качестве вероятностного пространства этой модели можно рассмотреть множество
неотрицательных действительных чисел Ω = R+ с борелевской σ-алгеброй R на нем в качестве
измеримых множеств F = R и вероятностной мерой P, определяемой как продолжение меры,
задаваемой на полуинтервалах ∆ = [0, x) соотношением
P(∆) = P([0, x)) = F (x).
При этом с.в. X, определяемая тождественным отображением X(ω) = X(x) = x, имеет исходное
§ 1. Основные понятия
5
распределение,
FX (x) = P{X < x} = P([0, x)) = F (x).
Построенное таким образом вероятностное пространство (Ω, F, P) назовем вероятностным пространством (или вероятностной моделью) с.в. X. Обозначим через X(t) остаточное время
жизни устройства, которое уже эксплуатируется в течение времени t. С.п. X = {X(t), t ∈ T },
определенный на T = R+ = [0, ∞) соотношением
X − t,
если t ≤ X,
X(t) =
0,
если t > X,
является конструктивно заданным и играет важную роль в теории надежности.
Пример 2. Рассмотрим затухающее колебание
0
f (x, y) =
ye−ϑx cos(λx)
при x < 0,
при x ≥ 0,
где λ > 0, ϑ > 0 — параметры, имеющие смысл частоты и декремента затухания рассматриваемого процесса. Пусть (X, Y ) — двумерный случайный вектор, заданный своим распределением
F (x, y). Например, X может быть случайным временем отклика сейсмического импульса, а Y —
его случайной амплитудой. Тогда с.п.
X(t) = f (t − X, Y )
описывает изменение во времени отклика на единичный сейсмический импульс.
1.4.
Дополнения
Вопросы для контроля.
1. Чем занимается теория с.п.?
2. Приведите собственные примеры элементарных событий при наблюдении за с.п.
3. Дайте определения:
а) случайной функции,
б) случайной последовательности,
в) случайного процесса,
г) комплексной случайной функции,
д) случайной меры,
е) случайного поля.
4. Что такое реализация с.ф. и траектория с.п. и чем они отличаются?
5. Что значит конструктивно построить с.ф.?
Упражнения.
1.
2.
3.
4.
Нарисуйте траектории с.п. X из примера 1.
Вычислите распределение остаточного времени жизни в момент t, Ft (x) = P{X(t) < x}.
Нарисуйте траектории процесса X в примере 2.
Вычислите распределение числа пересечений заданного уровня a процессом X из примера
2.
5. Пусть вероятностным пространством (Ω, F, P) является единичный отрезок с борелевской
σ-алгеброй и мерой Лебега, Ω = [0, 1], F = B[0, 1] , P = λ, а множество значений параметра также
есть отрезок T = [0, 1]. Пусть с.ф. X = {X(t, ω)} задана на этом вероятностном пространстве
соотношениями:
а) X(t) = 1{t≤ω} ,
б) X(t) = t1{t≤ω} ,
в) X(t) = t1{t≥ω} ,
г) X(t) = (t − 1)1{t<ω} ,
6
Глава 1. Введение
д) X(t) = |t − 1|1{t<ω} ,
е) X(t) = (t − ω)2 .
Нарисуйте реализации этих с.ф.
6. Пусть с.в. X задана своим распределением F (x), X ∈ F (x). Постройте траектории, вычислите ф.р. времени первого достижения заданного уровня c и числа пересечений этого уровня за
определенное время t для функций из предыдущего упражнения, если:
а) F (x) равномерное на отрезке [a, b] распределение,
б) F (x) показательное распределение с параметром λ,
в) F (x) нормальное распределение с параметрами µ, σ 2 .
7. ([23]) Пусть с.п. X(t) задан на вероятностном пространстве (Ω, F, P), где Ω = {1, 2}, F —
множество всех подмножеств Ω, а P приписывает вероятности 1/2 множествам {1} и {2}. Пусть
множество значений параметра t есть отрезок [0, 1] и X(t) = ωt. Найдите:
а) все реализации процесса X(t);
б) одномерное и n−мерные распределения процесса X(t).
8. ([23]) Пусть Y — с.в. с ф.р. F (x), t ∈ R. Найдите все конечномерные распределения с.п.
X(t) = Y + t.
9. Нарисуйте траектории с.п. X(t) = Y sgn (cos Y t) для с.в. Y из предыдущего упражнения.
Задачи.
1. С.п. X(t) определен формулой X(t) = min(Y, t), t > 0, Y — с.в., распределение которой
задано. Требуется:
1) описать множество траекторий;
2) найти ф.р. Ft (x) = P{X(t) < x};
3) найти числовые характеристики случайного процесса X(t) (математическое ожидание
MX(t) и дисперсию DX(t)), если:
а) С.в. Y имеет равномерное распределение на [0; a].
б) С.в. Y имеет экспоненциальное распределение с параметром λ.
в) Плотность
распределения (п.р.) с.в. Y равна
0,
x 6 0,
pY (x) =
2a
,
x > 0.
2
2
π(a +x )
г) П.р. с.в. Y равна
0,
x 6 0,
pY (x) =
a2 xe−ax , x > 0.
(В п. 3 ограничиться нахождением MX(t)).
д) Плотность
распределения с.в. Y равна
0,
x 6 1,
pY (x) =
(m − 1)x−m , x > 1, m > 1.
(В п. 3 ограничиться нахождением MX(t)).
е) Плотность
 распределения с.в. Y равна
x 6 0,
 0,
x2
pY (x) =
,
0
< x 6 a,
 a2
0,
x > a, a > 0.
§ 1. Основные понятия
7
2. Случайный процесс X(t) определен формулой X(t) = ln(1 + Y t), t > 0, Y — с.в., распределение которой задано (функция распределения Y равна GY (y). Требуется:
1) описать множество траекторий;
2) найти ф.р. Ft (x) = P{X(t) < x};
3) найти математическое ожидание MX(t) и дисперсию DX(t),
если случайная величина Y имеет равномерное распределение на отрезке [0, 1].
Библиографические замечания.
С основными понятиями теории случайных процессов можно познакомиться в любом учебнике
(см., например, [1] — [4], [16]). Изложение материала заимствовано отчасти из [13], [14].
8
Глава 1. Введение
§ 2.
2.1.
Каноническое вероятностное пространство
Конечномерные распределения
В этом пункте ограничимся для простоты исследованием случайных процессов, то есть случайных
функций, заданных на прямой, T = R 1 , с действительными значениями, E = R 1 = R. Общий случай анализируется аналогичным образом. Решение вопроса о построении с.п. в рассматриваемом
случае начнем с анализа понятия с.п. Пусть задан с.п. X = {X(t), t ∈ R}. Это значит, что для любых n, набора моментов времени t1 , t2 , . . . , tn и любых борелевских множеств B1 , B2 , . . . , Bn можно
вычислить (по крайней мере, в принципе) совместное распределение вектора (X(t1 ), . . . , X(tn )),
Pt1 ,...,tn (B1 , . . . , Bn ) = P{X(ti ) ∈ Bi , i = 1, n}
Определение 2.1. Семейство распределений Pt1 ,...,tn (B1 , . . . , Bn ) при всевозможных значениях
n, t1 , . . . , tn и B1 , . . . , Bn называется семейством конечномерных распределений (к.м.р.) процесса.
К.м.р. определяют конечномерные функции распределения (к.м.ф.р.):
Ft1 ,...,tn (x1 , . . . , xn ) = Pt1 ,...,tn ((−∞, x1 ), . . . , (−∞, xn )) .
Как функции распределения, функции Ft1 ,...,tn (x1 , . . . , xn ) монотонны по каждому из аргументов xi , i = 1, n, непрерывны справа по этим аргументам и принимают значения из отрезка [0, 1].
Кроме того, они обладают свойствами, содержащимися в следующей теореме.
Теорема 2.1. К.м.ф.р. с.п. обладают свойствами:
(1) симметрии: для любой подстановки индексов (i1 , i2 , . . . , in )
Fti1 ,...,tin (xi1 , . . . , xin ) = Ft1 ,...,tn (x1 , . . . , xn )
и
(2) согласованности:
Ft1 ,...,tn (x1 , . . . , xn−1 , ∞)
=
=
lim Ft1 ,...,tn (x1 , . . . , xn−1 , xn ) =
xn →∞
Ft1 ,...,tn−1 (x1 , . . . , xn−1 ).
Доказательство провести самостоятельно в качестве упражнения 1.
Замечание 1. К.ф.м.р. играют для с.п. ту же роль, что и ф.р. для с.в., — они содержат в себе,
как станет видно из дальнейшего, всю информацию о процессе.
Определение 2.2. С.п., к.м.р. которых совпадают называются эквивалентными.
2.2.
Теорема Колмогорова
Основной способ задания с.п. состоит в построении его канонического вероятностного пространства и опирается на теорему Колмогорова.
Теорема 2.2. [Колмогоров, [18]] Для всякого семейства ф.р., удовлетворяющих условиям симметрии и согласованности, существует вероятностное пространство (Ω, F, P) и с.п. X =
{X(t) t ∈ T } на нем такие, что заданные функции являются его семейством к.ф.м.р. Другими словами, всякое семейство симметричных согласованных ф.р. определяет с.п. однозначно
с точностью до эквивалентности.
§ 2. Каноническое вероятностное пространство
9
Комментарий. Строгое доказательство использует ряд фундаментальных фактов теории меры (таких, как теорему о продолжении меры); его можно найти в учебнике А.Д. Вентцеля [3], стр.
89-91. Здесь приведем лишь схему рассуждений.
В качестве пространства элементарных событий Ω рассмотрим множество всех функций ω =
{x(t)} : R → R, так что Ω = RR ; определим σ-алгебру F как σ-замыкание цилиндрических
множеств Ct1 ,...,tn (1 , . . . , n ) вида:
Ct1 ,...,tn (B1 , . . . , Bn ) = {ω = x(·) : x(ti ) ∈ Bi , ti ∈ R, Bi ∈ B, i = 1, n}.
Определим меру “простых цилиндров”
Ct ([a, b)) = {ω = x(·) : a ≤ xt < b}
соотношением P(Ct ([a, b))) = Ft (b) − Ft (a), распространим ее “естественным образом” на алгебру
всех цилиндрических множеств и определим вероятностную меру P на F как продолжение этой
меры.
Процесс X = {X(t), t ∈ T }, задаваемый координатным отображением X(t, ω) = X(t, x(·)) =
x(t), обладает указанными в теореме свойствами.
Определение 2.3. Построенное в теореме вероятностное пространство (Ω, F, P) называется каноническим вероятностным пространством с.п. Вычисленные по мере P математическое ожидание
и дисперсия обозначаются через M и D соответственно. Функции
σ 2 (t) = D[X(t)]
µ(t)
=
M[X(t)],
и
C(s, t)
=
M[(X(s) − µ(s))(X(t) − µ(t))]
называются функциями математического ожидания, дисперсии и ковариационной функцией процесса соответственно.
Чтобы продемонстрировать применение теоремы Колмогорова рассмотрим в качестве примера
гауссовский случайный процесс.
2.3.
Пример: гауссовский процесс
Важную роль во многих прикладных вопросах играют случайные функции, для которых семейство конечномерных распределений состоит из гауссовских (нормальных) распределений. Напомним, что векторная с.в. X = (X1 , . . . , Xn )0 имеет гауссовское распределение, если ее характеристи0
ческая функция f (s) = f (s1 , . . . , sn ) = Meis X представима в виде
f (s) = Meis
0
X
1
= exp{i~
µ0 s) − s0 Cs},
2
где s = (s1 , . . . , sn )0 , µ
~ = M[X] — n-мерные вектора и s0 X =
n
P
sj Xj обозначает скалярное
j=1
произведение векторов s и X. Здесь µ
~ = (µ1 , . . . , µn )0 ∈ Rn — вектор математических ожиданий
векторной с.в. X, а C = [cjk ] его ковариационная матрица, которая является неотрицательно
определенной вещественной симметричной матрицей с элементами
cjk = M[(Xj − µj )(Xk − µk )] = MXj Xk − µj µk .
Если ковариационная матрица C гауссовского случайного вектора X невырождена, то плотность
его распределения p(x) = p(x1 , . . . , xn ) можно записать в виде:
1
1
exp − (x − µ)0 C −1 (x − µ) ,
p(x) = p
2
(2π)n det C
где det C — определитель матрицы C, а C −1 — матрица, обратная C.
10
Глава 1. Введение
Определение 2.4. Вещественная случайная функция X = {X(t), t ∈ R} называется гауссовской, если все ее к.м.р. являются гауссовскими. При этом функция µ(t) = MX(t) называется его
функцией математического ожидания, а функция C(s, t) = M[(X(s) − µ(s))(X(t) − µ(t))] — его
ковариационной функцией.
В упражнениях 4, 5 следующего раздела предлагается доказать существование гауссовского
процесса и показать, что он задается двумя функциями — функцией математического ожидания
µ(t) и ковариационной функцией C(s, t).
2.4.
Дополнения
Вопросы для контроля.
1.
2.
3.
4.
5.
Дайте определение к.м.р. и к.м.ф.р.
Сформулируйте свойства к.м.ф.р.
Что такое эквивалентные с.п.?
Сформулируйте теорему Колмогорова.
Дайте определение гауссовского с.п.
Упражнения.
1. Докажите теорему 2.1.
2. Постройте вероятностную модель для процесса X из примера 1.2.
3. Вычислите меру двумерных цилиндров с прямоугольными основаниями в теореме Колмогорова.
4. Выпишите конечномерные плотности распределения гауссовского процесса по его функции
математического ожидания и ковариационной функции.
5. Проверьте условие симметрии и согласованности к.м.ф.р. гауссовского процесса.
6. Докажите существование гауссовских процессов.
7. Вычислите все двумерные распределения процесса для примера 1.1.
Задачи.
P1. Пусть Y1 , Y2 , . . . , Yn — совместно нормально распределенные с.в. Докажите, что с.п. X(t) =
Yi ϕi (t), где ϕi (t) — неслучайные функции, является гауссовским.
1≤i≤n
2. Докажите, что существует гауссовский процесс X = {X(t), t > 0}, у которого MX(t) = 0
и cov(X(s), X(t)) = min(s, t). Запишите двумерную плотность распределения этого с.п., который
называется стандартным винеровским процессом или процессом броуновского движения.
3. Для процесса X(t), определенного в задаче 2, найдите распределение приращений X(t) −
X(s).
4. Для процесса X(t), определенного в задаче 2, докажите, что приращения X(t) − X(s) и
X(u) − X(v) независимы при u < v < s < t.
5. Найдите n-мерную п.р. стандартного винеровского процесса, определенного в задаче 2.
Библиографические замечания. Теорема Колмогорова, которая и положила, фактически,
начало теории случайных процессов, была опубликована впервые в его книге “Основные понятия
теории вероятностей” в 1933 году (третье издание см. [18]). Теперь изложение этой теоремы содержится в любом учебнике по курсу теории случайных процессов (см., например, Вентцель [3] и
др.).
Глава 2.
Процессы восстановления
§ 3.
Случайные блуждания
Процесс восстановления тесно связан с последовательностью независимых одинаково распределенных (н.о.р.) с.в. — одной из наиболее простых моделей теории случайных процессов. Они
часто используются в прикладных исследованиях как для непосредственного описания различных случайных явлений, так и в качестве вспомогательных моделей для построения исходного
вероятностного пространства. Примерами таких моделей в прикладных задачах могут служить:
• интервалы между моментами отказов сложного оборудования в технических системах при
исследовании их надежности;
• потребление электроэнергии определенным потребителем за некоторые периоды времени;
• дебит нефти или газа скважины за отдельные периоды времени;
• изменение курсов валют, акций или иных ценных бумаг за отдельные периоды времени,
например, час, день и т.д и т.п.
Изучение процессов восстановления начнем с построения вероятностной модели н.о.р. с.в..
3.1.
Вероятностная модель последовательности н.о.р. с.в.
Рассмотрим последовательность н.о.р. с.в. Xn , n = 1, 2, . . . с распределением F (x), что будем обозначать выражением Xn ∈ F (x). Такую модель можно реализовать на вероятностном пространстве (Ω, F, P), которое является прямым произведением вероятностных пространств отдельных
с.в. Xn из примера 1.1 § 1.3, а именно Ω = R∞ с элементами ω = (x1 , . . . , xn , . . . ), F = R∞ , а мера
P определяется как продолжение меры, заданной на цилиндрах соотношением
Y
P{ω : ai ≤ xi < bi , i = 1, n} =
[F (bi ) − F (ai )].
1≤i≤n
Тогда последовательность, определенная на (Ω, F, P) с помощью координатного отображения
Xn = Xn (ω) = Xn (x1 , . . . , xn , . . . ) = xn
(3.1)
задает последовательность н.о.р. с.в. с заданным распределением F (x) (см. упражнение 1).
На этом же пространстве можно определить и другие случайные процессы.
3.2.
Случайные блуждания. Определение. К.м.р.
На построенном пространстве (Ω, F, P) определим теперь конструктивно другую последовательность с.в.
X
Sn =
Xi
(3.2)
1≤i≤n
Определение 3.1. Последовательность Sn , определенная соотношением 3.3 называется случайным блужданием.
Такие процессы часто встречаются в различных приложениях: в теории игр, страховании,
физических моделях и моделях финансовой математики. В качестве примера приведем простой
пример из теории азартных игр.
12
Глава 2. Процессы восстановления
Пример 1. Пусть случайные величины Xn принимают два значения +1 и -1 с вероятностями p
и q = 1 − p соответственно,
(
+1, с вероятностью p,
Xn =
−1, с вероятностью q = 1 − p.
Такие величины можно интерпретировать как выигрыш одного из игроков в отдельной игре при
игре двух лиц. Тогда последовательность Sn описывает динамику капитала этого игрока в процессе игры. Эта классическая модель используется в различных приложениях. Например, в рамках
этой модели описываются различные проблемы, связанные с поведением активов в финансовой
математике, разорением страховых компаний и т.п.
Последовательности н.о.р. с.в. и их суммы изучаются в курсе теории вероятностей. В следующем разделе приведены основные результаты из этого курса, которые затем будут дополнены
некоторыми траекторными свойствами случайных блужданий. В этом разделе вычислим к.м.ф.р.
этого процесса, которые устанавливаются в следующей далее теореме.
Теорема 3.1. К.м.ф.р. случайного блуждания рекуррентно определяются соотношением
Fn (x1 , . . . , xn ) ≡
=
P{S1 < x1 , . . . , Sn < xn } =
Zx1
Fn−1 (x2 − u, . . . , xn − u)dF (u).
(3.3)
−∞
Доказательство. Используя непрерывный вариант формулы полной вероятности для n = 2
имеем
F2 (x1 , x2 )
P {S1 < x1 , S2 < x2 } = P {X1 < x1 , X1 + X2 < x2 } =
Zx1
=
P {X1 < x1 , X1 + X2 < x2 |X1 = u } dP {X1 < u} =
=
−∞
Zx1
Zx1
P {X2 < x2 − u} dF (u) =
=
−∞
F (x2 − u) dF (u).
−∞
Доказательство завершается по индукции (см. упражнение 3).
3.3.
Предельные теоремы для случайных блужданий
В настоящем разделе приводятся без доказательства известные из курса теории вероятностей предельные теоремы для сумм н.о.р. с.в. — закон болшьших чисел (ЗБЧ) и центральная предельная
теорема (ЦПТ)). Обозначим через MXn = µ, DXn = σ 2 математическое ожидание и дисперсию
соответственно с.в. Xn . Напомним, что сходимость по вероятности означает что для любого ε > 0
1
P Sn − µ > ε −→ 0,
n→∞
n
в то время как сходимость с вероятностью 1 (или почти наверное) определяется соотношением


 \ [ \ 1
1 
Sk − µ ≤
= 1.
P
k

l 
n≥1 k≥n l≥1
§ 3. Случайные блуждания
13
Теорема 3.2 (ЗБЧ). При µ < ∞ имеет место сходимость по вероятности
lim
n→∞
1
Sn = MX1 = µ.
n
Если, кроме того, σ 2 < ∞, то соответствующая сходимость имеет место почти наверное. Скорость сходимости определяется ЦПТ.
Теорема 3.3 (ЦПТ). Если µ < ∞, σ 2 < ∞, то
lim P
n→∞
3.4.
Sn − nµ
√
≤x
σ n
1
= Φ(x) = √
2π
Zx
e−
u2
2
du.
∞
Дополнения
Вопросы для контроля.
1. Дайте определение случайного блуждания, приведите дополнительные примеры случайных
блужданий.
2. Приведите собственные примеры случайных блужданий.
3. Вспомните доказательства теорем 2 и 3 из курса теории вероятностей.
4. Как рекуррентно определить конечномерные распределения случайного блуждания?
Упражнения.
1. Докажите, что определенная соотношением (3.1) последовательность образует последовательность н.о.р. с.в. с распределением F (x).
2. Найдите распределение с.в. Sn из примера 1.
3. Закончите доказательство теоремы 3.1.
4. Вычислите вероятность разорения первого игрока к моменту t в примере 3.1, если его начальный капитал равен a.
Библиографические замечания.
Последовательности н.о.р. с.в. изучаются в курсе теории вероятностей, где содержатся также
соответствующие предельные теоремы (см., например, [1], [8]). Дальнейшие свойства случайных
блужданий можно найти, например, в [29].
14
Глава 2. Процессы восстановления
§ 4.
4.1.
Процессы восстановления
Определение
Пусть (Ω, F, P) — вероятностное пространство для последовательности н.о.р. с.в. Xn с функцией
распределения F (x), определенное в разделе 3.1. Предположим дополнительно, что эти величины
строго положительны, т.е.
1 − F (0) = P(Xn ≥ 0) = 1 и F (+0) = 0
и положим Sn =
Pn
i=1
(4.1)
Xi .
Определение 4.1. Процесс N (t), определенный соотношением
N (t) = max{n : Sn ≤ t},
t ∈ R+
(4.2)
называется (простым) процессом восстановления. Наряду с простым процессом восстановления
полезно рассмотреть его обобщение, — общий процесс восстановления, или процесс восстановления с запаздыванием (задержкой), который отличается от простого тем, что первая из величин
последовательности Sn имеет отличное от всех остальных распределение F1 (x),
F1 (x) = P{X1 < x}.
Процесс восстановления называется стационарным (смысл этого определения станет ясным позже), если распределение F1 (x) имеет специальный вид, для которого введем специальное обозначение
Zx
1
(1 − F (u)) du.
(4.3)
F1 (x) = F̂ (t) =
µ
0
Определение 4.2. Процесс восстановления называется дискретным, если определяющие его с.в.
Xn имеют дискретное распределение. Напомним, что дискретным называется распределение F (t),
сосредоточенное в точках xk = k∆, при этом максимальное из этих значений ∆ называется шагом
распределения.
Замечание 1. Понятие процесса восстановления пришло из теории надежности, где с.в. Xn трактуются как “длительности жизни” элементов, при этом предположение 4.1 означает положительность этих величин. 1 В связи с указанной трактовкой величины Sn представляют собой длительность жизни последовательно заменяемых n элементов, а N (t) — число элементов, необходимых
для поддержания работоспособности системы в течение времени t (число восстановлений (замен)
отказавших элементов).
Траектории процесса восстановления напрерывны справа и имеют вид, представленный на
рис. 4.1.
4.2.
Распределение числа восстановлений
Обозначим через pk (t) распределение числа восстановлений за время t,
pk (t) = P{N (t) = k}.
(4.4)
Лемма 4.1. Справедливо представление
pk (t) = P{N (t) = k} = P{Sk < t ≤ Sk+1 }.
(4.5)
1 Иногда полезно рассматривать процессы восстановления с неотрицательными интервалами. Однако такие процессы можно рассмотреть в рамках процессов накопления (см. ниже раздел 6.3).
§ 4. Процессы восстановления
15
N(t)
n
n -1
S 1 S2
Sn - 1
Sn
t
Рис. 4.1. Траектория процесса восстановления N (t).
Доказательство. События {N (t) = k} и {Sk < t ≤ Sk+1 } эквивалентны, т.е. {N (t) = k} ⇐⇒
{Sk < t ≤ Sk+1 }. Таким образом, так как существует тождество между событиями, то справедливо
равенство (4.5) между их вероятностями.
Лемма 4.2. Справедливо представление
P {Sk < t ≤ Sk+1 } = P{Sk < t} − P{Sk+1 < t}.
(4.6)
S
Доказательство. Эквивалентность событий {t ≤ Sk } {Sk < t ≤ Sk+1 } и {t ≤ Sk+1 } и несовместимость двух первых из них влечет равенство
P {t ≤ Sk } + P {Sk < t ≤ Sk+1 } = P{t ≤ Sk+1 },
откуда используя вероятности дополнительных событий получим утверждение леммы.
Лемма 4.3. Справедливо представление
P{Sk < t} − P{Sk+1 < t} = F ∗k (t) − F ∗(k+1) (t) = (1 − F ) ∗ F ∗k (t),
(4.7)
где свертки F (∗k) (t) функции F (t) определяются рекуррентно соотношением
F
(∗1)
(t) = F (t), . . . , F
(∗n)
Zt
(t) =
F (∗(n−1)) (t − u) dF (u),
(4.8)
0
и для 0-свертки F (∗0) (t) любой функции F (t) имеет место представление
F (∗0) (t) = Θ(t) = 1{t≥0} .
Доказательство следует из известного из курса теории вероятностей факта о том, что распределением суммы независимых с.в. является свертка их распределений.
Объединяя леммы 1 — 3 получим следующее утверждение.
Теорема 4.1. Одномерное распределение числа восстановлений процесса восстановления задается формулой
pk (t) = P{N (t) = k} = (1 − F ) ∗ F ∗k (t). (4.9)
16
Глава 2. Процессы восстановления
4.3.
Производящая функция числа восстановлений
Часто оказывается удобнее вычислять характеристики процесса восстановления с помощью его
производящей функции (ПФ)
X
p(z, t) = Mz N (t) =
z k pk (t),
0≤k≤∞
или ее преобразования Лапласа (ПЛ)
Z∞
p̃(z, s) =
e−st p(z, t) dt.
0
Переходя в формуле (4.7) к ПФ, а затем к ПЛ и имея в виду, что ПЛ свертки равно произведению ПЛ, а ПЛ распределения положительной с.в. связано с его ПФ (преобразованием ЛапласаСтилтьеса (ПЛС) распределения) соотношением
Z∞
F̃ (s) =
e
−st
1
F (t) dt =
s
Z∞
0
e−st dF (t) − F (0) = f˜(s) − F (0),
0
и учитывая, что в силу предположения (4.1) F (0) = 0, найдем
Z∞
p̃(z, s)
=
e
−st
Z∞
p(z, t) dt =
0
=
e−st
0
X
z k (1 − F ) ∗ F ∗k (t) dt =
0≤k<∞
1
1 − f˜(s)
.
z k (1 − f˜(s)) f˜k (s) =
s
s(1 − z f˜(s))
0≤k≤∞
X
(4.10)
Зафиксируем этот результат в виде теоремы.
Теорема 4.2. ПЛ ПФ числа восстановлений определяется формулой (4.10).
В общем случае это выражение можно использовать для вычисления моментов числа восстановлений или его асимптотического анализа. Однако, иногда (хотя и не часто) путем его обращения и разложения удается получить явные выражения для распределения вероятностей числа
восстановлений. Продемонстрируем это на примере пуассоновского процесса.
4.4.
Пример. Пуассоновский процесс
Рассмотрим процесс восстановления с показательно распределенными длительностями безотказной работы мгновенно восстанавливаемых элементов.
F (x) = 1 − e−λx , x ≥ 0.
(4.11)
Прямые вычисления по формуле свертки показывают, что распределение момента n -го восстановления Sn при этом задается формулой
P{Sn < t} ≡ F (∗n) (t) = 1 − e−λt
n
X
(λt)k
k=0
k!
.
(4.12)
Для вычисления распределения числа восстановлений воспользуемся формулой (4.10). Имея в
виду, что ПФ показательного распределения равна
f˜(s) =
Z∞
0
e−st λe−λt dt =
λ
s+λ
§ 4. Процессы восстановления
17
из формулы (4.10) найдем
p̃(z, s) =
1 − f˜(s)
1
=
.
˜
s + λ(1 − z)
s(1 − z f (s))
Используя единственность обращения преобразования Лапласа из последней формулы имеем
p(z, t) = e−λ(1−z)t .
Наконец раскладывая последнее выражение в ряд Тейлора по степеням z для распределения числа
восстановлений получим выражение
pn (t) = e−λt
(λt)n
.
n!
(4.13)
Таким образом, распределение числа восстановлений процесса восстановления с показательно распределенными интервалами между моментами восстановления имеет пуассоновсое распределение,
что оправдывает следующее определение.
Определение 4.3. Процесс восстановления называется пуассоновским, если определяющие его
с.в. имеют показательное распределение (13.6)
4.5.
Дополнения
Вопросы для контроля.
1. Дайте определение процесса восстановления. Какая разница между простым, общим и стационарным процессами восстановления?
2. В каких соотношениях используется условие положительности интервалов Xn между восстановлениями.
3. Какой физический смысл имеют процессы восстановления в теории надежности?
4. Нарисуйте траектории типичного процесса восстановления.
5. Покажите как связан процесс восстановления с соответствующим случайным блужданием.
6. Какой процесс восстановления называется пуассоновским?
7. Дайте определение дискретного процесса восстановления.
Упражнения.
1. Докажите соотношение
N (t) = n тогда и только тогда, когда
Sn ≤ t < Sn+1 .
2. Используя эквивалентность событий {Nt = k} и {Sk ≤ t < Sk+1 } и формулу свертки для
распределения суммы н.о.р. с.в., покажите, что распределение числа восстановлений процесса
восстановления задается формулой (4.6)
pn (t) = P{N (t) = n} = (1 − F ) ∗ F ∗n (t).
3. Используя необходимые сведения из курса теории вероятностей и переходя в соотношении
(4.6) к ПФ, а затем к ПЛ, выведите формулу для ПЛ ПФ распределения числа восстановлений
общего и стационарного процессов восстановления.
4. Очевидно, что скачки дискретного процесса восстановления могут иметь место только в
моменты кратные точкам роста распределений определяющих его величин. Поэтому при исследовании характеристик дискретных процессов восстановления вместо ф.р. моментов скачков процесса восстановления удобнее пользоваться соответствующими распределениями, выражающимися с
18
Глава 2. Процессы восстановления
помощью дискретных сверток распределений интервалов между восстановлениями, а вместо ПЛ
ПФ процесса — соответствующими s-преобразованиями,
X
p̃(z, s) =
sk p(z, k).
0≤k≤∞
Выведите формулу для распределения числа восстановлений дискретного процесса восстановления.
5. Выведите формулу для ПФ числа восстановлений дискретного процесса восстановления и
ее s-преобразования.
6. Процесс восстановления называется вырожденным (обрывающимся, или конечным), если
распределение F (·) вырожденное. Докажите, что для вырожденного процесса
lim N (t) < ∞
t→∞
по вероятности, с вероятностью 1 и в среднем.
7. Выведите формулы и докажите теоремы восстановления для дискретных процессов восстановления.
8. Найдите ПЛ для следующих функций:
а) f (t) = e−λt ;
б) f (t) = sin(at);
в) f (t) = t.
Задачи.
1. Пусть 0 < S1 < S2 < · · · — положения точек пуассоновского процесса с интенсивностью
λ, заданного на [0, ∞). Каждая из точек удаляется с вероятностью p (0 < p < 1), независимо от
остальных. Полученный таким образом процесс называется p-прореженным процессом. Докажите, что p-прореженный пуассоновский поток является пуассоновским и найдите его интенсивность.
2. ([3]) Рассмотрим с.п., X(t), который определяется следующим образом. На оси времени
0, t имеется стационарный пуассоновский (простейший) процесс N (t) с параметром λ. С.ф. X(t)
попеременно принимает значения +1 и −1; при наступлении каждого события она скачком меняет
свое значение с +1 на −1 или наоборот,
X(t) = (−1)N (t) .
Найдите характеристики MX(t), DX(t) и covX (s, t) случайного процесса X(t).
Библиографические замечания. Процессы восстановления первоначально начали изучать,
повидимому, в связи с задачами теории надежности, откуда они и получили свое наименование.
Обзор основных результатов теории восстановления можно найти в монографии [17].
§ 5. Функция и уравнения восстановления
§ 5.
5.1.
19
Функция и уравнения
восстановления
Функция восстановления
Одной из основных и наиболее важных характеристик процесса восстановления является его
функция восстановления.
Определение 5.1. Функцией восстановления называется математическое ожидание числа восстановлений,
H(t) = MN (t).
Если нужно особо подчеркнуть, что речь идет о простом, общем или стационарном процессах
восстановления, то их функции восстановления будем отмечать соответствующими индексами,
Hо (t), Hп (t) или Hс (t).
Для вычисления функции восстановления обозначим через U (t) ряд
X
U (t) =
F (∗n) (t),
(5.1)
n≥0
где свертки F (∗n) (t) функции F (t) определяются соотношением (4.8). С использованием этого
обозначения справедлива
Теорема 5.1. Для функций восстановления простого, общего и стационарного процессов восстановления справедливы представления
Hп (t) = F ∗ U (t),
Hо (t) = F1 ∗ U (t),
Hс (t) = F̂ ∗ U (t).
Доказательство. В силу совпадения событий (доказать, см. упражнение 1)
{N (t) ≥ n} = {Sn ≤ t}
(5.2)
имеем для общего процесса восстановления
X
X
Hо (t) = M[N (t)] =
nP{N (t) = n} =
P{N (t) > n}
n≥0
=
X
P{Sn ≤ t} = F1 ∗
n≥1
n≥1
X
F
(∗n)
(t) = F1 ∗ U (t),
(5.3)
n≥0
где последнее равенство следует из известного из курса теории вероятностей факта, что ф.р.
суммы независимых с.в. представляется в виде свертки ф.р. слагаемых. Подставляя теперь в последнее выражение F (t) или F̂ (t) вместо F1 (t) получим соответствующие выражения для простого
и стационарного процессов восстановления.
Заметим, что функция U (t) является функцией восстановления простого процесса восстановления с восстановлением в точке 0. Отметим два важных частных случая
Следствие 5.1. Если ф.р. F1 (t) и F (t) интервалов между восстановлениями имеют плотноRt
сти, F (t) = f (u) du, то функция восстановления H(t) также дифференцируема и ее производ0
ная h(t) = H 0 (t), называемая плотностью восстановления, представима в виде
X
hп (t) =
f (∗n) (t), hо (t) = f1 ∗ hп (t),
n≥1
(5.4)
20
Глава 2. Процессы восстановления
где для сверток плотностей используется формула
f
(∗n)
Zt
(t) =
f (∗(n−1)) (t − u) f (u) du.
0
Доказательство проводится обычным дифференцированием дифференцированием (см. упражнение 2).
Аналогичные соотношения имеют место для дискретных процессов восстановления, для которых вместо функции или плотности восстановления удобнее рассматривать “дискретную” плотность восстановления, которую определим соотношением
hk = H(k) − H(k − 1) k ≥ 1,
h0 = H(0),
(5.5)
где в случае необходимости соответствующие функции для простого, общего и стационарного
процессов восстановления будем отмечать теперь верхними индексами “(п)”, “(о)” и “(с)” соответственно. При этом для вычисления дискретной плотности восстановления необходимо пользоваться дискретной сверткой распределений, которая определяется формулой
X (∗(n−1))
(∗n)
fk
=
fk−i
fi .
0≤i≤k
Пусть задан дискретный процесс восстановления с дискретным распределением интервалов
Xn между восстановлениями
(1)
fk
= P{X1 = k},
fk = P{Xn = k},
n = 2, 3, . . . .
Следствие 5.2. Дискретная плотность восстановления дискретного процесса восстановления
представима в виде
(п) X (∗n)
(о)
(п)
hk =
fk , hk = f (1) ∗ hk .
(5.6)
n≥1
Доказательство провести самостоятельно в виде упражнения (см. упражнение 3).
При вычислении функции восстановления иногда удобно пользоваться ПЛ ее плотности (или
ПЛС функции восстановления)
Z∞
h̃(s) =
e
−st
Z∞
h(t) dt =
0
e−st dH(t)
0
или s-преобразованием дискретной плотности
X
h̃(s) =
sk hk .
0≤k≤∞
Переходя в соотношениях (5.4 ) и (5.6) к ПЛ и s-преобразованиям получим следующий результат.
Следствие 5.3. ПЛ плотности восстановления или s-преобразование дискретной плотнолсти
восстановления выражаются через ПФ с.в. в виде
h̃(s) =
f˜1 (s)
.
1 − f˜(s)
(5.7)
§ 5. Функция и уравнения восстановления
5.2.
21
Уравнения восстановления
Рассмотрим функцию U (t), определенную соотношением (5.1). Очевидно, она удовлетворяет уравнению
U (t) = 1t≥0 + F ∗ U (t).
(5.8)
Аналогичному уравнению удовлетворяет функция восстановления простого процесса восстановления
Hп (t) = F (t) + F ∗ Hп (t).
(5.9)
Заметим, кроме того, что между функциями восстановления общего и простого процессов восстановления имеет место простая связь
Hо (t) = F1 (t) + F1 ∗ Hп (t).
(5.10)
Ясно, что решения уравнений (5.8) и (5.9) имеют соответственно вид
X
X
F ∗n (t) = F ∗ U (t).
F ∗n (t), Hп (t) =
U (t) =
n≥0
n≥1
В приложениях теории восстановления часто приходится иметь дело с уравнениями относительно неизвестной функции G(t) вида
G(t) = B(t) + F ∗ G(t),
(5.11)
где B(t) — некоторая заданная функция, а F (t) — некоторое распределение вероятностей.
Определение 5.2. Уравнение вида (5.11) называется уравнением восстановления.
В настоящем разделе рассматривается вопрос о существовании и единственности решений
уравнений восстановления
Теорема 5.2. Если распределение F (t) собственное, т.е. F (∞) = 1, и не сосредоточено в нуле,
т.е. ∃ c > 0, 0 < p < 1 : 1 − F (c) > p, то решение уравнения (5.11) существует, единственно и
имеет вид
G(t) = B(t) ∗ U (t).
(5.12)
Доказательство. Полагая G0 (t) ≡ 0 методом последовательных приближений из соотношения
(5.11) получим
X
G1 (t) = B(t), . . . , Gn+1 (t) = B(t) ?
F ∗(i) (t).
(5.13)
0≤i≤n
Покажем, что последовательность Gn (t) равномерно сходится к своему пределу G(t) = B ∗ U (t).
Для этого мажорируем с.в. Xn независимыми Бернуллиевыми с.в. Be(c, p), принимающими значения 0 и c с вероятностями q = 1 − p и p соответственно, Xn ≤ Ben (c, p). Тогда для соответсвующих
сумм имеет место аппроксимация
Sn = X1 + · · · + Xn ≤ Bi(n; c, p) ≡ Bn
где Bn — биномиальная с.в. с параметрами n, c, p. Таким образом,
n
h x io
≈
F (n) (x) = P {Sn < x} ≤ P Bn ≤
c
r
Bn − np
x − npc
np
x
≈ P
≤
=Φ −
+ √
≤
√
√
npq
c npq
q
c npq
√
≤ e−α
n
с некоторым коэффициентом α, что показывает, что члены ряда (5.13) мажорируются числовым
сходящимся рядом, обеспечивающим его равномерную сходимость. Приведенные рассуждения
обеспечивают также единственность решения (5.12) уравнения (5.11) так как последовательные
приближения с любым другим начальным приближением приводят к тому же результату.
22
Глава 2. Процессы восстановления
5.3.
Теоремы восстановления
Одним из наиболее важных вопросов в приложениях процессов восстановления является исследование асимптотического поведения функции восстановления. В этом направлении элементарная
теорема восстановления утверждает, что
t
µ
H(t) ≈
при t → ∞.
Теорема 5.3 (Элементарная теорема восстановления). Если F (·) — собственное распределение,
F (∞) = 1 , то
H(t)
1
lim
= ,
(5.14)
t→∞
t
µ
R∞
где µ = MXn = xdFn (x) и следует положить µ−1 = 0, если µ = ∞.
0
Доказательство. В случае µ < ∞ используя лемму Фату найдем
µ−1 = M lim inf t−1 N (t) ≤ lim inf t−1 MN (t) = lim inf t−1 H(t).
t→∞
t→∞
t→∞
Для доказательства обратного неравенства,
µ−1 ≥ lim inf t−1 H(t),
t→∞
рассмотрим последовательность усеченных с.в. Xn0 = Xn ∧ c для некоторого c > 0 и отметим
штрихами соответствующие процессы случайного блуждания Sn0 и восстановления N 0 (t). Очевидно, что с вероятностью 1 N 0 (t) ≥ N (t) и, следовательно, H 0 (t) ≥ H(t). Используя равенство Вальда
M[SN (t) ] = M[N (t)]M[X] (см. задачу 5) имеем в силу M[SN (t)+1 ] ≥ M[SN (t) ]
lim sup t−1 H(t) ≤
t→∞
lim sup t−1 H 0 (t) ≤ lim sup
t→∞
≤ lim sup
t→∞
≤ lim sup
t→∞
0
M[SN
0 (t)+1 ]
t M[X
t→∞
0
0
M[SN
0 (t) + XN 0 (t)+1 ]
≤
t M[X 0 ]
0]
≤
1
t+c
=
,
0
t M[X ]
M[X 0 ]
0
откуда в силу limc→∞ MX = MX следует требуемое неравенство.
В случае µ = ∞ аналогичные рассуждения показывают, что
lim sup t−1 H(t) = 0.
t→∞
В случае, когда распределение имеет плотность, утверждение теоремы можно усилить.
Следствие 5.4. Если распределение F (.) абсолютно непрерывно (имеет плотность), то и функция восстановления дифференцируема, а для ее плотности h(t) = H 0 (t) в условиях теоремы 1
справедливо представление
1
h(t) →
µ
Доказательство не тривиально, но формально предел можно получить пользуясь тауберовой
теоремой [9]
lim h(t) = lim sh̃(s) = lim s
t→∞
s→+0
s→+0
f˜(s)
1
= .
˜
µ
1 − f (s)
Для формулировки дальнейших обобщений теорем восстановления напомним, что распределение F (t) называется арифметическим, если его точки роста сосредоточены на множестве tk = k∆,
причем максимальное из этих ∆ называется шагом этого распределения.
§ 5. Функция и уравнения восстановления
23
Теорема 5.4 (Блекуэлл). Если F (t) - неарифметична и µ < ∞, то
1
c
[H(t + c) − H(t)] =
t→∞ t
µ
lim
(5.15)
для любых c. Для арифметических распределений последнее утверждение справедливо для c
кратных шагу распределения ∆, c = l∆.
Доказательство этой теоремы требует привлечения тонких математических методов и выходит за рамки настоящего курса. Его можно найти, например, в монографии В. Феллера ([30],
т. 2, стр. 424, 428).
Наиболее общей формой теоремы восстановления является приводимая ниже узловая теорема
восстановления, или теорема Смита, которая справедлива в несколько более жестких условиях
интегрируемости, чем Римановы.
Определение 5.3. Функция g(x) называется непосредственно интегрируемой по Риману на R,
если разнорсть между ее верхней
X
ḡ(∆) = ∆
sup{g(x) : (n − 1)∆ ≤ x ≤ n∆},
1≤n≤∞
и нижней
X
g(∆) = ∆
inf{g(x) : (n − 1)∆ ≤ x ≤ n∆}
1≤n≤∞
интегральными суммами сходится к нулю при ∆ → 0, и ее верхняя интегральная сумма ограничена
для всех ∆.
Замечание 1. Несложно видеть, что всякая непосредственно интегрируемая по Риману функция
интегрируема в обычном смысле. Однако обратное утверждение неверно (см. задачу 8).
Теорема 5.5 (Узловая теорема восстановления, или теорема Смита). Если F (t) — неарифметична, µ < ∞ и g(.) — неотрицательная непосредственно интегрируемая по Риману функция,
то
Zt
Z∞
1
lim
g(t − u) dH(u) =
g(t) dt.
(5.16)
t→∞
µ
0
0
Для арифметических распределений соответствующее выражение следует заменить на
lim
n→∞
n
X
g(n − k)hk =
1X
g(n).
µ
(5.17)
n≥0
k=0
Доказательство. Выбирая произвольное, но фиксированное ∆ аппроксимируем функцию g(t)
сверху и снизу ступенчатыми функциями
ḡ(t) =
∞
X
ḡn 1{(n−1)∆≤t≤n∆} ,
n=1
g(t) =
∞
X
g n 1{(n−1)∆≤t≤n∆} ,
n=1
где ḡn = sup(n−1)∆≤t≤n∆ g(t), g n = inf (n−1)∆≤t≤n∆ g(f ). Очевидно, что для всех t выполняются
неравенства ḡ(t) ≤ g(t) ≤ g(t). В силу монотонности функции восстановления H(t) и неотрицательности g(t) имеют место неравенства
Zt
Zt
g(t − u) dH(u) ≤
0
Zt
g(t − u) dH(u) ≤
0
ḡ(t − u) dH(u).
0
Правая и левая части этого неравенства легко вычисляются и в силу теоремы Блекуэлла сходятся при t → ∞ к верхней и нижней интегральным суммам функции g(t), откуда в силу непосредственной интегрируемости функции g(.) следует утверждение теоремы.
24
5.4.
Глава 2. Процессы восстановления
Предельные теоремы для процессов восстановления
ЗБЧ и ЦПТ, приведенные в § 3 для случайных блужданий благодаря тождеству (5.2) между
событиями {N (t) ≥ n} и {Sn ≤ t} переносятся также на процессы восстановления.
Теорема 5.6 (ЗБЧ). Если µ < ∞, то для процесса восстановления имеют место ЗБЧ и УЗБЧ,
1
1
N (t) →
t
µ
(5.18)
по вероятности и с вероятностью 1.
Доказательство. Положим [t/µ] = r. Тогда в силу тождества (5.2) имеем
N (t)
1
t
− > ε = N (t) > + εt = {Sr+[εt] < t}
t
µ
µ
или полагая для простоты [εt] = l и продолжая прерванное равенство найдем
Sr+l
t
Sr+l
εµ2
−µ<
−µ =
−µ<−
.
r+l
r+l
r+l
1 + εµ
Так как r → ∞, l → ∞ при t → ∞ для любого ε > 0, то в силу ЗБЧ вероятность последнего события сходится к нулю, откуда следует, что и вероятность события слева в предыдущем равенстве
сходится к нулю. Аналогично получаем сходимость к нулю вероятности события
1
N (t)
− < −ε ,
t
µ
что вместе с предыдущим утверждением доказывает справедливость ЗБЧ для процесса восстановления.
Применение УЗБЧ к последовательности с.в. Sn показывает, что для процесса восстановления
справедлив также и УЗБЧ.
Аналогично предыдущим рассуждениям доказывается справедливость ЦПТ для процессов восстановления. Для этого потребуется вычисленное в задаче 1 значение дисперсии процесса восстановления.
Теорема 5.7 (ЦПТ). Если µ < ∞ и σ 2 < ∞, то распределение нормированных своими средним
значением и стандартным отклонением значения процесса восстановления равномерно сходится к стандартному нормальному распределению,
Zx
n N (t) − µ−1 t
o
u2
1
√
√ e− 2 du.
lim P
< x = Φ(x) =
−3
t→∞
σ tµ
2π
(5.19)
−∞
Доказательство провести самостоятельно (см. задачу 2).
5.5.
Дополнения
Вопросы для контроля.
1. Дайте определение функции и плотности восстановления процесса восстановления.
2. Как связана функция восстановления с распределением интервала между восстановлениями?
3. Укажите связь между функциями восстановления простого, общего и стационарного процессов восстановления.
§ 5. Функция и уравнения восстановления
25
4. Приведите уравнение для функции восстановления простого, общего и стационарного процессов восстановления.
5. Сформулируйте теорему о существовании и единственности решения уравнения восстановления.
6. Приведите аналоги функции и плотности восстановления для дискретного процесса восстановления.
7. Как выражается функция восстановления через распределение времени между восстановлениями?
8. Как ведет себя среднее число восстановлений при неограниченном росте временного интервала?
9. Какая функция называется арифметической?
10. При каком условии на функцию распределения случайных величин будет выполняться
теорема Блекуэлла?
11. Сформулируйте узловую теорему восстановления.
Упражнения.
1. Докажите эквивалентность событий (5.2) в теореме 5.1.
2. Докажите формулу (5.4) для вычисления плотности восстановления.
3. Докажите формулу (5.6) для вычисления дискретной плотности дискретного процесса восстановления.
4. Выведите формулу для s-преобразования дискретной плотности восстановления дискретного процесса восстановления.
5. Используя рассуждения, аналогичные
приведенным
в теореме 5.6, докажите сходимость к
o
n
N (t)
1
нулю при t → ∞ вероятности события
t − µ < −ε .
6. Закончите доказательство теоремы 5.1.
7. Проведите доказательство следствия 5.1..
Задачи.
1. Вычислите дисперсию DN (t) процесса восстановления.
2. Аналогично рассуждениям, использованным при доказательстве теоремы 5.6, докажите
справедливость ЦПТ для процессов восстановления.
3. Докажите ЗБЧ и УЗБЧ для дискретных процессов восстановления.
4. Докажите справедливость ЦПТ для дискретных процессов восстановления.
5. Докажите тождество Вальда, используемое в теореме 5.3.
6. Длительности Xn , n > 1, безотказной работы, определяющие процесс восстановления N (t),
равны Xn = Y1, n + Y2, n , где Yi, j , i = 1, 2, j > n — независимые в совокупности с.в., и Yi, n имеют
экспоненциальные распределения с параметрами λi . Найдите функцию восстановления H(t) и
плотность восстановления h(t) процесса восстановления N (t).
7. Длительность безотказной работы, определяющая процесс восстановления N (t), имеет плотность распределения
(
αλ1 e−λ1 x + βλ2 e−λ2 x
x ≥ 0,
f (x) =
0,
x < 0,
где α > 0, β > 0, α + β = 1, λi > 0, i = 1, 2. Найдите H(t) = MN (t) и плотность
восстановления h(t).
8. Покажите, что не всякая интегрируемая функция непосредственно интегрируема.
Библиографические замечания.
Исследованию ассимптотического поведения функции восстановления посвящена обширная
литература, сформировавшаяся в основном уже к середине прошлого века. Достаточно подробное
26
Глава 2. Процессы восстановления
освещение этих вопросов можно найти, например, в [17]. Приводимое здесь понятие непосредственно интегрируемой по Риману функции и доказательство теоремы Смита принадлежат Феллеру ([30], стр. 426). Более подробное изложение вопросов, относящихся к дискретным процессам
восстновления, содержится в ([29], стр. 314-320).
§ 6. Процессы, связанные с процессом восстановления
§ 6.
27
Процессы, связанные с
процессом восстановления
В этом параграфе рассматриваются некоторые процессы, связанные с процессом восстановления и его обобщения.
6.1.
Возраст и остаточное время жизни элемента
Рассмотрим случайные процессы функционально заданные на вероятностном пространстве исходного процесса восстановления соотношениями
Z − (t) = t − SN (t)
Z + (t) = SN (t)+1 − t.
и
Если интерпретировать процесс восстановления, как процесс (мгновенной) замены элементов, то
случайные величины Z − (t) и Z + (t) можно рассматривать, как возраст и соответственно остаточное время жизни используемого в момент времени t элемента.
Определение 6.1. Процессы Z − (t) и Z + (t) называются возрастом и остаточным временем до
восстановления процесса восстановления в момент времени t.
В качестве упражнения 1 предлагается нарисовать траектории процессов возраста и остаточного времени жизни элемента.
Представляет интерес исследование распределений с.п. Z − (t) и Z + (t). Для исследования распределения с.в. Z − (t) и Z + (t) обозначим через G± (t, x) — распределение соответствующих величин
на любом из интервалов Xi , i ≥ 1,
G± (t, x) = P{Z ± (Si−1 + t) < x, t ≤ Xi }
Здесь для простоты предполагается, что все интервалы, включая первый, распределены одинаково, т.е. рассматривается простой процесс восстановления. Замечание, касающееся общего случая,
см. в конце раздела.
Теорема 6.1. Распределения возраста и остаточного времени жизни имеют вид
P(Zt±
< x) =
G±
1 (t, x)
Zt
+
G± (t − u, x) dH(u),
(6.1)
0
где H(t) — функция восстановления, а распределения возраста и остаточного времени на отдельных интервалах G± (t, x) имеют вид
G− (t, x)
=
P{Z − (Si−1 + t) < x, t ≤ Xi } =
=
1{t < x} (1 − F (t));
(6.2)
и
G+ (t, x)
=
P{Z + (Si−1 + t) < x, t ≤ Xi } =
=
P{t < Ti ≤ t + x) = F (t + x) − F (t).
Доказательство. По формуле полной вероятности имеем:
X
P{Z ± (t) < x} = G±
P{Z ± (t) < x, Sk < t ≤ Sk+1 }.
1 (t, x) +
k≥1
(6.3)
28
Глава 2. Процессы восстановления
Воспользовавшись теперь формулой полной вероятности для непрерывных распределений
P во втором слагаемом и меняя порядок суммирования и интегрирования с учетом, что H(t) =
P(Sk ≤
k≥1
t), найдем
+
P{Z ± (t) < x} = G± (t, x) +
t
XZ
P{Z ± (t) < x, Sk < t ≤ Sk+1 | Sk = u}dP(Sk < u) =
k≥1 0
=
G±
1 (t, x)
Zt
+
G± (t − u, x) dH(u).
(6.4)
0
Формула (6.4) дает представление распределений с.п. Z + (t) и Z − (t) через их распределения на
отдельных случайных интервалах Xk , k ≥ 1. Так как на отдельном интервале Xk , то есть
совместно с событием {Sk−1 < t ≤ Sk }, для величин Z + (t), Z − (t) справедливы представления
Z − (Sk−1 + t) = t, Z + (Sk−1 + t) = Xk − t, то для G± (t, x) имеем:
G− (t, x) = P{Z − (Sk−1 + t) < x, t ≤ Xk } = 1{t < x} (1 − F (t));
G+ (t, x) = P{Z + (Sk−1 + t) < x, t ≤ Xk } =
= P{t ≤ Xk <≤ t + x) = F (t + x) − F (t).
Замечание 1. В общем случае для общего процесса восстановления для вычисления распределения G±
1 (t, x) на первом интервале в этих формулах следует заменить F (t) на F1 (t).
6.2.
Предельное распределение возраста и остаточного времени жизни
Рассмотрим асимптотику распределений с.п. Z ± (t) при t → ∞.
Теорема 6.2. Предельные распределения возраста и остаточного времени жизни существуют
и имеют вид
Zx
1
±
lim P(Z (t) < x) =
[ 1 − F (u) ] du
(6.5)
t→∞
µ
0
Доказательство. Так как
G±
1 (t, x)
≤ P{X1 ≥ t}, то очевидно, что при t → ∞ существует предел:
0 ≤ lim G±
1 (t, x) ≤ lim P{X1 ≥ x} = 0,
t→∞
t→∞
функции G± (t, x) удовлетворяют условиям узловой теоремы восстановления Смита. Поэтому су-
§ 6. Процессы, связанные с процессом восстановления
29
ществуют пределы:
1
lim P{Z (t) ≤ x} =
t→∞
µ
−
Z∞
1{t < x} (1 − F (t)) dt =
0
1
=
µ
lim P{Z + (t) ≤ x} =
t→∞
1
µ
Zx
(1 − F (t)) dt ;
0
Z∞
[F (t + x) − F (t)] dt =
0
Z∞
1
=
[(1 − F (t)) − (1 − F (t + x))] dt =
µ
0
=
1
µ
Zx
(1 − F (u)) du.
0
Замечание 2. Отметим, что предельные распределения возраста и остаточного времени жизни
элемента совпадают между собой и имеют вид распределения начального интервала стационарного процесса восстановления. Таким образом, стационарный процесс восстановления характеризуется тем, что наблюдение за ним начинается не в момент замены элемента, а в некоторый
“бесконечно далекий” момент времени.
6.3.
Альтернирующий процесс восстановления
Рассмотрим работу восстанавливаемой системы с учетом времени замен. Обозначим через F (x) и
G(x) ф.р. длительностей безотказной работы Xn0 и восстановления Xn00 соответственно.
F (x) = P{Xn0 < x}, G(x) = P{Xn00 < x}.
Поведение системы с точки зрения ее надежности можно представить с помощью случайного
процесса X = {X(t), t ≥ 0}, принимающего два значения 0 и 1,
(
0, если в момент времени t система исправна,
X(t) =
(6.6)
1, если она неисправна в этот момент времени.
Определение 6.2. Определенный соотношением (6.6) с.п. называется альтернирующим процессом восстановления.
В качестве упражнения 2 предлагается нарисовать траектории альтернирующего процесса восстановления.
Если предполагать, что в начальный момент система исправна, то ее отказы происходят в
моменты
X
0
0
S10 = X10 , S20 = (X10 + X100 ) + X20 , . . . , Sn+1
=
(Xi0 + Xi00 ) + Xn+1
,
1≤i≤n
а восстановления соответственно в моменты
00
S100 = X10 + X100 , S200 = (X10 + X100 ) + (X20 + X200 ), . . . , Sn+1
=
X
(Xi0 + Xi00 ).
1≤i≤n+1
Естественно, что число отказов и восстановлений при этом описывается процессом восстановления, определяемым последовательностью н.о.р. с.в. Xn = Xn0 + Xn00 с различными начальными
30
Глава 2. Процессы восстановления
интервалами. Если через f˜(s) и g̃(s) и обозначить ПФ длительностей безотказной работы и восстановления соответственно, то с учетом того, что ПФ суммы независимых с.в. равна произведению
ПФ слагаемых, ПЛ плотности восстановления такого процесса восстановления равно
h̃(s) =
f˜(s)g̃(s)
.
1 − f˜(s)g̃(s)
Используя это выражение можно вычислить и другие характеристики этого процесса. Вычислим,
в частности, вероятности состояний процесса в произвольный момент времени. Обозначим через
π0 (t) и π1 (t) вероятности состояний рассматриваемого процесса,
πi (t) = P{X(t) = i} (i = 0, 1).
Заметим, что в момент времени t система может находиться в исправном состоянии в том и только
том случае, если либо
а) до момента t не было отказов, либо
б) последний перед моментом t отказ произошел в момент u ≤ t, а после этого момента отказов
не было.
Тогда используя формулу полной вероятности для вероятностей состояний нетрудно вывести выражения
Zt
π0 (t) = P{0 ≤ t ≤ X1 } + P{t − u ≤ X1 }h(u) du.
(6.7)
0
Выражение для π1 (t) можно получить аналогичными рассуждениями или используя очевидное
соотношение
π0 (t) + π1 (t) = 1.
Переходя в соотношении (6.7) к ПЛ и учитывая, что ПЛ дополнительной функции распределения
1 − F (t) имеет вид
1 − f˜(s)
1^
− F (s) =
s
найдем
1 − f˜(s) 1 − f˜(s)
π̃0 (s) =
1 + h̃(s) =
.
(6.8)
s
s(1 − f˜(s)g̃(s))
Наконец, используя связь между асимптотическим поведением функции на бесконечности и ее
преобразования Лапласа в нуле, найдем
1 − f˜(s)
µF
=
.
s→+0 1 − f˜(s)g̃(s)
µF + µG
lim π0 (t) = lim s π̃0 (s) = lim
t→∞
6.4.
s→+0
(6.9)
Процесс накопления
В настоящем разделе рассматривается одно обобщение процесса восстановления, часто встречающееся в различных приложениях.
Определение 6.3. Рассмотрим последовательность двумерных н.о.р. с.в. (Xk , Yk ) : k = 1, 2, . . .
с положительной первой компонентой и совместным распределением F (x, y). Определим как и
ранее величины
X
Sn =
Xk , N (t) = max{n : Sn ≤ t}
1≤k≤n
и положим
Y (t) =
X
Yk .
1≤k≤N (t)
Определенный соотношением (6.10) случайный процесс называется процессом накопления.
(6.10)
§ 6. Процессы, связанные с процессом восстановления
31
Заметим, что если все Yk равны единице, Yk = 1, то процесс накопления Y (t) превращается в
уже рассмотренный ранее процесс восстановления, Y (t) = N (t).
Покажем теперь, что процесс восстановления с неотрицательными интервалами между восстановлениями сводится к некоторому процессу накопления с положительными интервалами между
ними. Пусть дана последовательность неотрицательных н.о.р. с.в. Xn с общей ф.р. F (t). Обозначим через p = F (+0) скачек ф.р. F (t) в нуле. Наличие такого скачка означает, что с вероятностью
p с.в. Xn принимают значение 0 и, следовательно, в силу их независимости, процесс N (t) совершает n ≥ 1 “мгновенных” скачков с вероятностью (1 − p)pn . Таким образом, процесс N (t) можно
представить как процесс накопления Y (t), величина скачков которого характеризуются с.в. Yn ,
имеющими геометрическое распределение с параметром p = F (+0).
Примеры применения.
1. Затраты на ремонт оборудования. Если с.в. Xk представляют собой интервалы между
отказами некоторого оборудования, а с.в. Yk — стоимость его ремонта, то процесс Y (t) описывает
затраты на ремонт оборудования в течении времени t.
2. Модель износа оборудования. Предположим, что отказ некоторого (механического) оборудования наступает в результате его износа (“усталости”), который накапливается в результате
воздействия вибрации (ударов), наступающих в моменты времени Sn с величиной удара Yn . Тогда процесс Y (t) представляет собой величину накопленного износа. Исследование таких моделей
представляет значительный интерес для решения вопросов планирования замен и предотвращения аварий технического оборудования.
3. Модель водохранилища. Если моменты Sn представляют собой моменты выпадения
осадков в бассейне некоторого водохранилища, а величины Yn — количество выпавших в момент
Sn осадков, то процесс Y (t) описывает количество поступившей в водохранилище воды. Если при
этом происходит (естественный, за счет испарения, или искусственный) отбор воды из водохранилища с интенсивностью c, то состояние водохранилища в момент времени t описывается процессом
Z(t) = Z0 + Y (t) − ct,
(6.11)
где Z0 — количество воды в водохранилище в некоторый начальный момент времени t0 .
Такие модели использовались для описания поведения естественных водохранилищ (озер и
внутренних морей), а также искусственных водохранилищ, нефтехранилищ и т.п.
4. Страховые компании. Если в предыдущей модели моменты Sn представляют собой моменты выплат страховых компенсаций (в связи с наступлением страховых событий), величины
Yn представляют собой величину страховых выплат, а постоянная c имеет смысл интенсивности
поступления страховых взносов (премий), то процесс
Z(t) = Z0 − Y (t) + ct,
аналогичный (6.11), описывает финансовое состояние (резервы) страховой компании с начальным капиталом Z0 . Изучение поведения таких процессов представляет собой одно из основных
направлений исследований в страховой математике.
5. Активы финансовой компании. Если моменты Sn представляют собой моменты наблюдения активов на рынке ценных бумаг, а величины Yn — приращения цены тех или иных ценных
бумаг, то процесс Y (t) описывает состояние активов компании. Модели такого типа исследуются
в финансовой математике.
На процессы накопления переносятся многие результаты теории процессов восстановления.
Приводимые далее обобщения приводятся для случая независимых компонент вектора (Xk , Yk ),
так что последовательности {Xk , k = 1, 2, . . . } и {Yk , k = 1, 2, . . . } предполагаются взаимно независимыми с распределениями F (x) = P{Xk < x} и G(y) = P{Yk < y} соответственно. Заметим,
32
Глава 2. Процессы восстановления
что приводимые ниже результаты допускают обобщения на случай зависимых компонент. Однако
получающиеся при этом формулы будут включать коэффициенты корреляции между компонентами вектора (Xk , Yk ) и оказываются значительно сложнее. В частности, если через
p̃(v, t) = Me−vZ(t)
обозначить (одномерную) ПФ процесса накопления Z(t), а через
˜ s) =
p̃(v,
Z∞
e−st p̃(v, t) dt
0
ее ПЛ, то имеет место представление (см. упражнение 3)
˜ s) =
p̃(v,
1 − f˜(s)
,
s[1 − g̃(v)f˜(s)]
(6.12)
где f˜(s) = Me−sXk и g̃(v) = Me−vYk — ПФ СВ Xk и Yk соответственно.
На процессы накопления распространяются ЗБЧ и ЦПТ. Обозначим
2
µX = MXk , µY = MYk , σX
= DXk , σY2 = DYk .
Тогда, можно показать (см. задачу 3), что
MY (t) = MN (t)µY = H(t)µY ,
DY (t) = H(t)σY2 + DN (t)µ2Y .
Теорема 6.3 (ЗБЧ). Если µX < ∞, µY < ∞, то по вероятности и с вероятностью 1 имеет
место сходимость
µY
1
Y (t) →
.
t
µX
2
Теорема 6.4 (ЦПТ). Если µX < ∞, µY < ∞ и, кроме того, σX
< ∞, σY2 < ∞, Распределение
(одномерное) процесса Y (t) асимптотически нормально






Zx
µY


Y (t) − µX t
u2
1
≤x = √
lim P r
e− 2 du.
t→∞
2
2 2


2π



 σX t + µY σ3 Y t
−∞
µX
µ
Y
Комментарий. Поскольку процесс накопления представляет собой сумму случайного числа
N (t) н.о.р. с.в. Yn , и так как N (t) неограниченно возрастает при t → ∞, то естественно ожидать,
что процесс Y (t) удовлетворяет ЗБЧ и ЦПТ. Строгое доказательство этих теорем носит технический характер и здесь не воспроизводится, — его можно найти, например, в [17].
Одним из важнейших вопросов при исследовании процессов накопления является вопрос о
пересечении уровня. В задаче об износе оборудования проблема пересечения уровня допустимой
усталости связана с моментом наступления отказа. В модели страховой компании пересечение
нулевого уровня процессом резерва означает “разорение” страховой компании. Проблема пересечения заданного уровня в моделях финансовой математики связана с изучением допустимого
“уровня риска” финансовых операций.
Обозначим через Tc момент первого пересечения процессом Y (t) уровня c. Обозначим, кроме
того, через q(t, c) и π(y, t) плотности распределения с.в. Tc и Y (t) соответственно. Рассмотрим
частный случай, когда величины Yn неотрицательны. Тогда из соотношения
{Tc > t} = {Y (t) < c},
§ 6. Процессы, связанные с процессом восстановления
33
обобщающего соответствующее соотношение для процесса накопления, следует, что
Z∞
Zc
q(x, c) dx =
t
π(y, t) dy.
0
Переходя в этом соотношении к ПФ
q̃(s, c) = Me−sTc ,
величин Tc и Y (t) найдем
1 − q̃(s, c)
=
s
p̃(v, t) = Me−vY (t)
Zc
p̃(y, s) dy,
0
или
Zc
q̃(s, c) = 1 − s
p̃(y, s) dy.
0
Повторное ПЛ теперь по c приводит к
˜ v) = 1 − s p̃(v,
˜ s).
q̃(s,
v v
˜ s) процесса найдем
Наконец, используя выражение (6.12) для ПЛ ПФ p̃(v,
˜
˜ v) = f (s)[1 − g̃(v)] .
q̃(s,
v[1 − f˜(s)]g̃(v)
К сожалению, полученная “явная формула” на практике мало эффективна, так как обратное
преобразование редко удается получить. Однако она позволяет получать моменты и проводить
асимптотический анализ.
6.5.
Регенерирующие процессы*
Тесно связанными с процессами восстановления являются так называемые регенерирующие процессы, которые находят широкое применение при решении различных прикладных задач. Рассмотрим случайный процесс Z = {Z(t), t ∈ R} и обозначим через FtX = σ{Z(s), s ≤ t} σ-алгебру
восстанавливаемых по траекториям процесса до момента t (наблюдаемых до момента t в связи
с процессом) событий. Пусть далее {Sn , n = 1, 2, . . . } — последовательность моментов времени,
связанных с процессом и не зависящих от его будущего, т.е. таких что
{Sn ≤ t} ∈ FtZ .
(6.13)
Определение 6.4. Связанный с процессом Z случайный момент времени T называется марковским моментом, если для него выполняется соотношение (6.13). Марковский момент T называется моментом регенерации процесса, если поведение процесса после этого момента не зависит от
его прошлого, т.е.
P{Z(T + t) ∈ B|FTZ } = P{Z(t) ∈ B}
(6.14)
Процесс называется регенерирующим, если у него существует бесконечная возрастающая последовательность {Sn , n = 1, 2, . . . } моментов регенерации.
Замечание 3. Обычно моментами регенерации являются моменты попадания процесса в некоторое состояние — состояние регенерации. Для процесса, заданного на всей числовой прямой,
можно показать, что если у него существует хотя бы один собственный момент регенерации, то
существует и целая последовательность таких моментов.
34
Глава 2. Процессы восстановления
Обозначим через Xn = Sn − Sn−1 интервалы между моментами регенерации и рассмотрим
последовательность случайных функциональных элементов Wn = {Z(Sn + t), t ≤ Xn+1 }. В силу определения регенерирующего процесса эти элементы образуют последовательность независимых одинаково распределенных случайных функциональных элементов. Распространение многих
свойств последовательности н.о.р. с.в. на последовательности независимых одинаково распределенных случайных элементов позволяет получить ряд общих полезных свойств регенерирующих
процессов. В частности, аналогично разделам 6.1. и 6.2. для регенерирующих процессов имеет
место представление одномерных вероятностей состояний через соответствующие распределения
на отдельных периодах регенерации и функцию восстановления.
Рассмотрим регенерирующий с.п. Z и обозначим через φ(t, B) — общее в силу однородности
распределение процесса на любом из интервалов (периодов) регенерации Xi , i ≥ 1,
φ(t, B) = P{X(Si−1 + t) ∈ B, t ≤ Xi }
Здесь для простоты предполагается, что все интервалы, включая первый, распределены одинаково, т.е. рассматривается простой регенерирующий процесс.
Теорема 6.5. Распределение регенерирующего процесса имеет вид
Zt
P(Z(t) ∈ B) = φ(t, B) +
φ(t − u, B) dH(u),
(6.15)
0
где H(t) — функция восстановления процесса восстановления, образованного моментами Sn .
Доказательство. По формуле полной вероятности имеем:
X
P{Z(t) ∈ B} = φ(t, B) +
P{X(t) ∈ B, Sk < t ≤ Sk+1 }.
k≥1
Воспользовавшись теперь формулой полной вероятности для непрерывных распределений
P во втоP(Sk ≤
ром слагаемом и меняя порядок суммирования и интегрирования с учетом, что H(t) =
k≥1
t), найдем
+
P{Z(t) ∈ B} = φ(t, B) +
t
XZ
P{Z(t) ∈ B, Sk < t ≤ Sk+1 | Sk = u}dP(Sk < u) =
k≥1 0
Zt
=
φ(t − u, B) dH(u).
φ(t, B) +
(6.16)
0
Формула (6.16) дает представление распределений с.п. Z(t) через их распределения на отдельных
случайных интервалах Xk , k ≥ 1.
Замечание 4. В общем случае для общего регенерирующего процесса распределение φ1 (t, B) на
первом интервале может отличаться от всех остальных.
Рассмотрим асимптотику распределений с.п. X(t) при t → ∞.
Теорема 6.6. Для регенерирующего процесса существует предельное (стационарное) распределение, которое имеют вид
lim P{X(t) ∈ B} =
t→∞
1
µ
Zx
φ(u, B) du.
0
(6.17)
§ 6. Процессы, связанные с процессом восстановления
35
Доказательство. Так как φ(t, B) ≤ P{X1 ≥ t}, то, очевидно, что при t → ∞ существует предел:
0 ≤ lim φ(t, B) ≤ lim P{X1 ≥ t} = 0,
t→∞
t→∞
функция φ(t, B) удовлетворяют условиям узловой теоремы восстановления Смита. Поэтому существует предел
Z∞
1
lim P{Z(t) ∈ B} =
φ(u, B) du.
t→∞
µ
0
Использование дискретных процессов восстановления позволяет перенести эти результаты на
дискретные регенерирующие процессы. Мы воспользуемся этими результатами в дальнейшем при
исследовании марковских цепей в следующей главе и марковских и полумарковских процессов в
главе 4.
6.6.
Дополнения
Вопросы для контроля.
1. Дайте определения и нарисуйте траектории возраста и остаточного времени до восстановления.
2. Сформулируйте теорему о предельном распределении возраста и остаточного времени до
восстановления.
3. Какими общими свойствами обладают одномерные предельные распределения возраста и
остаточного времени жизни?
4. Дайте определение процесса накопления.
5. Дайте определение альтернирующего процесса восстановления.
6. Какой процесс восстановления называется стационарным и почему?
Упражнения.
1. Нарисуйте траектории процессов возраста и остаточного времени жизни.
2. Нарисуйте траектории альтернирующего процесса восстановления.
3. Докажите формулу (6.12)
4. Покажите, что для пуассоновского процесса как распределения в любой момент времени,
так и предельные распределения возраста и остаточного времени до восстановления имеют показательные распределения.
5. Вычислите одномерные распределения возраста и остаточного времени до восстановления
для процесса восстановления с заданными распределениями интервалов между отказами.
6. Как вычисляются соответствующие предельные распределения?
Задачи.
1. С возрастом и остаточным временем до восстановления связаны некоторые парадоксы. Очевидно, соотношение
Zt− + Zt+ = XNt +1 .
∗
Однако не следует думать, что, например, MZt− ≤ µ, MZt+ ≤ µ или M(Zt− + Zt+ ) = µ. В
частности, при показательном распределении интервала между восстановлениями величины Zt−
и Zt+ имеют то же самое показательное распределение, так что M(Zt− + Zt+ ) = 2µ. Как объяснить
парадокс, связанный с этими величинами?
Указание. Следует обратить внимание на то, что случайный интервал в правой части соотношения (*) имеет случайный индекс.
2. Выведите формулу для распределения числа восстановлений дискретного процесса восстановления.
3. Вычислите математическое ожидание MY (t) и дисперсию DY (t) процесса накопления Y (t).
36
Глава 2. Процессы восстановления
Библиографические замечания.
Вопросы относящиеся к процессам накопления изложены по [17]
Глава 3.
Цепи Маркова
§ 7.
7.1.
Определение. Основные
свойства
Определения
В этой главе мы будем предполагать, что с.п. наблюдается в дискретные моменты времени, а
число его возможных значений или, что то же самое, число состояний конечно или счетно, причем
начнем со случая конечного числа значений.
Значения аргумента n в последовательности наблюдений Xn могут иметь различный смысл,
например времени, измеренного в некоторых единицах, расстояния, измеренного в соответствующих единицах, и т.п. В математической модели целесообразно абстрагироваться от конкретного
содержания параметра n и рассматривать его просто как последовательность натуральных чисел.
Аналогично, сами наблюдения могут описывать различные физические явления, изменяющиеся во времени, пространстве или в другом процессе, измеряемые некоторыми единицами, или просто фиксирующие состояния изучаемой системы. Ввиду конечности числа значений или состояний,
их можно перенумеровать и, поставив в соответствие каждому состоянию его номер, рассмотреть в
качестве пространства состояний конечное множество натуральных чисел, E = {1, 2, . . . , N }, иногда удобнее E = {0, 1, 2, . . . , N }. При этом, правда, теряются некоторые “структурные” свойства
процесса, связанные со структурой его фазового пространства. Однако такой подход позволяет
сосредоточить внимание на принципиальных свойствах изучаемых процессов, оставляя структурные свойства для специальных исследований.
Как известно из курса теории вероятностей и было отмечено во введении, любые исследования стохастических моделей начинаются с задания вероятностного пространства, на котором
соответствующая стохастическая модель может быть реализована. Мы проведем построение вероятностного пространства для цепи Маркова в разделе 7.4. Сначала приведем определение и
изучим простейшие свойства таких моделей в предположении, что они рассматриваются на некотором вероятностном пространстве.
Пусть на некотором вероятностном пространстве (Ω, F, P) задана последовательность X =
{Xn , n ≥ 0} с.в. Xn = Xn (ω), принимающих значения из E = {0, 1, . . . , N }.
Содержательно понятие марковского процесса вводится с помощью понятия марковского свойства, которое означает независимость “будущего” от “прошлого” при известном “настоящем”. Применительно к процессам с дискретным временем (последовательностям) и дискретным множеством состояний это понятие формализуется с помощью следующего определения.
Определение 7.1. Последовательность с.в. X = {Xn , n ≥ 0} со значениями из E называется
марковской последовательностью, или марковской цепью, если для любого натурального n и
любых i0 , . . . , in−1 , i, j ∈ E
P{Xn+1 = j/Xk = ik , k = 0, n − 1, Xn = i} = P{Xn+1 = j/Xn = i}.
(7.1)
Стоящую в правой части этого равенства вероятность назовем вероятностью переходов или переходной вероятностью марковской цепи и обозначим через
P{Xn+1 = j/Xn = i} = pij (n).
В этом определении величина Xn трактуется как “настоящее”, Xn+1 — как “будущее”, а
{X0 , X1 , . . . , Xn−1 } — как “прошлое”. Если Xn = i, то говорят, что марковская цепь X в момент n (на шаге n) находится в состоянии i, или что система находится в состоянии i в момент n.
38
Глава 3. Цепи Маркова
Вероятности переходов зависят, вообще говоря, от трех аргументов: n, i и j. Мы будем рассматривать только такие цепи, в которых она не зависит от n, т.е. от времени. В соответствии с этим
ограничением введем
Определение 7.2. Марковская цепь называется однородной, если ее переходные вероятности не
зависят от параметра n, pij (n) = pij .
В дальнейшем слово “однородная” опускается, т.к. будут рассматриваться только однородные
цепи, а матрицу, составленную из чисел pij обозначим через P = [pij ]i,j∈E и будем называть
матрицей вероятностей переходов (МВП) или переходной матрицей.
Исходя из определения переходных вероятностей выводятся их свойства.
Теорема 7.1. Переходные вероятности марковской цепи обладают следующими свойствами:
(1)
(2)
0 ≤ pij ≤ 1,
P
pij = 1.
для всех i, j ∈ E,
j∈E
Доказательство выполнить самостоятельно в качестве упражнения 1.
В некоторых приложениях бывает полезно рассматривать так называемые обрывающиеся марковские цепи, для которых свойство (2) нарушается и заменяется на более общее условие
X
X
(2a)
pij ≤ 1, причем существует такое i, что
pij < 1.
j∈E
j∈E
Строгое неравенство для какого-нибудь состояния i в последнем соотношении означает, что с
вероятностью
X
pi∗ = 1 −
pij
j∈E
после выхода из состояния i цепь исчезает (покидает рассматриваемое множество состояний E),
т.е. время существования цепи случайно. К исследованию и применениям таких цепей мы возвратимся в § 9
Определение 7.3. Матрица, элементы которой удовлетворяют условиям (1) и (2) называется
стохастической матрицей, а матрица, удовлетворяющая условиям (1) и (2а) — полустохастической.
Вычислим теперь к.м.р. марковской цепи и покажем, что они выражаются через ее МВП и
дополнительную информацию о ее начальном распределении
ai = P{X0 = i},
i ∈ E.
Заметим предварительно, что при вычислении к.м.р. последовательностей с конечным множеством значений достаточно ограничиться выражениями вида (см. упражнение 2)
p(k0 , k1 , . . . , kn ) = P{X0 = k0 , X1 = k1 , . . . , Xn = kn }
(7.2)
Теорема 7.2. К.м.р. марковской цепи определяются через переходные вероятности [pij ]i,j∈E и
начальное распределение α = {ai , i ∈ E} формулой
Y
p(k0 , k1 , . . . , kn ) = ak0
pkj−1 kj .
(7.3)
1≤j≤n
§ 7. Определение. Основные свойства
39
Доказательство. Используя формулу условных вероятностей, марковское свойство и простую
индукцию имеем
p(k0 , k1 , . . . , kn )
= P{Xi = ki , i = 0, n} =
= P{Xn = kn /Xi = ki , i = 0, n − 1} ×
× P{Xi = ki , i = 0, n − 1} = . . .
= pkn−1 kn pkn−2 kn−1 . . . pk0 k1 a0 . Из сказанного выше следует, что к.м.р. марковской цепи выражаются через ее МВП, которая является стохастической матрицей. В дальнейшем в разделе 7.4. будет доказано обратное
утверждение о том, что всякая стохастическая матрица P = [pij ]i,j∈E наряду с начальным распределением α = {ai , i ∈ E} однозначно определяют марковскую цепь такую, что ее переходные
вероятности и начальное распределение совпадают с заданными.
Наряду с матрицей вероятностей переходов марковскую цепь удобно представлять с помощью
ориентированного размеченного графа, называемого графом переходов, вершинами которого являются состояния, или значения наблюдаемого процесса, а дуги указывают возможные изменения
состояний, т.е. соединяют те вершины, для которых pij > 0. Величины pij являются метками соответствующих дуг. На рис.7.1 в качестве примера 1 приведен граф переходов марковской цепи c
МВП.
Пример 1.

p11
P = 0
p31

p13
p23 
0
p12
0
0
p12
p11
1
p31
2
3
p23
Рис. 7.1. Размеченный граф переходов марковской цепи с МВП P .
Ясно, что по всякой стохастической матрице можно построить соответствующий граф переходов и наоборот. Таким образом, наряду с МВП марковскую цепь можно задавать ее размеченным
графом переходов.
7.2.
Примеры.
Рассмотрим несколько примеров моделирования явлений с помощью цепей Маркова.
Пример 2. Измерения различных величин (пробега автомобиля, дебита нефтяной или газовой
скважины, расхода электроэнергии каким-либо потребителем) X = {Xn , n = 1, 2, . . . } за отдельные промежутки времени часто можно рассматривать как н.о.р. с.в. с конечным числом возможных значений, скажем, в пределах от 0 до N с вероятностями
P{Xn = k} = pk ,
k = 0, . . . , N.
40
Глава 3. Цепи Маркова
0
1
2
...
N
Рис. 7.2. Полносвязный размеченный граф переходов марковской цепи из примера 2.
Такую последовательность {Xn } можно рассматривать также как марковскую цепь с пространством состояний E = {0, 1, . . . , N }, переходными вероятностями pij = pj , i, j ∈ E, и МВП


p0 . . . pN
P =  p0 . . . pN  .
...
При этом совпадение строк матрицы указывает на независимость с.в. Xn . Граф переходов этой
цепи является полносвязным графом, в котором каждая вершина соединена с любой другой. Он
представлен на рис. 7.2.
Пример 3. (Продолжение). Если рассматривать накопленные за n дней измерения (пробег
автомобиля, суммарный расход электроэнергии, или дебит скважины): Sn = Xn + · · · + Xn , то
множество значений этих величин не ограничено, так как Sn принимает значения в интервале
[0, nN ]. Примеры такого рода описываются марковскими цепями со счетным множеством состояний (см. § 11).Тем не менее, последовательность {Sn } образует цепь Маркова с переходными
вероятностями
(
pj−i , если j ≥ i,
pij =
0,
если j < i.
Ее матрица вероятностей перехода может быть представлена бесконечной вниз и вправо таблицей,
но чтобы не выходить за рамки конечных моделей, рассматриваемых в настоящем разделе, будем
считать, что по достижении некоторого состояния, скажем M , процесс возвращается в состояние
0. Применительно к пробегу автомобиля это означает, что фактически наблюдается не пробег
автомобиля, а показания спидометра, которые “обнуляются” по достижении пробега в M = 100000
км.
МВП размерности M × M для такой цепи имеет вид


p0 p1 p2 . . . pM −1
pM
 0 p0 p1 . . . pM −2 pM −1 


 0 0 p0 . . . pM −3 pM −2 
,
P =


...


 0 0 0 ...
p0
p1 
1 0 0 ...
0
0
а граф переходов показан на рис. 7.3
Пример 4. Рассмотрим некоторое техническое устройство (например автомобиль), которое может находиться в двух состояниях — исправном и неисправном. Наблюдения за процессом функционирования устройства в дискретные моменты времени с некоторым фиксированным интервалом времени можно описать последовательностью, принимающей два значения, скажем 0, если
устройство исправно и 1, если оно неисправно.
Предположим, что переход из исправного состояния в неисправное происходит с вероятностью
p независимо от предыдущей истории, а с дополнительной вероятностью 1−p также независимо от
предыдущей истории устройство остается в исправном состоянии в течение следующей единицы
§ 7. Определение. Основные свойства
41
pM
pM-1
p
0
0
p1
p2
p1
1
p0
p1
...
2
M
M-1
p0
p0
1
Рис. 7.3. Граф переходов для МЦ из примера 3.
времени. Аналогично этому предположим, что с вероятностями q и 1 − q за единицу времени происходит восстановление неисправного устройства или продолжается его ремонт также независимо
от его предыдущей истории.
Тогда процесс функционирования устройства описывается марковской цепью с переходной матрицей
1−p
p
P =
.
q
1−q
Соответствующий граф переходов показан на рис. 7.4
p
1- p
1
2
1- q
q
Рис. 7.4. Граф переходов МЦ из примера 4.
Пример 5. Обобщим предыдущий пример, рассматривая отказы различных агрегатов. Тогда
можно расширить пространство состояний, допуская несколько типов неисправностей системы
(например для автомобиля это могут быть неисправности двигателя, системы питания, электрооборудования, тормозов и т.д.). Заметим, что исправное состояние тоже можно расширить, вводя
различного вида предотказовые состояния, позволяющие контролировать систему и управлять ее
работой. Впрочем, конкретное описание системы относится скорее к области искусства моделирования, чем к изучению марковских цепей.
Пусть имеется, например, всего три типа отказов. Обозначим через pi , i = 1, 2, 3, вероятность
возникновения отказа i-го типа и через qi — вероятность восстановления такого отказа за единицу времени. Предположим дополнительно, что два отказа не могут возникнуть одновременно, и
во время ремонта не может возникнуть отказ другого типа (хотя в жизни такое, конечно, бывает). В качестве упражнения 3 предлагается составить соответствующую МВП и построить граф
переходов для этого примера.
Пример 6. В геологии при стратиграфических исследованиях пород наблюдения проводятся
через определенные фиксированные интервалы, например, через 0,5 м. вдоль стратиграфического
разреза. При этом состояниями являются типы наблюдаемых пород. Если A означает песчаник,
B — известняк и C — сланец, то последовательность наблюдений вдоль разреза может иметь
вид: AAABBCBCACCCBA, который говорит о том, что верхний слой рассматриваемого разреза
составляет песчаник толщиной 1,5 м., следующий слой толщиной 1 м. состоит из известняка и т.д.
В этой модели аргументом является расстояние, а “время пребывания” в состоянии определяет
толщину пласта, измеренную в дискретных единицах.
42
Глава 3. Цепи Маркова
Предположим, что при исследовании стратиграфического разреза статистика позволяет прийти к выводу о независимости следования пород в разрезе от предыдущих наблюдений при фиксированном типе неблюдаемой породы. Тогда изучаемое явление может быть описано марковской
цепью с числом состояний, равным числу типов пород. Обозначая состояния разреза теми же
буквами, что и породы: E = {A, B, C, . . . } в качестве упражнения 4 предлагается выписать МВП
и нарисовать граф переходов марковской цепи для приведенного примера.
Пример 7. (Модель Эренфеста для диффузии [11]). Рассмотрим газ, заключенный в сосуде,
разделенном на две части A и B проницаемой мембраной. В каждый из дискретных моментов
времени выбирается одна из молекул и перемещается из той части, где она находилась в другую.
Рассмотрим для простоты случай трех молекул (в общем случае произвольного числа молекул
ситуация аналогична). В качестве состояний рассмотрим векторы x = {x1 x2 x3 }, где xi = 1, если iя молекула находится в области A, и xi = 0 в противоположном случае. Заметим, что возвращение
из состояния x в x возможно только за четное число шагов. МВП имеет вид
000

000
0
001 
1/3

010 
 1/3
100 
 1/3
011 
 0
101 
 0
110  0
111
0
001 010
1/3 1/3
0
0
0
0
0
0
1/3 1/3
1/3
0
0
1/3
0
0
100 011 101 110 111

1/3 0
0
0
0
0 1/3 1/3 0
0 

0 1/3 0 1/3 0 

0
0 1/3 1/3 0 

0
0
0
0 1/3 

1/3 0
0
0 1/3 

1/3 0
0
0 1/3 
0 1/3 1/3 1/3 0
Рекомендуем читателю в качестве упражнения 5 закончить составление матрицы и нарисовать
граф переходов марковской цепи модели Эренфеста для диффузии.
Пример 8. (Распределение населения по группам профессий [11]). Пусть {A1 , A2 , A3 } —
множество типов профессий, или видов занятости. Сын может избрать любой тип профессии,
однако этот выбор зависит от профессии отца. Следующая таблица составлена по данным одного
из социологических исследований, проведенных в Англии и Уэльсе (цитируем по книге [11]). В ней
показана доля детей, выбравших тот или иной вид занятости в зависимости от типа профессии
отца.
Отец\Сын
A1

A1
0, 448
 0, 054
A2
A3
0, 011
A2
0, 484
0, 699
0, 503
A3

0, 068
0, 247 
0, 486
Пусть Xn — вид занятости, избранный представителем n-го поколения семьи. Тогда МВП совпадает с таблицей, приведенной ранее. В качестве упражнения 6 предлагается нарисовать соответствующий граф переходов.
В дальнейшем будет показано, как по этим данным сделать прогноз распределения населения
по группам профессий.
Во всех приведенных примерах мы предполагали независимость будущего от прошлого при
известном настоящем, а соответствующие переходные вероятности считали заданными. При реальном моделировании случайных явлений и процессов это предположение требует серьезного
теоретического обоснования или статистической проверки. Значения переходных вероятностей
также получаются либо путем теоретических выводов, либо должны быть оценены методами математической статистики.
Замечание 1. Как видно из приведенных примеров, марковские цепи моделируют поведение
физических, технических, экономических, социальных и других систем, которые могут находиться в каком-либо из состояний своего фазового пространства. С другой стороны, мы рассматриваем цепь Маркова как математический объект — случайный процесс, принимающий значения из некоторого множества допустимых значений, называемого пространством состояний или
§ 7. Определение. Основные свойства
43
множеством значений. Поэтому в терминологии марковских цепей сохраняется некоторая двойственность, отражающая двойственность их происхождения: состояния — значения, фазовое пространство — множество значений. Подчеркнув эту двойственность терминологии, мы не будем
стремиться уходить от нее, напротив, будем использовать в зависимости от удобства те или иные
термины.
7.3.
Основные задачи теории цепей Маркова
В этом разделе рассматриваются основные задачи теории марковских цепей, некоторые простые
простые из которых мы в состоянии решить уже теперь.
Время пребывания в состоянии.
Найдем распределение времени непрерывного пребывания марковской цепи в отдельном состоянии. В примере 4 эта характеристика означает время непрерывной исправной работы устройства
(или длительность периода неисправности), в примере 6 эта величина характеризует толщину
соответствующего пласта, в примере 8 это будет количество поколений одной семьи, избравших
один и тот же тип профессии.
Пусть Ti — число возвращений (время непрерывного пребывания) марковской цепи в состоянии
i, так что Ti + 1 представляет собой время первого выхода из этого состояния. Нетрудно понять,
что событие {Ti = k} происходит тогда и только тогда, когда цепь k − 1 раз возвращается в
состояние i, а затем покидает его. Так как при фиксированном i эти события независимы, то
ясно, что с.в. Ti имеет геометрическое распределение:
Pi {Ti = k} = (1 − pii )pk−1
ii ,
k = 1, 2, . . .
(7.4)
Заметим, что в модели Эренфеста для диффузии px,x = 0, поэтому P{Tx = 1} = 1.
Вероятности перехода за n шагов.
Обозначим через
(n)
pij = P{Xn = j/X0 = i}
(n)
вероятность перехода марковской цепи из состояния i в состояние j за n шагов, а через P (n) = [pij ]
(0)
соответствующую матрицу вероятностей переходов и найдем эти вероятности. Ясно, что pij = δij ,
(1)
где δij - символ Кронекера: δij = 1, если j = i и δij = 0, если j 6= i, и pij = pij , т.е. P (0) = I и
P (1) = P .
Теорема 7.3. Для всех n ≥ 0 справедливо равенство
P (n) = P n
(7.5)
Доказательство проводится по индукции. Используя формулу полной вероятности и свойство
марковости, получаем:
[
(2)
pij = P{X2 = j/X0 = i} = P{X2 = j,
{X1 = k}/X0 = i} =
k∈E
=
X
P{X2 = j, X1 = k/X0 = i} =
k∈E
=
X
P{X2 = j/X1 = k, X0 = i}P{X1 = k/X0 = i} =
k∈E
=
X
P{X2 = j/X1 = k}P{X1 = k/X0 = i} =
k∈E
=
X
k∈E
pik pkj = [P 2 ]ij .
44
Глава 3. Цепи Маркова
Отсюда видно, что P (2) = P 2 , так как правая часть последнего равенства представляет собой формулу перемножения матриц. Читателю предлагается завершить доказательство самостоятельно в
качестве упражнения 7.
Приведенная теорема содержит очень важное свойство марковской цепи, состоящее в том, что
ее переходные вероятности обладают полугрупповым свойством.
Следствие 7.1. Семейство МВП марковской цепи за n шагов образует полугруппу:
P (n+m) = P (n) P (m)
(7.6)
(m+n)
(7.7)
или, в скалярной форме,
pij
=
X
(m) (n)
pik pkj .
k∈E
Доказательство провести самостоятельно в качестве упражнения 8.
Именно это свойство позволяет восстанавливать все характеристики марковской цепи по ее
переходной матрице. Более детально это обсуждается в разделе 7.4. Соотношения (7.6, 7.7) называются уравнением Колмогорова-Чепмена.
Рассмотрим теперь постановки некоторых других типовых задач, которые возникают при исследовании явлений и процессов, описываемых марковскими цепями. Решения этих задач приводятся в последующих параграфах.
Время непрерывного пребывания цепи (системы) в некотором множестве состояний.
В примере 2 эта величина характеризует длину серии наблюдений пробега автомобиля, расхода
электроэнергии или дебита нефтяной скважины, заключенных в заданных пределах, в примерах
4 и 5 эта величина указывает время пребывания в исправных или неисправных состояниях, в
модели Эренфеста для диффузии (пример 7) это может быть время, в течение которого в обеих
частях сосуда находится хотя бы одна молекула; наконец в примере 8 это может быть число поколений одной семьи, выбирающих профессии из фиксированного множества типов профессий.
Тесно связанной с этой является задача исследования времени достижения цепью (системой) некоторого состояния или множества состояний. В примерах 4 и 5 это может быть
время безотказной работы системы, в примере 7 — время до попадания всех частиц в одну часть
сосуда, в примере 8 — число поколений, за которое представитель семьи достигнет определенного
профессионального уровня.
Вероятность попадания процесса в фиксированное состояние или множество состояний после выхода из другого множества состояний.
В примере 7 это может быть задача о типах отказов. Если провести медицинскую параллель с
задачей надежности, то решение этой задачи связано с установлением причин смертности.
Доля времени, проведенного системой в том или ином состоянии или множестве состояний.
В моделях, описывающих задачи надежности (примеры 4, 5), долю времени, проводимого системой
в рабочих состояниях, называют “коэффициентом готовности”. Его вычисление составляет одну
из основных задач теории надежности.
Функционалы.
Наряду с исходным процессом часто приходится рассматривать некоторые числовые функционалы
от его траекторий, характеризующие, например, доход от системы в процессе ее функционирования. Предположим, например, что в примере 4 за любой период времени, когда машина работает,
§ 7. Определение. Основные свойства
45
она дает доход r условных единиц, а в состоянии отказа требует c условных единиц в течение
одного интервала для ремонта. Доход от эксплуатации такой системы может быть представлен
функционалом
X R(t) =
r 1{X(i)=0} − c 1{X(i)=1} .
0≤i≤t
Тогда интерес может представлять изучение асимптотического поведения этих функционалов или
другая связанная с ними характеристика.
Время обрыва.
Если МВП является полустохастической, то одной из задач является изучение времени существования марковской цепи, т.е. распределения времени обрыва.
В следующих главах будут предложены общие методы решения этих и других задач анализа
систем, описываемых марковскими цепями.
7.4.
Теорема Колмогорова
Этот параграф мы начали с предположения о том, что на некотором вероятностном пространстве
задана последовательность с.в., обладающая марковским свойством. При этом в стороне остался
вопрос о том, существует ли такое вероятностное пространство, на котором можно реализовать
последовательность с.в., да еще обладающую наперед заданным свойством, т.е., вообще, существует ли объект, который мы изучаем, и не является ли изучаемое множество объектов пустым?
Все это не праздные вопросы, и положительный ответ на них дает анонсированная в разделе 7.1.
теорема Колмогорова.
Теорема 7.4 (Теорема Колмогорова). Для всякой стохастической матрицы P = [pij ]i,j∈E и
произвольного распределения α = {ai , i ∈ E, } можно построить вероятностное пространство
и марковскую цепь на нем такую, что ее переходные вероятности и начальное распределение
будут совпадать с заданными.
Доказательство проведем конструктивным методом, т.е. предъявим соответствующие объекты.
Выберем в качестве множества элементарных событий Ω = {ω} множество всех последовательностей ω = (j0 , j1 , . . . , jn , . . . ), где jn ∈ E — точки пространства состояний наблюдаемого процесса, в
нашем случае — просто неотрицательные целые (натуральные) числа. В качестве простых событий
рассмотрим одномерные цилиндры, т.е. множества последовательностей с одной фиксированной
координатой Ck (i) = {ω : jk = i}. Тогда σ-алгебра всех наблюдаемых событий состоит из счетных
объединений и пересечений простых событий. Определим вероятности цилиндров
C(0,1,...,n) (i0 , i1 , . . . , in ) = {ω : j0 = i0 , j1 = i1 , . . . , jn = in }
с фиксированными n первыми координатами формулой
Pα C(0, 1,...,n) (i0 , i1 , . . . , in ) = αi0 pi0 i1 . . . pin−1 in ,
(7.8)
где α = {ai , i ∈ E} — заданное распределение вероятностей на E, имеющее смысл начального распределения, а pij — заданные вероятности переходов. Так как все события порождаются
путем пересечений и объединений простых цилиндров, то построенная вероятностная мера распространяется на все конечные, а затем по теореме о продолжении меры и на все счетные объединения и пересечения цилиндров. Следовательно, для произвольного начального распределения
α = {ai , i ∈ E} мы построили вероятностную меру Pα на σ-алгебре наблюдаемых событий.
Покажем, что случайная последовательность Xn (ω), задаваемая соотношением
Xn = Xn (ω) = Xn (i0 , i1 , . . . , in , . . . ) = in
46
Глава 3. Цепи Маркова
определяет на построенном вероятностном пространстве искомую марковскую цепь. Действительно, равенство
=
=
=
P{Xn+1 = j/X0 = i0 , X1 = i1 , . . . , Xn = in } =
P{X0 = i0 , X1 = i1 , . . . , Xn = in , Xn+1 = j}
=
P{X0 = i0 , X1 = i1 , . . . , Xn = in }
Pα C(0, 1,...,n,n+1) (i0 , i1 , . . . in , j)
=
Pα C(0, 1,...,n) (i0 , i1 , . . . , in )
ai0 pi0 i1 . . . pin−1 ,in pin ,j
= pin ,j ,
ai0 pi0 i1 . . . pin−1 in
в котором используется представление (7.8) для вероятностей цилиндрических множеств, показывает, что последовательность {Xn } обладает марковским свойством, а ее матрица переходных
вероятностей совпадает с заданной. Из этого же равенства видно, что начальное распределение
совпадает с заданным.
Приведенная теорема при заданном начальном распределении устанавливает, в некотором
смысле, взаимно однозначное соответствие между множествами всех марковских цепей и стохастических матриц.
Замечание 2. Заметим, что переходную матрицу можно вычислить для любой случайной последовательности, но только предположение марковости позволяет по переходной матрице найти
все конечномерные распределения, иначе говоря, найти вероятности любых событий, связанных
с этой последовательностью.
Формула (7.8) определяет распределение (меру) Pα в пространстве траекторий (реализаций)
последовательности {Xn }, зависящее от начального распределения α. Меняя начальное распределение, мы получим семейство распределений {Pα }, отвечающее семейству марковских цепей
или марковскому семейству, зависящему от начального распределения α. В частности, выбирая в
качестве начального распределение εi , сосредоточенное в состоянии i, εi = (0, ..., 1, ..., 0)0 , мы определим марковскую цепь с переходными вероятностями P = [pij ]i,j∈E и начальным состоянием i.
Распределение этой цепи обозначим через Pi = Pεi .
Замечание 3. Вероятность Pi (A) есть условная вероятность события A, связанного с поведением
цепи X, при условии, что X0 = i. Для событий, связанных с поведением цепи в моменты n > 0
правила работы с условными вероятностями сохраняются, если в качестве вероятностной меры
рассматривать Pi . Действительно, пусть A и B — события, определяемые траекторией цепи при
n > 0. Тогда
P{A|B, X0 = i}
=
=
P{A, B, X0 = i}
=
P{B, X0 = i}
Pi {AB}
= Pi {A|B}.
Pi {B}
Таким образом Pi (AB) = Pi (A|B)Pi (B). Этот факт неоднократно используется в дальнейшем.
Вероятностные меры Pα и Pi используются в дальнейшем для вычисления математических
ожиданий Mα и Mi соответственно на пространстве траекторий.
Построенное в этом параграфе вероятностное пространство (Ω, F, P) называется каноническим
пространством марковской цепи, а соответствующая цепь X = {Xk , k ≥ 0}, — ее канонической
версией. Это пространство и сама цепь полностью определяются заданием фазового пространства
E марковской цепи, МВП P = [pij ]i,j∈E на нем и начальным распределением α. Это позволяет
отождествлять марковскую цепь X с ее матрицей вероятностей переходов P и начальным распределением α.
§ 7. Определение. Основные свойства
7.5.
47
Дополнения
Вопросы для контроля.
1. Какой случайный процесс называется марковским? Как задаётся марковский процесс с
дискретным множеством состояний?
2. Что такое “цепь Маркова”, как она задаётся? Какие цепи называются однородными?
3. Существует ли такое вероятностное пространство, на котором реализуется последовательность случайных величин, обладающих марковским свойством?
4. Как определить вероятность перехода марковской цепи за n шагов? Как найти вероятность
перехода за n шагов из одного состояния цепи в другое?
5. Приведите собственные примеры марковских цепей.
6. Дайте определение матрицы вероятностей переходов, какими свойствами она обладает?
7. Как строится граф переходов марковской цепи?
8. Дайте определения стохастических и полустохастических матриц.
9. Приведите выражение для распределения времени непрерывного пребывания марковской
цепи в отдельном состоянии.
Упражнения.
1. Докажите теорему 7.1.
2. Докажите, что все к.м.р. последовательностей с конечным множеством значений выражаются через к.м.р. вида (7.2) и приведите для них условия симметрии и согласованности.
3.—5. Составьте МВП и постройте размеченные графы переходов для марковских цепей из
примеров 5—7.
6. Нарисуйте граф переходов для марковской цепи из примера 8.
7. Завершите доказательство теоремы 7.3.
8. Докажите следствие 7.1.
Задачи.
1. Пусть дана последовательность н.о.р. с.в. Xn , принимающих значения +1 и -1 с равными вероятностями. Докажите, что последовательность Sn = Sn−1 + Xn образует цепь Маркова,
постройте ее МВП и размеченный граф переходов.
2. Дана цепь Маркова X = {Xn }, задаваемая переходной матрицей


0
a 1−a
 a
0 1 − a .
1/3 1/3 1/3
Докажите, что последовательность Yn , определяемая формулой
(
1, если Xn < 3,
Yn =
2, если Xn = 3,
тоже образует цепь Маркова. Найдите ее переходную матрицу и постройте дл нее размеченный
граф переходов.
3. Два игрока, каждый из которых имеет капитал 5 рублей, играют в “орлянку”, бросая симметричную монету и используя ставку 1 рубль. Постройте цепь Маркова, описывающую ход игры,
выпишите ее переходную матрицу и нарисуйте размеченный граф переходов.
4. На столе лежит стопка из трех перенумерованных книг. С вероятностью pk из стопки берется
книга с номером k и кладется сверху. Найдите матрицу переходных вероятностей марковской цепи,
описывающей состояние стопки, и нарисуйте размеченный граф переходов.
5 [11]. Студент, после окончания очередного курса, с вероятностью переходит на следующий
курс с вероятностью q, остается на второй год на том же курсе с вероятностью r = 1 − p − q отчисляется из института. Рассмотрите соответствующую цепь Маркова, постройте МВП и нарисуйте
размеченный граф переходов.
48
Глава 3. Цепи Маркова
6. Пусть Xn , n = 0, 1, 2, . . . — н.о.р. с.в., P{Xn = 0} = a, P{Xn = 1} = 1 − a. Выяснить,
является ли цепью Маркова последовательность Yn = Xn Xn+1 .
Библиографические замечания.
Впервые понятия марковской зависимости и марковского процесса были введены великим русским математиком А. А. Марковым (1856-1922). В настоящее время теория цепей и процессов
Маркова является одним из важных разделов теории случайных процессов, которым посвящены
многочисленные исследования как российских, так и зарубежных ученых.
Материал этого параграфа можно найти в любом учебнике по теории случайных процессов
(см., например, [1], [8] и др.). Часть приводимых здесь примеров заимствована из книги [11].
Много интересных примеров приложения марковских цепей можно найти в книге [10].
§ 8. Классификация состояний и цепей
§ 8.
49
Классификация состояний и цепей
Поведение марковской цепи зависит от типов ее состояний. Так как марковская цепь полностью определяется своей переходной матрицей (см. предыдущий параграф), то классификация
ее состояний и самих цепей может и должна быть проведена в терминах переходных вероятностей. Они позволяют ввести на пространстве состояний цепи некоторый естественный порядок,
отвечающий ее внутренней структуре.
8.1.
Классификация состояний
Пусть дана марковская цепь X = {Xn , n ≥ 0}, с пространством состояний E = {0, 1, . . . N } и
МВП P = [pij ]ij∈E . Используя переходные вероятности марковской цепи введем на множестве ее
состояний E два бинарных отношения:
(а) отношение следования i ⇒ j и
(б) отношение связности i ⇔ j.
Определение 8.1. Будем говорить, что состояние j достижимо из состояния i и обозначать это
символом i 7→ j, если из состояния i можно перейти в состояние j за некоторое число шагов m,
(m)
т.е. если существует m, такое что pij > 0. Состояние j следует за состоянием i (обозначение:
i ⇒ j), если состояние j достижимо из состояния i, но i не достижимо из j, т.е. если существует
(m)
(n)
m, такое что pij > 0, но что pji = 0 для всех n.
Наконец, состояния i и j называются связанными или сообщающимися, что обозначается символом i ⇔ j, если они взаимно достижимы друг из друга, т.е. если существуют целые числа m, n,
(m) (n)
для которых pij pji > 0.
Лемма 8.1. Отношение (а) обладает свойствами:
(i) антисимметрии: i ⇒ j влечет отрицание j ⇒ i,
(ii) транзитивности: i ⇒ j и j ⇒ k влечет i ⇒ k;
а отношение (б) — свойствами:
(i) рефлексивности: i ⇔ i,
(ii) симметричности: i ⇔ j влечет j ⇔ i,
(iii) транзитивности: i ⇔ j, j ⇔ k влечет i ⇔ k,
т.е. является отношением эквивалентности.
Доказательство провести самостоятельно в качестве упражнения 1 (см. указание в разделе
“Дополнения”).
Следствием решения этого упражнения является утверждение о том, что отношение связности i ⇔ j является отношением эквивалентности, а отношение i ⇒ j — отношением частичного
порядка. Приведем классификацию состояний.
Определение 8.2. Состояние i называется несущественным, если существует следующее за ним
(m)
(n)
состояние j, т.е. если ∃ m : pij > 0, но pji = 0 ∀ n. Все остальные состояния называются
существенными. Состояние i называется поглощающим, если pii = 1.
Другими словами, несущественным является такое состояние, для которого существует достижимое из него состояние, из которого оно не достижимо, а сообщающимися являются взаимно
достижимые состояния.
Так как отношение связности состояний “⇔” является отношением эквивалентности, то все
состояния марковской цепи этим отношением эквивалентности разбиваются на непересекающиеся
50
Глава 3. Цепи Маркова
классы Ek сообщающихся состояний (см. упражнение 2). Классы существенных сообщающихся
состояний называются также эргодическими классами (смысл этого названия станет ясен позже).
Поглощающее состояние образует отдельный эргодический класс (см. упражнение 3).
Для некоторых марковских цепей с дискретным временем характерна периодичность посещения своих состояний. Примером такой цепи является цепь, задаваемая графом переходов, показанным на рис. 8.1.
p
1
01
p
2
1
0
00
1
Рис. 8.1. Пример графа переходов периодической марковской цепи.
Если эта цепь отправляется из состояния 1, то она будет возвращаться в это состояние только в
нечетные моменты времени и будет находиться в состоянии 2 в четные моменты времени.
Другой пример такого рода дает рассмотренная в предыдущем параграфе модель Эренфеста
для диффузии (Пример 7.7).
Определение 8.3. Состояние i называется периодическим с периодом di > 1, если возвращение
в него возможно лишь за число шагов, кратное di , в противном случае состояние называется
непериодическим (апериодическим или регулярным).
Формализуем это определение. Пусть Ni - множество моментов времени, за которое возможно
возвращение в состояние i:
(n)
Ni = {n : pii > 0}.
(n)
Наибольший общий делитель этих чисел, di = НОД {Ni } = НОД {n : pii > 0} является периодом
состояния i. Если di = 1, то состояние является непериодическим.
Теорема 8.1 (1-ая теорема солидарности). Все состояния одного и того же класса сообщающихся состояний имеют один и тот же период.
Доказательство. Пусть сообщающиеся состояния i, j, i ⇔ j, имеют периоды di , dj соответственно. Покажем, что di = dj . По определению сообщающихся состояний существуют числа m и
(m) (n)
n такие, что pij pij > 0. Так как
(m+n)
pii
(m) (n)
≥ pij pji > 0,
(k)
то m + n нацело делится на di . Пусть теперь pjj > 0 для некоторого k, т.е. k нацело делится на
dj . Тогда
(m+n+k)
(m) (k) (n)
pii
≥ pij pjj pji > 0,
поэтому m + n + k нацело делится на di , а так как этим свойством обладает и число m + n, то k
нацело делится на di , т.е. di ≤ dj . Аналогично показывается, что dj ≤ di , откуда следует равенство
этих чисел.
Внутри периодического класса сообщающихся состояний можно провести дополнительное разбиение состояний на подклассы. С этой целью введем на периодическом классе еще одно бинарное
(kd)
отношение ∝, полагая i ∝ j, если существует число k такое, что pij > 0
Лемма 8.2. Отношение ∝
(i) симметрично, т.е. i ∝ j влечет j ∝ i;
(ii) рефлексивно: i ∝ i и
§ 8. Классификация состояний и цепей
51
(iii) транзитивно: i ∝ j, j ∝ k влечет i ∝ k.
Доказательство. Докажем утверждение (i), предлагая остальные в качестве упражнения 4.
(n)
Пусть i ∝ j. Так как состояние i и j сообщаются, то существует n такое, что pji > 0. Поэтому для некоторого r
(kd+rd+n)
(kd) (rd) (n)
pii
≥ pij pjj pji > 0.
Далее, так как состояние i периодично с периодом d, то сумма kd + rd + n обязана нацело делиться
на d, откуда следует, что этим же свойством обладает число n.
В результате завершения доказательства леммы станет ясно, что отношение ∝ является отношением эквивалентности и, следовательно, разбивает класс периодических состояний на непересекающиеся подклассы Cj , число которых равно периоду класса (упражнение 5).
Таким образом, получается окончательная структура периодического класса
[
Ek =
Cj .
1≤j≤dk
Теорема солидарности позволяет распространить классификацию состояний до классификации
цепей, которая будет дана в следующем разделе после дополнительной обработки матрицы вероятностей переходов, что сделает приводимую классификацию более наглядной.
8.2.
Канонический вид матрицы вероятностей переходов
Перенумеруем состояния рассматриваемой марковской цепи таким образом, чтобы сначала были
занумерованы все несущественные состояния, а затем в произвольном порядке состояния каждого
из эргодических классов. Тогда матрица переходных вероятностей рассматриваемой марковской
цепи принимает блочно треугольный вид


Q R1 R2 · · · Rk
 0 P1 0 · · ·
0 
.
P =
(8.1)
 0 0
0 ···
0 
0 0
0 · · · Pk
Здесь Q — подматрица вероятностей переходов на множестве несущественных состояний, Ri
— подматрицы вероятностей переходов из множества несущественных состояний в существенные,
Pi — подматрицы вероятностей переходов внутри каждого из эргодических классов.
Определение 8.4. МВП вида (8.1) называется каноническим видом матрицы вероятностей переходов. Отвечающая ей марковская цепь называется канонической.
Так как каноническая цепь отличается от исходной лишь нумерацией состояний, то, очевидно,
что все качественные свойства и количественные характеристики поведения исходной и канонической цепей взаимно однозначно выражаются друг через друга.
Заметим прежде всего, что степени переходной матрицы в каноническом виде имеют такую
же структуру, как и исходная каноническая матрица.
Теорема 8.2. Матрица вероятностей переходов канонической марковской цепи за n шагов имеет вид


(n)
(n)
Qn R1
· · · Rk
 0
P1n · · ·
0 

Pn = 

 ···
n
0
0
· · · Pk
P
(n)
(n)
(n−k−1)
где через Ri обозначены матрицы Ri =
Qk Ri Pi
.
0≤k<n
52
Глава 3. Цепи Маркова
Доказательство выполнить самостоятельно методом математической индукции в виде
упражнения 6.
Аналогично тому, как была получена каноническая форма матрицы вероятностей переходов,
перенумеровывая состояния периодического класса по подклассам для матрицы P вероятностей
переходов внутри периодического класса сообщающихся состояний, получим:


0 D1 0 · · · 0
 0
0 D2 · · · 0 

P =
 0
0
0 ··· 0 
Dd 0
0 ··· 0
Рекомендуем читателю в качестве упражнения 7 найти степени этой матрицы.
Теорема 8.2 позволяет сделать следующий вывод относительно поведения марковских цепей:
цепь никогда не покидает (эргодического) класса существенных сообщающихся состояний, а из
множества несущественных может перейти как в несущественные, так и в любое из существенных состояний. Это важное замечание позволяет отдельно изучать поведение марковской цепи на
множестве несущественных состояний и в каждом отдельном классе существенных сообщающихся
состояний, а теорема солидарности позволяет перейти к классификации неразложимых цепей. С
этой целью введем следующее определение.
Определение 8.5. Цепь Маркова называется неразложимой, или эргодической, если ее множество состояний образует один класс существенных сообщающихся состояний, в противном случае
цепь называется разложимой. Цепь, состоящая из несущественных и одного или нескольких поглощающих состояний называется поглощающей. Неразложимая цепь называется периодической
периода d, если он больше единицы, и апериодической или регулярной в противном случае.
Отношение следования “⇒” индуцирует соответствующее отношение между классами, и это
позволяет ввести частичный порядок на множестве классов сообщающихся состояний.
Важным свойством любого конечного частично упорядоченного множества является наличие
в нем хотя бы одного минимального и хотя бы одного максимального элементов [6], что обеспечивает обязательное наличие для конечных необрывающихся цепей хотя бы одного существенного
состояния (заметим, что для цепи Маркова с бесконечным пространством состояний это свойство
может нарушаться, что определяет одну из особенностей поведения таких цепей). Отдельный
предмет исследования представляют обрывающиеся цепи.
Определение 8.6. Конечная марковская цепь состоящая из одного класса несущественных состояний называется обрывающейся. МВП такой цепи является полустохастической.
Результаты предыдущих рассуждений позволяют отдельно исследовать поведение поглощающих и эргодических и их частного случая — регулярных цепей.
Общая картина поведения марковской цепи изображена на рис. 8.2
Наряду с переходными вероятностями (за один шаг) и вероятностями переходов за n шагов
при исследовании марковских цепей важную роль играют так называемые вероятности переходов
с запрещением, которые используются при решении многих задач теории марковских цепей. В
следующем разделе вводятся и изучаются соответствующие характеристики.
8.3.
Вероятности первого достижения и связанные с ними характеристики
Обозначим через
(n)
lij = Pi {Xn = j, Xm 6= j, 1 ≤ m < n},
n ≥ 1,
(8.2)
вероятность, выходя из состояния i, впервые попасть в состояние j на n-м шаге. Естественно при(0)
(n)
нять, что lij = δij . Вероятности lij , n ≥ 0, служат условным относительно начального состояния
§ 8. Классификация состояний и цепей
53
...
E1
...
E2
...
E0
.
.
.
...
Ek
Рис. 8.2. Общая картина поведения марковской цепи.
i распределением вероятностей случайной величины Tj - времени первого достижения состояния j. Пока, правда, не ясно, является ли эта с.в. (и ее распределение) собственными, т.е. равна
ли единице сумма
X (n)
lij ,
(8.3)
lij =
n≥0
которая представляет собой вероятность достижения состояния j из состояния i когда-нибудь.
(n)
Величины lii , n ≥ 1, представляют собой распределение по n вероятностей времени первого
возвращения в состояние i, а lii — вероятность возвращения в состояние i. Обозначим далее через
X (n)
mij =
nlij
(8.4)
n≥0
среднее время достижения состояния j из i и через
X (n)
X
nij =
pij = Mi
1j (Xn )
n≥0
(8.5)
n≥0
среднее число посещений состояния j цепью, выходящей из состояния i. Так как величины, участвующие в суммировании в этих формулах, неотрицательны, то, как известно из анализа [9], эти
ряды обладают всеми свойствами абсолютно сходящихся рядов, если их расходимость понимать
как сходимость к ∞. Аналогично вводятся величины mii и nii , имеющие смысл среднего времени возвращения в состояние i и среднего числа посещений состояния i соответственно, цепью,
выходящей из состояния i.
Вероятности первого возвращения и достижения связаны с переходными вероятностями за n
шагов достаточно простыми соотношениями.
Теорема 8.3. Справедливы соотношения, в которых и далее условимся считать, что
0
P
≡0
k=1
(n)
(n)
pij = lij +
n−1
X
(k) (n−k)
,
n ≥ 1,
(8.6)
(k) (n−k)
n ≥ 1.
(8.7)
lij pjj
k=1
(n)
pij
=
(n)
lij
+
n−1
X
pij ljj
,
k=1
Доказательство. Рассмотрим несовместимые события
A1 = {X1 = j},
Ak = {Xk = j, Xm 6= j, 1 ≤ m < k}, k = 2, n,
54
Глава 3. Цепи Маркова
так что Ak означает событие, состоящее в том, что первое попадание в состояние j произойдет на
шаге k. Ясно, что
n
\X
{Xn = j} = {Xn = j}
Ak .
k=1
Поэтому (здесь мы используем замечание 3 об условных вероятностях, сделанное в конце раздела
7.4.)
(n)
pij
= Pi {Xn = j} = Pi {Xn = j,
n
[
Ak } =
k=1
=
n
X
Pi {Xn = j|Ak }Pi {Ak } =
n
X
Pi {Xn = j, Ak } =
k=1
(n)
lij
k=1
+
n−1
X
(k) (n−k)
lij pjj
,
k=1
где в последнем равенстве используется определение события Ak и марковское свойство цепи, что
доказывает соотношение (8.6).
Аналогично, рассматривая несовместимые события
{Xk = j, Xm 6= j, k < m < n},
Bk
=
Bn
= {Xm 6= j, 1 ≤ m < n},
k = 1, n − 1,
получаем:
(n)
pij
= Pi {Xn = j} = Pi {Xn = j,
n
[
Bk } =
k=1
(n)
= lij +
n−1
X
n
X
Pi {Xn = j, Bk } =
k=1
Pi {Xn = j, Bk |Xk = j}Pi {Xk = j} =
k=1
(n)
= lij +
n−1
X
(k) (n−k)
pij ljj
.
k=1
Следовательно, соотношение (8.7) тоже доказано.
Замечание 1. формулы (8.6, 8.7) называются формулами разложения по первому и последнему
моментам достижения и играют важную роль при исследовании марковских цепей.
Введем производящие функции
X (n)
pij (z) =
pij z n ,
lij (z) =
n≥1
X
(n)
lij z n ,
i, j ∈ E.
n≥1
Эти ряды сходятся в круге | z |< 1, так как их коэффициенты являются вероятностями и, следовательно, ограничены единицей.
Следствие 8.1. Для всех i, j ∈ E производящие функции pij (z) и lij (z) связаны соотношениями
lij (z)
=
pij (z)
=
pij (z)
,
1 + pjj (z)
lij (z)
.
1 − ljj (z)
(8.8)
(8.9)
Доказательство получается путем непосредственного вычисления производящих функций с
помощью формул (8.6) и (8.7) (см. упражнение 5).
§ 8. Классификация состояний и цепей
55
Следствие 8.2. Справедливы соотношения
nij
,
1 + njj
lij
.
nij =
1 − ljj
lij =
(8.10)
(8.11)
Доказательство получается из формул (8.8) и (8.9) предельным переходом при z → 1 − 0 с
учетом сделанного выше замечания относительно сходимости рядов с неотрицательными членами
и соотношений
lij = lim lij (z), nij = lim pij (z),
z→1−0
z→1−0
а также естественных соглашений относительно операций с символом “∞”.
Формулы (8.10) и (8.11) устанавливают связь между вероятностью возвращения в состояние и
средним числом попаданий в него и будут использованы в дальнейшем.
Замечание 2. В теории цепей Маркова рассматриваются также более общие величины
(n)
k pij
=
P{Xn = j, Xm 6= k, 1 ≤ m < n| X0 = i} =
=
Pi {Xn = j, Xm 6= k, 1 ≤ m < n},
имеющие смысл вероятности перейти из состояния i в состояние j за n шагов, не заходя в состояние
(n)
(n)
k, и называемые вероятностями переходов с запрещением (tabu-probabilities). Тогда lij = j pij .
Изучение вероятностей переходов с запрещением — не простая задача, которая составляет предмет
самостоятельных исследований (см., например [32]).
8.4.
Дополнения
Вопросы для контроля.
1. Какие состояния марковской цепи называются:
(а) несущественными;
(б) существенными;
(в) поглощающими;
(г) периодическими (дайте определение периода состояния);
(д) непериодическими.
Дайте эти определения в терминах переходных вероятностей.
2. Что называется классом состояний марковской цепи?
3. Сформулируйте первую теорему солидарности.
4. Какая цепь Маркова называется неразложимой?
5. Что такое каноническая форма марковской цепи и как выглядит МВП марковской цепи в
канонической форме?
6. Как выглядит матрица вероятностей переходов за n шагов канонический марковской цепи?
7. Дайте неформальное и формальное определение вероятности первого достижения и вероятности первого возвращения в некоторое состояние.
8. Дайте неформальное и формальное определение средних времён первого достижения и первого возвращения в некоторое состояние.
Упражнения.
1. Докажите лемму 1.
56
Глава 3. Цепи Маркова
Указание. Для доказательства рефлексивности заметим, что если для какого-либо состояния
(m)
(n)
i не существует состояния j 6= i такого, что pij > 0, для некоторого m, то pij =
P0 для всех n и
j ∈ E, j 6= i, в частности это значит, что pij = 0 для всех j ∈ E, j 6= i, а так как j∈E pij = 1, то
pii = 1, т.е. i ⇔ i. Если же существует следующее за i и связанное с ним состояние j 6= i, i ⇔ j,
(m)
(n)
(m+n)
(m) (n)
т.е. существуют m, n такие, что pij > 0 и pji > 0, то pii
≥ pij pji > 0 и, следовательно,
снова i ⇔ i.
2. Докажите, что множество состояний конечной марковской цепи разбивается на непересекающиеся классы несущественных и сообщающихся существенных состояний.
3. Докажите, что состояние, образующее отдельный класс сообщающихся состояний, является
поглощающим.
4. Завершите доказательство леммы 2.
5. Покажите, что число подклассов периодической цепи равно ее периоду.
6. Докажите теорему 8.2.
7. Вычислите степени МВП периодической цепи.
8. Завершите доказательство теоремы 8.3.
8. Для иллюстрации классификации состояний рассмотрим матрицу вероятностй перехода


1/3 1/3 1/6 0 1/6
 1/6 5/6 0
0
0 



0
0
1/3
2/3
0 
P =
,
 0
0 1/2 1/2 0 
0
0
0
0
1
по которой предлагается провести полную классификацию состояний цепи.
Задачи.
1—3. Проведите полную классификацию состояний марковских цепей из упражнений 7.3—7.5.
4. Классифицируйте цепи Маркова, по данным
 МВП. 
1 2 1 1 1 0 0
(а) P = 21 22 ; (б) P = 13 32 ; (в) P =  0 1 0 ;
3

3
1
2
3
1
2

1
3
3

0
0
(г) P =  1 0 0 ; (д) P =  0
1
1 0 0
2


1 0 0 0

 0 1 1 1 
3
3
3 

(е) P = 
 0 1 1 1 ; (ж) P = 
3
3
3
0 13 13 13
В случаях (е) и (ж) найти P n .
1
0
1
2
0
1
2
0
1
2

0
1 ;
0
1
0
2
0 21
1
0
2
0 21
1
2
1
3
1
3

0 

1 .
2
0
Библиографические замечания.
Приведенная здесь “топологическая” классификация состояний марковской цепи, использующая только свойства переходных вероятностей, была дана А.Н. Колмогоровым. [19]. Матричные
методы анализа конечных цепей использовались многими авторами, см., например, [11].
§ 9. Обрывающиеся и поглощающие цепи
§ 9.
9.1.
57
Обрывающиеся и поглощающие цепи
Вводные замечания
Изучение поведения марковских цепей мы начнем с анализа их поведения на множестве несущественных состояний. Отметим, однако, что несущественные состояния иногда оказываются весьма
“существенными” при анализе явлений, описываемых марковскими цепями. Оказывается, что поведение марковской цепи на множестве несущественных состояний совпадает с поведением некоторой обрывающейся цепи. В этом параграфе будет показано, что вероятность покинуть множество
несущественных состояний равна 1, будет найдено распределение времени, проводимого цепью в
множестве несущественных состояний, и его среднее значение. Также будут найдены вероятности возвращения в несущественное состояние и вероятности поглощения каждым из эргодических
классов.
Рассмотрим сначала полезную операцию сужения марковской цепи. Пусть X = {Xn , n ≥ 0} —
марковская цепь с пространством состояний E и A ⊂ E — собственное подмножество E.
Определение 9.1. Сужением марковской цепи X на подмножество ее состояний A называется
обрывающаяся марковская цепь A X = {A Xn , n ≥ 0} совпадающая с Xn , при Xn ∈ A, и обрывающаяся в момент выхода цепи X из множества A.
Чтобы это определение было законным, необходимо доказать следующее утверждение.
Лемма 9.1. Если X = {Xn , n ≥ 0} — марковская цепь, то последовательность
Xn ∈ A, является марковской цепью с матрицей вероятностей переходов
A Xn
= Xn при
PA = [pij ]i,j∈A
Доказательство рекомендуем читателю провести самостоятельно в качестве упражнения 1. По определению сужение марковской цепи является обрывающейся цепью, определение которой было дано в п.8.2.. Напомним, что матрица вероятностей переходов такой цепи является
полустохастической (Условие (2а) из раздела 7.1.).
Для обрывающейся цепи можно ввести дополнительное состояние ? (назовем его, скажем,
“потусторонний мир”) и положить по определению
X
pi? = 1 −
pij , p?? = 1.
(9.1)
j∈E
S
Определение 9.2. Марковская цепь X ∗ на множестве состояний E ∗ = E {∗} с исходными
переходными вероятностями, дополненными соотношениями (9.1), называется пополнением марковской цепи X, а сама такая операция называется пополнением обрывающейся марковской цепи.
Заметим, что пополнение обрывающейся цепи приводит к поглощающей цепи.
Пусть X — марковская цепь с пространством состояний E, E0 ⊂ E — класс несущественных
состояний, Q — подматрица переходных вероятностей внутри E0 . Согласно классификации состояний марковской цепи (§ 8.1.) ее МВП в канонической форме (§ 8.2.) может быть представлена в
виде
Q R
P =
,
(9.2)
0 P1
где подматрица P1 описывает поведение цепи после выхода из множества E0 несущественных
состояний. Очевидно, что поведение цепи на множестве несущественных состояний совпадает с
поведением обрывающейся цепи, полученной путем сужения исходной на свое множество несущественных состояний E0 , а также с поведением до момента поглощения ее пополнения. Из сказанного следует, что для описания поведения цепи на множестве несущественных состояний достаточно
58
Глава 3. Цепи Маркова
рассмотреть поведение поглощающей цепи с матрицей вероятностей переходов вида
Q p~•?
P = ~0
,
O
1
(9.3)
где вектор p~•? = R~1 представляет собой вероятности перехода из различных несущественных
состояний в поглощающее за 1 шаг. Вычисляя степени этой матрицы (см. упражнение 2) можно
заметить, что они содержат в левом вернем углу соответствующие степени матрицы Q. Последнее
означает, что поведение обрывающейся цепи совпадает с поведением ее пополнения на множестве
несущественных состояний.
9.2.
Фундаментальная матрица и ее свойства
Изучение поведения марковской цепи на подмножестве несущественных состояний начнем с анализа поведения степеней матрицы Q.
Теорема 9.1. Для подматрицы переходных вероятностей Q внутри класса несущественных
состояний поглощающей марковской цепи X справедливо соотношение Qn → 0 при n → ∞,
где имеется в виду поэлементная и, следовательно, в силу конечности множества состояний
равномерная сходимость матриц.
Доказательство. Для каждого состояния i ∈ E0 найдется номер mi такой, что вероятность
покинуть множество несущественных состояний, отправляясь из i за mi шагов положительна:
(m )
pi? i > 0. Поэтому для максимального из этих чисел, m = max{mi : i ∈ E0 }, будет положительна
минимальная из этих вероятностей:
(m)
q = min{pi? : i ∈ E0 } > 0,
Следовательно, вероятность остаться в множестве несущественных состояний после m шагов будет
строго меньше единицы для всех i ∈ E0 , и в силу конечности множества состояний также
(m)
max{piE0 : i ∈ E0 } = 1 − q < 1,
(m)
где обозначено piE0 =
P
j∈E0
(9.4)
(m)
pij . Отсюда следует, что вероятность остаться в множестве E0 несу-
щественных состояний за n = km шагов не превосходит величины (1 − q)k . Действительно, для
всех i, j ∈ E0 ,
X (km−m) (m)
X (km−m)
(km)
pij =
pil
plj < (1 − q)
pil
< · · · < (1 − q)k .
l∈E0
l∈E0
Следовательно, Qn → 0 при n → ∞ по подпоследовательности nk = km. Доказательство завершается замечанием о монотонности последовательности Qn ,
(n+1)
max pij
i,j∈E0
(n)
≤ max pik × max pkj .
i,k∈E0
k,j∈E0
(n)
Замечание 1. Очевидно, что max{pi? , i ∈ E0 } → 0 при n → ∞, так что Qn → 0 означает
равномерную сходимость к нулю всех элементов матрицы Qn .
Следствие 9.1. Существуют постоянные C > 0 и 0 < h < 1 такие, что
(n)
pij ≤ Chn ,
i ∈ E0 .
(9.5)
Другими словами, сходимость, доказанная в теореме 1 имеет место с геометрической скоростью.
§ 9. Обрывающиеся и поглощающие цепи
59
Доказательство. Из (9.4) следует, что для любых j ∈ E
(m)
pij
≤ 1 − q.
Тогда для достаточно большого n, используя представление n = km + a, записываем (обозначая,
P (a)
(a)
как и выше,
pik через piE0 )
k∈E0
(n)
pij =
X
(a) (km)
pik pkj
(a)
(a)
≤ piE0 (1 − q)k = piE0 (1 − q)
(n−a)
m
= Chn ,
k∈E0
(a)
a
1
где C = piE0 (1 − q)− m и h = (1 − q) m .
В нижеследующем следствии и далее через I обозначается единичная матрица соответствующей размерности.
Следствие 9.2. Матрица I − Q обратима, причем справедливо представление
X
N = (I − Q)−1 =
Qk ,
(9.6)
k≥0
Доказательство. Рассмотрим тождество
(I − Q)(I + Q + Q2 + · · · + Qn−1 ) = I − Qn .
Так как det I = 1, а Qn → 0 при n → ∞ и, следовательно, ее определитель тоже стремится к нулю,
то при достаточно больших n определитель матрицы I − Qn отличен от нуля. Отсюда следует,
что det(I − Q) 6= 0 и, следовательно, обратная матрица (I − Q)−1 существует. Таким образом из
последнего тождества имеем
I + Q + Q2 + · · · + Qn−1 = (I − Q)−1 (I − Qn ),
откуда предельным переходом получаем утверждение следствия.
Определение 9.3. Матрица N называется фундаментальной матрицей обрывающейся, или поглощающей цепи, или множества несущественных состояний.
Следствие 9.3. Фундаментальная матрица обладает следующими свойствами
QN = N Q = N − I.
(9.7)
Доказательство. Действительно, N = I + Q + Q2 + . . . , поэтому QN = N Q = Q + Q2 + · · · =
N − I.
Следующая теорема показывает вероятностный смысл элементов фундаментальной матрицы.
Пусть νj — случайная величина, равная числу посещений цепью в состояния j.
Теорема 9.2. Элементы nij , i, j ∈ E0 фундаментальной матрицы N имеют смысл среднего
числа посещений несущественного состояния j цепью, выходящей из несущественного состояния i,
X
nij = Mi
1j (Xn ),
(9.8)
n≥0
где через 1j (Xn ) обозначена характеристическая функция множества {j}, а именно: 1j (Xn ) = 0
при Xn 6= j и 1j (Xn ) при Xn = j.
60
Глава 3. Цепи Маркова
Доказательство. Так как ряды с положительными членами ведут себя как абсолютно сходящиеся, то можно записать
X
X
X (n)
Mi
1j (Xn ) =
Mi 1j (Xn ) =
pij = nij .
n≥0
n≥0
n≥0
Полезно
рассмотреть другое доказательство этой теоремы. Пусть δij — символ Кронекера и
P
νj =
1j (Xn ) — число посещений состояния j, а nij его среднее значение при условии, что цепь
n≥0
стартует из состояния i, определяемое формулой (9.8). Тогда
X
pik nkj , i, j ∈ E0 .
nij = δij +
k∈E0
В матричной форме это равенство записывается в виде
N = I + QN,
откуда получаем
N = (I − Q)−1 ,
что и требовалось доказать.
Метод, примененный в последнем доказательстве, позволяет вычислить дисперсию числа посещений цепью состояния j ∈ E0 . Предварительно введем следующие обозначения: Ndg — диагональная матрица с элементами главной дагонали, равными nii , i ∈ E0 , N2 = [n2ij ]i,j∈E0 — матрица
с элементами, равными квадратам соответствующих элементов матрицы N , dij = Di νj , i, j ∈ E0
— дисперсия числа посещений состояния j цепью, выходящей из состояния i и D = [dij ]i,j∈E0 —
матрица этих дисперсий.
Теорема 9.3. Дисперсия числа посещений несущественного состояния j цепью, выходящей из
состояния i определяется формулой
D = N (2Ndg − I) − N2 .
(9.9)
Доказательство. Пусть E1 = E − E0 — множество состояний, из которых невозможен переход
в E0 . Используем формулу Di νj = Mi νj2 − Mi νj )2 . Вычитаемое в правой части по теореме 9.2
равно n2ij , следовательно, вычитаемое в (9.9) равно N2 . Покажем, что матрица Mi νj2 равна
N (2Ndg − I). Рассматривая все возможные переходы за один шаг из начального состояния i и
применяя формулу полного математического ожидания, получаем
X
X
Mi νj2 =
pik δij +
pik Mk (δij + νj )2 =
k∈E1
=
X
k∈E0
pik Mk νj2 + 2Mk νj δij ) + δij .
k∈E0
Здесь учтено, что
получим
P
k∈E1
pik δij +
P
2
pik δij
= δij . Записывая последнее равенство в матричной форме,
k∈E0
Mi νj2 = Q Mi νj2 + 2(QN )dg + I.
Отсюда с учетом соотношений (9.6, 9.7) имеем
Mi νj2 = (I − Q)−1 (2(QN )dg + I) = N (2Ndg − I).
Перейдем теперь к рассмотрению времени, проводимого цепью в множестве несущественных
состояний.
§ 9. Обрывающиеся и поглощающие цепи
9.3.
61
Время пребывания в несущественных состояниях
Распределение времени пребывания цепи в множестве несущественных состояний представляет
значительный интерес при решении различных прикладных задач. Оно же является распределением времени обрыва и времени до поглощения для поглощающих цепей. Из теоремы 9.1 следует,
что цепь с вероятностью 1 покидает множество несущественных состояний, т.е. распределение
времени пребывания в множестве несущественных состояний — собственное. Используя наличие
фундаментальной матрицы приведем другое, более формальное доказательство этого факта.
Теорема 9.4. Конечная цепь с вероятностью 1 покидает множество несущественных состояний.
Доказательство. Пусть, как и выше, E0 — класс несущественных состояний марковской цепи
X, E0 X — сужение этой цепи на множество E0 и Q — матрица вероятностей переходов цепи
E0 X. Пополним последнюю цепь поглощающим состоянием {?}, которое есть объединение всех
существенных состояний. Матрица вероятностей переходов модифицированной цепи имеет вид
(9.3). Умножая эту матрицу справа на вектор из единиц ~1 = (1, 1, ..., 1), получим в силу свойств
стохастических матриц
Q~1 + p~•? = ~1,
или
(I − Q)~1 = p~•? ,
и, наконец,
(I − Q)−1 p~•? = N p~•? = ~1.
Так как i-я компонента вектора N p~•? равна вероятности li? достичь состояния ? из состояния i
когда-нибудь (проверьте это самостоятельно в качестве упражнения 3), т.е. покинуть множество
E0 , отправляясь из состояния i, то вероятность перехода из каждого несущественного состояния
в поглощающее равна единице.
Теперь, когда доказано, что распределение времени пребывания цепи в множестве несущественных состояний собственное, мы можем перейти к решению сформулированной в разделе 7.3.
задачи нахождения распределение времени пребывания цепи в этом множестве. Заметим, что
указанное распределение зависит от начального состояния (или начального распределения) цепи. Поэтому правильнее говорить об условном распределении времени, проводимого в множестве
несущественных состояний, относительно фиксированного начального состояния (или начального
распределения). Пусть TE0 — время пребывания марковской цепи в множестве E0 несущественных
состояний и fi = {fi (k) = Pi {TE0 = k}, k ≥ 0}, условное распределение этого времени при условии, что в начальный момент цепь находилась в состоянии i. Для каждого k ≥ 0 обозначим через
f~(k) = {fi (k), i ∈ E0 } вектор этих распределений относительно различных начальных состояний.
Как и при доказательстве теоремы 9.3, рассмотрим цепь с матрицей вероятностей переходов (9.3).
Теорема 9.5. Распределение f~(k) = {fi (k), i ∈ E0 }, k ≥ 0, времени, проведенного в множестве
E0 несущественных состояний, имеет вид
f~(k) = Qk p~•? ,
k ≥ 0,
(9.10)
~
f˜(z) = (I − zQ)−1 p~•? .
(9.11)
с производящей функцией
Доказательство. Пусть цепь в начальный момент находится в состоянии i. Очевидно, что для
случайного времени TE0 пребывания цепи в множестве несущественных состояний событие {TE0 =
k} имеет место тогда и только тогда, когда цепь в течение k шагов остается в множестве E0 , после
чего должна его покинуть и перейти в состояние ?. Вероятность перейти из i в j ∈ E0 за k шагов
(k)
и затем на шаге k перейти в ? равна pij pj? , где pj? — j-я компонета вектора p~·? . Поэтому
X (k)
fi (k) =
pij pj? .
j∈E0
62
Глава 3. Цепи Маркова
Таким образом получается формула (9.10). Умножая обе части равенства (9.10) на z k и суммируя
полученные равенства по k, получаем соотношение (9.11) для производящей функции.
Замечание 2. Для марковской цепи с матрицей вероятностей переходов общего вида (9.2) формулы (9.10) и (9.11) записываются в виде
f~(k) = Qk R~1,
и
k ≥ 0,
(9.12)
~
f˜(z) = (I − zQ)−1 R~1
(9.13)
соответственно.
Для вычисления безусловной вероятности времени пребывания в множестве несущественных
состояний цепи, стартующей с заданным начальным распределением α, необходимо умножить
обе части равенства (9.10) слева на вектор-строку α0 . В частности, для цепи, отправляющейся из
состояния i ∈ E0 , имеет место равенство
fi (k) = Pi {TE0 = k} = ~e0i Qk p~•? ,
k ≥ 0.
Пусть A — непустое подмножество несущественных состояний, QA — подматрица вероятностей
переходов внутри A. Записывая матрицу вероятностей переходов в виде
QA R
P =
,
0 P1
где R и P1 имеют очевидный смысл, получаем
Следствие 9.4. Распределение времени пребывания в подмножестве A несущественных состояний определяется формулой
f~A (k) = QkA R~1,
с производящей функцией
~
f˜A (z) = (1 − zQA )−1 R~1.
Доказательство очевидно.
9.4.
Вероятности поглощения
Рассмотрим теперь вопрос о местонахождении поглощающей цепи после выхода из множества
несущественных состояний. Если имеется единственный эргодический класс, то, как показывает
теорема 9.4, цепь оказывается в нем с вероятностью единица, и вопрос можно считать исчерпанным, так как дальнейшее поведение внутри эргодического класса исследуется в следующем параграфе. Для цепи, имеющей несколько эргодических классов, мы найдем вероятности попадания в
каждый из них после выхода из множества несущественных состояний. Начнем с самого простого
случая, когда каждый эргодический класс состоит из единственного поглощающего состояния.
Матрица вероятностей переходов такой цепи имеет вид


Q p~•1 · · · p~•k
 0
1 ···
0 
.
P =
 ·
·
···
· 
0
0 ···
1
Обозначим через Aj событие, состоящее в том, что после выхода из множества несущественных
состояний E0 цепь окажется в поглощающем состоянии j. Пусть πij (n) — вероятность того, что
событие Aj происходит на шаге n, при условии, что начальным состоянием является i, πj (n) —
вектор (размерности той же, что и матрица Q), составленный из этих вероятностей. Очевидно,
§ 9. Обрывающиеся и поглощающие цепи
63
что событие Aj происходит на n-м шаге тогда и только тогда, когда в течение n − 1 шага цепь
не выходит из множества несущественных состояний, после шага n − 1 оказывается в состоянии
k ∈ E0 и на следующем шаге переходит в j. Следовательно,
X (n−1)
pik pkj
πij (n) =
k∈E0
или в матричной форме
~πj (n) = Qn−1 p~•j .
Суммируя по n, получаем:
~πj = N p~•j .
Таким образом, доказана
Теорема 9.6. Вероятности поглощения каждым из r поглощающих состояний определяется
вектором
(9.14)
~πj = N p~•j , j = 1, k.
В общем случае пусть E1 , . . . , Ek — эргодические классы и МВП имеет вид


Q R1 · · · Rk
 0 P1 · · ·
0 
.
P =
 ·
· ···
· 
0 0 · · · Pk
(m)
Пусть, далее Пm — матрица, элементами которой πij являются условные вероятности попадания
в состояние j ∈ Em в момент выхода из множества несущественных состояний, при условии, что
цепь стартует в состоянии i ∈ E0 . Следующая теорема обобщает утверждение теоремы 9.6 и
доказывается аналогично.
Теорема 9.7. Матрица Пk определяется соотношением
Пk = N Rk ,
k = 1, m.
Доказательство выполнить самостоятельно в качестве упражнения 4.
9.5.
Возвращение и достижение
Рассмотрим вопросы, связанные с вероятностями возвращения цепи в несущественное состояние
и достижения одного несущественного состояния из другого. Напомним, что введенные в разделе
(n)
(n)
8.3. вероятности lii и lij можно рассматривать как распределения вероятностей относительно
вероятностной меры Pi марковского процесса, стартующего из состояния i, времени первого возвращения в это состояние и времени первого достижения состояния j. Для исследования распределения времени возвращения обозначим через Qi матрицу, получающуюся из Q вычеркиванием i-й
строки и i-го стобца, p~i• , p~•i — i-ые вектора строку и столбец соответственно исходной матрицы
без i-го элемента, и представим матрицу Q в виде
Qi p~•i
Q=
.
p~i• pii
(n)
Тогда для распределения {lii , n ≥ 1} времени возвращения в состояние i имеет место следующее
утверждение.
64
Глава 3. Цепи Маркова
(n)
Теорема 9.8. Распределение {lii , n ≥ 1} времени возвращения в состояние i ∈ E0 определяется
формулой
(1)
(n)
lii = pii , lii = p~i• Qn−2
p~•i , n ≥ 2,
(9.15)
i
а производящая функция этого распределения равна
lii (z) = zpii + z 2 p~i· (1 − zQi )−1 p~•i .
(9.16)
Доказательство. Пусть i E0 = E0 \ {i}. Рассмотрим поведение цепи, стартующей из состояния
i ∈ E0 . Вероятность возвращения в i на первом шаге равна pii . Первое возвращение в состояние i
на n-м (n ≥ 2) шаге происходит тогда и только тогда, когда цепь на первом шаге выйдет из i в i E0 ,
затем совершит n − 2 перехода внутри i E0 , не покидая его, после чего перейдет в i. Вероятности
выхода из i E0 на 1-м шаге равны координатам вектора p~i• , вероятности переходов за n − 2 шага
внутри i E0 даются матрицей Qn−2
, а вероятности перехода из i E0 в i - это координаты вектора p~•i .
i
Таким образом получается формула (9.15), из которой следует формула (9.16) для производящей
функции.
Следствие 9.5. Вероятность возвращения lii равна
lii = pii + p~i• (1 − Qi )−1 p~•i .
Доказательство получается подстановкой z = 1 в (9.16).
(9.17)
Теорема 9.9. Вероятность возвращения в несущественное состояние меньше единицы, lii < 1
для любого i ∈ E0 .
Доказательство. Так как нас интересует вероятность возвращения в состояние i, т.е. поведение
цепи до первого возвращения в это состояние, то модифицируем цепь таким образом, чтобы наряду
с поглощающим состоянием ? поглощающим стало состояние i. Матрица вероятностей переходов
такой модифицированной цепи принимает вид


Qi p~•i p~•?
1
0 .
P =  ~00
~00
0
1
По теореме 9.6 вероятности поглощения состояниями i и ? для такой цепи определяются соответственно векторами ~πi = (I − Qi )−1 p~•i и ~π? = (I − Qi )−1 p~•? . Таким образом, ~πi + ~π? = ~1, для
вероятности возвращения имеем
lii
= pii + p~i• (I − Qi )−1 p~•i =
= pii + p~0i• (1 − ~π? ) = 1 − p~0i•~π? = 1 − qi ,
где qi — вероятность покинуть множество несущественных состояний, выходя из i, которая, по
определению несущественного состояния, положительна, qi > 0. Отсюда следует утверждение
теоремы.
9.6.
Дополнения
Вопросы для контроля.
1. Дайте определение обрывающейся и поглощающей марковских цепей. Какова связь между
этими цепями?
2. Дайте определение операций сужения и пополнения марковской цепи. Что представляет
собой сужение неразложимой марковской цепи на собственное подмножество состояний?
3. Что называется фундаментальной матрицей поглощающей марковской цепи? Что представляют собой ее элементы?
§ 9. Обрывающиеся и поглощающие цепи
65
4. Сходятся ли и к чему элементы степеней матрицы подмножества несущественных состояний? Какова скорость их сходимости?
5. Чему равно время пребывания марковской цепи в множестве своих несущественных состояний?
6. С какой вероятностью марковская цепь покидает множестве своих несущественных состояний?
7. Как связано распределение времени пребывания в множестве несущественных состояний
k
fi (k) = Pi {TE0 = k} с вероятностью li?
первого первого выхода из этого множества.
8. Как вычисляются вероятности поглощения?
9. Какими формулами задаются распределения времени возвращения марковской цепи в какоелибо из своих несущественных состояний?
10. Как вычислить вероятность достижения марковской цепью одного из своих несущественных состояний из другого?
Упражнения.
1. Докажите лемму 9.1
2. Вычислите степени матрицы Q.
3. Докажите, что вектор N p~•? представляет собой вектор вероятностей выхода из множества
несущественных состояний.
4. Докажите теорему 9.7.
Задачи.
В задачах 1 – 3 задана матрица P вероятностей перехода поглощающей цепи Маркова и начальное распределение α.
 1 
 1 1 1 1 1 
4
 1
 41
1. P = 
 3
 0
0
 1
2
 1
 31
2. P = 
 4
 0
0
 1
2
1
2
1
3


3. P = 

 0
0
4
4
1
2
8
1
4
0
0
0
0
1
0
0
1
3
0
0
0
0
0
0
0
1
0
0
1
4
1
3
1
3
1
6
0
0
0
0
0
0
0
1
0
0
1
3
0
0
1
4
1
3
1
4
1
3
1
4
8
0 

1 
3 ,
0 
1

1
4
0 

1 
4 ,
0 
1

0
1 
4 
0 
,
0 
1
2
 1 
 2 

α=
 0 .
 0 
0
 1 
3
 1
 31
α=
 3
 0
0
 1
2
1
4
1
4


α=

 0
0


.





.


(1) Пусть T — время, проводимое цепью в множестве несущественных состояний. Найти M[T ]
и D[T ].
(2) Выяснить при каком начальном распределении математическое ожидание времени, проводимого в множестве несущественных состояний будет наибольшим и наименьшим.
(3) Вычислить вероятности fii возвращения в каждое из несущественных состояний.
(4) Вычислить вероятность поглощения в каждом из поглощающих состояний.
Библиографические замечания.
Изложение результатов этого параграфа в основном опирается на книгу [11]. В качестве дополнительной литературы можно использовать также курс теории вероятностей [8].
66
Глава 3. Цепи Маркова
§ 10.
Эргодические цепи
Проблематика исследования поведения эргодической цепи, или цепи на множестве существенных сообщающихся состояний, отлична от соответствующей проблематики для множества несущественных состояний. Дело в том, что, в отличие от несущественных состояний, в эргодическом
множестве состояний цепь остается неограниченно долго. Поэтому основной интерес представляет
частота посещений каждого из эргодических (существенных сообщающихся) состояний. Прежде
всего заметим, что, как будет точно доказано ниже, любое из эргодических состояний возвратно,
т.е. однажды попав в такое состояние цепь с вероятностью 1 возвращается в него и, более того,
возвращается в него бесконечно часто. Отсюда следует, что распределение времени возвращения
собственное. Оно будет вычислено далее вместе со своими характеристиками. Применим полученные в предыдущем параграфе результаты для вычисления распределения времени возвращения
в любое из существенных состояний (для эргодических цепей).
10.1.
Возвратность
Рассмотрим эргодическую марковскую цепь X = {Xn , n = 0, 1, 2, . . . } с множеством состояний
E и МВП P = [pij ]i,j∈E . Переходя к вопросу о возвращении в эргодические состояния обозначим
как и в разделе 9.1. через i X сужение эргодической марковской цепи X на подмножество E \ {i}
ее состояний с МВП i P , которая отличается от исходной тем, что у нее вычеркнуты i-ые строка и
столбец. Эта матрица соответствует вероятностям переходов с запрещением и представляет собой
матрицу переходных вероятностей некоторой обрывающейся цепи. Обозначим, кроме того, через
p~i • , p~• i — i-ые вектора строку и столбец, соответственно, исходной матрицы без i-го элемента,
так что перестановкой i-ых строчки и столбца исходная матрица P может быть представлена в
виде
Q p~• i
P = i
.
p~i • pii
Можно показать (см. упражнение 1), что если X — эргодическая цепь, то i X — обрывающаяся
для любого i ∈ E. Тогда, например, для распределения времени возвращения в i-ое состояние
справедливо утверждение.
Теорема 10.1. Для распределения времени возвращения в i-е состояние эргодической цепи справедливы те же формулы (9.15), (9.16), что и для невозвратного состояния.
(1)
lii = pii ,
(n)
lii = p~i • i P n−2 p~• i ,
n≥2
(10.1)
с производящей функцией
lii (z) = zpii + z 2 p~i • (1 − z i P )−1 p~• i .
(10.2)
Доказательство полностью повторяет рассуждения аналогичной теоремы для поглощающих цепей. Действительно, сужение i X цепи X на собственное подмножество E \ {i} является согласно
упражнению 1 в конце данного параграфа обрывающейся, а ее пополнение — поглощающей цепями, решение аналогичного вопроса для которых содержится в следствии 9.5 к теореме 9.8. Таким
образом, получаем искомое выражение и соответствующую производящую функцию.
В качестве следствия этой теоремы получим следующее утверждение.
Следствие 10.1. Всякое существенное состояние возвратно, т.е. вероятность возвращения в
него равна 1.
Доказательство. Действительно, из соотношения (10.2) имеем при z = 1
lii = lii (1) = pii + pi• (I −i P )−1 p•i = pii + pi• i N p•i =
= pii + pi•~1 = pii + (1 − pii ) = 1.
§ 10. Эргодические цепи
67
Более того, в силу полученной в § 9 геометрической оценки для распределения времени пребывания в несущественных состояниях (см. следствие 9.1 к теореме 9.1) из предыдущих рассуждений
следует конечность среднего времени возвращения.
Следствие 10.2. Среднее время возвращения mjj в любое существенное состояние конечно,
mjj < ∞.
Доказательство. Действительно, в силу оценки
(n)
(n)
ljj = j pjj ≤ max{[j P n ]ik , i, k ∈ E \ {j}
и геометрической скорости сходимости элементов степеней МПВ на множестве несущественных
состояний имеем, что время возвращения мажорируется геометрическим распределением, откуда
следует конечность его среднего значения.
Покажем теперь, что все состояния эргодического класса взаимно достижимы с вероятностью1,
т.е. каждое состояние достижимо из каждого.
Следствие 10.3. Все состояния эргодического класса взаимно достижимы с вероятностью 1.
Доказательство. Действительно, из соотношения (10.2) рассуждениями, аналогичными проведенным при доказательства следствия 10.1 получим
lij
= lij (1) = pij + p~i • (1 − j P )−1 p~• j = pij + p~i • j N p~• j =
= pij +j p~i•~1 = pij + (1 − pij ) = 1,
что доказывает взаимную достижимость состояний эргодического класса.
Покажем, наконец, что цепь возвращается в каждое из своих эргодических состояний бесконечно часто.
Теорема 10.2. Конечная цепь посещает каждое из своих эргодических состояний бесконечно
часто.
Доказательство. Рассмотрим событие Aj , состоящее в том, что последовательность {Xn } бесконечное число раз (б.ч.р.) возвращается в какое-либо из своих существенных состояний, скажем
j,
\ [
Aj = {Xn = j б.ч.р.} =
{Xk = j}.
n≥1 k≥n
Для марковской последовательности {Xn } события {Xn = j}, вообще говоря, зависимы. Чтобы
воспользоваться законом 0 или 1 Бореля, фиксируем состояние j и обозначим через νk - момент
k-го возвращения в состояние j, а через Bk событие, состоящее в том, что это возвращение произойдет, т.е., что цепь возвращается в состояние j по крайней мере k раз
Bk = {Xνk = j, Xi 6= j, νk−1 < i < νk }.
Тогда событие A можно представить также в виде
\ [
\ [
A = {Xn = j б.ч.р.} =
{Xk = j} =
Bk
n≥1 k≥n
n≥1 k≥1
однако уже с помощью (статистически) независимых событий Bk , т.к. после каждого возвращения
в некоторое (фиксированное) состояние j будущее не зависит от прошлого, а лишь от (фиксированного) настоящего. Следовательно, согласно закону 0 или 1 Бореля вероятность этого
P события
может быть равна либо 0, либо 1 в зависимости от сходимости или расходимости ряда k≥1 P{Bk }.
Т.к. в рассматриваемом случае согласно следствию 10.1 P{Bk } = 1, то соответствующий ряд расходится и, следовательно, P{A} = 1.
68
Глава 3. Цепи Маркова
Наконец, все приведенные здесь результаты обобщаются на любое собственное подмножество
состояний марковской цепи. Приведем здесь только результаты, касающиеся распределения времени пребывания в некотором собственном подмножестве состояний и времени достижения некоторого собственного подмножества состояний.
Для распределения времени пребывания в собственном подмножестве A состояний и времени
достижения собственного подмножества состояний неразложимой (эргодической) цепи справедливы утверждения, аналогичные ее поведению на множестве несущественных состояний. Решение
вопросов о времени пребывания в некотором собственном подмножестве и времени достижения
некоторого собственного подмножества состояний, представляющих значительный интерес при
исследовании различных прикладных вопросов (см. примеры), оказываются очень близкими. Поэтому мы рассмотрим их параллельно. Обозначим через A множество, время пребывания в котором нас интересует, а через B его дополнение. Тогда время пребывания в множестве A (если в
начальный момент цепь находилась в этом множестве) и время первого достижения множества B
(при тех же начальных условиях) отличаются на единицу. Другими словами, обозначая через TA
и T B соответственно время пребывания в множестве A и время достижения множества B имеем
{TA = k} = {T B = k + 1}
и, следовательно, при i ∈ A,
Pi {TA = k} = Pi {T B = k + 1} ≡ fi (k)
Обозначим через f~A (k) = {fi (k) i ∈ A} вектор вероятностей длительности пребывания в множестве A и через PA , PB , PAB и PBA подматрицы переходов внутри подмножеств A и B соответственно и между этими подмножествами. Тогда исходную МВП можно представить в виде
PA PAB
P =
.
PBA PB
Теорема 10.3. Для распределения времени пребывания в собственном подмножестве состояний
и времени достижения собственного подмножества состояний эргодической марковской цепи
справедливы формулы
f~A (k) = PAk−1 PAB ~1
(10.3)
с производящей функцией
~
f˜A (z) = z(1 − zPA )−1 PAB ~1.
(10.4)
Доказательство полностью совпадает с доказательством аналогичной теоремы для поглощающих цепей. Действительно, сужение A X цепи X на собственное подмножество A своих состояний
является согласно упражнению 2 в конце данного параграфа обрывающейся, а ее пополнение —
поглощающей цепями, решение аналогичного вопроса для которых содержится в следствии 9.5 к
теореме 9.8.
Вопрос о частоте посещений марковской цепью состояний замкнутого (эргодического) класса
рассматривается далее наряду с эргодическими теоремами в разделе 10.4. В следующем разделе
рассмотрим одну из наиболее важных характеристик неразложимых эргодических цепей, — их
инвариантные вероятности.
10.2.
Инвариантные вероятности.
Одной из основных характеристик эргодической цепи являются ее инвариантные вероятности,
которые играют важную роль при исследовании марковских цепей. Их значение определяется
тем, что если начальным распределением цепи является инвариантное распределение, то соответствующая марковская цепь оказывается стационарной, что обеспечивает ей много интересных
и полезных дополнительных свойств. Стационарные марковские цепи являются частным случаем стационарных последовательностей, которые представляют специальный раздел теории с.п. и
§ 10. Эргодические цепи
69
будут рассмотрены в отдельной части курса. Здесь будут приведены лишь необходимые определения.
Определение 10.1. Распределение π = {πi , i ∈ E} называется инвариантным, если
π0 P = π0 ,
(10.5)
при этом система уравнений (10.5) называется системой уравнений равновесия (СУР) для инвариантного распределения вероятностей состояний марковской цепи.
В свете сказанного в начале настоящего раздела, вопрос о существовании и единственности
инвариантных распределений представляется весьма существенным. В настоящем разделе вопрос
о существовании инвариантного распределения будет решен конструктивно путем его непосредственного предъявления, а именно мы покажем что величины πi = m−1
ii образуют инвариантное
распределение вероятностей на эргодическом классе. Для этого докажем сначала одно важное
их свойство, состоящее в том, что инвариантные вероятности пропорциональны числу посещений
состояния i без захода в некоторое фиксированное состояние.
Определим величину e nei как среднее число посещений состояния i цепью выходящей из состояний e до момента νe первого возвращения в это состояние:
X
X (n)
1i (Xn ) =
(10.6)
e nei = Me
e pie .
1≤n≤νe
n≥1
В силу следствия 10.2 предыдущего пункта эти величины конечны, причем
X
X
1(Xn ) = M [e νe ] = mee < ∞
e nei = Me
i∈E
1≤n≤νe
Покажем, что величины e nei удовлетворяют СУР. Действительно, в силу соотношения (10.6)
имеем
X
X X (n)
X
X (n) (n)
e nei pij =
e pei pij =
e pee pej +
e pei pij =
i∈E
i∈E n≥1
=
X
(n)
e pee pej
n≥1
(n+1)
+e pej
i6=e
(1)
= lee pej + e nej − e pej = e nej .
n≥1
(1)
Последнее соотношение следует из того, что для эргодического состояния e lee = 1 и pej =e pej .
Таким образом, величины {e nei , i ∈ E} образуют инвариантную меру. Откуда легко следует
Теорема 10.4. Величины πi = m−1
ee e nei образуют инвариантное распределение вероятностей.
Доказательство сразу следует из того факта, что
X
X
mee =
1(Xn ) = M [e νe ]
e nei = Me
i∈E
1≤n≤νe
Вопрос о единственности инвариантного распределения вероятностей не тривиален и помимо
теоретического имеет сугубо практическое значение. Дело в том, что если инвариантное распределение единственно, то для его нахождения достаточно решить систему уравнений (10.5). Заметим,
однако, что сама эта система, как однородная система алгебраических уравнений с вырожденной
матрицей, имеет бесконечно много решений. Однако оказывается, что для эргодической цепи лишь
одно из них обладает свойством вероятностного распределения.
Исследование инвариантных распределений продолжим опираясь на асимптотические свойства переходных вероятностей.
70
Глава 3. Цепи Маркова
10.3.
Предельные теоремы для переходных вероятностей
Свойства инвариантных вероятностей естественным образом и тесно связаны с асимптотическим
поведением марковских цепей и, в частности, с поведением ее переходных вероятностей за n шагов
P n при n → ∞. Здесь как раз и проявляется различие в поведении цепи на различных классах
состояний.
Теорема 10.5. Для неразложимой конечной марковской цепи справедливы предельные соотношения
(а) в случае апериодической цепи
= πj =
1
;
mjj
d
mjj ,
при i ∈ Cj ,
0,
при i 6∈ Cj ,
(n)
lim p
n→∞ ij
(б) в случае периодической цепи с периодом d
(
lim
k→∞
(kd+r)
pij
=
для всех r = 0, d − 1.
Доказательство теоремы начнем с наиболее простого случая регулярной (или неразложимой
апериодической) цепи, когда имеет место равномерная сходимость, P n → Π. Заметим, прежде
всего, что последовательность моментов Sn = Sn (e) возвращения в некоторое произвольное, но
фиксированное состояние e, образует (дискретный) процесс восстановления (см. глава 2). Используя разложение по полной группе событий и формулу полной вероятности, полагая Tk = Sk −Sk−1 ,
имеем
(n)
pij = Pi {Xn = j} =
= Pi {Xn = j, S1 > n} +
X
Pi {Xn = j, Sk ≤ n < Sk+1 } =
k≥1
(n)
=e pij +
XX
Pi {Xn = j, Sk ≤ n < Sk+1 | Sk = r}Pi {Sk = r} =
r≥1 k≥1
(n)
=e pij +
XX
Pi {Sk = r}Pe {Xn−r = j, 0 < Tk+1 } =
r≥1 k≥1
(n)
=e pij +
X
(n−r)
hr e pej
,
r≥1
где
hr =
X
Pi {Sk = r} =
k≥1
X
[Pi {Sk ≤ r} − P{Sk ≤ r − 1}]−
k≥1
скачки функции восстановления дискретного процесса восстановления, образованного моментами
возвращения в состояние e. Так как в силу конечности и неразложимости цепи первое слагаемое
в правой части равномерно (по исходному состоянию i) сходится к нулю,
(n)
e pij
≤ Pi {S1 > n} → 0,
среднее время между моментами возвращения в e конечно и распределение интервала между
возвращениями дискретно, то в силу узловой теоремы Смита (для дискретного процесса восстановления) получим
P (r)
e pej
r≥1
e nej
(n)
lim p =
=
= πj .
n→∞ ij
mee
mee
§ 10. Эргодические цепи
71
Замечая теперь, что выбор запрещенного состояния произволен и полагая e = j, получим в
силу того, что j njj = ljj = 1, первое утверждение теоремы для апериодической цепи.
Для периодической цепи соответствующий результат получается либо путем перехода к (вложенным) подцепям, соответствующим моментам посещения подклассов, либо путем применения
соответствующей теоремы восстановления для случая решетчатых распределений.
Таким образом, в случае апериодической имеет место равномерная сходимость переходных
вероятностей, которая в матричной форме принимает вид
lim P n = Π = ~1π 0 ,
n→∞
где последнее соотношение Π = ~1π 0 показывает, что все строки предельной матрицы одинаковы. К
сожалению, в периодическом случае имеет место сходимость только по подпоследовательностям.
Однако, в обоих случаях (как для апериодических, так и для периодических цепей) имеет место
сходимость в среднем.
Следствие 10.4. Для неразложимой конечной марковской цепи имеет место сходимость в
среднем
n−1
1X k
P = Π = ~1π 0 .
(10.7)
lim
n→∞ n
k=0
Доказательство. Для регулярной цепи это соотношение очевидно. Из предыдущей теоремы следует, что в периодическом случае имеет место сходимость по подпоследовательности P kd+r →
P r Π0 при k → ∞, где Π0 - предельная матрица, элементы которой равны 0 для индексов из
разных подклассов и равны mdjj для индексов из одного подкласса. Поэтому соответствующая
последовательность в среднем сходится к среднему из этих пределов
d
n−1
d
1
X
1 X k 1 X r
P r Π0 = ~1π 0 .
P =
P Π0 =
n→∞ n
d r=1
d
r=1
lim
k=0
(10.8)
Приведем теперь некоторые свойства предельной матрицы.
Теорема 10.6 (Свойства предельной матрицы). Для предельной матрицы эргодической цепи
имеют место следующие соотношения
(1) ΠP = P Π = Π;
(2) ~π является единственным инвариантным распределением вероятностей.
Доказательство. Суммируя соотношения P k+1 = P k P по k от 0 до n − 1, деля полученное
выражение на n и переходя к пределу при n → ∞ найдем
n−1
n−1
1 X k+1
1X k
P
= lim
P P = ΠP.
n→∞ n
n→∞ n
lim
k=0
(10.9)
k=0
Преобразуя левую часть найдем
n−1
1 X k+1
P
n→∞ n
lim
n−1
=
k=0
1 X k
P − I + Pn =
n→∞ n
lim
k=0
=
lim
n→∞
1
n
n−1
X
k=0
P k − lim
n→∞
1
(I − P n ) = Π,
n
откуда следует первое из соотношений (1). Это соотношение показывает, что предельное распределение является инвариантным. Второе доказывается аналогично.
72
Глава 3. Цепи Маркова
Для доказательства второго утверждения — единственности инвариантного распределения,
предполагая наличие второго инвариантного рапределения β : β~ 0 = β~ 0 P , имеем β~ 0 = β~ 0 P k и,
следовательно,
n−1
1 X ~0 k ~0
~ 0~1~π 0 = ~π 0 .
(10.10)
βP =βA=β
β~ 0 =
n
k=0
Заметим, что предельный переход в соотношениях (10.10, 10.11) под знаком матричного умножения возможен в силу конечности пространства состояний и, следовательно, равномерной сходимости.
Приведенная теорема позволяет привести содержательную трактовку среднего числа посещений k nkj некоторого состояния j без захода в другое k, введенной в разделе 10.2. формулой (10.6).
Следствие 10.5. Для величины k nkj справедливо представление
k nkj
=
mkk
mjj
для любых j и k.
(10.11)
Доказательство. Покажем, что предельное выражение в теореме 10.5 не зависит от выбора
состояния e. Фиксируя другое запрещенное состояние, скажем k, найдем
(n)
lim p
n→∞ ij
=
k nkj
mkk
,
откуда в силу единственности предела имеем
k nkj
mkk
10.4.
=
1
,
mjj
или
k nkj
=
mkk
mjj
для любых j и k.
Эргодические теоремы
По ЗБЧ частота hn (A) появления события A в последовательности независимых испытаний сходится к его вероятности по вероятности (и с вероятностью 1 в случае применимости УЗБЧ)
hn (A) =
νn (A)
→ P(A) = p,
n
а отклонение удовлетворяет ЦПТ
ν (A) − np
pn
→ N (0, 1).
np(1 − p)
Аналогичные утверждения справедливы также для сумм Sn =
P
Xk н.о.р. с.в. Xn . Именно,
k≤n
имеют место ЗБЧ
Sn
→ M[X1 ] по вероятности,
n
и ЦПТ
Sn − nMX1
√
→ N (0, 1) по распределению.
nDX1
Эргодическими теоремами в теории случайных процессов называются теоремы о сходимости
средних по времени функционалов от траекторий с.п. к средним по инвариантной вероятностной
мере в фазовом пространстве. Частным случаем эргодических теорем являются законы больших
чисел для независимых слагаемых. Обобщение этих законов на случай более общих процессов и
называется эргодическими теоремами. В зависимости от вида сходимости (также как и в законах
больших чисел) можно говорить о слабой (относительно сходимости по вероятности), сильной
(относительно сходимости с вероятностью 1) или среднеквадратической эргодических теоремах
§ 10. Эргодические цепи
73
в соответствии с выбранным видом сходимости. В настоящем разделе с помощью обычного и
усиленного закона больших чисел для сумм независимых слагаемых будут одновременно доказаны
слабая и сильная эргодические теоремы для эргодической марковской цепи.
Пусть X = {Xn , n = 0, 1, · · · } — конечная неразложимая эргодическая марковская цепь. Различные вероятностные и стоимостные характеристики цепи выражаются в виде функционалов от
их траекторий вида
X
Fn (X) =
f (Xk ).
(10.12)
1≤k≤n
и
Gn (X) =
X
g(Xn−1 , Xn )
(10.13)
1≤k≤n
где функции f (i) и g(i, j) представляют собой “плату” за посещение цепью состояния i и за переход из состояния i в состояние j. Выбирая эти функции специальным образом можно получить
различные вероятностные или стоимостные характеристики цепи. Например, для индикаторной
функции некоторого состояния j или множества состояний A, f (X(s)) = 1A (X(s)) функционал
(10.12) представляет собой время, проведенное цепью в этом множестве состояний, а величина
1
n
X
f (Xk )
(10.14)
0≤k≤n−1
равна доле времени пребывания в нем. Если c(i) — штраф за пребывание в состоянии i, и
X
f (Xk ) =
c(j)1j (Xk ),
j∈E
то функционал (10.12) описывает штраф от работы системы за n шагов, а величина (10.14)— средние издержки в единицу времени. Аналогичным образом используется функционал типа (10.13)
(примеры см. ниже). Поэтому во многих практических задачах представляет интерес исследование асимптотического поведения средних значений функционалов (10.12, 10.13) по времени.
Теорема 10.7 (Эргодическая, или ЗБЧ). Для неразложимой конечной (эргодической) марковской цепи X с инвариантным распределением π имеют место почти наверное (и по верорятности) предельные соотношения
1
n→∞ n
X
lim
lim
n→∞
f (Xk )
=
X
πi f (i),
(10.15)
i∈E
0≤k≤n−1
1 X
g(Xk−1 , Xk )
n
=
X
i∈E
0≤k≤n
πi
X
pi,j g(i, j).
(10.16)
j∈E
Доказательство. Идея доказательства состоит в представлении функционала в виде суммы
независимых слагаемых. С этой целью фиксируем некоторое состояние, скажем e, обозначим через
Sn ≡ Sn (e) моменты последовательных посещений этого состояния, а через Nn ≡ Nn (e) — число
его посещений за n шагов процесса и представим функционал (10.12) в виде суммы по моментам
последовательных посещений цепью выбранного состояния.
X
Gn = Y0 +
Yk + ŶNn ,
1≤k≤Nn
где S0 = 0 и через Yk обозначены суммы
X
Yk =
f (Xi ),
Sk ≤i<Sk+1
ŶNn =
X
SNn ≤i<n
f (Xi ).
74
Глава 3. Цепи Маркова
Поскольку состояние e фиксировано, а в силу марковского свойства поведение цепи в будущем при
известном настоящем не зависит от прошлого, то величины Yk независимы и одинаково распределены, кроме, быть может, первой и последней. В силу возвратности цепи велична Nn стремится к
бесконечности при n → ∞ (см. закон больших чисел для процессов восстановления, раздел 5.4.).
Поэтому представляя среднее по времени от функционала (10.12) в виде
1
1
Gn = lim
Y0 +
n→∞ n
n→∞ n
X
lim
Yk + ŶNn
1≤k≤Nn
замечаем, что второе слагаемое в правой части этого выражения сходится (по вероятности и с вероятностью 1) в силу обычного и усиленного законов больших чисел для процессов восстановления
и сумм независимых слагаемых к величине
Me Y1
.
Me [S1 ]
(10.17)
Оценим теперь первое и последнее слагаемые в этой сумме. В силу конечности среднего времени возвращения и ограниченности (в силу конечности фазового пространства) функции f (.)
первое слагаемое ограничено в среднем. Поэтому в силу неравенства Чебышева соответствующее
слагаемое сходится (по вероятности) к нулю. (Для получения соответствующего утверждения о
сходимости с вероятностью 1 необходимо воспользоваться более сильным неравенством Колмогорова). Аналогично, в силу конечности в среднем остаточного времени жизни (обратного времени
возвращения) для соответствующего процесса восстановления, доказывается сходимость к нулю
(по вероятности и с вероятностью 1) последнего слагаемого.
Таким образом, доказано первое утверждение теоремы о сходимости соответствующего среднего по времени. Вычислим теперь его предельное значение. Очевидно, что знаменатель равен
среднему времени возвращения mee в состояние e. Вычислим значение числителя. Представим
функцию g(Xi ) в виде
X
g(Xi ) =
g(j)1j (Xi ).
j∈E
Тогда ∀k ∈ E
Me Yk
X
= Me
Sk ≤i<Sk+1
=
X
X
g(j)1j (Xi ) =
Sk ≤i<Sk+1 j∈E
X
g(j)Me
j∈E
X
g(Xi ) = Me
1j (Xi ),
Sk ≤i<Sk+1
а для последнего среднего значенния имеем по определению и в силу теоремы об инвариантных
вероятностях (см раздел 10.2.)
Me
X
Sk ≤i<Sk+1
1j (Xi ) =e nej =
mee
.
mjj
Таким образом, подставляя полученные выражения для Me Y1 и Me [S1 ] в формулу 10.17 получим
утверждение теоремы для функционала Fn (X). Для функционала Gn (X) доказательство проводится аналогично.
Частным случаем этой теоремы, который получается из нее при f (j) = 1k (j), является обычный закон больших чисел для эргодической марковской цепи о том, что частота посещений отдельного состояния k равна его инвариантной вероятности πk и обратно пропорциональна времени
возвращения в него mkk .
§ 10. Эргодические цепи
10.5.
75
Фундаментальная матрица эргодических цепей и ее свойства.
При исследовании эргодических цепей важную роль играет матрица Z = (I −(P −Π))−1 . Докажем,
прежде всего, существование такой матрицы, т.е. обратимость матрицы I − (P − Π).
Лемма 10.1. Для регулярной цепи Маркова матрица I − (P − Π) обратима и справедливо представление
X
Z = (I − (P − Π))−1 =
P n − Π.
n≥0
Доказательство. Действительно, используя формулу бинома Ньютона имеем
X
(P − Π)n =
P k (−1)n−k Πn−k ,
0≤k≤n
откуда используя свойство (1) предельной матрицы Π (см. теорему 10.6) найдем, что для любого
k < n справедливо равенство P k Πn−k = Π, в силу которого последняя сумма преобразуется в
X
(P − Π)n =
P k (−1)n−k Πn−k = P n − Π.
0≤k≤n
Наконец, в силу сходимости P n → Π аналогично следствию 9.2 к теореме 9.1 получаем утверждение.
Аналогичное утверждение справедливо для произвольной эргодической цепи, если сходимость
понимать в смысле Чезаро.
Теорема 10.8. Для произвольной эргодической цепи матрица I −(P −Π) обратима и справедливо
представление
n−1
1X
(P − Π)k .
Z = (I − (P − Π))−1 = lim
n→∞ n
k=0
Доказательство следует из теоремы о суммировании по Чезаро.
Доказанные теоремы оправдывают следующее определение.
Определение 10.2. Матрица Z = (I − (P − Π))−1 называется фундаментальной матрицей эргодической цепи.
Многие характеристики эргодических цепей выражаются через эту матрицу. Рассмотрим некоторые ее свойства.
Теорема 10.9 (Свойства фундаментальной матрицы). Фундаментальная матрица эргодической
цепи обладает свойствами
(1) P Z = ZP ;
(2) Z ~1 = ~1;
(3) π 0 Z = π 0 ;
(1) I − Z = Π − P Z.
Доказательство провести самостоятельно в виде упражнения 3.
Обозначим через M = [mij ]i,j∈E матрицу средних времен достижения
mij = Mi Tj ,
где Tj — время достижения состояния j.
76
Глава 3. Цепи Маркова
Теорема 10.10. Матрица средних времен достижения M эргодической цепи удовлетворяет
уравнению
M = P (M − Mdg ) + I,
которое имеет единственное решение
M = (I − Z + EZdg )D,
где через Adg обозначается матрица, содержащая только диагональные элементы матрицы A.
Доказательство провести самостоятельно в виде упражнения 4 (для указания см. [11]).
Через фундаментальную матрицу выражаются и другие характеристики эргодической цепи,
например, матрица дисперсий времен достижения.
10.6.
Дополнения
Вопросы для контроля.
1. Какая цепь называется эргодической?
2. Каково распределение времени пребывания в каком-либо множестве состояний и времени
достижения какого-либо множества состояний эргодической цепи?
3. Какие формулы справедливы для времени возвращения в любое эргодическое состояние?
4. Какова частота посещений состояний эргодического класса?
5. Какое распределение называется инвариантным?
6. Что называется системой уравнений равновесия?
7. Сформулируйте теорему о сходимости переходных вероятностей для неразложимой марковской цепи?
8. Каковы свойства предельной матрицы эргодической цепи?
9. Сформулируйте эргодическую теорему.
10. Какая матрица называется фундаментальной матрицей эргодической цепи?
11. Каковы свойства фундаментальной матрицы эргодической цепи?
Упражнения.
1. Покажите, что если X — эргодическая цепь, то ее сужение i X на подмножество E \ {i})
является обрывающейся цепью для любого i ∈ E.
Указание. Действительно, достаточно показать, что существует k такое, что pki > 0, но если
это не так, то в i нельзя перейти ни из какого k 6= i. Следовательно i либо поглощающее, либо
несущественное, что противоречит предположению об эргодичности цепи.
2. Докажите, что сужение A X неразложимой эргодической цепи X на собственное подмножество своих состояний является обрывающейся, а ее пополнение — поглощающей цепями.
3. Докажите теорему 10.9.
Указание. При необходимости можно воспользоваться рассуждениями из [11].
4. Докажите теорему 10.10.
Указание. При необходимости можно воспользоваться рассуждениями из [11].
Задачи.
В задачах 1 – 2 заданы МВП цепи Маркова Xn .

1
7
 0
1. 
 0
1
4
1
7
1
3
2
5
1
4
Требуется:
2
7
2
3
3
5
1
4
3
7

0 
.
0 
1
4

1
5
 0
2. 
 1
10
0
2
5
2
7
3
10
1
4
1
5
0
3
10
0
1
5
5
7
3
10
3
4


.

§ 10. Эргодические цепи
77
(а) классифицировать состояния;
(б) найти среднее время пребывания в множестве несущественных состояний при условии, что
в начальный момент цепь находится равновероятно в одном из несущественных состояний;
(в) найти вероятности lii , возвращения в каждое из состояний;
(г) найти предельные вероятности πi = lim P {Xn = i} , i = 1, 4
n→∞
3. По наблюдениям синоптиков в некоторой местности никогда не бывает двух дождливых
дней подряд. Если сегодня дождь, то завтра с вероятностью 13 будет ясно. Если сегодня облачно,
то погода не изменится с вероятностью 15 . Если же она все-таки изменится, то в половине случаев
будет ясно. Если же сегодня ясно, то завтра равновероятно будет любая погода. Составить матрицу вероятностей перехода. Найти среднее число дней до ближайшего ясного дня, если сегодня
облачно. Найти приближенное значение среднего числа солнечных дней в году.
Библиографические замечания.
Изложение в этом параграфе также во многом следует книге [11]. Однако, некоторые подходы
являются методически новыми. Например, подход, связанный с изучением эргодических цепей
путем сведения их к процессам восстановления не встречался ранее в учебной литературе.
Вероятности с запрещением и прямые и обратные уравнения, связывающие их с вероятностями
переходов за n шагов подробно рассмотрены в [32]. Детальное исследование фундаментальной
матрицы эргодической цепи можно найти в [11].
78
Глава 3. Цепи Маркова
§ 11.
11.1.
Счетные марковские цепи
Вводные замечания
Исследование цепей Маркова с общим фазовым пространством интересно по многим причинам:
• во-первых, действительно, многие явления естественным образом описываются наблюдениями в некотором “общем” фазовом пространстве;
• во-вторых, иногда удобнее моделировать явление в более общем пространстве, так, например, благодаря аппарату дифференцирования, изучение функций непрерывного агумента
значительно проще, чем дискретного;
• в-третьих, любая последовательность X = {Xn , n = 1, 2, . . . } может рассматриваться как
марковская в достаточно широком фазовом пространстве, например, полагая Y1 = X1 , Y2 =
(X1 , X2 ), . . . , Yn = (X1 , X2 , . . . , Xn ), . . . , получим, что последовательность Yn - марковская.
Таким образом, при достаточно широком понимании пространства состояний любой процесс
является марковским. Однако, если пространство состояний слишком широкое, то облегчения
в исследовании таких процессов это не приносит. Наиболее интересные качественные свойства
явлений, описываемых марковскими цепями, проявляются, по-видимому, при сравнении поведения во времени соответствующих марковских цепей с конечным, счетным, и “общим” фазовыми
пространствами. При этом при переходе к общему фазовому пространству, пожалуй, наиболее
существенную роль играет не столько его бесконечность, сколько компактность.
В настоящем курсе мы не будем касаться поведения марковских цепей с общим фазовым пространством и остановимся на основных особенностях поведения марковских цепей со счетным
множеством состояний и прежде всего перенесем на этот случай основные понятия и определения
конечных марковских цепей из § 7.
11.2.
Определение
Определение и основные понятия для марковских цепей со счетным множеством состояний
E = {1, 2, . . . , n, . . . } практически не отличается от соответствующих понятий для конечных цепей.
Точно также вводятся понятия независимости “будущего” от “прошлого” при известном “настоящем” и его формализация через условные (переходные) вероятности, которые образуют матрицу
вероятностей переходов. Топологическая классификация состояний, опирающаяся на переходные
вероятности, и вытекающее из нее приведение цепи к каноническому виду также легко переносится на случай счетного пространства состояний. Однако в этом случае приходится иметь дело
с бесконечными матрицами. Формально все соответствующие матричные операции легко переносятся на случай бесконечных матриц, хотя, конечно, все трудности исследования марковских
цепей со счетным фазовым пространством связаны с возможностью (скорее даже скоростью) ухода процесса на бесконечность.
Замечание 1. Также как и для конечных цепей мы не останавливаемся в данном курсе (за исключением отдельных примеров) на структурных свойствах пространства состояний марковских
цепей. При этом многие интересные свойства цепей остаются за пределами курса, но они требуют
специального подхода и значительного расширения курса.
Матрицы
Также как и в случае конечного множества состояний счетные марковские цепи задаются своими
матрицами вероятностей перехода (МВП), которые обладают свойствами стохастических матриц.
Однако в этом случае они представляют собой, вообще говоря, бесконечные вправо и вниз таблицы,
а в канонической форме могут также иметь бесконечные блоки. Поэтому необходимо определить
некоторые свойства и операции с такими матрицами, которые будут использоваться в дальнейшем.
Основные особенности возникают в связи с умножением бесконечных матриц.
§ 11. Счетные марковские цепи
79
Определение 11.1. Произведением бесконечных матриц A = [aij ]i,j∈E и B = [bij ]i,j∈E называется
матрица C = [cij ]i,j∈E , элементы которой определяются соотношением
X
cij =
aik bkj ∀ i, j ∈ E,
k∈E
если соответсвующие ряды абсолютно сходятся.
Пространство мер и векторов
Поскольку нам постоянно придется иметь дело с результатами применения матриц (вероятностей
переходов) к мерам и векторам в дальнейшем удобно рассматривать их как точки в соответствующих пространствах и вообще использовать операторную терминологию, которая вводится в
настоящем подразделе. Напомним, что в счетных пространствах мера любого множества
P определяется мерами одноточечных множеств (атомов) его составляющих, так что α(A) = i∈A ai , где
ai = α({i}) — мера соответствующего одноточечного множества.
Итак, если f = {f (i), i ∈ E} — функция на E, α = {ai , i ∈ E} — мера на E, и P — МВП
счетной марковской цепи (которую можно рассматривать как оператор, применяемый к функциям
и мерам), то через P f обозначается функция P f : E −→ E со значениями
X
(P f )(i) =
pij f (j),
(11.1)
j∈E
а через αP - мера со значениями на атомах
(αP )(j) =
X
ai pij .
(11.2)
i∈E
При этом, конечно, необходимо требовать абсолютную сходимость соответствующих рядов. Поскольку мы имеем дело здесь со стохастическими матрицами, то для соответствующей сходимости
достаточно, например,
для функций — их ограниченности, а для мер — их конечности, т.е. сходиP
мости ряда
ai . Поэтому соответствующие операторы будем рассматривать на множествах B
i∈E
ограниченных функций и ℵ конечных мер.
11.3.
Классификация состояний
Топологическая классификация, основанная непосредственно на свойствах переходной матрицы
или графа переходов полностью совпадает с соответствующей классификацией для конечных цепей, поэтому она без изменений переносится на случай цепей со счетным фазовым пространством.
Сохраняются понятия существенных, несущественных, сообщающихся, периодических состояний, а также свойства разбиения их на классы и каноническая форма МВП.
Однако, бесконечность фазового пространства приводит к ряду особенностей в поведении цепей
с таким фазовым пространством.
Чтобы легче проследить причины и специфику поведения цепей со счетным фазовым пространством, рассмотрим особенности их поведения на отдельных примерах.
Особенности поведения марковских цепей со счетным фазовым пространством
Пример 1. Для конечных марковских цепей множество несущественных состояний всегда конечно, так что такая цепь в конце концов всегда оказывается в некотором замкнутом множестве состояний (классе), в котором остается неограниченно долго, что обеспечивает возвратность состояний
замкнутого класса. Рассмотрим марковскую цепь с пространством состояний E = {0, 1, 2, . . . },
граф переходов которой изображен на рис.11.1.
Очевидно, что все состояния такой цепи несущественны, так что она неограниченно долго
остается в множестве несущественных состояний, посетив каждое из них всего 1 раз. Естественно
80
Глава 3. Цепи Маркова
1
1
...
1
0
n -1
1
n
1
n+1
1
...
Рис. 11.1. Граф переходов марковской цепи из несущественных состояний
ни о какой возвратности здесь не может быть и речи, хотя, с другой стороны, время достижения
каждого состояния или любого множества в этом примере достаточно легко вычисляется.
Пример 2. Изменим пример 1 следующим образом (см. рис.11.2).
p
p
0
1
...
1
0
n-1
pn -1
n
pn
n+1
...
1- pn
Рис. 11.2. Граф переходов марковской цепи из существенных невозвратных состояний
Очевидно, что если в этом примере все 0 < pi < 1, то все состояния сообщающиеся, так
что цепь неразложима и образует один замкнутый класс сообщающихся состояний. Вычислим
вероятность возвращения цепи в состояние “0” впервые за время n. Так как возвращение в 0 за n
шагов возможно лишь вдоль единственной траектории (0, 1, . . . , n − 1, 0), то имеем
(n)
l00 = p0 p1 . . . pn−1 (1 − pn ).
Таким образом, вероятность возвращения в состояние 0 когда-нибудь равна
X (n)
l00 =
l00 = 1 − lim p0 p1 . . . pn−1 pn ,
n≥1
n→∞
так что выбирая числа pi так, чтобы произведение имело конечное значение, получим, что вероятность возвращения в состояние 0 меньше 1, что в силу следствия 10.1 к теореме 10.1 невозможно
для конечных цепей.
Пример 3. Вычислим применительно к предыдущему примеру среднее время возвращения
X (n)
(1)
(2)
(n)
m00 =
nl00 = 1l00 + 2l00 + . . . nl00 + · · · =
n≥1
=
1p0 (1 − p1 ) + · · · + np0 p1 . . . pn−1 (1 − pn ) + · · · =
=
p0 − p0 p1 + . . . np0 p1 . . . pn−1 − np0 p1 . . . pn−1 pn + · · · =
X Y
pk .
=
n≥0 0≤k≤n
Поэтому выбирая в предыдущем примере числа pi так, чтобы
Y
X Y
lim
pk = 0, но m00 =
pk = ∞,
n→∞
0≤k≤n
n≥0 0≤k≤n
получим марковскую цепь, для которой состояние 0 возвратно, но среднее время возвращения
бесконечно, что в силу следствия 10.2 к теореме 10.1 невозможно для конечных цепей.
Эти принципиальные особенности поведения марковских цепей с бесконечным фазовым пространством определяют также и сложности их исследования.
§ 11. Счетные марковские цепи
81
Асимптотическая классификация состояний и цепей
Приведенные примеры показывают необходимость расширения классификацию состояний марковских цепей. Следующая ниже классификация состояний цепи опирается на асимптотическое
поведение переходных вероятностей цепи, что и определяет название подраздела.
Определение 11.2. Состояние i называется возвратным, если lii = 1, и невозвратным, если
lii < 1, возвратное состояние называется положительным, если mii < ∞, и нулевым в противном
случае, т.е. при mii = ∞.
Аналогично свойствам связности (см. определение 8.1 раздела 8.1.), свойства возвратности
и положительности являются свойствами классов сообщающихся состояний. Другими словами
справедлива
Теорема 11.1 (2-ая солидарности). Все состояния неразложимой счетной цепи принадлежат
одному типу: либо все невозвратные, либо возвратные положительные, либо возвратные нулевые, при этом все имеют один и тот же период.
Для доказательства этой теоремы заметим, что все соотношения раздела 8.3. (в которых участвуют лишь конечные суммы) переносятся на случай счетных цепей без каких-либо изменений.
Кроме того, в дальнейшем нам потребуются критерии возвратности и положительности состояний.
Лемма 11.1 (Критерий возвратности). Состояние i возвратно тогда и только тогда, когда
X (n)
nii =
pii = ∞.
(11.3)
n≥1
Доказательство. Согласно соотношению (8.10) имеем
nii
,
lii =
1 + nii
откуда следует, что lii = 1 только в случае расходимости ряда (11.3). Заметим, что в силу положительности его членов он может либо сходиться, либо расходиться к +∞
Замечание 2. Ряд (11.3) представляет собой среднее число возвращений процесса в состояние
i, так что состояние возвратно тогда и только тогда, когда среднее число возвращений в него
бесконечно.
Лемма 11.2 (Критерий положительности). Возвратное состояние i является положительным
тогда и только тогда, когда
(n)
lim pii > 0
(11.4)
n→∞
Доказательство опирается на ключевую теорему восстановления для дискретных процессов восстановления и повторяет рассуждения теоремы 10.5 Рассмотрим последовательность моментов
возвращения Sn = Sn (e) цепи Xn в некоторое фиксированное состояние e. В силу марковости
цепи эта последовательность образует дискретный процесс восстановления. Имеем
(n)
pij = Pi {Xn = j} =
= Pi {Xn = j, S1 > n} +
X
Pi {Xn = j, Sk ≤ n < Sk+1 } =
k≥1
(n)
= e pij +
XX
Pi {Xn = j, Sk ≤ n < Sk+1 | Sk = r}Pi {Sk = r} =
r≥1 k≥1
(n)
= e pij +
XX
Pi {Sk = r}Pe {Xn−r = j, 0 < Tk+1 } =
r≥1 k≥1
(n)
= e pij +
X
r≥1
(n−r)
hr e pej
,
82
Глава 3. Цепи Маркова
где
her =
X
Pi {Sk = r} =
k≥1
X
[Pi {Sk ≤ r} − Pi {Sk ≤ r − 1}]−
k≥1
скачки функции восстановления процесса восстановления, образованного моментами возвращения
в состояние e. Так как в силу неразложимости и возвратности цепи первое слагаемое в правой
части сходится к нулю,
(n)
e pij ≤ P{S1 > n} → 0,
среднее время между моментами возвращения в e конечно: mee < ∞, то в силу узловой теоремы
Смита (для дискретного процесса восстановления с нерешатчатым распределением интервалов)
для апериодической цепи получим
(n)
lim pij =
n→∞
1 X (r)
e nej
pej =
.
mee
mee
r≥1
Замечая теперь, что выбор запрещенного состояния произволен и полагая e = j, в силу того, что
(n)
−1
j njj = ljj = 1, получим limn→∞ pij = mee . Таким образом, mee < ∞ тогда и только тогда, когда
(n)
limn→∞ pij > 0.
Для периодической цепи соответствующий результат получается либо путем перехода к (вложенным) подцепям, соответствующим моментам посещения подклассов, либо путем применения
соответствующей теоремы восстановления для случая решетчатых распределений.
Перейдем теперь к доказательству теоремы 1.
Доказательство теоремы 11.1. Если цепь неразложима, то для любых i, j ∈ E существуют
(n) (m)
m, n, такие что pij pji > 0. Тогда полагая для краткости
(n)
pij = α,
(m)
pji
=β
по формуле полной вероятности имеем:
X (m) (l) (n)
(m+n+l)
(m) (l) (n)
(l)
pii
=
pik pkr pri ≥ pij pjj pji = αβpjj
k,r∈E
Аналогично,
(n+l+m)
pjj
(l)
≥ αβpii ,
откуда
1 (n+m+l)
(l)
(l−m−n)
p
≥ pjj ≥ αβpii
,
αβ ii
т.е. асимптотические свойства состояний i, j одинаковы,
(n)
pii → 0
X
n≥0
(n)
pii = ∞
(n)
⇔ pjj → 0
X (n)
⇔
pjj = ∞.
n≥0
Таким образом, в силу критериев возвратности и положительности состояний получаем, что все
состояния неразложимой цепи принадлежат одному типу.
Следовательно, т.к. цепь никогда не покидает своих эргодических классов достаточно изучить ее поведение отдельно на множестве несущественных состояний и в каждом из эргодических
классов. Принципиальным отличием, однако, счетных марковских цепей является, как уже указывалось ранее, возможность для такой цепи бесконечно долго оставаться в множестве несущественных, а также наличие классов существенных невозвратных или возвратных нулевых состояний,
поведение марковских цепей на которых очень похоже. Поэтому в следующем разделе рассмотри
оба этих случая вместе и начнем именно с него.
§ 11. Счетные марковские цепи
11.4.
83
Асимптотическое поведение счетных цепей
Асимтотическое поведение счетной марковской цепи на множестве несущественных, невозвратных
и возвратных нулевых состояний похоже.
Обрывающиеся и невозвратные цепи
Поведение обрывающейся цепи совпадает с поведением цепи на множестве несущественных состояний. Однако, как следует из приведенного выше примера 1, такая цепь может неограниченно долго оставаться в подмножестве несущественных состояний (соответственно распределение времени
обрыва может быть несобственным). Покажем однако, что всякая счетная цепь с вероятностью 1
покидает каждое свое конечное подмножество состояний.
Теорема 11.2. Неразложимая счетная марковская цепь посетит любое из своих конечных подмножеств состояний лишь конечное число раз и покинет его с вероятностью 1.
Доказательство. Пусть X = {Xn , n = 0, 1, . . . } счетная марковская цепь с пространством состояний E и A ⊂ E его конечное подмножество. Сужение A X цепи X на конечное подмножество
состояний A является конечной обрывающейся цепью. Действительно, в силу неразложимости
цепи для найдется такое состояние i ∈ A, что pi,B > 0, где B = E \ A — дополнение к множеству
A в E. Таким образом, согласно теореме 9.4 цепь покидает множество A с вероятностью 1 и среднее время пребывания в нем, определяемое элементами фундаментальной матрицы NA , конечно
(следствие 9.2 к теореме 9.1)
Возвратная нулевая цепь хотя и посетит каждое из своих состояний с вероятностью 1 бесконечное число раз, однако среднее время между этими посещениями оказывается бесконечным.
Эти обстоятельства приводят к тому, что для таких цепей не выполняется эргодическая теорема, что делает невозможным их статистический анализ. Поэтому при изучении счетных цепей
основное внимание уделяется изучению возвратных положительных цепей
Возвратность
Изучение возвратных цепей мы начнем с общего для них всех свойства — бесконечности числа
посещений каждого из своих состояний, а затем рассмотрим существенные различия для нулевых
и положительных цепей.
Теорема 11.3. Счетная возвратная марковская цепь посещает каждое из своих состояний
бесконечное число раз.
Доказательство опирается на закон 0 или 1 Бореля и почти дословно повторяет рассуждения
аналогичной теоремы для конечных цепей Маркова. Читателю предлагается провести доказательство в качестве упражнения 1.
Нулевые цепи
Для нулевых цепей мы покажем, что переходные вероятности сходятся к нулю (что и дало им
соответствующее наименование).
Теорема 11.4. Переходные вероятности счетной возвратной нулевой марковской цепи сходятся к нулю, т.е.
(n)
pij → 0
при n → ∞.
Доказательство повторяет рассуждения соответствующей теоремы для конечных марковских
цепей и использует ключевую теорему Смита для процессов восстановления с бесконечным средним временем между восстановлениями. Читателю предлагается провести доказательство в качестве упражнения 2.
84
Глава 3. Цепи Маркова
Таким образом, т.к. предельная вероятность интерпретируется как доля времени, проведенного
цепью в том или ином из своих состояний, доказанная предельная теорема показывает, что для
нулевых возвратных цепей эта доля (частота) равна нулю, хотя каждое состояние и посещается
бесконечное число раз. Такой характер поведения цепи возможен ввиду бесконечности числа его
состояний.
Положительно возвратные цепи
В полном объеме предельные и эргодические теоремы переносятся только на возвратные положительные цепи. Для этих цепей частота посещения состояний оценивает их инвариантные (предельные) вероятности.
Теорема 11.5. Переходные вероятности счетной положительно возвратной апериодической
марковской цепи сходятся к пределу, не зависящему от начального состояния и равному величине, обратно пропорциональной среднему времени возвращения в это состояние, т.е.
(n)
pij → πj =
1
,
mjj
при
n → ∞.
Доказательство использует те же самые рассуждения, что и доказательство соответствующей
теоремы для конечных марковских цепей и опирается на ключевую теорему Смита для дискретных процессов восстановления. Читателю предлагается провести доказательство в качестве
упражнения 3.
Замечание 3. Для периодической цепи аналогично случаю конечных цепей такая сходимость
имеет место по подпоследовательности или в среднем.
Изложенные результаты об асимптотическом поведении переходных вероятностей неразложимой марковской цепи суммируем с помощью следующей теоремы.
Теорема 11.6 (Феллер). Пусть X = {Xn , n = 1, 2, . . . } — неразложимая счетная марковская
цепь. Тогда
(а) для невозвратной или возвратной нулевой цепи
(n)
pij → 0
при
n → ∞;
(б) для положительно возвратной апериодической цепи
(n)
pij → πj =
1
>0
mjj
n → ∞;
при
(в) для положительно возвратной периодической c периодом d цепи
(kd+r)
pij
→
d
>0
mjj
при
k → ∞.
Доказательство. Внимательный анализ предельной теоремы 10.5 из § 10.3. показывает, что и
эта теорема также переносится на случай счетных положительно возвратных марковских цепей
(упражнение 2).
На положительно возвратные счетные марковсие цепи распространяются также эргодические
теоремы.
Теорема 11.7. Для аддитивных функционалов от траекторий счетной неразложимой положительно возвратной марковской цепи справедливо соотношение
n−1
X
1X
f (Xk ) = Mπ f (X1 ) =
πj f (j).
n→∞ n
lim
k=0
j∈E
§ 11. Счетные марковские цепи
85
Доказательство совпадает с доказательством соответствующей теоремы для случая конечных
цепей, которая рекомендуется в качестве упражнения 3.
Замечание 4. Обобщение эргодической теоремы на случай счетных возвратных нулевых марковских цепей требует определенной аккуратности.
11.5.
Критерии положительной возвратности
Ввиду важности свойства положительной возвратности цепи, определение которого не достаточно
эффективно для проверки, желательно иметь достаточно простые (легко проверяемые) условия
положительной возвратности. Т.к. такие условия используются обычно при вычислении инвариантных вероятностей, то и формулируются они обычно в терминах решений системы уравнений
равновесия (СУР). Приведем здесь без доказательства два таких критерия.
Теорема 11.8 (Критерий Фостера). Для того, чтобы неприводимая апериодическая цепь была
положительно возвратна необходимо и достаточно существования нетривиального абсолютно
сходящегося решения СУР, т.е. такого набора чисел α = {aj , j ∈ E}, что
X
X
aj =
ai pij ,
| aj |< ∞.
i∈E
j∈E
Теорема 11.9 (Критерий Мустафы). Для того, чтобы неприводимая апериодическая цепь была
положительно возвратной необходимо и достаточно существование положительного числа и
набора неотрицательных действительных чисел xi , i ∈ E таких, что для некоторого состояния i0
X
pij xj < xi − при i ≥ i0 ,
j∈E
X
pij xj < ∞
при
i < i0 .
j∈E
Замечание 5. Исследование марковских цепей с “общим” фазовым пространством требует привлечения нового математического аппарата и новых подходов, которым в настоящем курсе нет
возможности уделять внимание
11.6.
Дополнения
Вопросы для контроля.
1. Дайте определение марковской цепи со счетным множеством состояний?
2. Приведите примеры марковских цепей со счетным множеством состояний.
3. Дайте определение МВП марковской цепи со счетным множеством состояний, какими свойствами она обладает?
4. Какие состояния марковской цепи со счетным множеством состояний называются:
(а) несущественными,
(б) существенными,
(в) поглощающими,
(г) периодическими (дайте определение периода),
(д) непериодическими?
5. Какие состояния марковской цепи со счетным множеством состояний называются:
(а) возвратными,
86
Глава 3. Цепи Маркова
(б) невозвратными,
(в) положительными,
(г) нулевыми?
6. Сформулируйте теорему солидарности для марковской цепи со счетным множеством состояний.
7. Сформулируйте критерий возвратности марковской цепи со счетным множеством состояний.
8. Каким образом выясняется, что состояние нулевое?
9. Опишите поведение на множестве несущественных состояний для
(а) обрывающейся
(б) невозвратной
(в) возвратно-нулевой
марковской цепи
Упражнения.
1. Докажите теорему 11.3.
2. Докажите теорему 11.6.
3. Докажите теорему 11.7.
Библиографические замечания.
Матричный подход к цепям со счетным пространством состояний последовательно развивается, например, в [12]. Там же можно подробнее ознакомиться с пространствами векторов и матричными преобразованиями.
Примеры, показывающие особенности поведения марковских цепей с бесконечным фазовым
пространством, предложены автором.
Топологическую классификацию Колмогорова расширил Феллер. Асимптотическая классификация приведена по Феллеру.
Заметим, что если положительная возвратность конечных цепей является следствием неразложимости, то для бесконечных цепей она является дополнительным предположением.
Глава 4.
Скачкообразные марковские и полумарковские
процессы
§ 12.
12.1.
Скачкообразные
марковские процессы
Определение
В отличие от предыдущей главы в настоящей рассматриваются случайные явления, наблюдаемые
непрерывно во времени. Однако, по прежнему предполагается, что они принимают значение в
дискретном не более чем счетном фазовом пространстве. Как и ранее непрерывные по времени
наблюдения обозначаются через X = {X(t), t ∈ T }, где T = R+ = [0, ∞) или T = R = (−∞, ∞), а
множество возможных наблюдений по прежнему будем обозначать буквой E и отождествлять с
целыми числами E = {0, 1, 2, . . . }.
Итак рассмотрим случайный процесс (семейство с.в.) X = {X(t), t ∈ R+ }, заданный на вероятностном пространстве (Ω, F, P), зависящий от параметра t ∈ R+ , который интерпретируется
как время. Содержательно, как и ранее, процесс называется марковским, если он удовлетворяет
марковскому свойству, т.е. если при фиксированном “настоящем” его поведение в “будущем” не
зависит от “прошлого”. Однако, в отличие от дискретного времени, в случае непрерывного времени
это содержательное определение требует теперь более аккуратной математической формализации.
Рассмотрим возрастающую последовательность моментов времени t1 < t2 < · · · < tn < s < s + t.
Определение 12.1. Процесс X = {X(t), t ∈ R+ } называется марковским, если для любой
возрастающей последовательности моментов времени t1 < t2 < · · · < tk < s < t ∈ R+ и
∀ i1 , . . . , in , i, j ∈ E
P{X(s + t) = j X(t1 ) = i1 , . . . , X(tn ) = in , X(s) = i} =
(12.1)
=P{X(s + t) = j X(s) = i} = pij (s, s + t).
Марковский процесс называется однородным, если pij (s, s + t) зависит только от разности временных аргументов,
pij (s, s + t) = pij (t).
(12.2)
При этом функции pij (t) называются вероятностями переходов или переходными вероятностями
марковского процесса, а составленная из них матрица
P (t) = [pij (t)]i,j∈E
матрицей вероятностей переходов (МВП).
Замечание 1. Слово “однородная” в дальнейшем будем опускать, т.к. никаких процессов кроме
однородных рассматривать не будем.
Замечание 2. Иногда при определении марковского свойства и марковского процесса используется на первый взгляд более общее, но на самом деле эквивалентное понятие прошлого процесса. Введем с этой целью на основном вероятностном пространстве (Ω, F, P) семейство (поток)
σ-алгебр FtX процесса X до момента времени t,
FtX = σ{ω : X(s) = k, s ≤ t, k ∈ E}.
88
Глава 4. Скачкообразные марк. и полумарк. процессы
Это семейство как раз и представляет собой “прошлое” процесса до момента времени t. С помощью
введенного понятия “прошлого” определение 12.1 можно представить в виде
P{X(s + t) = j FsX , X(s) = i} = P{X(s + t) = j X(s) = i}.
На самом деле можно показать, что это семейство σ-алгебр порождается событиями, стоящими в
условии формулы (12.1), 1
{X(t1 ) = i1 , . . . , X(tn ) = in , X(s) = i}.
Рассмотрим свойства введенных выше переходных вероятностей марковского процесса.
Теорема 12.1 (Свойства МВП). Вероятности переходов (элементы МВП) марковского процесса
обладают следующими свойствами:
(1) 0 ≤ pij (t) ≤ 1 для любых i, j ∈ E, t ∈ R+ ;
P
(2)
pij (t) = 1 для любых i ∈ E,
t ∈ R+ ;
j∈E
(3) pij (t + s) =
P
pik (t)pkj (s);
k∈E
(4) pij (0) = δij .
Доказательство провести самостоятельно в качестве упражнения 1.
Также
P как и при изучении цепей свойство (2) иногда полезно заменить на
(2a)
pij (t) ≤ 1, причем существует такое i, что
j∈E
P
pij (t) < 1 для некоторого t,
j∈E
которое означает что процесс покидает пространство состояний E в некоторый случайный момент
времени.
Определение 12.2. Матрица, обладающая свойствами (1) и (2) называется стохастической
матрицей, а матрица, обладающая свойствами (1) и (2а) — полустохастической.
Замечание 3. Предпоследнее из этих свойств называется уравнением Колмогорова — Чепмена
и может быть представлено в матричном виде
P (t + s) = P (t)P (s),
(12.3)
который показывает, что семейство МВП образует полугруппу.
12.2.
Примеры
Многие из примеров главы 3 легко переносятся на случай непрерывного времени. Однако, некоторые из примеров той главы имеют специфический дискретный характер наблюдений. Рассмотрим
еще несколько примеров непрерывно наблюдаемых процессов.
Пример 1. Надежность технического устройства. Непрерывные во времени наблюдения
за состоянием некоторого технического устройства описываются случайным процессом X =
{X(t), t ∈ R} с конечным множеством значений E = {e0 , e1 , . . . , en }, обозначающих различные состояния рассматриваемого устройства. Если есть основания предполагать, что изменение
состояний устройства зависит только от текущего его состояния и не зависит от его поведения в
прошлом, то соответствующий процесс будет марковским.
1 эквивалентность этих формализмов требует доказательства, которое мы опускаем и отсылаем интересующегося
читателя, например, к учебнику [3]
§ 12. Скачкообразные марковские процессы
89
Пример 2. Счетчик Гейгера–Мюллера. Зафиксируем на оси времени (см. рис. 12.1) моменты
регистрации радиоактивных частиц счетчиком Гейгера-Мюллера: Sn , n = 1, 2, .... Тогда процесс
N (t) = max{n : Sn ≤ t}
описывает число зафиксированных за время t частиц и представляет собой ступенчатую функцию
со ступеньками высоты 1 и случайной глубины Tn = Sn − Sn−1 , изображенную на рис. 12.1.
N(t)
n
n -1
S 1 S2
Sn - 1
Sn
t
Рис. 12.1. Траектория процесса N (t) из примера 2.
Благодаря свойствам радиоактивного излучения количества частиц на непересекающихся интервалах времени являются независимыми с.в., что и обеспечивает марковское свойство для рассматриваемого процесса.
Замечание 4. Рассмотренная модель имеет широкие обобщения: моменты Sn могут представлять собой моменты поступления вызовов на станцию скорой помощи или на автоматическую
телефонную станцию, моменты отказов некоторого технического устройства или моменты пересечения перекрестка потоком машин. Всякая такая возрастающая последовательность точек на
числовой оси {Sn , n = 0, 1, 2...} называется точечным процессом, а соответствующий процесс
N (t) = {N (t), t ∈ R} — его счетчиком. Таким образом, точечные процессы и их счетчики представляют собой математическую модель для исследования широкого класса реальных явлений.
Пример 3. Система массового обслуживания. Рассмотрим некоторую систему обслуживания, скажем, автоматическую телефонную станцию (АТС), магазин или автозаправочную станцию (АЗС), на которую в моменты Sn , n = 0, 1, 2, . . . поступают некоторые требования (вызовы на
АТС, покупатели в магазине или автомашины на АЗС). Система состоит из одного или нескольких
обслуживающих устройств (приборов) – линий связи, продавцов, бензоколонок и т.п. Кроме того,
система может содержать некоторое конечное или бесконечное число мест для ожидания (площадка на АЗС, зал в магазине). Каждое из поступающих требований занимает любой из свободных
приборов, если они есть, на случайное время, или становится в очередь при наличии свободных
мест для ожидания, или теряется при их отсутствии. Обслуженные требования покидают систему.
Тогда наблюдения X = {X(t), t ∈ R} за числом требований в системе (обслуживаемых и
ожидающих) представляет собой скачкообразный случайный процесс, траектории которого изображены на рис. 12.2. При определенных предположениях (см. разд. 17.3., 17.4.) такой процесс
является марковским.
90
Глава 4. Скачкообразные марк. и полумарк. процессы
X (t)
t
Рис. 12.2. Траектория процесса X(t) к примеру 3
12.3.
Конечномерные распределения. Теорема Колмогорова
Фиксируем возрастающий набор моментов времени t1 < t2 < · · · < tn и рассмотрим совместное
распределение случайного вектора (X(t1 ), . . . , X(tn )). В силу дискретности с.в. X(ti ) его совместное распределение можно представить в виде
pt1 ...tn (i1 ...in ) = P{X(tk ) = ik , k = 1, n}.
Такое распределение согласно определению 2.1 § 2.1. является конечномерным распределением процесса.
Теорема 12.2. К.м.р. марковского процесса определяется через начальное распределение α =
{ai = P{X(0) = i}, i ∈ E} и МВП P (t) = [pij (t)]i,j∈E соотношением
pt1 ...tn (i1 ...in ) =
X
ai0
i0 ∈E
n
Y
pik−1 ik (tk − tk−1 )
(12.4)
k=1
Обратно, для любого распределения вероятностей α = {ai , i ∈ E} на E и стохастической матрицы P (t) существует марковский процесс X = {X(t), t ∈ R+ }, начальное распределение которого совпадает с α, а МВП с P (t).
Доказательство. Используя формулу полной вероятности и марковское свойство, имеем
=
pt1 ...tn (i1 ...in ) = P{X(tk ) = ik , k = 1, n} =
P{X(tn ) = in X(tk ) = ik , k = 1, n − 1} ×
×
P{X(tk ) = ik , k = 1, n − 1} =
=
pin−1 in (tn − tn−1 )P{X(tk ) = ik , k = 1, n − 1} = · · · =
=
pin−1 in (tn − tn−1 )pin−2 in−1 (tn−1 − tn−2 ) . . . pi2 i1 (t2 − t1 )pi1 (t1 ) =
n
n
Y
X
Y
pik−1 ik (tk − tk−1 ) =
pik−1 ik (tk − tk−1 ),
pi1 (t1 )
pi0
=
k=2
i0 ∈E
k=1
что доказывает (12.4).
Для доказательства обратного утверждения рассмотрим в качестве множества элементарных
событий Ω основного вероятностного пространства (Ω, F, P) множество траекторий искомого процесса (ступенчатых функций) x(·) : T −→ E, в качестве σ-алгебры измеримых множеств — σзамыкание цилиндров Ct (i) = {x(.) : x(t) = i},
F = σ{Ct (i) : t ∈ R+ , i ∈ E},
наконец, в качестве меры P — продолжение меры, задаваемой на цилиндрах Ct1 ...tn (i1 ...in ) = {x(.) :
x(tk ) = ik , k = 1, n} формулой (12.4). Тогда процесс, определяемый на (Ω, F, P) координатным
отображением
Xt (ω) = Xt (x(.)) = x(t)
§ 12. Скачкообразные марковские процессы
91
является искомым процессом.
Для завершения доказательства теоремы остается показать, что X(t) — марковский процесс
и что его МПВ совпадает с заданной. Эти утверждения составляют предмет упражнений 2 и 3 в
конце параграфа.
Замечание 5. Приведенная теорема является фактически модификацией теоремы Колмогорова 2.2 для рассматриваемого класса процессов.
Таким образом, порождаемое семейством к.м.р. (12.4) распределение марковского процесса
зависит от его начального распределения α = {ai , i ∈ E} и обозначается через Pα , а отвечающее ему математическое ожидание — Mα . При начальном распределении, сосредоточенном в
состоянии i : α = i будем использовать обозначения: Pi = Pi , Mi = Mi .
12.4.
Дополнения
Вопросы для контроля.
1. Дайте определение марковского процесса.
2. Что значит однородный марковский процесс и каково его определение?
3. Что называется переходной вероятностью марковского процесса и каковы ее свойства?
4. Выпишите уравнения Колмогорова-Чепмена для переходных вероятностей марковского процесса.
Упражнения.
1. Докажите соотношения (1)—(4) теоремы 12.1.
2. Докажите, что построенный в теореме 12.2 процесс X(t) является марковским процессом.
3. Покажите, что МПВ процесса из теоремы 12.2 совпадает с заданной.
Библиографические замечания.
Изложенные в этом параграфе определения скачкообразного марковского процесса можно найти в любом учебнике по теории случайных процессов. Обсуждение эквивалентности различных
форм определения марковских процессов см. в [3]. С обобщениями скачкообразного мароковского
процесса на произвольное фазовое пространство можно познакомиться по [24].
92
Глава 4. Скачкообразные марк. и полумарк. процессы
§ 13.
13.1.
Стандартные марковские
процессы
Матрица интенсивностей переходов
В предыдущем параграфе было показано, что марковский процесс полностью определяется своей
МВП, причем последняя удовлетворяет полугрупповому свойству, из которого следует, в частности, что для любого n = 1, 2, . . .
t
n
,
P (t) = P
n
т.е. значение МВП для любого момента времени t определяется ее значением на сколь угодно
малом интервале времени. Отсюда можно предположить, что она определяется своим поведением
в сколь угодно малой окрестности нуля. Из свойства (4) теоремы 12.1 для МВП следует, что
P (0) = I. Предположим, что существуют правосторонние производные переходных вероятностей
в нуле
δij − pij (h)
.
(13.1)
λij = p0ij (0) = lim
h→+0
−h
Определение 13.1. Величины λij называются интенсивностями переходов, а составленная из
них матрица Λ = [λij ]i,j∈E — матрицей интенсивностей переходов или инфинитезимальной
матрицей.
Теорема 13.1 (Свойства интенсивностей переходов). Интенсивности переходов обладают следующими свойствами:
(1) 0 ≤ λij ≤ ∞
P
(2)
λij = 0;
j 6= i;
j∈E
(3) 0 ≤ λi ≤ ∞,
где
λi = −λii =
P
λij .
i6=j
Доказательство провести самостоятельно, используя свойства переходных вероятностей (см.
теорeму 12.1) в виде упражнения 1.
Предположение о дифференцируемости переходных вероятностей представляется на первый
взгляд несколько сильным, во всяком случае, неоправданным. Однако, оказывается, что оно является следствием другого, более слабого и вполне естественного предположения. Действительно,
в теореме 12.1 уже отмечалось, что P (0) = I. Естественным дополнительным требованием на
процесс и его переходную матрицу является предположение о ее непрерывности в нуле
lim P (t) = P (0) = I.
t→+0
В противном случае у процесса будут иметь место “мгновенные”, т.е. физически ненаблюдаемые
переходы из одного состояния в другое или в него самого.
Определение 13.2. Непрерывная в нуле переходная матрица и отвечающий ей марковский процесс называются стандартными.
Стандартные переходные матрицы обладают важными свойствами.
Теорема 13.2. Если P (t) = [pij (t)]i,j∈E , t ≥ 0 — стандартная переходная матрица, то для
всех i, j ∈ E и любого h > 0
|pij (t ± h) − pij (t)| ≤ 1 − pii (h).
Другими словами, модуль непрерывности функции pij (t) не превосходит модуля непрерывности
функции pii (t) в нуле.
§ 13. Стандартные марковские процессы
93
Теорема 13.3. Если P (t) — стандартная матрица, то для любого i ∈ E существует (возможно
бесконечная) правосторонняя производная
p0ii (0) = lim
h→0
1 − pii (h)
= λii = −λi ≤ 0.
−h
Теорема 13.4. Если P (t) — стандартная переходная матрица, то для всех i, j ∈ E существуют
и конечны правосторонние производные
p0ij (0) = lim
h→0
pij (h)
= λij ≥ 0.
h
Доказательства этих теорем, которые опираются на чисто аналитические рассуждения, мы
опускаем и отсылаем читателя к специальной литературе, например, [32], стр. 188-193.
Ранее уже упоминалось, что соотношение (13.1) позволяет надеяться на возможность восстановления переходных вероятностей, а, следовательно, в силу теоремы Колмогорова 12.2, и самого
марковского процесса по его матрице интенсивностей переходов. Рассмотрим этот вопрос подробнее.
13.2.
Уравнения Колмогорова для переходных
вероятностей
Напомним уравнения Колмогорова—Чепмена (12.3)
P (s + t) = P (s)P (t).
Продифференцировав их по t и по s в точках t = 0 и s = 0 соответственно и сделав замену
переменной s на t, получим
dP (t)
= P (t)Λ.
dt
dP (t)
= ΛP (t),
dt
(13.2)
(13.3)
Дополнив эти уравнения естественным начальным условием
P (0) = I,
(13.4)
получим следующее утверждение.
Теорема 13.5 (Дифференциальные уравнения для переходных вероятностей). Переходные вероятности скачкообразного марковского процесса удовлетворяют системе уравнений (13.2, 13.3)
с начальным условием (13.4).
Определение 13.3. Уравнения (13.2, 13.3) называются прямым и обратным дифференциальными уравнениями Колмогорова для переходных вероятностей.
В случае конечного пространства состояний эти уравнения всегда имеют единственное решение
и, следовательно, матрица интенсивностей переходов наряду с начальным условием (13.4) задает
соответствующий марковский процесс.
Теорема 13.6. Если пространство состояний конечно, |E| < ∞, то уравнения (13.2—13.4) имеют единственное решение для любого t ≥ 0.
Доказательство. следует из теоремы о существовании и единственности решения задачи Коши
для системы обыкновенных дифференциальных уравнений.
94
Глава 4. Скачкообразные марк. и полумарк. процессы
Формально решение уравнений (13.2—13.4) можно записать в виде матричной функции
P (t) = eΛt =
∞
X
Λk tk
k=0
k!
,
хотя, конечно, фактическое его вычисление по этой формуле затруднительно. Тем не менее теоретическое значение теоремы 13.6 значительно, так как она показывает, что поведение марковского
процесса с конечным фазовым пространством полностью определяется его матрицей интенсивностей переходов.
Несколько сложнее обстоит дело в случае бесконечного (счетного) фазового пространства.
Здесь требуется дополнительное исследование, которое мы отложим до раздела 14.3. (см. теорему 14.3), а в следующем разделе рассмотрим конструктивное описание марковского процесса.
13.3.
Структура марковского процесса
Некоторые простые свойства марковских процессов можно исследовать с помощью уже имеющегося аппарата.
Распределение времени непрерывного пребывания в состоянии.
Обозначим через Ti случайное время непрерывного пребывания марковского процесса в состоянии
i:
Ti = inf{t : X(t) 6= i},
а через Qi (t) его условную функцию распределения при условии, что процесс отправляется из
состояния i,
Qi (t) = P{Ti ≤ t| X(0) = i} = Pi {Ti ≤ t}.
Лемма 13.1. Случайное время пребывания марковского процесса в состоянии i имеет показательное распределение с параметром λi ,
Qi (t) = 1 − e−λi t .
(13.5)
Доказательство. Используя марковское свойство и существование производной у функции pii (·)
в нуле для дополнительной функции имеем
kt
Qi (t) = Pi {Ti > t} = lim Pi X(
= i, k = 1, n} =
n→∞
n
n
n
t
t
= lim pii
= lim 1 − λi
= e−λi t ,
n→∞
n→∞
n
n
откуда следует соотношение (13.5).
Таким образом время непрерывного пребывания марковского процесса в каждом из своих состояний имеет показательное распределение. Заметим, что показательное распределение является
единственным среди абсолютно непрерывных (и даже просто непрерывных), обладающим свойством “отсутствия памяти”, именно: если — T показательно распределенная с.в., то (см. упражнение 2)
P{T > x + y| T > x} = P{T > y}
(13.6)
Незначительное усовершенствование рассуждений при доказательстве леммы 13.1 позволяют
исследовать совместное распределение времени пребывания процесса в некотором состоянии и
следующего скачка.
§ 13. Стандартные марковские процессы
95
Совместное распределение времени пребывания процесса в некотором состоянии и
последующего состояния.
Обозначим через Qij (t) совместное условное распределение времени пребывания в некотором состоянии с последующим состоянием процесса.
Qij (t) = P{Ti < t, X(Ti + 0) = j X0 = i} = Pi {Ti < t, X(Ti + 0) = j}.
Лемма 13.2. Совместное распределение времени пребывания с последующим состоянием процесса имеет вид
λij
Qij (t) =
(1 − e−λi t ).
(13.7)
λi
Доказательство. Обозначим через qij (x) плотность распределения вероятностей времени пребывания Ti в состоянии i, совместную с вероятностью состояния после скачка
qij (x)dx = Pi {x ≤ Ti < x + dx, X(Ti + 0) = j X(0) = i} =
=
Pi {x ≤ Ti < x + dx, X(Ti + 0) = j}.
Аналогично предыдущему имеем
1
= i, k = 1, n X x +
=j =
qij (x) = lim nPi X
n→∞
n
h x in
1
x n
1
npij
= 1 − λi
nλij = λij e−λi x .
= lim pii
n→∞
n
n
n
n
kx
n
Откуда, интегрируя, получим (17.6)
Zt
Qij (t) =
λij e−λi x dx =
λij
(1 − e−λi t ).
λi
0
Следствие 13.1. Вероятности переходов в моменты скачков имеют вид
pij =
λij
.
λi
(13.8)
Доказательство. Следует из соотношения
pij = Qij (∞) =
λij
.
λi
Условное распределение вероятностей состояний в моменты скачков.
Вычислим теперь условное распределение вероятностей состояний процесса после скачка при условии, что он имеет место. Формализуем сначала введенное понятие. Обозначая введенную величину
через qij имеем
qij = P{Xt+0 = j Xt−0 = i, Xt+0 6= i}.
Лемма 13.3. Справедливо представление
qij =
λij
.
λi
(13.9)
Доказательство. Действительно, для любого начального состояния i0 величину qij можно представить в виде
qij = lim Pi0 {Xt+h = j Xt−h = i, Xt+h 6= j}.
h→0
96
Глава 4. Скачкообразные марк. и полумарк. процессы
Тогда используя марковское свойство и формулу условной вероятности события при двойном
условии P{AB|C} = P{A|BC}P{B|C} найдем
pij (2h)
λij 2h
λij
qij = lim P
.
= P
=
h→0
λi
pik (2h)
λik 2h
k6=i
k6=i
Таким образом, видим, что условное распределение вероятностей состояний процесса в момент
скачка совпадает с безусловным.
Приведенные выше леммы можно резюмировать в виде следующего конструктивного описания поведения марковского процесса (см. рис. 13.1). Стартуя из некоторого состояния i0 процесс
проводит в нем показательно распределенное с параметром λi0 время Ti0 , после чего с вероятноλ
стью λi0i i1 переходит в состояние i1 , где остается показательно распределенное с параметром λi1
0
время Ti1 , после чего с вероятностью
X(t)
λi1 i2
λi1
переходит в состояние i2 и т.д.
C
i0
Ti1
r
i1
X
X
λi0 i1
λi0
Ti0
λi1 i2
λi1
X
X
i2
...
X
X
t
Рис. 13.1. Конструктивное описание поведения марковского
процесса.
Таким образом, траектории процесса совершают скачки в моменты
S0 = 0,
Sn =
n
X
Tik ,
k=1
оставаясь постоянными между моментами этих скачков
X(t) = ik
при Sk < t ≤ Sk+1 .
Значение траекторий в моменты скачков не определяются интенсивностями переходов и их можно
доопределять либо как непрерывные слева, либо как непрерывные справа. Из некоторых соображений их удобнее определять как непрерывные справа, что мы и будем делать.
Более того, приведенные леммы показывают, что последовательность Yn = X(Sn ) состояний
марковского процесса X(t) по моментам его скачков Sn является марковской цепью и часто используется при анализе марковских процессов.
Определение 13.4. Марковская цепь Yn = X(Sn ) называется вложенной марковской цепью
процесса X(t).
В следующем параграфе обратимся к дальнейшему анализу поведения марковских процессов.
§ 13. Стандартные марковские процессы
13.4.
97
Дополнения
Вопросы для контроля.
1. Дайте определение интенсивностей переходов марковского процесса.
2. Приведите свойства интенсивностей переходов марковского процесса.
3. Дайте определение стандартного марковского процесса.
4. Приведите достаточные условия дифференцируемости переходных вероятностей марковского процесса.
5. Поясните, что представляет собой не стандартный марковский процесс.
6. Выпишите дифференциальные уравнения Колмогорова для переходных вероятностей стандартного марковского процесса.
7. Как выражаются распределение времени пребывания марковского процесса в своих состояниях через его интенсивности переходов?
8. Как выражается вероятности переходов марковского процесса в моменты скачков через его
интенсивности переходов?
9. Опишите конструктивно поведение скачкообразного марковского процесса.
Упражнения.
1. Докажите теорему 13.1.
2. Докажите утверждение 13.6
Библиографические замечания.
Стандартные марковские процессы являются естественной моделью исследования прикладных
проблем. Уравнения Колмогорова (13.2—13.4) были предложены впервые в [20]. Обоснование дифференцируемости переходных вероятностей исходя из их непрерывности (доказательства теорем
13.2—13.4) см. в [32].
98
Глава 4. Скачкообразные марк. и полумарк. процессы
§ 14.
14.1.
Классификация состояний. Устойчивость
Классификация состояний
Введенные в § 7 гл. 3 отношения следования ⇒ и связности ⇔ и вытекающая из них классификация состояний марковских цепей легко переносятся на случай процессов с непрерывным параметром. Это можно сделать несколькими способами. Здесь мы предложим независимую классификацию состояний марковских процессов. В разделе 14.3. будет предложен другой подход,
опирающийся на связь марковских процессов с марковскими цепями.
Пусть X = {X(t), t ∈ R+ } — марковский процесс cо счетным фазовым пространством E.
Распространим на процесс с непрерывным временем понятия следования и связности гл. 3.
Определение 14.1. Будем говорить, что состояние j следует за i и писать i ⇒ j, если существует
t такое, что pij (t) > 0, но pji (t) = 0 для всех t ≥ 0. Состояния i и j сообщаются, если i ⇒ j и
j ⇒ i.
Аналогично результатам § 7 гл. 3 отношение следования ⇒ определяет частичный порядок
на множестве состояний, а отношение связности ⇔ является отношением эквивалентности.
Лемма 14.1. Отношения следования является отношением частичного порядка, т.е. оно
(а) антисимметрично и
(б) транзитивно,
а отношение связности является отношением эквивалентности, т.е. оно
(а) симметрично,
(б) транзитивно и
(в) рефлексивно.
Доказательство провести самостоятельно в качестве упражнения 1.
Результатом решения этого упражнения является возможность перенесения классификации
состояний марковских цепей на марковские процессы. В частности, отношение связности ⇔ позволяет разбить все состояния на непересекающиеся классы сообщающихся состояний, отношение
следования ⇒ позволяет выделить подмножество несущественных состояний.
Заметим, однако, что все состояния стандартного марковского процесса апериодичны, т.к. из
непрерывности pii (t) в нуле и соотношения
t
t
n
= pii
pii (t) = pii n
n
n
следует, что pii (t) > 0 для любого t > 0.
Как и ранее достаточно отдельно изучить поведение процесса на множестве несущественных
состояний, вероятности перехода из несущественных в замкнутые классы и поведение процесса в
отдельном классе сообщающихся состояний.
Определение 14.2. Процесс называется неразложимым, если его фазовое пространство состоит
из единственного класса сообщающихся состояний.
Аналогично обобщаются понятия возвратности и положительности состояния. С этой целью
обозначим через T̂i время первого достижения состояния i (при выходе из состояния i эта величина определяется как время первого достижения состояния i после выхода из него, или время
первого возвращения), а через Fii (t) функцию распределения времени первого возвращения, и
через Fij (t) функцию распределения времени первого достижения состояния j из состояния i.
Fij (t) = Pi {T̂j ≤ t} = P{T̂j ≤ t|X(0) = i}.
§ 14. Классификация состояний. Устойчивость
99
(n)
Напомним, что аналогичные характеристики для марковских цепей обозначались через lij . Очевидно, Fij (∞) имеет смысл вероятности достижения состояния j из состояния i (аналог величины
lij ).
В качестве упражнения 2 предлагается выписать функционал, определяющий с.в. T̂i .
Обозначим через
Z∞
Z∞
fii = Mi T̂i = tdFii (t) = (1 − Fii (t)) dt
0
0
условное математическое ожидание величины T̂i .
Определение 14.3. Состояние i называется возвратным, если распределение Fii (·) — собственное, т.е. если lim F (t) = Fii (∞) = 1 и невозвратным в противном случае, т.е. если lim F (t) =
t→∞
t→∞
Fii (∞) < 1. Возвратное состояние называется положительным, если среднее время возвращения
конечно, fii < ∞.
Аналогично марковским цепям имеют место критерии проверки возвратности и положительности состояния. Для доказательства этих критериев потребуются формулы разложения по первому
и последнему моментам достижения, которые представляют и самостоятельный интерес, поэтому
приводятся здесь вместе.
Лемма 14.2. Для любых состояний i, j произвольного стандартного марковского процесса с
дискретным фазовым пространством справедливы формулы
pij (t)
= δij e
−λi t
Zt
+
dFij (u)pjj (t − u),
(14.1)
pij (t − u)dFjj (u),
(14.2)
0
pij (t)
= δij e−λi t +
Zt
0
первая из которых называется формулой разложения по первому, а вторая — по последнему
моментам достижения и аналогичны формулам (8.6–8.7) раздела 7.3..
Доказательство этих формул провести самостоятельно в качестве упражнения 3 опираясь на
формулу полной вероятности в непрерывном случае, где в качестве полной группы событий используются моменты первого, соответственно последнего достижения состояния.
Теперь можно перейти к доказательству критериев возвратности и положительности.
Лемма 14.3. Среднее время, проведенное процессом в возвратном состоянии при t → ∞ бесконечно, а в невозвратном — конечно. Другими словами, возвратными являются те и только те
состояния, в которых процесс проводит в среднем бесконечное время,
Z∞
Mi
Z∞
pii (t) dt = ∞
1i (X(t)) dt =
0
(14.3)
0
Доказательство. Для доказательства леммы переходя к преобразованию Лапласа в формуле
(14.1) разложения по первому моменту достижения найдем
p̃ii (s) =
1
+ f˜ii (s)p̃ii (s),
λi
откуда
p̃ii (s) =
1
(s + λi )(1 − f˜ii (s))
100
Глава 4. Скачкообразные марк. и полумарк. процессы
и, следовательно,
Z∞
1
1
=
.
λi (1 − Fii (∞))
λi (1 − f˜ii (0))
pii (t) dt = p̃ii (0) =
0
Таким образом, последнее выражение обращается в ∞ тогда и только тогда, когда Fii (∞) = 1,
т.е. когда состояние i возвратно.
Для доказательства следующей леммы рассмотрим вложенный по моментам возвращения в
некоторое состояние i процесс восстановления, функцию восстановления которого обозначим через
Hi (t).
Лемма 14.4. Состояние положительно тогда и только тогда, когда существует положительный предел,
lim pii (t) = πi > 0.
(14.4)
t→∞
Доказательство. Для доказательства воспользуемся формулой разложения по последнему моменту достижения (14.2) при j = i. Заметим, что эта формула представляет собой уравнение
восстановления относительно pii (t), решение которого согласно теореме 5.2 имеет вид
pii (t) = e
−λi t
Zt
+
dHi (u) s−λi (t−u) du.
0
Используя теорему восстановления из последнего соотношения найдем
lim pii (t) =
t→∞
1
fii
Z∞
e−λi u du =
1
.
fii λi
0
Таким образом, если среднее время возвращения fii конечно fii < ∞, то предел существует и
положителен, если же состояние нулевое, то соответствующий предел равен нулю.
Аналогично случаю марковских цепей имеет место
Теорема 14.1 (Солидарности). Все состояния одного и того же класса сообщающихся состояний марковского процесса относятся к одному типу: любо они все невозвратны, либо возвратны
и нулевые, либо положительно возвратны.
Доказательство. Заметим, что из условия сообщаемости любых двух состояний i и j вытекает
неравенство
pii (s + u + t) ≥ pij (s)pjj (u)pjj (t) ≥ pjj (u)
и аналогично
pjj (s + u + t) ≥ pji (s)pii (u)pij (t) ≥ pii (u).
Откуда следует, что асимптотическое поведение вероятностей pii (t) и pjj (t) одинаково и, следо∞
R
R∞
pjj (t) сходятся и расходятся одновременно. С другой стороны, используя
вательно,
pii (t) и
0
0
критерий возвратности (лемма 14.3), получаем, что состояния i и j возвратны или невозвратны
одновременно.
Доказательство второго утверждения теоремы получим с помощью критерия положительности
состояний (лемма 14.4) аналогично предыдущему случаю опираясь на идентичность асимптотического поведения переходных вероятностей сообщающихся состояний.
§ 14. Классификация состояний. Устойчивость
14.2.
101
Устойчивость
Из определения интенсивностей переходов соотношением (13.1) и их свойств в теореме 13.1 следует
0 ≤ λi ≤ ∞.
Определение 14.4. Cостояние i называется мгновенным (или неустойчивым), если λi = ∞.
Такое состояние не наблюдаемо, т.к. процесс мгновенно покидает его. В дальнейшем будет
рассматриваться случай, когда все λi < ∞, т.е. только процессы с устойчивыми состояниями. Заметим, что в случае бесконечного пространства состояний, E = {0, 1, . . . }, возможен случай, когда
λi < ∞, но λi → ∞ при i → ∞. Это приводит к тому, что процесс “уходит на бесконечность” за
конечное время (см. далее пример 1 и рисунок к нему.
Определение 14.5. Процесс называется устойчивым, если на любом конечном интервале он
совершает лишь конечное число скачков (переходов).
Теорема 14.2 (Критерий устойчивости). Пусть X(t) — стандартный марковский процесс, Sn
— моменты его скачков, тогда для устойчивости процесса необходимо и достаточно, чтобы
)
(
X
1
= ∞ = 1.
(14.5)
P
по всем n λXSn
Доказательство этой теоремы выходит за рамки настоящего курса. Мы ограничимся тем, что
прокомментируем это условие устойчивости на примере процесса чистого размножения.
Определение 14.6. Процессом чистого размножения называется дискретный стандартный марковский процесс с вполне упорядоченным множеством состояний, переходы (скачки) в котором возможны только в последующие состояния, т.е. переход из состояния i возможен только в
состояние i + 1 с интенсивностью λi . Для такого процесса интенсивности переходов определяются
соотношением
(
λi ,
j = i + 1,
λij =
0,
j 6= i + 1.
Пример 1. Рассмотрим процесс чистого размножения. Пусть X(0) = 0. Тогда X(Sn ) = n и,
следовательно, λX(Sn ) = λn . Таким образом, согласно критерию устойчивости процесс устойчив
тогда и только тогда, когда
X 1
= ∞.
(14.6)
λn
Заметим, что члены этого ряда представляют собой средние длительности пребывания процесса в
соответствующих состояниях. Поэтому расходимость этого ряда означает, что процесс развивается
в среднем “бесконечно долго”. В противном случае, т.е. при сходимости ряда (14.6) последовательность λn достаточно быстро расходится, например, при λn ≥ n1+ скачки очень быстро накаплиP
ваются, так что процесс “уходит в бесконечность” за конечное время T , такое, что MT = n λ1n
(см. рис.14.1). При этом поведение процесса за пределами времени T становится неопределенным,
а уравнения Колмогорова утрачивают единственность.
Недостатком приведенного выше критерия устойчивости является трудность проверки его
условий. Существуют сравнительно просто проверяемые достаточные условия устойчивости (или
регулярности) процесса.
Теорема 14.3 (Достаточное условие устойчивости). Для устойчивости процесса достаточно
либо
(1) равномерной ограниченности интенсивностей λi : λi ≤ C < ∞, либо
(2) возвратности всех состояний вложенной цепи.
102
Глава 4. Скачкообразные марк. и полумарк. процессы
X (t)
...
T
t
Рис. 14.1. Процесс чистого размножения XSn
Для устойчивых процессов справедлива
Теорема 14.4. Если X(t) — устойчивый процесс со счетным множеством состояний, то любая
из систем (14.3, 14.4) имеет единственное решение.
Доказательства этих теорем не приводятся ввиду их сложности; их можно найти в специальной литературе, см., например, [10].
Приведенные теоремы показывают, что устойчивый стандартный марковский процесс полностью определяется своей матрицей интенсивностей переходов. Это позволяет предложить другой
способ задания таких процессов, основанный на его представлении в виде размеченного графа. За
вершины графа примем состояния процесса, направленные дуги соединяют такие состояния i и
j, для которых λij > 0, при этом соответствующая дуга помечается этим значением. Такой граф
называется размеченным графом переходов марковского процесса. Пример размеченного графа
переходов марковского процесса чистого размножения из примера 1 приведен на рисунке 14.2.
λ0 λ1 λn - 1
- 2
...
-n+1
...
0
n
Рис.14.2. Размеченный граф переходов процесса чистого размножения.
14.3.
Связь марковских процессов с цепями
Естественно, марковские процессы имеют самую тесную и глубокую связь с цепями. В разделе 13.3. уже была введена вложенная марковская цепь Yn = X(Sn ) дл процесса X(t). В настоящем
разделе рассмотрим еще целое семейство марковских цепей, связанных с исходным марковским
процессом.
Пусть X = {X(t), t ∈ R+ } — марковский процесс cо счетным фазовым пространством E.
bn(h) =
Выбирая различные положительные числа h, рассмотрим семейство последовательностей X
Xnh , n = 0, 1, 2....
bn(h) =
Лемма 14.5. Для марковского процесса X = {X(t), t ∈ R+ } последовательность X
Xnh , n = 0, 1, 2... образует марковскую цепь для любого положительные числа h.
§ 14. Классификация состояний. Устойчивость
103
Доказательство выполнить самостоятельно в качестве упражнения 3.
(h)
Определение 14.7. Последовательность Xn
с шагом h.
= Xnh называется остовом марковского процесса
Опираясь на связь между марковским процессом и его остовом на марковские процессы можно перенести многие свойства цепей и, прежде всего, классификацию его состояний. Приведем
здесь эти вопросы конспективно, так как в предыдущем разделе была предложена независимая
классификация состояний марковских процессов.
(h)
Очевидно, что для каждой из марковских цепей Xn при различных h можно провести классификацию ее состояний в соответствии с определениями предыдущих глав. Чтобы эту классификацию можно было перенести на соответствующий процесс, необходимо убедиться, что любой
из остовов марковского процесса имеет одинаковую классификацию.
Лемма 14.6. Все остовы некоторого марковского процесса имеют одну и ту же классификацию.
Доказательство провести самостоятельно в виде упражнения 4.
Остовы марковских процессов удобно использовать при их имитационном моделировании. Наряду с остовом и вложенной марковской цепью часто удобно пользоваться другими модификациями марковских процессов.
Замечание 1. В разделе 13.3. было предложено конструктивное описание марковского процесса,
при котором процесс совершает скачки через случайные показательно распределенные с различными средними значениями λ−1
интервалы времени. Наряду с этой конструкцией в приложениях
i
часто бывает полезно рассматривать другую эквивалентную конструкцию марковского процесса,
при которой исходный процесс совершает скачки через случайные одинаково распределенные интервалы времени. Для описания этой конструкции обозначим через c максимальное из значений
λi , c = maxi∈E λi , и рассмотрим скачкообразный процесс, который проводит в каждом из своих
состояний показательно распределенное с параметром c время, а затем из состояния i с вероятноλ
стью cij переходит в состояние j, а с вероятностью 1 − λci остается в состоянии i. Можно показать,
что построенный таким образом процесс является марковским, а его КМР совпадают с КМР исходного процесса, т.е. процессы и эквивалентны, а следовательно стохастически неразличимы.
14.4.
Дополнения
Вопросы для контроля.
1. Дайте определение несущественного состояния марковского процесса.
2. Дайте определение сообщающихся состояний марковского процесса.
3. Что называется остовом марковского процесса?
4. Дайте определение неразложимого марковского процесса.
5. Сформулируйте теорему солидарности для марковских процессов.
6. Дайте определение мгновенного, устойчивого и поглощающего состояний марковского процесса.
7. Дайте определение устойчивого марковского процесса.
8. Поясните поведение не устойчивого марковского процесса.
9. Приведите критерий устойчивости марковского процесса.
10. Сформулируйте теорему о существовании и единственности решений дифференциальных
уравнений Колмогорова для переходных вероятностей устойчивых марковских процессов.
11. Что такое граф переходов стандартного марковского процесса?
Упражнения.
1. Докажите лемму 1.
2∗ . Выпишите функционал для определения с.в. T̂i .
104
Глава 4. Скачкообразные марк. и полумарк. процессы
3. Докажите лемму 14.2.
Указание: используйте формулу полной вероятности и марковское свойство процесса.
4. Докажите лемму 14.5.
5. Докажите лемму 14.6.
Библиографические замечания.
Классификация состояний марковских процессов практически совпадает с классификацией
состояний цепей и следует классификации, предложенной Колмогоровым [19] и Феллером [29].
Доказательство критерия устойчивости (теорема 14.2) можно найти у Феллера [29]. Связь марковских процессов с цепями подробно исследовал Чжун Кай-Лай [32]. Конструкцию, изложенную
в замечании 1 предложил Серфозо.
§ 15. Свойства марковских процессов
§ 15.
105
Свойства марковских процессов
В этом параграфе будут изложены основные свойства марковских скачкообразных процессов. Приведем сначала уравнения для вероятностей состояний, которые лежат в основе анализа
марковских процессов, затем на их основе получим методы анализа распределения времени достижения отдельного состояния или множества состояний и связанного с ним распределения времени
пребывания в множестве состояний. Затем рассмотрим поведение процесса в замкнутом множестве состояний.
15.1.
Уравнения для вероятностей состояний
Решение уравнений для переходных вероятностей (13.2)—(13.4) редко удается получить в явном
виде, да они и не представляют особого практического интереса. Однако используя уравнение
(13.2), легко получить уравнение для вектора вероятностей состояний процесса p~(t) = {pk (t), k ∈
E}, где
pk (t) = Pα {X(t) = k}
(15.1)
с любым начальным распределением α = {ak , k ∈ E}, где
ak = pk (0) = P{X(0) = k},
k ∈ E.
(15.2)
Действительно, умножая уравнение (13.2) на вектор начального распределения слева, получим
d~
pT (t)
= p~T (t)Λ
dt
(15.3)
или в координатной форме
ṗk (t) =
X
i∈E
pi (t)λik = −pk (t)λk +
X
pi (t)λik ,
(15.4)
i∈E, i6=k
которое необходимо решать с начальным условием (15.2).
В случае конечного пространства состояний E система уравнений (15.4) с начальным условием
(15.2) представляет собой задачу Коши, и, следовательно, имеет единственное решение. В случае
счетного пространства состояний E для существования и единственности достаточно потребовать
выполнения условия устойчивости процесса (теорема 14.3)
При составлении уравнений (15.2, 15.3) непосредственно с помощью графа переходов марковского процесса удобно пользоваться следующим правилом.
Правило составления дифференциальных уравнений для вероятностей состояний
марковского процесса. Производная вероятности некоторого состояния k равна алгебраической сумме произведений вероятностей состояний на интенсивности переходов, взятых со знаком “плюc” для входящих в k стрелок и “минус” — для выходящих.
15.2.
Время достижения
Используем дифференциальные уравнения для вероятностей состояний для изучения времени достижения некоторого состояния (или подмножества состояний) и времени пребывания процесса в
некотором подмножестве состояний. Ясно, что время пребывания процесса в некотором подмножестве состояний совпадает с временем достижения его дополнения, поэтому достаточно изучить
какую-либо одну из этих характеристик. Рассмотрим, например, время достижения. Ясно, что
время достижения некоторого подмножества совпадает с моментом попадания процесса в это подмножество, если запретить выход из него. Поэтому методика вычисления распределения времени
достижения сводится к решению дифференциальных уравнений Колмогорова для вероятностей
состояний для модифицированного процесса, в котором выход из рассматриваемого подмножества состояний запрещен. Для модификации достаточно удалить в размеченном графе переходов
106
Глава 4. Скачкообразные марк. и полумарк. процессы
все дуги, выходящие из поглощающего подмножества, т.е. рассмотреть сужение процесса на рассматриваемое подмножество. Вместо того, чтобы приводить общую методику вычисления времени
достижения, рассмотрим ее на конкретном прикладном примере.
Пример 1. Дублированная система. Рассмотрим систему облегченного дублирования с восстановлением из примера 12.1 с тремя состояниями E = {0, 1, 2}, где состояние i означает число
элементов, находящихся в состоянии отказа, и исследуем распределение времени до первого отказа. Длительности исправной работы в основном и резервном состояниях и время ремонта имеют
показательные распределения с параметрами λ, ν, µ соответственно. Для вычисления распределения времени до первого отказа рассмотрим поведение марковского процесса X̂(t), означающего
число неисправных элементов, до момента его первого попадания в состояние 2, для чего поместим
в это состояние поглощающий экран, запретив выход из него. Тогда распределение F (t) времени
T до первого отказа исходной системы совпадает с вероятностью того, что процесс X̂(t) находится
в состоянии 2,
F (t) = P{T ≤ t} = P{X̂(t) = 2}.
Граф переходов такого процесса для системы облегченного дублирования (когда дублирующий
элемент находится в облегченном режиме работы) с одной ремонтной бригадой представлен на
рис. 15.1.
λ+ν
λ
c
h
c
h
c
h
c
h
1
h
h
c
c
µ
2
3
Рис.15.1. Размеченный граф переходов для модифицированного
процесса X̂(t).
Поэтому, согласно правилу составления дифференциальных уравнений для вероятностей состояний марковских процессов (см. раздел. 15.1.), система дифференциальных уравнений для
вероятностей его состояний имеет вид

ṗ0 (t) = −(λ + ν) p0 (t) + µ p1 (t),

ṗ1 (t) = (λ + ν) p0 (t) − (λ + µ) p1 (t),
(15.5)

ṗ2 (t) = λ p1 (t),
которую следует решать с начальным условием
p0 (0) = 1, p1 (0) = p2 (0) = 0.
(15.6)
Для решения этой системы воспользуемся методом преобразований Лапласа
Z∞
p̃k (s) =
e−st pk (t) dt.
0
Так как последнее из уравнений (15.6) решается простым интегрированием, то, переходя в первых
двух уравнениях системы (15.6) к преобразованиям Лапласа и замечая, что
Z∞
e
0
−st
ṗk (t) dt = e
−st
∞
pk (t)0 +
Z∞
0
e−st pk (t) dt = sp̃k (s) − pk (0),
§ 15. Свойства марковских процессов
107
для функций p̃k (s) получим с учетом начальных условий (15.6) систему алгебраических уравнений
s p̃0 (s) − 1 = −(λ + ν) p̃0 (s) + µ p̃1 (s)
.
s p̃1 (s) = (λ + ν) p̃0 (s) − (λ + µ) p̃1 (s)
Записывая последнюю систему в виде
(λ + ν + s) p̃0 (s) − µ p̃1 (s)
−(λ + ν) p̃0 (s) + (λ + µ + s) p̃1 (s)
=
=
1,
0,
легко найти ее решение, например, по правилу Крамера,
p̃0 (s) =
p̃1 (s) =
λ+µ+s
(λ+ν+s)(λ+µ+s)−(λ+ν) µ
λ+ν
(λ+ν+s)(λ+µ+s)−(λ+ν) µ
.
Для вычисления обратного преобразования разложим функцию p̃1 (s) на простые дроби
p̃1 (s) =
A1
A2
+
s + s1
s + s2
(15.7)
и вычислим коэффициенты этого разложения из системы уравнений
A1 + A2 = 0
,
A1 s2 + A2 s1 = λ + ν
где s1 , s2 — корни знаменателя выражения для p̃1 (s) (характеристического уравнения системы
(15.6)),
(λ + ν + s) (λ + µ + s) − (λ + ν) µ = s2 + (2λ + ν + µ) s + λ (λ + ν) = 0,
взятые, для наглядности, со знаком “минус”, равные в данном случае в терминах безразмерных
коэффициентов γ = µλ и σ = λν
s1,2 =
p
λ
(2 + γ + σ ∓ (γ + σ)2 + 4γ).
2
Переходя теперь в (15.7) к обратному преобразованию, найдем
p1 (t) = A1 e−s1 t + A2 e−s2 t ,
откуда простым интегрированием получим ф.р. длительности до первого отказа системы, которая
после подстановки значений коэффициентов A1 и A2 примет вид
Zt
p1 (u) du = 1 −
F (t) = p2 (t) = λ
λ2 −s1 t s1
e
1 − e−rt ,
s1 r
s2
(15.8)
0
p
где r = s2 − s1 = λ (γ + σ)2 + 4γ. Наконец, для функции надежности системы получим выражение
s1
λ2 −s1 t e
1 − e−rt .
(15.9)
R(t) = 1 − p2 (t) =
s1 r
s2
Заметим, что выражения (15.8) и (15.9) для ф.р. длительности до первого отказа и функции
надежности сохраняется также для систем нагруженного (при ν = λ) и не нагруженного (при
ν = 0) дублирования. Изменяются лишь характеристическое уравнение и соответственно значения
s1 , s2 его корней.
Вычисления показывают, что средняя длительность безотказной работы mс восст. системы
облегченного дублирования с восстановлением равна
mс восст. =
2 + σ + γ −1
λ .
1+σ
108
Глава 4. Скачкообразные марк. и полумарк. процессы
Откуда для систем нагруженного (при σ = 1) и не нагруженного (при σ = 0) дублирования
средняя длительность работы системы равна соответственно
mс восст.
=
mс восст.
=
3+γ
2λ
2+γ
λ
для системы нагруженного дублирования,
для системы не нагруженного дублирования.
Как будет показано в дальнейшем (см. пример 17.1) средняя длительность безотказной работы
системы нагруженного дублирования без восстановления, например, равна mбез восст. = 23 λ−1 ,
так что коэффициент
µ
среднее время работы элемента
γ= =
,
λ
среднее время ремонта элемента
определяет эффективность восстанавливаемых систем по отношению к невосстанавливаемым.
Рассмотрим теперь основные свойства неразложимых процессов.
15.3.
Предельная теорема для марковских
процессов
Основные свойства неразложимых марковских цепей сохраняются также и для неразложимых
процессов. Прежде чем переходить к доказательству соответствующей предельной теоремы напомним формулы (14.1, 14.2) разложения по моментам первого и последнего достижения из раздела 14.1.
pij (t)
= δij e
−λi t
Zt
+
dFij (u)pjj (t − u),
(15.10)
pij (t − u)dFjj (u).
(15.11)
0
pij (t)
= δij e
−λi t
Zt
+
0
Теорема 15.1. Для переходных вероятностей стандартного марковского процесса существуют
пределы
lim pij (t) = πij ,
(15.12)
t→∞
причем
(1) если состояния i, j положительно возвратны и принадлежат одному классу сообщающихся
состояний, то
1
πij =
= πj > 0;
(15.13)
λj fjj
(2) если состояние j возвратно и нулевое или невозвратно, а i — любое, то
πij = 0;
(15.14)
(3) если i — несущественное, а j — положительно возвратное, то
πij =
Fij (∞)
,
λj fjj
где Fij (t) — ф.р. времени первого достижения, fjj =
R∞
tdFjj (t) — среднее время первого возвра-
0
щения, Fij (∞) = lim Fij (t) — вероятность достижения состояния j из состояния i.
t→∞
(15.15)
§ 15. Свойства марковских процессов
109
Доказательство. Переходя к преобразованиям Лапласа и Лапласа-Стилтьеса:
Z∞
e
p̃ij (s) =
−st
pij (t)dt,
f˜jj (s) =
Z∞
e−st dFjj (t),
0
0
в соотношении (15.10) найдем
p̃ij (s) =
δij
+ f˜ij (s)p̃jj (s)
s + λi
При i = j из этого соотношения следует
p̃jj (s) =
1
.
(s + λj )(1 − f˜jj (s))
p̃ij (s) =
f˜ij (s)
.
(s + λj )(1 − f˜jj (s))
Для j 6= i имеем
Пользуясь тауберовой теоремой [9] из анализа вычислим предел
lim pij (t)
t→∞
=
f˜ij (s)
˜
=
1−fjj (s)
s→+0
(s + λj )
s
lim sp̃ij (s) = lim
s→+0
= −
Fij (∞)
f˜ij (0)
.
0 (0) = λ f
λj fjj
j jj
Если состояния i, j принадлежат одному и тому же классу сообщающихся состояний i ∈ Ej , то
Fij (∞) = 1 и полученное соотношение приводит к (15.13); если они принадлежат различным
классам i 6∈ Ej , то Fij (∞) = 0 и πij = 0. Если состояние j невозвратно или возвратное нулевое,
то fjj = ∞, так что предел равен нулю (случай (2)). Наконец, если i — несущественно, а j —
положительно возвратно, то Fij (∞) представляет собой вероятность поглощения траектории процесса, выходящего из состояния i, классом состояний, содержащим состояние j, что представляет
случай (3). Таким образом, все утверждения теоремы доказаны.
Замечание 1. Как следует из приведенной теоремы предельные вероятности имеют ясный “физический” смысл и играют важную роль при анализе марковских процессов. Поэтому важно иметь
доступные способы их вычисления. Прямые вычисления с помощью предельных соотношений
обычно затруднительны. Однако, как не трудно видеть предельные вероятности ~π = {πi , i ∈ E}
удовлетворяют системе алгебраических уравнений
0 = ~π Λ,
или в координатной форме —
X
πi λij = 0,
(15.16)
i∈E
которая называется системой уравнений равновесия (СУР). Эта система, как однородная система с вырожденным определителем, имеет бесконечно много решений. Однако единственное (для
неразложимой цепи) вероятностное решение определяется из нее дополнительным условием нормировки
X
πi = 1.
(15.17)
i∈E
Интересно отметить связь этого инвариантного (стационарного) распределения с соответствуюˆ для вложенной по моментам скачков марковской цепи. Для этого заметим,
щим распределением ~π
110
Глава 4. Скачкообразные марк. и полумарк. процессы
что в силу определения переходных вероятностей pij вложенной цепи формулой (13.8) pij =
последние удовлетворяют системе уравнений
π̂j =
X
π̂i
i6=j
λij
λi
λij
.
λi
Замечая, что λii = −λi из этого соотношения найдем
X π̂i
i∈E
λi
λij = 0 и следовательно
или
π̂i = πi λi =
πi =
π̂i
,
λi
1
.
fii
Заметим, что так как π̂i = m−1
ii , то mii = fii , т.е. среднее время возвращения процесса в некоторое
состояние совпадает со средним числом переходов его вложенной цепи до возвращения в это
состояние.
15.4.
Эргодическая теорема
Рассмотрим функционал
Zt
Gt (X(·)) =
g(X(u))du,
(15.18)
0
где g(·) — функция, заданная на множестве состояний марковского процесса. Интегрирование
ведется вдоль траектории процесса. Для индикаторной функции, например,
(
1, x = j,
g(x) = 1j (x) =
0, x 6= j
значением функционала Gt (X(·)) является время, проведенное в состоянии j за время t. В частности, например, для процесса, описывающего поведение технического устройства с двумя состояниями — исправным и неисправным значения такого функционала показывают время исправной
и неисправной работы.
Теорема 15.2 (Эргодическая теорема). Если X(t) — неразложимый положительно возвратный
стандартный марковский процесс, а функция g(x) ограничена, то среднее по времени от функционала (15.18) сходится по вероятности и с вероятностью 1 к его математическому ожиданию
относительно инвариантного распределения π = {πk , k ∈ E},
1
Gt =
t→∞ t
lim
Mπ
SR
1 (i)
g(X(u))du
0
Mπ S1 (i)
= Mπ g(X(·)) =
X
πk g(k).
(15.19)
k∈E
Доказательство аналогично доказательству эргодической теоремы для марковских цепей. Пусть
t — фиксированное время, Sn (e) = Sn — моменты возвращения в фиксированное состояние, скажем e, Ne (t) = N (t) — число возвращений в это состояние за время t. Тогда справедливо представление
Zt
Zt
N (t) ZSn
1
1X
1
g(X(u))du =
g(X(u))du +
g(X(u))du.
t
t n=1
t
0
Sn−1
SN (t)
При t → ∞ второе слагаемое справа сходится к нулю в силу ограниченности подынтегральной функции и конечности в среднем (в силу положительной возвратности процесса) интервала
§ 15. Свойства марковских процессов
111
[SN (t) , t) интегрирования. Обозначим интеграл, стоящий под знаком суммы через Yn . Величины
Yn являются независимыми и для всех n 6= 1 одинаково распределенными с.в. (распределение
первой величины, также как и первого интервала зависит от начального состояний процесса).
Следовательно, по закону больших чисел простому и усиленному
N (t)
1 X
Yn → Me Y2
N (t) n=1
по вероятности и с вероятностью 1. Далее, из теории восстановления следует, что при t → ∞
1
N (t)
→
,
t
Me S2
что доказывает первое равенство в формуле (15.19).
Для положительно–возвратного процесса вычисления показывают, что
ZS1
g(X(u))du =
Me
X
πk g(k)fee .
k∈E
0
Действительно, если g(·) = 1k (X(u)) — индикаторная функция состояния k, тогда т.к. согласно
результатам гл. 3 среднее число посещений состояния k между двумя посещениями состояния e
равно mee /mkk , а среднее время пребывания процесса в состоянии k равно 1/λk , то
ZS1
Me
1k (X(u))du =
mee
fee
=
= πk fee ,
λk mkk
λk fkk
0
где последнее равенство следует из замечания в конце предыдущего раздела о том, что fii = mii ,
откуда следует доказательство второго равенства для индикаторной функции.
Таким образом, для произвольной функции
X
g(X(u)) =
g(k)1k (X(u))
k∈E
имеем
ZS1
Me
g(X(u))du =
0
X
k∈E
ZS1
g(k)Me
1k (X(u))du =
0
X
πk g(k)fee ,
k∈E
что после деления на Me S1 (e) = fee приводит к формуле (15.19), где πk = 1/λk fkk — предельная
вероятность состояния k, что завершает доказательство.
Замечание 2. Как можно видеть из доказательства первое равенство в формуле (15.19) справедливо также для возвратных нулевых процессов, однако при этом возникает неопределенность
типа ∞/∞. Для функционалов с конечными средними значениями между двумя посещениями
некоторого состояния эта теорема допускает обобщение в виде теоремы отношений.
15.5.
Критерии положительной возвратности
В предыдущих предельной и эргодической теоремах использовалось условие положительной возвратности процесса. Так как из определения этого понятия непросто определить является ли
рассматриваемый процесс положительно возвратным, необходимо привести хорошие достаточные
условия положительной возвратности. Прежде всего укажем простой факт.
Теорема 15.3. Любой неразложимый марковский процесс с конечным числом состояний |E| <
∞ положительно возвратен.
112
Глава 4. Скачкообразные марк. и полумарк. процессы
Доказательство. Oчевидно.
Как следствие, для таких процессов эргодическая теорема выполняется всегда.
Теорема 15.4 (теорема Фостера). Для положительной возвратности устойчивого неразложимого марковского процесса необходимо и достаточно существование нетривиального решения
системы уравнений
X
xi λij = 0
i∈E
такого, что
X
|xi | < ∞.
i∈E
При этом предельные вероятности равны ai = kxi + c.
Доказательство опускаем.
15.6.
Дополнения
Вопросы для контроля.
1. Выпишите дифференциальные уравнения для вероятностей состояний марковского процесса.
2. Дайте определение времени достижения процессом некоторого состояния или множества
состояний.
3. Дайте определение времени пребывания процесса в некотором множестве состояний.
4. Что называется инвариантным распределением марковского процесса.
5. Как вычислить инвариантное распределение марковского процесса.
6. Что такое система уравнений равновесия марковского процесса и как она выводится?
7. Сформулируйте предельную теорему для переходных вероятностей марковского процесса.
8. Сформулируйте эргодическую теорему для положительно возвратного марковского процесса.
9. Дайте содержательную интерпретацию эргодических теорем и приведите примеры их применения.
Задачи.
1. Стандартный марковский процесс X задан своей матрицей интенсивностей переходов Λ,


−5 3
2
Λ =  2 −4 2 
1
3 −4
Выпишите систему дифференциальных уравнений для вероятностей состояний pi (t). Найдите предельные вероятности.
2. Техническое устройство состоит из двух идентичных блоков. Блоки могут выходить из строя
независимо друг от друга. Вероятность выхода из строя каждого блока, работающего в момент t,
в промежутке (t, t + ∆t) равна λ∆t + o(∆t) при ∆t →0. Блоки также могут одновременно выйти из строя из-за сбоя электропитания, и вероятность этого для работающих в момент t блоков
равна λ0 ∆t + o(∆t) при ∆t →0. Для ремонта вышедших из строя блоков имеется одно ремонтное
устройство. Если отказавший блок ремонтируется в момент t, то вероятность окончания ремонта в промежутке (t, t + ∆t) равна µ∆t + o(∆t) при ∆t →0. Если оба блока отказали, то один
ремонтируется, а другой ждет своей очереди. Описать функционирование системы марковским
§ 15. Свойства марковских процессов
113
процессом, записать систему дифференциальных уравнений для вероятностей состояний и найти
стационарные вероятности πk состояний системы.
3. Стандартный марковский процесс
вектором α начального распределения,

−3
Λ= 2
2
X задан своей матрицей интенсивностей переходов Λ и
1
−3
1

2
1 ,
−3


1
α =  0 .
0
Найдите вероятности pk (t) (k = 1, 2, 3) состояний в момент времени t.
4. ([3]) Рассматривается процесс работы ЭВМ. Поток отказов (сбоев) работающей ЭВМ —
простейший с интенсивностью λ. Если ЭВМ дает сбой, то он немедленно обнаруживается, и обслуживающий персонал приступает к устранению неисправности (ремонту). Закон распределения
времени ремонта — показательный с параметром µ. В начальный момент (t = 0) ЭВМ исправна.
Найдите:
(1) вероятность того, что в момент t ЭВМ будет работать;
(2) вероятность того, что за время (0, t) ЭВМ даст хотя бы один сбой;
3) предельные вероятности состояний ЭВМ.
5. В условиях предыдущей задачи неисправность ЭВМ обнаруживается не сразу, а по прошествии некоторого времени, имеющего показательное распределение с параметром ν. Написать
и решить уравнения Колмогорова для вероятностей состояний. Найти предельные вероятности
состояний.
6. ([3]) Электронное техническое устройство состоит из двух одинаковых взаимозаменяемых
узлов. Для работы устройства достаточно, чтобы работал хотя бы один узел. При выходе из строя
одного из узлов устройство продолжает нормально функционировать за счет работы другого узла.
Поток отказов каждого узла — простейший с параметром λ. При выходе из строя узла он сразу
начинает ремонтироваться. Время ремонта узла — показательное с параметром µ. В начальный
момент (при t = 0) оба узла работают. Найдите следующие характеристики работы устройства:
(1) вероятности состояний как функции времени: 0 — исправны оба узла; 1 — исправен один
узел, другой ремонтируется; 2 — ремонтируются оба узла (устройство не работает);
(2) вероятность p(t) того, что за время t устройство ни разу не прекратит работу;
(3) предельные вероятности состояний устройства;
(4) долю времени в стационарном режиме работы, в течение которого устройство будет находиться в исправном состоянии;
5) среднее время T̄p бесперебойной работы устройства (от включения после восстановления до
очередного выхода из строя) в стационарного режима.
7. ([3]) Техническое устройство подвержено простейшему потоку отказов с интенсивностью λ.
Отказ обнаруживается не сразу, а через случайное время, распределенное показательно с параметром ν. Как только отказ обнаружен, производится осмотр устройства, в результате которого
либо оно с вероятностью p направляется в ремонт, либо с допоплнительной вероятностью q = 1 − p
списывается и заменяется новым. Время осмотра имеет показательное с параметром γ, время ремонта — показательное распределение с параметром µ, распределение времени замены списанного
устройства новым — показательное с параметром χ. Найдите предельные вероятности состояний
устройства. Определите:
(1) какую долю времени в среднем устройство будет работать нормально;
114
Глава 4. Скачкообразные марк. и полумарк. процессы
(2) какую долю времени устройство будет работать с необнаруженым отказом (давать брак);
(3) какова средняя стоимость ремонтов устройства и его замен за единицу времени, если средняя
стоимость ремонта равна r, а цена нового технического успройства равна c;
(4) какова средняя величина потерь за единицу времени от устройства, работающего иногда с
необнаруженным отказом, если в таком состоянии устройство приносит в единицу времени
убыток l.
Библиографические замечания.
Уравнения для вероятностей состояний марковского процесса восходят, конечно, к работе Колмогорова [20], но теперь приводятся в любом учебнике по теории случайных процессов (см., например, [1, 2, 3, 4]). Подробное исследование характеристик дублированных систем надежности
проведено в [25] (см. также [26]). Предельные и эргодические теоремы для марковских процессов
также представляют собой стандартный материал учебных курсов по теории случайных процессов. Подход, связанный с использованием теории восстановления, в предложенном виде — оригинален. Доказательство критерия положительной возвратности Фостера см. в [29].
§ 16. Процессы рождения и гибели
§ 16.
16.1.
115
Процессы рождения и
гибели
Определение
Рассмотрим теперь один важный частный класс скачкообразных марковских процессов, которые
впервые возникли в качестве моделей исследования динамики популяций, откуда и получили свое
наименование, однако в дальнейшем получили значительно более широкое распространение. Если
в предыдущем изложении теории марковских процессов структура их фазового пространства не
учитывалась и множество натуральных чисел использовалось лишь для обозначения номеров
состояний процесса, то для процессов гибели и размножения по существу используется отношение
порядка на фазовом пространстве. Поэтому предполагается, что оно сохраняется при отображении
фазового пространства на множество натуральных чисел.
Определение 16.1. Процессом рождения и гибели (ПРГ) называется марковский процесс с линейно упорядоченным фазовым пространством, непосредственные переходы в котором возможны
лишь в соседние состояния.
Для удобства в фазовое пространство включают нулевое состояние, а для интенсивностей переходов используют специальные обозначения


j = i − 1,
 µi ,
λij =
λi ,
j = i + 1,


−(λi + µi ),
j = i.
Величины λi и µi называются интенсивностями рождения и гибели соответственно. Здесь предполагается, что µ0 = 0, а в случае конечного пространства состояний E = {0, 1, 2, ...n} также и
λn = 0.
Таким образом, ПРГ полностью задается набором интенсивностей рождения и гибели
(λi , µi ), i = 0, 1, .... Из определения следует, что матрица интенсивностей переходов имеет 3х—диагональный вид, а граф переходов этого процесса имеет вид, изображенный на рис.16.1.
λ0
λk
λk−1
q
q
q
q q q
k-1
k
k+1
0
1
µ1
µk
µk+1
Рис. 16.1. Размеченный граф переходов ПРГ
16.2.
Уравнения Колмогорова
Как и в общем случае решение систем уравнений Колмогорова (13.2 – 13.4) для ПРГ редко удается
найти в явном виде, а его представление в форме
P (t) = eΛt =
X 1
Λk tk ,
k!
k≥0
малопригодно для фактических расчетов.
116
Глава 4. Скачкообразные марк. и полумарк. процессы
Для вектора вероятностей состояний p~(t) = (p0 (t), . . . , pk (t), . . . )0 относительно начального распределения α, где
pk (t) = Pα {X(t) = k}
система уравнений Колмогорова для вероятностей состояний (15.3)
d~
p0 (t)
= p~0 Λ,
dt
в координатной форме примет вид
ṗk (t) = λk−1 pk−1 (t) − (λk + µk )pk (t) + µk+1 pk+1 (t)
(16.1)
с начальным условием, задаваемым начальным распределением
α = p~(0) = (ak , k ∈ E)0 .
(16.2)
Эту систему в явном виде также удается решить не часто. Рассмотрим поэтому стационарные
вероятности состояний.
16.3.
Стационарные вероятности
Если λk µk > 0 для всех k ∈ E, то ПРГ неразложим и в силу предельной теоремы для марковских
процессов при условии его положительной возвратности (к выяснению этих условий мы вернемся
несколько позже) пределы
lim pk (t) = πk ,
t→∞
существуют и не зависят от начального распределения α = p~(0). При этом, как следует из (16.1),
они должны удовлетворять уравнениям
(
0 = −λπ0 + µ1 π1 ,
(16.3)
0 = λk−1 ak−1 − (λK + µk )ak + µk+1 ak+1 .
Однако эта система, как система однородных уравнений с нулевым определителем, имеет бесконечно много решений. Дело в том, что при предельном переходе утрачиваются начальные условия
(16.2), используемые для решения дифференциальных уравнений. Чтобы восполнить этот пробел,
дополним систему уравнений (16.3) условием нормировки
X
πk = 1.
(16.4)
k≥0
Напомним, что система уравнений (16.3, 16.4) называется системой уравнений равновесия (СУР)
или уравнениями глобального баланса. Для решения этой системы перепишем ее следующим образом:
(
λk−1 ak−1 − µk ak = λk ak − µk+1 ak+1 = 0,
λ0 a0 − µ1 a1 = 0.
Обозначив выражение вида λk ak − µk+1 ak+1 через zk , получим рекуррентное соотношение
0 = z0 = · · · = zk−1 = zk ,
k ≥ 1,
которое позволяет представить предельные вероятности в виде
λk−1
λk−1 · · · λ0
πk−1 = · · · =
π0 , k ≥ 1.
πk =
µk
µk · · · µ1
(16.5)
Для определения вероятности π0 воспользовавшись уравнением нормировки (16.4) найдем

−1
X λ0 · · · λk−1
 .
π0 = 1 +
(16.6)
µ1 · · · µk
k≥1
Для существования нетривиального решения, естественно, необходима сходимость этого ряда, что,
как будет показано ниже, обеспечивает положительную возвратность процесса.
§ 16. Процессы рождения и гибели
16.4.
117
Условие положительной возвратности ПРГ
Условием того, чтобы все состояния были сообщающимися, является
для всех k ∈ E.
λk µk > 0
(16.7)
Кроме того, для исключения мгновенных состояний предположим, что
λk < ∞,
µk < ∞.
(16.8)
Заметим, что возможен случай, когда интенсивности рождения конечны, но достаточно быстро
растут, что может привести к уходу процесса в бесконечность для некоторого момента времени
T , т.е. говорить можно только о поведении процесса до первого ухода в бесконечность. Чтобы
привести условия устойчивости и возвратности ПРГ, рассмотрим ряды
R1 =
X µ1 · · · µk
k≥1
λ0 · · · λk
,
R2 =
X λ0 · · · λk−1
k≥1
µ1 · · · µk
.
Теорема 16.1 (Карлин, Мак-Грегор). Пусть X(t) — неразложимый процесс гибели и размножения с интенсивностями рождения и гибели (λk , µk ), λk µk > 0, тогда
(1) если R1 = ∞, то процесс возвратен,
(2) если R1 = ∞,
R2 < ∞ — положительно возвратен,
(3) если R1 < ∞ — невозвратен.
Доказательство этой теоремы выходит за рамки данного учебника. Его можно найти в специальной литературе (см., например, [10]).
16.5.
Дополнения
Вопросы для контроля.
1.
2.
3.
4.
Дайте определение процесса рождения и гибели.
Нарисуйте граф переходов для ПРГ.
Приведите выражения для инвариантных вероятностей ПРГ.
Приведите условия неразложимости возвратности и положительной возвратности ПРГ.
Упражнения.
1. Проверить формулу (16.1), используя правило составления дифференциальных уравнений
для вероятностей состояний из раздела и размеченный граф переходов ПРГ, представленный на
рис 16.1..
Задачи.
1. (Система с резервированием.) Рассмотрим техническую систему, состоящую из трех
одинаковых устройств, работающих независимо друг от друга. Для функционирования системы достаточно исправной работы двух устройств. Третье - резервное. Каждое устройство может
выйти из строя. Тогда его нужно ремонтировать. Вероятность того, что работающее устройство в
интервале (t, t + ∆t) выйдет из строя, равна λ∆t + o(∆t) при ∆t → 0. Восстановлением отказавших
устройств занимается один оператор. Если в момент t имеется два или три отказавших устройства,
то оператор занимается ремонтом того, которое отказало первым, а другое (или другие) ждут своей очереди. Вероятность того, что в интервале (t, t + ∆t) оператор закончит ремонт устройства,
равна µ∆t + o(∆t). Описать функционирование системы марковским процессом, записать систему
дифференциальных уравнений для вероятностей состояний, найти предельные вероятности.
118
Глава 4. Скачкообразные марк. и полумарк. процессы
Библиографические замечания.
Процессы рождения и гибели возникли первоначально в качестве моделей изучения динамики
популяций (для истории вопроса см., например, [10]). Однако, вскоре их начали использовать и
в других многочисленных приложениях. С момента развития телефонии в начале XX века ПРГ
активно используются в качестве моделей исследования и оптимизации телефонных систем (библиография на эту тему многочисленна, укажем лишь наиболее доступный для студентов учебник
[5], а также [15]). В настоящее время проблемы ИНТЕРНЕТа и телекоммуникаций дали дальнейший толчек развитию скачкообразных марковских процессов и, в частности многомерных ПРГ,
что привело к созданию теории стохастических сетей [27]. Во второй половине XX века на повестку дня выходят вопросы надежности оборудования и сложных технических систем и снова ПРГ
активно используются для моделирования и изучения характеристик надежности систем (см.,
например, [28]).
§ 17. Примеры
§ 17.
17.1.
119
Примеры
Процесс чистого размножения
Процесс чистого размножения является простым частным случаем марковского процесса рождения и гибели, когда все µk = 0. Очевидно, что траектории такого процесса монотонно возрастают
с высотой ступенек 1 и напоминают траектории процесса восстановления. Однако если интервалы
между скачками последнего процесса одинаково распределены, то у процесса чистого размножения они имеют, вообще говоря, различные распределения.
Проверим для такого процесса условия теоремы Карлина и Мак-Грегора. Т.к. µk = 0, то
процесс невозвратен. Критерий устойчивости процесса имеет вид





X 1

X 1
=∞ =P
= ∞ = 1,
P




λXTn
λn
n≥1
n≥1
P
т.е. условием устойчивости процесса является расходимость ряда n≥1 λ−1
n . Следовательно, при
λn = λ = const, например, процесс устойчив.
Дифференциальные уравнения для вероятностей состояний процесса чистого размножения
имеют вид
(
ṗ0 (t) = −λ0 p0 (t),
(17.1)
ṗk (t) = λk−1 pk−1 (t) − λk pk (t);
c начальным условием
pk (0) = δk0 ,
(17.2)
если процесс с вероятностью 1 выходит из нулевого состояния, и допускают аналитическое решение лишь в некоторых частных случаях.
Если интенсивности переходов λk зависят от состояний процесса линейно, λk ' λk, то процесс
устойчив, если же λk ' λk 2 , то процесс неустойчив, т.к. за конечное время процесс уходит в
бесконечность.
Рассмотрим один частный случай, когда λk = λ. Для вычисления распределения процесса
X = {X(t), t ≥ 0} в этом случае обозначим через
X
P (z, t) = Mz Xt =
z k pk (t)
его производящую функцию. Этот ряд сходится при |z| ≤ 1. Тогда из (17.1, 17.2) при λk = λ имеем
dP (z, t)
dt
P (z, 0)
= −λP (z, t) + λzP (z, t) = −λ(1 − z)P (z, t),
(17.3)
=
(17.4)
1.
Отсюда
P (z, t) = Ce−λ(1−z)t .
Подставив t = 0 получим, что C = 1, т.е.
P (z, t) = e−λ(1−z)t .
Разложим функцию в ряд по степеням z:
e−λ(1−z)t = e−λt
X (λt)k
k≥0
k!
zk ,
а так как такое разложение единственно, то соответствующее распределение
(λt)k −λt
e ,
k!
является пуассоновским, что оправдывает следующее определение.
pk (t) =
(17.5)
120
Глава 4. Скачкообразные марк. и полумарк. процессы
Определение 17.1. Процесс чистого размножения с постоянными интенсивностями рождения
λk = λ называется пуассоновским.
Замечание 1. Напомним, что в разделе 4.4. мы уже сталкивались с пуассоновским процессом,
как процессом восстановления с показательно распределенными интервалами между восстановлениями (см. определение 4.3). Данное определение не противоречит предыдущему, — просто пуассоновский процесс может быть определен разными способами. В качестве упражнения 2 покажите
эквивалентность этих определений.
17.2.
Процесс чистой гибели
Рассмотрим теперь другой частный случай ПРГ, когда все µk > 0, λk = 0. Тогда, очевидно,
траектория процесса монотонно убывает с высотой ступенек 1.
Определение 17.2. Процессом чистой гибели называется ПРГ, все интенсивности рождения
которого равны нулю, λk = 0.
Дифференциальные уравнения для вероятностей состояний процесса чистой гибели аналогичны соответствующим уравнениям (21.1) для процесса чистого размножения и предлагается
выписать их в виде упражнения (см. упражнение 3). В качестве примера применения процесса
чистой гибели рассмотрим задачу определения функции надежности дублированной системы с
восстановлением.
Пример 1. Дублированная система. Рассмотрим систему горячего дублирования без восстановления при котором длительности исправной работы в основном и резервном состояниях
имеют показательные распределения с параметром λ (аналогичная система с восстановлением
рассмотрена в примере 15.1)и исследуем распределение времени до первого отказа. Обозначим
через X(t) число работающих (исправных) элементов в момент времени t. Тогда процесс X(t)
является процессом чистой гибели с фазовым пространством E = {0, 1, 2}, интенсивностями гибели µk = kλ k = 0, 1, 2 и поглощением и состоянии 0. Уравнения Колмогорова для вероятностей
состояний для этого процесса примут вид

ṗ2 (t) = −2λ p2 (t),

ṗ1 (t) = −λ p1 (t) + 2λ p2 (t),
,
(17.6)

ṗ0 (t) = λ p1 (t),
которую следует решать с начальным условием
p2 (0) = 1, p1 (0) = p0 (0) = 0.
(17.7)
Так как нас интересует распределение времени T до отказа системы, которое имеет вид
FT (t) = P{T ≤ t} = p0 (t),
то, как не трудно убедиться (решая систему, например, методом неопределенных коэффициентов),
для этого распределения получим выражение
FT (t) = p0 (t) = 1 − 2e−λt + e−2λt
из этой формулы следует, в частности, что среднее время работы дублированной системы системы
без восстановления равно
Z∞
Z∞
2
1
3
mбез восст. = (1 − FT (t))dt = (2e−λt − e−2λt )dt = − =
λ λ
2λ
0
0
§ 17. Примеры
121
Напомним для сравнения среднюю длительность mс восст. безотказной работы системы горячего
дублирования (σ = 1) с восстановлением из примера 15.1
mс восст. =
2 + σ + γ −1
3+γ
γ
λ =
= mбез восст. +
.
1+σ
2λ
2λ
Таким образом, коэффициент
γ=
среднее время работы
µ
=
,
λ
среднее время ремонта
определяет эффективность восстанавливаемых систем по отношению к невосстанавливаемым.
17.3.
Система Эрланга M |M |n|0
Рассмотрим систему обслуживания из примера 3 раздела 12.2. с пуассоновским входным потоком
интенсивности λ, n обслуживающими приборами без мест для ожидания. Длительности обслуживания распределены показательно
B(t) = 1 − e−µt .
Обозначим через X(t) число занятых приборов в момент времени t. Благодаря марковскому свойству пуассоновского потока (см. раздел 17.1.) и отсутствию памяти у показательного распределения (см. упражнение 2 в § 13) этот процесс является марковским. Для вычисления его интенсивностей переходов заметим, что переход из состояния k в состояние k + 1 может произойти в
результате одного из бесконечного семейства несовместимых событий:
• поступления требования и не завершения обслуживания ни одного из обслуживаемых требований, либо
• поступления двух требований и завершения обслуживания одного из обслуживаемых требований, и т.д.
Рассматривая эти события за малый промежуток времени h не трудно подсчитать, что вероятности всех событий в сумме, кроме первого бесконечно малы по сравнению с длиной этого
промежутка. Аналогичные рассуждения справедливы для вычисления вероятности перехода из k
состояния в состояние k − 1. Таким образом вычисляя интенсивности переходов процесса за малое
время имеем
P{X(t + h)
λh −λh −µh
e
e
=
1!
= λh(1 − λh)(1 − µh) + o(h) = λh + o(h),
= k + 1|X(t) = k} =
следовательно, λk = λ. Аналогично,
P{X(t + h)
= k − 1|X(t) = k} =
(λh)0 −λh 1
=
e
Ck (1 − e−µh )(e−µh )k−1 =
0!
= (1 − λh)kµh(1 − (k − 1)µh) + o(h) = kµh + o(h).
Таким образом, µk = kµ. Не трудно видеть что остальные интенсивности равны нулю, и, стало
быть, рассматриваемый процесс является процессом рождения и гибели. В качестве упражнения 5
предлагается выписать дифференциальные уравнения Колмогорова и вычислить стационарные
вероятности системы Эрланга.
122
Глава 4. Скачкообразные марк. и полумарк. процессы
17.4.
Система M |M |1|∞
Рассмотрим теперь систему массового обслуживания из примера 3 раздела 12.2. c пуассоновским
входным потоком интенсивности λ, неограниченным количеством мест для ожидания и одним
обслуживающим прибором с показательным распределением длительности обслуживания
B(t) = 1 − e−µt .
В упражнениях 6 и 7 предлагается провести исследование этой системы
17.5.
Дополнения
Вопросы для контроля.
1. Дайте определение процесса чистого рождения.
2. Дайте определение процесса чистой гибели.
3. Дайте определение пуассоновского процесса.
Упражнения.
1. Проверьте формулу (17.1).
2. Покажите эквивалентность определений 4.3 и 17.1
3. Выпишите уравнения для вероятностей состояний процесса чистой гибели при µk =
µ, pk (0) = δkn . Вычислите распределение времени до поглощения.
4. Процесс Юла (чистого размножения) частиц начинается в момент t = 0 с возникновения
одной частицы. Каждая частица в промежутке времени (t, t + ∆t) с вероятностью λ∆t + o(∆t)
порождает новую частицу независимо от уже имеющихся. Найти вероятность того, что спустя
время t будет n частиц.
5. Выпишите дифференциальные уравнения Колмогорова и вычислить стационарные вероятности для системы Эрланга.
6. Покажите, что если X(t) — число требований в системе M |M |1|∞, то X(t) — ПРГ и вычислите его интенсивности рождения и гибели.
Указание. Воспользоваться независимостью событий в системе, а для вычисления интенсивностей переходов сравнить вероятности событий в системе за малое время h
λk h = P {Xt+k = k + 1|Xt = k} =
(λh)1 −λh µh
e
(e ) + o(h) = λh,
=
1!
µk h = P {Xt+h = k − 1|Xt = k} =
= e−λh (1 − eµh ) + o(h) = µh.
7. Выписать дифференциальные уравнения для системы M |M |1|∞ и проверить условие положительной возвратности. Вычислить предельные вероятности.
8. Вычислите среднюю длину очереди в системе M |M |1|∞
Задачи.
1. Докажите формулу Литтла для системы M |M |1|∞:
Q̄ = λw̄,
где Q̄ – средняя длина очереди, w̄ – среднее время ожидания начала обслуживания, λ – интенсивность поступающего потока заявок.
Библиографические замечания.
В этом параграфе приведены простейшие примеры применения ПРГ, которые можно найти в
многочисленных учебниках и монографиях.
§ 18. Полумарковские процессы
§ 18.
18.1.
123
Полумарковские процессы
Определение
Согласно результатам раздела 13.3. время пребывания скачкообразного марковского процесса в
любом из его состояний i имеет показательное распределение
Fi (t) = 1 − e−λi t ,
а вероятности переходов в моменты скачков выражаются через интенсивности переходов λij в
виде
λij
.
qij =
λi
Первое из этих ограничений часто оказывается неприемлемым в различных приложениях. Обобщим поэтому понятие скачкообразного марковского процесса, предположив, что марковское свойство имеет место только в случайные моменты времени Sn скачков процесса. Для определенности будем полагать траектории процесса непрерывными слева. Рассмотрим непрерывный слева скачкообразный случайный процесс X = {X(t), t ≥ 0, Sn , n = 1, 2, } с моментами скачков S0 = 0, Sn , n = 1, 2, . . . с дискретным (не более, чем счетным) пространством состояний
E = {0, 1, . . . }. Для описания “прошлого” процесса X удобно воспользоваться понятием потока
σ-алгебр FtX , связанных с поведением процесса до момента времени t,
FtX = σ{X(s), s ≤ t}.
Замечание 1. Заметим, что в силу определения “прошлого” для непрерывного слева процесса
его значение в каждый момент времени t принадлежит σ-алгебре прошлого σ{X(t)} ∈ FtX .
Определение 18.1. Непрерывный слева скачкообразный случайный процесс X с дискретным
пространством состояний E = {0, 1, . . . }, для которого будущее не зависит от прошлого при известном настоящем в моменты скачков,
P{X(Sn + t) = j|FSXn } = P{X(Sn + t) = j|X(Sn )}.
(18.1)
называется полумарковским процессом (ПМП).
Интуитивно понятно и в дальнейшем будет строго показано, что для описания динамики ПМП
достаточно знать его поведение на отдельном интервале между скачками. Обозначим поэтому
через Tn = Sn − Sn−1 интервалы между скачками и определим функцию
Qij (t) = P{X(Sn ) = j, Tn < t| X(Sn−1 ) = i}.
(18.2)
Эта функция называется переходной вероятностью ПМП и содержательно представляет собой
вероятность того, что процесс, оказавшийся непосредственно после скачка в состоянии i проведет
в нем время не большее, чем t, и в момент следующего скачка перейдет в состояние j, другими
словами она представляет собой вероятность перехода из состояния i в состояние j за один шаг
за время не большее, чем t.
18.2.
Полумарковская матрица и ее свойства
Определение 18.2. Матричная функция Q(t) = [Qij (t)]i,j∈E называется полумарковской матрицей (ПММ).
Рассмотрим ее свойства.
Теорема 18.1. Элементы полумарковской матрицы обладают следующими свойствами:
124
Глава 4. Скачкообразные марк. и полумарк. процессы
(1) Qij (t) = 0,
при
t < 0,
(2) Qij (t) ≤ Qij (t0 ) для всех
P
(3) Qi (t) =
Qij (t) ≤ 1.
t < t0 ,
j∈E
Доказательство этих свойств, которые вытекают непосредственно исходя из определения элементов полумарковской матрицы провести самостоятельно в качестве упражнения 1.
Заметим, что функция Qi (t) представляет собой распределение времени пребывания в состоянии i.
18.3.
Процессы, связанные с полумарковскими
Наряду с исходным полумарковским процессом {(X(t), Sn ), t ≥ 0,
n = 1, 2, . . . } рассмотрим некоторые связанные с ним последовательности и процессы:
• Yn = X(Sn ),
• Zn = (Yn , Tn ),
• N (t) = max{n : Sn ≤ t}.
Заметим, что при этом X(t) = X(SN (t) ) = YN (t) . Введенные процессы играют существенную роль
при исследовании полумарковских процессов.
Рассмотрим сначала двумерную последовательность
{Zn } = {(Yn , Tn ), n = 1, 2, . . . }
c дискретной первой компонентой Yn = X(Sn ) и непрерывной второй Tn = Sn − Sn−1 . Можно
показать (см. упражнение 2.), что последовательность Zn представляет собой марковскую цепь.
Покажем, что переходная вероятность этой цепи не зависит от второй (непрерывной) ее компоненты. Пусть C = (j, [0, t]), тогда по свойству полумарковских процессов, так как Tn принадлежит
прошлому процесса X до момента Sn , Tn ∈ FSn ,
Q(z, C)
=
P{Zn+1 ∈ C| Zn = z} =
= P{X(Sn+1 ) = j, Tn+1 < t| Yn = i, Tn = x} =
= P{Yn+1 = j, Tn+1 < t| Yn = i} = Qij (t).
Определение 18.3. Двумерная марковская цепь с фазовым пространством Ẽ = E × R+ называется полумарковской, если ее переходные вероятности не зависят от второй координаты.
Не сложно также показать (см. упражнение 3), что последовательность Yn образует марковскую цепь, которая представляющая собой последовательность состояний процесса в моменты
скачков.
Определение 18.4. Марковская цепь Yn называется вложенной марковской цепью ПМП.
Обозначим через P = [pij ]i,j∈E вероятности переходов этой марковской цепи. Ясно, что они
выражаются через элементы полумарковской матрицы в виде
pij
= P{Yn+1 = j|Yn = i} =
= P{XSn+1 , Tn+1 < ∞|XSn = i, Tn = t} = Qij (∞).
(18.3)
§ 18. Полумарковские процессы
125
Часто бывает полезно вычислить такую характеристику, как распределение времени пребывания в состоянии i при условии, что в следующий момент процесс перейдет в состояние j
Fij (t)
= P{Tn < t|XSn−1 = i, XSn = j} =
P{XSn = j, Tn < t|XSn−1 = i}
=
=
P{XSn = j|XSn−1 = i}
Qij (t)
Qij (t)
=
=
.
Qij (∞)
pij
(18.4)
Теперь мы можем показать, что полумарковский процесс {X(t), t ≥ 0} восстанавливается по
своей ПММ Q(t).
Теорема 18.2. Полумарковский процесс {X(t), t ≥ 0} восстанавливается по своей ПММ Q(t).
Доказательство. Действительно, известно, что марковская цепь восстанавливается по своей переходной вероятности (В курсе этот факт был доказан только для цепей с конечным или счетным
фазовым пространством; однако он имеет место и в общем случае и доказывается аналогично путем построения семейства согласованных к.м.р. соответствующей последовательности). С другой
стороны справедливо представление
X
Yn 1{Sn ≤t<Sn+1 } ,
X(t) =
n≥0
которое показывает, что ПМП {X(t), t ≥ 0} однозначно восстанавливается своей полумарковской
цепью {Zn = (Xn , Tn ), n = 1, 2, . . . }.
18.4.
Классификация состояний ПМП
Определение 18.5. Состояние i называется мгновенным, если Qi (t) = 1 для всех t > 0. Состояние i называется устойчивым, если Qi (+0) < 1. Состояние i называется поглощающим, если
Qi (t) = 0 для всех t > 0.
Определение 18.6. ПМП называется устойчивым, если
P{ lim Sn = ∞} = 1,
n→∞
(18.5)
т.е. моменты скачков уходят в бесконечность с вероятностью 1.
Устойчивость ПМП обеспечивает ему ряд достаточно “хороших” свойств, в том числе выполнимость предельных и эргодических теорем. Для проверки устойчивости процесса можно воспользоваться критерием устойчивости, но сначала введем понятие равномерной регулярности ПМП
Определение 18.7. ПМП называется равномерно регулярным, если существуют такие числа a
и b, что выполняется соотношение
P{Tn > a|Yn−1 = i} = 1 − Qi (a) ≥ b > 0 для всех i ∈ E.
(18.6)
Содержательно это условие означает, что процесс в каждом состоянии проводит положительное
время с положительной вероятностью.
Теорема 18.3 (Критерий устойчивости). Для устойчивости ПМП достаточно его равномерной
регулярности.
Доказательство. Моменты скачков равномерно регулярного ПМП можно мажорировать снизу
последовательностью биномиально распределенных с.в. Ŝn с распределением
P{Ŝn = ka} = Cnk bk (1 − b)n−k ,
126
Глава 4. Скачкообразные марк. и полумарк. процессы
которая расходится с вероятностью 1. Действительно,


\ [
P
{Ŝn ≥ N a} = lim lim P{Ŝn ≥ N a} =
N →∞ n→∞
N ≥1 n≥1
=
lim lim
N →∞ n→∞
1−Φ
N a − nb
p
nb(1 − b)
!!
= 1.
Дальнейшая классификация состояний ПМП определяется поведением его вложенной марковской цепи.
Определение 18.8. ПМП называется неразложимым, возвратным, невозвратным, положительным, нулевым, если соответствующими свойствами обладает его вложенная марковская цепь.
18.5.
Дополнения
Вопросы для контроля.
1.
2.
3.
4.
5.
6.
7.
Дайте определение ПМП.
Чем вызвана необходимость изучения ПМП?
Что называется ПММ и каковы ее свойства?
Дайте определение вложенной в ПМП марковской цепи и вложенной полумарковской цепи.
Дайте определение мгновенного, устойчивого и поглощающего состояний ПМП.
Дайте определение устойчивого ПМП.
Приведите критерий устойчивости ПМП.
Упражнения.
1. Докажите теорему 1.
2. Докажите, что Zn — марковская цепь.
3. Докажите, что последовательность Yn образует марковскую цепь.
Задачи.
1. Что получится, если траектории ПМП предполагать непрерывными справа?
Библиографические замечания.
Полумарковские процессы являются естественным обобщением скачкообразных марковских
процессов и широко используются в приложениях. Впервые это понятие появилось, видимо, в
работе Цинлара [31]. Особенностью используемого в настоящем курсе подхода к изложению теории
ПМП является его дескриптивное определение. Более подробно с полумарковскими процессами
можно ознакрмиться по книге В.С. Королюка и А.Ф. Турбина [21], в которой изложение теории
ПМП опирается на конструктивное определение ПМП.
§ 19. Процесс и матрица марковского восстановления
§ 19.
19.1.
127
Процесс и матрица марковского восстановления
Процесс марковского восстановления
Расмотрим векторный процесс
~ (t) = {Nj (t), t ≥ 0, j ∈ E},
N
(19.1)
компоненты которого Nj (t) означают число посещений состояния j за время t. Аналитически они
представляются в виде
X
Nj (t) =
1{j×[0,t)} (Yn , Sn ).
(19.2)
n≥1
Лемма 19.1. Для любого фиксированного состояния j процесс Nj (t) является процессом восстановления.
Доказательство. В силу определения ПМП X = {X(t), Sn t ≥ 0, n = 0, 1, 2, . . . } его поведение
после скачка в будущем не зависит от прошлого, поэтому интервалы между моментами посещения
фиксированного состояния j являются независимыми одинаково распределенными с.в., следовательно, Nj (t) является процессом восстановления.
~ (t) рассмотрим общее число скачков процесса X,
Наряду с векторным процессом N
X
N (t) =
Nj (t) = max{n : Sn ≤ t},
(19.3)
j∈E
с которым мы уже встречались в разделе 18.3.
~ (t) называется проОпределение 19.1. Определенный соотношением (19.1) векторный процесс N
цессом марковского восстановления. Это же определение сохраним за скалярным процессом N (t)
(19.3).
~ (t) зависимы. Тем не менее, многие свойства
Следует заметить, что компоненты процесса N
обычных процессов восстановления распространяются на процессы марковского восстановления.
19.2.
Матрица марковского восстановления
~ (t) при
Обозначим через Hij (t) условное математическое ожидание j-ой компоненты процесса N
условии, что в начальный момент времени он находился в состоянии i,
X
Hij (t) = Mi Nj (t) = Mi
1{j×[0,t)} (Yn , Sn ).
(19.4)
n≥0
Теорема 19.1. Для равномерно регулярного ПМП X функции Hij (t) ограничены для любых i, j ∈
E, t ≥ 0.
Доказательство. Так как согласно теореме 18.3 моменты скачков равномерно регулярного
ПМП можно мажорировать биномиальным распределением, то Mi Nj (t) конечно для любых
i, j ∈ E, t ≥ 0.
Таким образом, для любых фиксированных i и j функция Hij (t) является функцией восстановления. Это оправдывает следующее определение.
Определение 19.2. Матрица H(t) = [Hij (t)]i,j∈E называется матрицей марковского восстановления (ММВ).
128
Глава 4. Скачкообразные марк. и полумарк. процессы
Теорема 19.2. Для ММВ справедливо представление в виде равномерно сходящегося ряда
X
H(t) =
Q(∗n) (t),
(19.5)
n≥0
где матрично-функциональная свертка определяется формулой
t
[A ∗ B(t)]ij =
XZ
Aik (t − u)dBkj (u).
k∈E 0
Доказательство. По формуле (19.4) имеем
Hij (t)
= Mi Nj (t) = Mi
X
1j×[0,t) (Yn , Sn ) =
n≥0
=
X
Mi 1j×[0,t) (Yn , Sn ) =
n≥0
=
X
Mi 1j×[0,t) (Yn , T1 + · · · + Tn ).
n≥0
Вычислим математическое ожидание слагаемого под знаком суммы в последнем выражении при
n = 2,
=
Mi 1{j×[0,t)} (Y2 , T1 + T2 ) = Pi {Y2 = j, T1 + T2 ≤ t} =
t
XZ
Pi {Y2 = j, T1 + T2 ≤ t|Y1 = k, T1 = u}dQik (u) =
k∈E 0
t
=
XZ
Pi {Y2 = j, T2 ≤ t − u|Y1 = k}dQik (u) =
k∈E 0
t
=
XZ
Qkj (t − u)dQik (u) = Q(∗2) (t).
k∈E 0
Доказательство завершается индукцией по n, которую предлагается выполнить в качестве упражнения 1.
Следствие 19.1. ММВ удовлетворяет уравнениям
H(t) = I1t≥0 + Q ∗ H(t),
(19.6)
H(t) = I1t≥0 + H ∗ Q(t),
(19.7)
Доказательство. В формуле (19.5) выделим первое слагаемое
X
X
H(t) =
Q(∗n) (t) = I1t≥0 +
Q ∗ Q∗(n−1) (t)
n≥0
= I1t≥0 + Q ∗
n≥1
X
(∗n−1)
Q
(t) = I1t≥0 + Q ∗ H(t),
n≥1
откуда следует (19.6). Формула (19.7) доказывается аналогично.
§ 19. Процесс и матрица марковского восстановления
19.3.
129
Уравнения марковского восстановления
В теории ПМП часто возникают уравнения относительно неизвестных матричных функций U (t)
и V (t),
U (t) = A(t) + (Q ∗ U )(t),
(19.8)
V (t) = B(t) + (V ∗ Q)(t),
(19.9)
которые наызваются прямым и обратным уравнениями марковского восстановления. Различные
характеристики полумарковских процессов, в частности, как показывают соотношения (19.6, 19.7),
сами полумарковские матрицы удовлетворяют этим уравнениям.
Теорема 19.3. Если матричные функции A(t) и B(t) ограничены, то уравнения (19.8, 19.9)
имеют решения
где H(t) =
P
U (t) = (H ∗ A)(t),
(19.10)
V (t) = (B ∗ H)(t),
(19.11)
Q(∗n) (t) — ММВ, причем решение единственно в случае, если исходный процесс
n≥0
равномерно регулярен.
Доказательство. Решая уравнение (19.8) методом последовательных приближений с начальным
условием U0 (t) ≡ 0, имеем
U1 (t)
= A(t),
U2 (t)
= A(t) + (Q ∗ U1 )(t) = A(t) + (Q ∗ A)(t), · · · ,
Un (t)
= A(t) + (Q ∗ A)(t) + · · · + (Q(∗n−1) ∗ A)(t), · · · =
X
= (I + Q + · · · + Q∗(n−1) ) ∗ A(t) = (U −
Q∗k ) ∗ A(t).
k≥n
Покажем, что остаток ряда равномерно сходится к нулю. Это следует из того факта, что равномерно регулярный процесс проводит положительное время в каждом состоянии, следовательно,
Sn → ∞ с вероятностью 1, отсюда P{Sn > t} → 1, для любого t, а значит Q∗n (t) равномерно сходится к нулю, откуда переходя к пределу при n → ∞ в силу равномерной сходимости
соответствующего ряда получим утверждение теоремы. Аналогично доказывается утверждение
(19.9).
19.4.
Одномерные распределения ПМП
Обозначим через
pij (t) = Pi {X(t) = j},
условные одномерные распределения вероятностей состояний исходного ПМП X.
Теорема 19.4. Функции pij (t) удовлетворяют системе уравнений
t
pij (t) = δij (1 − Qij (t)) +
XZ
dQik (u)pkj (t − u)
(19.12)
dHij (u)(1 − Qj (t − u))
(19.13)
k∈E 0
и могут быть представлены в виде
Zt
pij (t) = δij (1 − Qij (t)) +
0
130
Глава 4. Скачкообразные марк. и полумарк. процессы
Замечание 1. Если через P (t) = [pij (t)]i,j∈E обозначить матрицу переходных вероятностей ПМП,
то (19.12) и (19.13) — это координатная запись выражений
P (t)
=
(I − Q)(t) + Q ∗ P (t),
(19.14)
P (t)
=
(I − Q(t)) + H ∗ (I − Q)(t).
(19.15)
Доказательство. Для доказательства теоремы воспользуемся формулой полной вероятности используя в качестве полной группы событий состояния системы в момент первого скачка. Либо в
нулевой момент времени процесс был в состоянии j и за время t не вышел из него, вероятность
чего представляет первое слагаемое формулы (19.12), либо процесс совершил скачок. В этом случае разобьем интервал [0, t] на бесконечно малые подынтервалы. Тогда, с вероятностью dQik (u)
в окрестности точки u происходит скачок в состояние k и за оставшееся время (t − u) процесс
из k переходит в j с вероятностью pkj (t − u). Интегрируя по непрерывному времени и суммируя
по дискретному аргументу k, получим формулу 19.12. Формула (19.14) представляет собой это
уравнение в матричном виде. По теореме из предыдущего пункта его решение записывается в
виде (19.13), или (19.15).
Замечание 2. Формулы (19.12) и (19.13) полностью аналогичны формулам разложения по первому и последнему моментам достижения для марковских процессов.
19.5.
Дополнения
Вопросы для контроля.
1. Дайте определение
(i) процесса марковского восстановления.
(ii) матрицы марковского восстановления
2. Приведите формулу для вычисления ММВ.
3. Приведите уравнения, которым удовлетворяет ММВ.
4. Что называется прямым (обратным) уравнениями марковского восстановления.
5. Сформулируйте теорему о существовании и единственности решений уравнений марковского
восстановления.
6. Приведите уравнение для переходных вероятностей ПМП.
Упражнения.
1. Закончите доказательство теоремы 19.2 по индукции.
Библиографические замечания.
Материал этого параграфа содержит традиционные результаты для ПМП, которые можно
найти в различных учебниках и монографиях, посвященных этой теории.
§ 20. Предельная и эргодическая теоремы для ПМП
§ 20.
20.1.
131
Предельная и эргодическая теоремы для
ПМП
Предельная теорема
Теорема 20.1. Пусть X = {X(t), Sn , t ≥ 0, n = 0, 1 . . . } — ПМП, Yn = X(Sn ) — его вложенная
марковская цепь. Предположим, что
(1) Yn — положительно возвратна и π̂ = {π̂i = m−1
ii , i ∈ E} — ее инвариантное распределение
вероятностей;
P
(2) существует такое i, что Qi (t) = Qij (t) содержит абсолютно непрерывную компоненту.
j
Тогда существует
π̂j qj
lim pij (t) = πj = P
,
t→∞
π̂i qi
(20.1)
i∈E
где qi = Mi T (i) =
R∞
(1 − Qi (t))dt — математическое ожидание времени T (i) непрерывного пре-
0
бывания процесса X в состоянии i.
Замечание 1. При вычислении величины qi использовано соотношение
Z∞
Z∞
tdQi (t) = −
0
∞ Z∞
td(1 − Qi (t)) = −t(1 − Qi (t)) + (1 − Qi (t))dt.
0
0
0
Доказательство. Обозначим через Hij (t) функцию восстановления последовательности
{Sn (j), n = 1, 2, . . . } посещений состояния j, т.е. положим Hij (t) = Mi Nj (t), где Nj (t) — число посещений состояния j за время t. Тогда для вероятности pij (t) перехода из состояния i в
состояние j за время t справедлива формула (19.12)
Zt
pij (t) = δij (1 − Qij (t)) +
dHij (u)(1 − Qj (t − u)).
0
Из этого соотношения согласно ключевой теореме восстановления при t → ∞ имеем
1
lim pij (t) =
t→∞
Mj S1 (j)
Z∞
(1 − Qj (u))du =
qj
,
Mj S1 (j)
(20.2)
0
где S1 (j) — момент первого возвращения в состояние j.
Для вычисления fjj = Mj S1 (j) рассмотрим полумарковскую цепь Zn = (Yn , Tn ). Так как
время до возвращения ПМП в любое состояние равно сумме длительностей пребывания во всех
состояниях до первого возвращения в рассматриваемое состояние, то
X
fjj = Mj S1 (j) = Mj
Tn (Yn ),
1≤n≤N (j)
где N (j) — случайное число скачков процесса X(t) до первого возвращения в j. Преобразуем последнее равенство, используя формулу полной вероятности и тот факт, что среднее число посещений любого состояния k вложенной марковской цепью до первого ее возвращения в фиксированное
132
Глава 4. Скачкообразные марк. и полумарк. процессы
состояние j равно
mjj
mkk ,
fjj = Mj S1 (j) = Mj
X
Tn (Yn ) =
1≤n≤N (j)
=
XX
i
h
Mj Tn (Yn )|Yn = k, n ≤ N (j) Pj {Yn = k, n ≤ N (j) } =
k∈E n≥0
=
XX
Mj [Tn (k)] Pj {Yn = k, n ≤ N (j) } =
k∈E n≥0
X
qk
k∈E
mjj
.
mkk
(20.3)
Замечание о том, что инвариантные вероятности вложенной цепи π̂j обратно пропорциональны
среднему числу шагов цепи до возвращения в свои состояния mjj , π̂j = m−1
jj , завершает доказательство.
Полученную в процессе доказательства теоремы связь между инвариантными распределениями положительно возвратного ПМП и его вложенной цепи сформулируем в виде следствия.
Следствие 20.1. Инвариантное (предельное, стационарное) распределение π = {πk , k ∈ E}
положительно возвратного ПМП связано с инвариантным распределением π̂ = π̂k , k ∈ E его
вложенной марковской цепи соотношением
π̂k qk
.
j∈E π̂j qj
(20.4)
πk = P
20.2.
Эргодическая теорема
В настоящем курсе мы несколько раз обращались к эргодическим теоремам (см. разделы 10.4.,
14.3., 19.4., где также были приведены общие понятия и концепция эргодических теорем). Рассмотрим теперь эргодические теоремы для ПМП. Пусть X — ПМП; Sn — моменты его скачков;
g(·) — некоторая функция на его фазовом пространстве E. Многие приложения приводят к необходимости исследовать функционалы от траекторий ПМП вида
Zt
Gt (X(·)) =
g(X(u)) du.
(20.5)
0
Если, например, g(k) — доход за единицу времени пребывания системы в состоянии k, то интеграл
(20.5) представляет собой суммарный доход за время t, а величина t−1 Gt (X(·)) — средний доход
за единицу времени. Для индикаторной функции gA (t) = 1{A} (X(t)) интеграл (20.5) представляет
собой время, проведенное процессом X в множестве состояний A, а величина t−1 Gt (X(·)) — среднее
время проведенное процессом в этом множестве за время t.
Интеграл (20.5) можно представить в виде суммы
Zt
g(X(u)) du =
0
SZn (e)
X
Zt
g(X(u)) du +
1≤n≤Ne (t)S
n−1 (e)
g(X(u)) du
SNe (t)
интегралов по моментам Sn (e) возвращения в некоторое фиксированное состояние e. Если процесс X положительно возвратен, т.е. если среднее число Hee (t) возвращений Ne (t) процесса X в
состояние e (которое образует процесс восстановления) за время t расходится при t → ∞ и среднее
время возвращения в состояние e конечно, то ЗБЧ распространяется на ПМП,
1
t
Zt
g(X(u)) du =
0
Ne (t)
1
·
t
Ne (t)
X
1≤i≤Ne
1
Me Y (e)
Yn (e) + Ŷn (e)(t) →
.
t
Me T̂ ( e)
(t)
§ 20. Предельная и эргодическая теоремы для ПМП
133
Здесь через Yn (e) и Ŷ (e)(t) обозначены интегралы,
SZn (e)
Yn (e) ≡
Zt
g(X(u)) du
и
Ŷ (e)(t) ≡
g(X(u)) du.
SNe (t)
Sn−1 (e)
Теорема 20.2. Пусть X — неразложимый, положительно возвратный ПМП, Yn = X(Sn ) —
его вложенная марковская цепь, и π = {πi , i ∈ E}— инвариантное распределение процесса. Тогда
при t → ∞ имеет место предельное соотношение (по вероятности и с вероятностью 1)
1
t
Zt
→
g(X(u)) du
0
=
Me Y1 (e)
1X
=
π̂k qk g(k) =
Me S1 (e)
q
k∈E
X
πk g(k) = Mπ g(X(·)).
(20.6)
k∈E
Доказательство. Существование предела фактически доказано предыдущими рассуждениями
с использованием простого и усиленного ЗБЧ. Вычислим математические ожидания в формуле
(20.6). Аналогично рассуждениям предыдущего пункта имеем




X
X X
Me S1 (e) = Me 
Tn  = Me 
T (k) 1k (Yn ) =
1≤n≤N (e)
1≤n≤N (e) k∈E

X
=

X
Me 
k∈E
X
T (k) 1k (Yn ) =
1≤n≤N (e)
qk
k∈E
q
mee
=
.
mkk
π̂e
Здесь π̂ = {π̂k , k ∈ E) — инвариантное распределение вероятностей вложенной цепи Маркова, а
R∞
qk = (1 − Qk (t))dt = Mk T1 (k) — среднее время непрерывного пребывания процесса X в состоя0
нии k.
Далее обозначая через Tn (k) время n-го пребывания процесса в состоянии k аналогично (20.3)
найдем
SZ1 (e)
Me Y (e)
= Me
g(X(u)) du = Me
0
=
X
g(Yn )Tn (Yn ) =
1≤n≤N1 (e)
X mee
qk g(k).
mkk
k∈E
Разделив теперь последнее выражение на предпоследнее получим утверждение теоремы.
20.3.
Дополнения
Вопросы для контроля.
1. Сформулируйте предельную теорему для переходных вероятностей ПМП.
2. Как связаны инвариантные вероятности ПМП и его вложенной марковской цепи?
3. Сформулируйте эргодическую теорему для аддитивных функционалов от траекторий ПМП.
Библиографические замечания.
Предельные и эргодические теоремы для ПМП являются естественным обобщением соответствующих теорем для скачкообразных марковских процессов. Здесь их доказательство проводится
по той же схеме, что и для марковских процессов. Другие подходы и более подробную библиографию можно найти в [11]
134
Глава 4. Скачкообразные марк. и полумарк. процессы
§ 21.
21.1.
Полурегенерирующие
процессы
Определение
Следующим обобщением понятия марковского и полумарковского процессов являются полурегенерирующие процессы. Пусть Z = {Z(t), t ≥ 0} непрерывный слева действительный случайный
процесс, заданный на основном вероятностном пространстве (Ω, F, P). При этом, так как в случае
непрерывного множества состояний вероятности задаются на измеримых множествах, в качестве
фазового пространства (E, E) рассматриваемого процесса будем рассматривать действительную
прямую R1 с борелевской σ-алгеброй R на ней (R1 , R1 ).
Замечание 1. Вводимые определения и результаты допускают обобщение и на более общие фазовые пространства, однако, чтобы не усложнять изложение и не затемнять существа вопроса, мы
ограничимся простым случаем одномерного Евклидова пространства, опуская при этом верхний
индекс “1”.
Обозначим, как и ранее, через FtZ = σ{Zs , s ≤ t} σ-алгебру событий, связанных с процессом
Z до момента t.
Определение 21.1. Случайный момент времени T называется марковским моментом если
{T ≤ t} ∈ FtZ
(21.1)
Марковский момента называется моментом регенерации процесса Z, если для любого B ∈ R
выполняется соотношение
P{Z(T + t) ∈ B| FTZ } = P{Z(T + t) ∈ B| Z(T )}.
(21.2)
Первое из этих условий означает, что момент T восстанавливается по наблюдениям за траекторией процесса “в прошлом”, т.е. до наступления самого этого (случайного) момента и, следовательно, является функционалом от траектории процесса, измеримым относительно σ-алгебры FTZ .
Второе означает, что поведение процесса в “будущем” (после момента T ) не зависит от “прошлого”
(до этого момента) при известном “настоящем” (значении процесса в рассматриваемый случайный
момент времени T ).
В приложениях эти функционалы (моменты регенерации) являются обычно моментами достижения некоторого состояния (или множества состояний). Поэтому, если с вероятностью 1 существует момент регенерации, то существует последовательность таких моментов Sn , порожденных
“сдвигами” траекторий процесса
Sn+1 (Z(·)) = Sn (Z(·)) + T (Z(Sn + ·)).
(21.3)
Последнее соотношение означает согласованность моментов регенерации. Конечно, могут существовать, вообще говоря, и другие моменты регенерации, но в дальнейшем нас особенно будут
интересовать именно согласованные. Пусть существует последовательность моментов регенерации {Sn }.
Определение 21.2. Полурегенерирующим процессом (ПРП) называется пара Z = {(Z(t), Sn ), t ≥
0, n = 1, 2, . . . , если выполняются следующие свойства:
(1) согласованность моментов регенерации (21.3);
(2) однородность распределений
P{Z(Sn + t) ∈ B| Z(Sn )} = P{Z(S1 + t) ∈ B| Z(S1 )}
∀n;
(21.4)
§ 21. Полурегенерирующие процессы
135
(3) устойчивость
P{ lim Sn = ∞} = 1.
n→∞
(21.5)
При этом интервалы [Sn , Sn+1 ) называются периодами регенерации, пары {(Tn+1 , Z(Sn + t)), t ≤
Tn+1 } — циклами регенерации, а значения Yn = Z(Sn ) — состояниями регенерации.
Заметим, что т.к. момент регенерации определяется с помощью некоторого функционала от
траекторий процесса, то последовательность моментов, образованная с помощью сдвигов образует
последовательность моментов регенерации, удовлетворяющих условию согласованности (1), поэтому это условие означает, по существу, однородность образования моментов регенерации. Второе
условие означает однородность процесса во времени. Наконец, третье условие — это условие существования процесса на бесконечном интервале времени, эквивалентное аналогичному условию
для марковских процессов.
Таким образом, отличие полурегенерирующих процессов от марковских состоит в том, что
Марковское свойство для них выполняется лишь в некоторые случайные моменты времени, а
отличие от полумарковских состоит в том, что между этими моментами времени траектории процесса могут быть произвольными. В дальнейшем мы ограничимся ПРП с дискретным (не более
чем счетным) множеством состояний регенерации. Интуитивно ясно и в дальнейшем будет показано, что поведение ПРП определяется его поведением на отдельном периоде регенерации, или
его циклами регенерации. В частности, определим переходную вероятность ПРП как условное
одномерное распределение ПРП на отдельном периоде регенерации при известном его состоянии
в начальный момент периода регенерации,
φi (B, t)
=
P{Z(S1 + t) ∈ B, t < T2 |Z(S1 ) = i} =
=
Pi {Z(S1 + t) ∈ B, t < T2 }.
(21.6)
В дальнейшем будет показано, что эта функция играет существенную роль при исследовании
ПРП.
21.2.
Примеры
Пример 1. Рассмотрим систему массового обслуживания M |GI|1|∞ с пуассоновским (простейшим) входящим потоком и независимыми одинаково распределенными по произвольному закону
длительностями обслуживания. Обозначим через Z(t) число требований в системе и через Sn
моменты окончания обслуживания.
Ясно, что событие {Sn ≤ t} определяется поведением процесса до момента t, так что условие
(21.1) выполняется. При произвольном распределении времени обслуживания поведение процесса в момент времени t вообще говоря, зависит от того, сколько времени уже обслуживается к
этому моменту времени обслуживаемое требование. Однако в моменты Sn окончания обслуживания оно зависит лишь от наличия требований в системе и, следовательно, условие (21.2) также
выполняется и они образуют последовательность моментов регенерации. Время до следующей регенерации зависит лишь от состояния процесса в момент предшествующей, поэтому выполняется
также условие (21.3), а однородность функций (21.4) следует из однородности приращений пуассоновского процесса и рекуррентности механизма обслуживания. Наконец, так как интервалы Tk
между регенерациями являются положительными СВ, то
X
Sn =
Tk → ∞.
k≤n
Таким образом, все условия определяющие ПРП выполнены, стало быть Z(t) — ПРП.
Пример 2. Рассмотрим теперь систему обслуживания GI|M |n|∞ с рекуррентным входящим потоком и независимыми одинаково показательно распределенными длительностями обслуживания.
Обозначим через Z(t) число требований в системе. Используя рассуждения предыдущего примера
в качестве упражнения 1 покажите, что процесс L(t) является ПРП.
136
Глава 4. Скачкообразные марк. и полумарк. процессы
21.3.
Сопровождающие процессы
Рассмотрим некоторые процессы, связанные с полурегенерирующим процессом, поведение которых в значительной степени определяет свойства последнего. Заметим, что эти процессы аналогичны тем, которые рассматривались и для полумарковских процессов. Обозначим
Yn = Z(Sn ), Tn = Sn − Sn−1 , Ŷn = (Tn , Yn ),
N (t) = max{n : Sn ≤ t}, X(t) = Z(SN (t) ).
Свойства этих последовательностей и процессов содержатся в следующей теореме.
Теорема 21.1. Пусть Z = {(Z(t, Sn ), t ≥ 0, n = 1, 2, . . . } — ПРП. Тогда
(1) Xn = Z(Sn )
и
Yn = (Xn , Tn ) — цепи Маркова;
(2) N (t) = max{n : Sn ≤ t} — процесс марковского восстановления;
(3) X(t) = Z(SN (t) ) — полумарковский процесс,
Доказательство которой предлагается в виде упражнений (2–6).
Определение 21.3. Приведенная выше теорема позволяет дать этим процессам следующие названия.
(1) Xn = Z(Sn ) — вложенная цепь Маркова;
(2) (Sn−1 , Sn и Tn = Sn − Sn−1 — периоды регенерации;
(3) Yn = (Xn , Tn ) — сопровождающая полумарковская цепь;
(4) N (t) = max{n : Sn ≤ t} — сопровождающий процесс марковского восстановления;
(5) X(t) = Z(SN (t) ) — сопровождающий ПМП.
Многие характеристики и свойства ПРП выражаются в терминах этих процессов. В частности,
неконструктивное условие устойчивости (21.5) может быть выражено в конструктивных терминах
равномерной регулярности сопровождающего ПМП. Обозначим через Q(t) = [Qij (t)] ПММ ПМП
X = (X(t), Sn ), где
Qij (t) = P{Xn = j, Tn < t| Xn−1 = i}
Справедлива теорема.
Теорема 21.2. Для устойчивости ПРП достаточно равномерной регулярности его сопровождающего ПМП, или существования таких положительных чисел a и b, что
X
Qi (a) =
Qij (a) < 1 − b для всех i ∈ E
(21.7)
j∈E
Доказательство повторяет рассуждения, использованные при доказательстве аналогичной теоремы для ПМП.
В следующем разделе свойства сопровождающих процессов используются при вычислении одномерных распределений ПРП.
§ 21. Полурегенерирующие процессы
21.4.
137
Одномерные распределения ПРП
Обозначим через Q(t) и H(t) ПММ и ММВ сопровождающего ПМП
Q(t) = [Qij (t)]i,j∈E ,
H(t) = [Hij (t)]i,j∈E
где
Qij (t)
Hij (t)
= P{Z(Sn+1 ) = j, Tn+1 ≤ t|Z(Sn ) = i},
X
= Mi
1{j×[0,t]} (Yn , Sn ).
n≥0
Теорема 21.3. Для одномерных распределений ПРП справедливы соотношения
t
Pi {Z(t) ∈ B}
= φi (B, t) +
XZ
dQij (u)Pj {Z(t − u) ∈ B},
(21.8)
dHij (u)φj (B, t − u).
(21.9)
j∈E 0
t
Pi {Z(t) ∈ B}
= φi (B, t) +
XZ
j∈E 0
Доказательство получается с помощью формулы полной вероятности аналогично эргодической
теореме для ПМП.
Замечание 2. Нетрудно видеть, что равенство (21.9) есть решение уравнения восстановления
(21.8).
Замечание 3. Эти соотношения позволяют вычислить одномерное распределение полурегенерирующих процессов через их одномерное распределение на отдельных интервалах регенерации.
Замечание 4. Для полного описания поведения ПРП (вычисления его КМР) необходимо знать
распределение его цикла (т.е. его к.м.р. на отдельном периоде регенерации). Однако этот анализ
выходит за рамки настоящего курса.
21.5.
Предельная и эргодическая теоремы
Для полурегенерирующих процессов, также как и для марковских и полумарковских процессов,
справедливы предельная и эргодическая теоремы.
Теорема 21.4 (Предельная). Для ПРП с положительно возвратной вложенной марковской цепью и при выполнении условия равномерной регулярности (21.7) существуют предельные (стационарные) вероятности
1
lim Pi {Zt ∈ B} = π(B)
t→∞
MT1
Z∞ X
π̂j φj (B, u) du,
(21.10)
0 j∈E
где π̂ = {π̂j , j ∈ E} — инвариантное распределение вероятностей вложенной марковской цепи
Xn .
Теорема 21.5 (Эргодическая). Для полурегенерирующего процесса с положительно возвратной вложенной марковской цепью и при выполнении условия равномерной регулярности (21.7)
справедлива эргодическая теорема
1
lim
t→∞ t
Mπ̂
Zt
g(Z(u)) du =
T
R1
g(X(u)) du
0
Mπ̂ T1
.
(21.11)
0
Доказательство обеих теорем проводится аналогично доказательству соответствующих теорем
для ПМП.
138
Глава 4. Скачкообразные марк. и полумарк. процессы
21.6.
Дополнения
Вопросы для контроля.
1. Как описать множество наблюдаемых событий, связанных с поведением процесса до некоторого момента времени t.
2. Дайте определение марковского момента времени для процесса и объясните его смысл.
3. Дайте определение полурегенерирущего процесса.
4. Приведите некоторые процессы, связанные с полурегенерирующим.
5. Приведите формулу для вычисления распределений ПРП.
6. Сформулируйте предельную теорему для распределений ПРП.
7. Сформулируйте эргодическую теорему для распределений ПРП.
Упражнения.
1.
2.
3.
4.
5.
Покажите,
Покажите,
Покажите,
Покажите,
Покажите,
что
что
что
что
что
процесс Z(t) из примера 2 есть ПРП.
Xn — марковская цепь.
Yn — полумарковская цепь.
N (t) — процесс марковского восстановления.
X(t) = Z(SN (t) ) — ПМП.
Библиографические замечания.
ПРП являются естественным обобщением марковских и полумарковских процессов. Первоначально они стали появляться в научной литературе в 70-х годах прошлого столетия под различными наименованиями (ПМП с дополнительными траекториями - Климов, ПМП с несколькими
точками регенерации - Рыков, Ястребенецкий), пока не утвердились как ПРП. В учебной литературе это понятие встречается, по-видимому, впервые.
Литература
[Основная]
[1] А.А. Боровков. Теория вероятностей. М.: Наука, 1986. 431с.
[2] А.В. Булинский, А.Н. Ширяев. Теория случайных процессов. М.: Физматлит: Лаборатория
базовых знаний. 2003. 400с.
[3] А.Д. Вентцель. Курс теории случайных процессов. М.: Физматлит, 1975.
[4] Ю.А. Розанов. Теория вероятностей, случайные процессы и математическая статистика.
М.: Физматлит, 1985.
[Дополнительная]
[5] П.П Бочаров, А.В. Печинкин. Теория массового обслуживания. М.: Изд-во Российского университета дружбы народов. 1995. 528с.
[6] Б.Л. ван дер Варден. Алгебра. М.: Наука, 1976. 648с.
[7] И.И. Гихман, А.В. Скороход Введение в теорию случайных процессов. М.: Наука, 1965. 654с.
[8] Б.В. Гнеденко Курс теории вероятностей. М.: Наука, 1988. 447с.
[9] В.А. Зорич. Математический анализ. I, II. М.: Наука, 1976.
[10] С. Карлин. Основы теории случайных процессов. М.: Мир, 1971. 536с.
[11] Джон Дж. Кемени, Дж. Лори Снелл. Конечные цепи Маркова (пер. с английского). М.: Наука,
1970. 271с.
[12] Дж. Кемени, Дж. Снелл, А. Кнепп. Счетные цепи Маркова (пер. с английского). М.: Наука,
1987. 414с.
[13] Д. Кениг, В.В. Рыков, Ф. Шмидт Теория случайных процессов. Часть I. Основные понятия.
Независимость. М.: МИНиГ им. И.М. Губкина, 1988, 102с.
[14] Д. Кениг, В.В. Рыков, Ф. Шмидт Теория случайных процессов. Часть II. Процессы с независимыми приращениями, стационарные и марковские процессы. М.: МИНиГ им. И.М. Губкина, 1989, 96с.
[15] Д. Кениг, В.В. Рыков, Д. Штойян Теория массового обслуживания. М.: МИНиГ им. И.М.
Губкина, 1979, 115с.
[16] Г.П. Климов Теория вероятностей и математическая статистика. М.: МГУ, 1983.
[17] Д. Кокс, В. Смит. Теория восстановления. М.: Советское радио, 1967, 299с.
[18] А.Н. Колмогоров Основные понятия теории вероятностей. (3-е изд.) М.: ФАЗИС, 1998, 144с.
140
Литература
[19] А.Н. Колмогоров. Цепи Маркова со счетным числом возможных состояний.// Бюлл. МГУ,
секц. А, матем. мех., т.1, вып 6, (1937), 1-26. (совм. с И.Г. Петровским и Н.С. Пискуновым).
См. также А.Н. Колмлгоров. Избр. труды. Математика и механика. М.: Наука, 1985, 221246.
[20] А.Н. Колмогоров. Об аналитических методах теории вероятностей.// Успехи математических
наук, вып. 5 (1938), 5-41. См. также А.Н. Колмлгоров. Теория вероятностей и математичекая статистика. М.: Наука, 1986, 60-105.
[21] В.С. Королюк, А.Ф. Турбин Полумарковские процессы и их приложения. Киев: Наукова Думка, 1976, 184с.
[22] Е. Нуммелин. Цепи Маркова с общим пространством состояний.
[23] А.В. Прохоров, В.Г. Ушаков, Н.Г. Ушаков. Задачи по теории вероятностей. М.: Наука, 1986.
328с.
[24] Д. Ревюз. Цепи Маркова. (Перевод с английского В.К. Малиновского). М.: РФФИ, 1997, 431с.
[25] В.В. Рыков. Некоторые математические модели резервирования. Труды ЦНИИКА, вып. 6,
ОНТИ, 1964.
[26] В.В. Рыков. Надежность технических систем и техногенный риск. М.: РГУ нефти и газа
им. И.М. Губкина, 2001, 164с.
[27] R. Serfozo. Introduction to Stochastic Network. N-Y.: Springer, 1999. 300p.
[28] И.А. Ушаков. Курс теории надежности систем. М.: Дрофа, 2008, 240с.
[29] В. Феллер. Введение в теорию вероятностей и ее приложения. Т. 1 (издание второе). М.: Мир,
1964, 498с.
[30] В. Феллер. Введение в теорию вероятностей и ее приложения. Т. 2. М.: Мир, 1967, 752с.
[31] Э. Цинлар (E. Cinlar). On semi-Markov processes on arbitrary spases. Proc. Cambridge Philos.
Soc. 66, 1969.
[32] Чжун Кай-Лай. Однородные цепи Маркова. М.: Мир, 1964. 425с.
Содержание
1 Введение
1.
Основные понятия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.
Предмет теории случайных процессов. Примеры . . . . . . . . . . . . . . . . .
1.2.
Определение и классификация случайных функций. Терминология и обозначения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.
Конструктивное построение случайных функций . . . . . . . . . . . . . . . . .
1.4.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.
Каноническое вероятностное пространство . . . . . . . . . . . . . . . . . . . . . . . .
2.1.
Конечномерные распределения . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.2.
Теорема Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.3.
Пример: гауссовский процесс . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.4.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3
4
5
8
8
8
9
10
2 Процессы восстановления
3.
Случайные блуждания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.1.
Вероятностная модель последовательности н.о.р. с.в. . . . . . . . .
3.2.
Случайные блуждания. Определение. К.м.р. . . . . . . . . . . . . .
3.3.
Предельные теоремы для случайных блужданий . . . . . . . . . . .
3.4.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.
Процессы восстановления . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.
Определение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2.
Распределение числа восстановлений . . . . . . . . . . . . . . . . . .
4.3.
Производящая функция числа восстановлений . . . . . . . . . . . .
4.4.
Пример. Пуассоновский процесс . . . . . . . . . . . . . . . . . . . .
4.5.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.
Функция и уравнения восстановления . . . . . . . . . . . . . . . . . . . . .
5.1.
Функция восстановления . . . . . . . . . . . . . . . . . . . . . . . . .
5.2.
Уравнения восстановления . . . . . . . . . . . . . . . . . . . . . . .
5.3.
Теоремы восстановления . . . . . . . . . . . . . . . . . . . . . . . .
5.4.
Предельные теоремы для процессов восстановления . . . . . . . .
5.5.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.
Процессы, связанные с процессом восстановления . . . . . . . . . . . . . .
6.1.
Возраст и остаточное время жизни элемента . . . . . . . . . . . . .
6.2.
Предельное распределение возраста и остаточного времени жизни
6.3.
Альтернирующий процесс восстановления . . . . . . . . . . . . . . .
6.4.
Процесс накопления . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.5.
Регенерирующие процессы* . . . . . . . . . . . . . . . . . . . . . . .
6.6.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11
11
11
11
12
13
14
14
14
16
16
17
19
19
21
22
24
24
27
27
28
29
30
33
35
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
3
3
142
Содержание
3 Цепи Маркова
7.
Определение. Основные свойства . . . . . . . . . . . . . . . . . . . . . . . . . .
7.1.
Определения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.2.
Примеры. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.3.
Основные задачи теории цепей Маркова . . . . . . . . . . . . . . . . .
7.4.
Теорема Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
7.5.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
8.
Классификация состояний и цепей . . . . . . . . . . . . . . . . . . . . . . . . .
8.1.
Классификация состояний . . . . . . . . . . . . . . . . . . . . . . . . . .
8.2.
Канонический вид матрицы вероятностей переходов . . . . . . . . . . .
8.3.
Вероятности первого достижения и связанные с ними характеристики
8.4.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9.
Обрывающиеся и поглощающие цепи . . . . . . . . . . . . . . . . . . . . . . . .
9.1.
Вводные замечания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9.2.
Фундаментальная матрица и ее свойства . . . . . . . . . . . . . . . . .
9.3.
Время пребывания в несущественных состояниях . . . . . . . . . . . .
9.4.
Вероятности поглощения . . . . . . . . . . . . . . . . . . . . . . . . . . .
9.5.
Возвращение и достижение . . . . . . . . . . . . . . . . . . . . . . . . .
9.6.
Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10. Эргодические цепи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.1. Возвратность . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.2. Инвариантные вероятности. . . . . . . . . . . . . . . . . . . . . . . . . .
10.3. Предельные теоремы для переходных вероятностей . . . . . . . . . . .
10.4. Эргодические теоремы . . . . . . . . . . . . . . . . . . . . . . . . . . . .
10.5. Фундаментальная матрица эргодических цепей и ее свойства. . . . . .
10.6. Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11. Счетные марковские цепи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.1. Вводные замечания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.2. Определение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
11.3. Классификация состояний . . . . . . . . . . . . . . . . . . . . . . . . . .
11.4. Асимптотическое поведение счетных цепей . . . . . . . . . . . . . . . .
11.5. Критерии положительной возвратности . . . . . . . . . . . . . . . . . .
11.6. Дополнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4 Скачкообразные марк. и полумарк. процессы
12. Скачкообразные марковские процессы . . . . . . . . . . . . . .
12.1. Определение . . . . . . . . . . . . . . . . . . . . . . . . .
12.2. Примеры . . . . . . . . . . . . . . . . . . . . . . . . . . .
12.3. Конечномерные распределения. Теорема Колмогорова
12.4. Дополнения . . . . . . . . . . . . . . . . . . . . . . . . .
13. Стандартные марковские процессы . . . . . . . . . . . . . . . .
13.1. Матрица интенсивностей переходов . . . . . . . . . . .
13.2. Уравнения Колмогорова для переходных
вероятностей . . . . . . . . . . . . . . . . . . . . . . . . .
13.3. Структура марковского процесса . . . . . . . . . . . . .
13.4. Дополнения . . . . . . . . . . . . . . . . . . . . . . . . .
14. Классификация состояний. Устойчивость . . . . . . . . . . . .
14.1. Классификация состояний . . . . . . . . . . . . . . . . .
14.2. Устойчивость . . . . . . . . . . . . . . . . . . . . . . . . .
14.3. Связь марковских процессов с цепями . . . . . . . . . .
14.4. Дополнения . . . . . . . . . . . . . . . . . . . . . . . . .
15. Свойства марковских процессов . . . . . . . . . . . . . . . . . .
15.1. Уравнения для вероятностей состояний . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
37
37
37
39
43
45
47
49
49
51
52
55
57
57
58
61
62
63
64
66
66
68
70
72
75
76
78
78
78
79
83
85
85
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
87
87
87
88
90
91
92
92
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
93
94
97
98
98
101
102
103
105
105
Содержание
143
15.2.
15.3.
. . . . . . . . . . . . . . . . . . . . 105
16.
17.
18.
19.
20.
21.
Время достижения . . . . . . . . . . . . . .
Предельная теорема для марковских
процессов . . . . . . . . . . . . . . . . . . . .
15.4. Эргодическая теорема . . . . . . . . . . . .
15.5. Критерии положительной возвратности . .
15.6. Дополнения . . . . . . . . . . . . . . . . . .
Процессы рождения и гибели . . . . . . . . . . . .
16.1. Определение . . . . . . . . . . . . . . . . . .
16.2. Уравнения Колмогорова . . . . . . . . . . .
16.3. Стационарные вероятности . . . . . . . . .
16.4. Условие положительной возвратности ПРГ
16.5. Дополнения . . . . . . . . . . . . . . . . . .
Примеры . . . . . . . . . . . . . . . . . . . . . . . .
17.1. Процесс чистого размножения . . . . . . . .
17.2. Процесс чистой гибели . . . . . . . . . . . .
17.3. Система Эрланга M |M |n|0 . . . . . . . . . .
17.4. Система M |M |1|∞ . . . . . . . . . . . . . .
17.5. Дополнения . . . . . . . . . . . . . . . . . .
Полумарковские процессы . . . . . . . . . . . . . .
18.1. Определение . . . . . . . . . . . . . . . . . .
18.2. Полумарковская матрица и ее свойства . .
18.3. Процессы, связанные с полумарковскими .
18.4. Классификация состояний ПМП . . . . . .
18.5. Дополнения . . . . . . . . . . . . . . . . . .
Процесс и матрица марковского восстановления .
19.1. Процесс марковского восстановления . . .
19.2. Матрица марковского восстановления . . .
19.3. Уравнения марковского восстановления .
19.4. Одномерные распределения ПМП . . . . .
19.5. Дополнения . . . . . . . . . . . . . . . . . .
Предельная и эргодическая теоремы для ПМП . .
20.1. Предельная теорема . . . . . . . . . . . . .
20.2. Эргодическая теорема . . . . . . . . . . . .
20.3. Дополнения . . . . . . . . . . . . . . . . . .
Полурегенерирующие процессы . . . . . . . . . . .
21.1. Определение . . . . . . . . . . . . . . . . . .
21.2. Примеры . . . . . . . . . . . . . . . . . . . .
21.3. Сопровождающие процессы . . . . . . . . .
21.4. Одномерные распределения ПРП . . . . . .
21.5. Предельная и эргодическая теоремы . . . .
21.6. Дополнения . . . . . . . . . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
108
110
111
112
115
115
115
116
117
117
119
119
120
121
122
122
123
123
123
124
125
126
127
127
127
129
129
130
131
131
132
133
134
134
135
136
137
137
138