Теория случайных процессов(последний - MSTUCA

ФЕДЕРАЛЬНОЕ АГЕНСТВО ВОЗДУШНОГО ТРАНСПОРТА
ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ
ВЫСШЕГО ПРОФЕССИАНАЛЬНОГО ОБРАЗОВАНИЯ
«МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ
ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ
ГРАЖДАНСКОЙ АВИАЦИИ»
Кафедра прикладной математики
В.Л. Кузнецов, С.В. Аль-Натор
ТЕОРИЯ СЛУЧАЙНЫХ ПРОЦЕССОВ
УЧЕБНОЕ ПОСОБИЕ
ДЛЯ СТУДЕНТОВ III КУРСА
СПЕЦИАЛЬНОСТИ 230401
ДНЕВНОГО ОБУЧЕНИЯ
Москва-2011
1
2
ББК 517.8
К 89
Рецензенты: д-р физ.-мат. наук, проф. И.М. Михеев
д-р техн. наук, проф. А.В. Самохин
Кузнецов В.Л., Аль-Натор С.В.
Теория случайных процессов. Учебное пособие. – М.: МГТУ ГА, 2011. –
58с., 9 ил., лит.: 14 наим.
ISBN 978-5-86311-795-9
В учебном пособии излагаются основы теории случайных процессов.
Рассматриваются основные классы случайных процессов, их основные свойства. Достаточно подробно анализируются случайные процессы в дискретном
пространстве состояний с дискретным и непрерывным времени. Значительное
внимание уделяется таким вопросам стохастического анализа, как стохастическая эквивалентность, непрерывность, дифференцируемость и интегрируемость
случайных процессов.
Данное учебное пособие издается в соответствии с рабочей программой
учебной дисциплины «Теория случайных процессов» по Учебному плану для
студентов III курса специальности 230401 дневного обучения.
Рассмотрено и одобрено на заседаниях кафедры 19.04.11г. и методического совета 19.04.11г.
3
Глава 1
Основные понятия и определения
§1. Основные понятия теории вероятностей
1.1. Вероятностное пространство
Общая теоретико-вероятностная схема основана на предположении о том,
что для некоторого повторяемого испытания (эксперимента), результат которого заранее предсказан быть не может, имеется совокупность элементарных исходов или элементарных событий (элементарный исход принято обозначать
символом  ), и при этом должны выполняться следующие два условия:
1.
Каждое испытание заканчивается одним из исходов помеченного набора .
2.
Все исходы должны быть взаимоисключающими, т.е. конкретное испытание не должно завершаться двумя или несколькими исходами.
Определение 1. Множество элементарных исходов называется пространством элементарных событий и обозначается  . Событием называется
любое подмножество множества элементарных исходов.
Замечание 1. Приведенное выше определение события пригодно для конечного или счетного пространства элементарных исходов. Оно уточняется в
п.1.2.
Определение 2. Алгеброй множеств A называется класс подмножеств
непустого множества  , удовлетворяющий следующим двум условиям:
1.
Если а  А , то а  А . Здесь а   \ а – дополнительное событие.
2.
Если а1  А и а2  А , то а1  а2  А .
Предложение 1. Пусть A – алгебра. Тогда
а)
 А ;
б)
 А;
в)
если а1  А и а2  А , то а1  а2  А ;
г)
если а1  А и а2  А , то а1 \ а2  А ;
д)
если а1  А и а2  А , то а1  а 2  А (симметричная разность);
е)
Алгебра A замкнута относительно конечного числа теоретико-множественных операций.
Доказательство
а)
Если а  А , то а  А и а  а    А ;
б)
   А ;
а1  а2  а1  а2  А ;
в)
а1 \ а2  а1  а2  А ;
г)
4
а1  а2  (а1 \ а2 )  (а2 \ а1 )  А ;
д)
е)
здесь достаточно выразить все операции через , , \ , а затем применить индукцию.
1.2. Аксиоматическое определение вероятности
(аксиоматика Колмогорова)
Определение 3. Пусть  – непустое множество. Непустое семейство A
подмножеств из  называется  -алгеброй, если выполняются следующие два
условия:
1.
Если а  А , то а  А .
2.
Если аk  A ( k  N ), то

a
k 1
k
 A.
Предложение 2. Пусть A –  -алгебра. Тогда
а)
 А ,   А ;
б)
если аk  A ( k  N ), то

a
k 1
k
 A;
в)
 -алгебра является алгеброй;
г)
для конечного множества  любая алгебра является и  алгеброй ;
д)
 -алгебра замкнута относительно любого числа любых теоретико-множественных операций.
Доказательство. Мы остановимся на доказательстве в). Остальные
утверждения доказываются аналогично предложению 1.
Полагая в условии 2 определения 3 ak   при k  3 , находим
а1  а2  А для всех а1 , а2  А .
Определение 4. Пару , А , состоящую из непустого множества  и  алгебры A , называют измеримым пространством.
Определение 5. Вероятностью (или вероятностной мерой) на измеримом пространстве , А называют числовую функцию P : A  R , определенную на  -алгебре A , удовлетворяющую следующим трем условиям:
Ра   0
а  А (неотрицательность Р ).
1.
2.
Р   1(нормированность Р ).
3.
Для
любых
попарно
непересекающихся
событий
ak  A, k  N ak  al  , k  l  имеет место
  
P  ak    Pak  (счетная аддитивность Р ).
 k 1  k 1
Покажем, что Р   0 . Действительно,       ... . Применяя аксиому счетной аддитивности, находим
5
P()  P()  P()  ...  nP() ,
следовательно Р   0 .
Определение 6. Множество  , на котором задана  -алгебра событий,
называется пространством элементарных событий. При этом элементы  алгебры A называются событиями.
Определение 7. Достоверным событием называется событие, совпадающее с самим множеством  . Невозможным событием называется пустое
множество.
Определение 8. Вероятностным пространством называют упорядоченную тройку векторов , А, Р  , образованную из непустого множества  заданной на   -алгеброй A и определенной на  -алгебре A вероятностной
мерой Р .
1.3. Случайные величины
Определение 9. Отображение  :    измеримого пространства , А
в измеримое пространство  , B  называют измеримым, если  b B его прообраз  1 b     :     b A .
Измеримое отображение       преобразует вероятностную меру Р
на , А в вероятностную меру Р на  , B  , определяемую равенством
Р b  P[ 1 b] , превращая измеримое пространство  , B  в вероятностное
пространство  , B, Р  .
При переходе в новое вероятностное пространство описание случайного
эксперимента может быть более удобным, что в свою очередь позволяет перейти от случайных событий к случайным величинам, случайным числам, случайным векторам:
1.
В качестве множества  рассмотрим множество вещественных чисел.
2.
В качестве В выберем  -алгебру, порожденную всеми открытыми, замкнутыми, полуоткрытыми промежутками числовой оси:
x : b1  x  b2 , x : b1  x  b2 
x : b1  x  b2 , x : b1  x  b2 
Такие множества называются борелевскими множествами, а соответствующая  -алгебра называется борелевской  -алгеброй.
Определение 10. Случайной величиной на вероятностном пространстве
, А, Р  называют всякую измеримую функцию  со значениями в R, определенную на  .
6
Определение 11. Распределением произвольной случайной величины 
называется мера P b   P :    b ( b  B) , заданная на  -алгебре борелевских множеств на R.
Напомним, что функция распределения случайной величины  определяется как
(1.1)
F x   P  , x   P  x .
Определение 12. Случайную величину, принимающую не более, чем
счетное множество значений, называют дискретной случайной величиной.
Определение 13. Непрерывной случайной величиной называют случайную
величину, функция распределения которой представляется в виде
F x  
x
 f  y  dy .
(1.2)
f x  называется функцией плотности распределения или просто плотностью.
Определение 14. Математическим ожиданием (если существует) случайной величины  называется число
M       Pd ,
(1.3)

где Pd  – вероятностная мера для элемента d пространства элементарных событий  .
Если  – непрерывная случайная величина, то

M     yf   y  dy .
Если  – дискретная
xk , k  1, 2, , то
(1.4)

случайная величина, принимающая значения

M     xk p k ,
где pk  P :     xk  .
(1.5)
k 1
Контрольные вопросы для самопроверки
1.
таний?
2.
3.
4.
5.
6.
7.
Каким условиям должны удовлетворять элементарные исходы испыЧто называют пространством элементарных событий?
Перечислите свойства событий образующих алгебру?
В чем основное отличие   алгебры событий от алгебры?
Какое пространство называется измеримым?
Как вероятностная мера вводится в аксиоматике Колмогорова?
Что называют вероятностным пространством?
7
8. Дайте определение измеримого отображения.
9. Как вводится борелевская   алгебра?
10. Определите понятие случайной величины с помощью измеримого
отображения.
11. Какие случайные величины называются дискретными, а какие – непрерывными?
12. Запишите явный вид оператора математического ожидания для дискретных и непрерывных случайных величин.
§2. Случайные функции и случайные процессы
2.1. Определение случайного процесса
Определение 15. Пусть , А, Р  – вероятностное пространство, R n , B 
– измеримое пространство, t – параметр t  T , T  R  . Случайной функцией
  , t  t  T ,     называется измеримое отображение  :   R n , зависящее
от параметра t.
Если параметр t интерпретируется как время, то вместо термина «случайная функция» принято использовать термин «случайный процесс».
Если T – счетное множество, например T  0,1, 2, ... или T = ℤ, то вместо термина «случайная функция» принято использовать термин «случайная
последовательность».
При n  1 в измеримом пространстве R n , B  процесс называется скалярным случайным процессом, при n  2 – векторным или n-мерным случайным
процессом

  , t   1  , t ,  2  , t , ,  n  , t  T (вектор-столбец).
Заметим, что случайный процесс можно рассматривать как функцию двух
аргументов: элементарного события  и времени t . При каждом фиксированном    получаем (неслучайную, детерминированную) функцию   , t  аргумента t . Такую функцию называют реализацией или траекторией случайного процесса. Кроме того, в каждый фиксированный момент времени t функция
  , t  является случайным вектором, в одномерном случае – случайной величиной. Этот случайный вектор называют сечением случайного процесса.
2.2.
Предварительная классификация случайных процессов
Для простоты будем рассматривать скалярный случайный процесс
8
  , t t  T . Множество значений, которые может принимать случайная величина  , назовем пространством состояний. В зависимости от типа процесса
оно может быть либо дискретным (конечным или счетным), либо непрерывным. Случайный процесс может наблюдаться в непрерывном или дискретном
времени. В последнем случае говорят о временных рядах.
Таким образом, можно различать четыре основных класса случайных
процессов. Эта классификация представлена на рис.1.
Рис. 1.1. Предварительная классификация случайных процессов
На рисунке представлены реализации случайных процессов основных
классов.
2.3. Способы задания, описания случайных процессов
Рассмотрим скалярный случайный процесс   , t  . Напомним, что при
фиксированном значении параметра t  t1 получим случайную величину   , t1  ,
являющуюся сечением случайного процесса   , t  в момент времени t  t1 .
Закон распределения вероятности этой случайной величины называется одномерным законом распределения случайного процесса   , t t  T .
Определение 16. Функцию распределения случайной величины   , t 
(при фиксированном t  t1 )
F x, t   P , t   x
9
называют одномерной функцией распределения случайного процесса
  , t  t  T  . Если, кроме того, случайная величина   , t  обладает плотностью f   x, t 
F x, t   P  , t   x 
x
 f  y, t  dy ,
(1.6)
то f   x, t  называют одномерной функцией плотности вероятности случайного
процесса.
Если теперь зафиксировать n моментов времени t1  t 2    t n , принадлежащих Т, то можно говорить о совокупности из n случайных величин
 i    , ti  , i  1,, n . Тогда, по аналогии с одномерным случаем, конечномерной или n-мерной функцией распределения вероятности случайного процесса
  , t t  T  называют функцию
F x1 , x2 ,, xn ; t1 , t 2 ,, t n   P , t1   x1 ,  , t 2   x2   , t n   xn .
Если, кроме того, существует n-мерная плотность f  x1 , x2 , , xn  , то
F  x1 , x2 ,, xn ; t1 , t 2 ,, t n   P  , t1   x1 ,   , t 2   x2    , t n   xn  
x1
xn


    f   y1 , y2 ,, yn ; t1 , t 2 ,, t n  dy1 dyn .
f x1 , , xn ; t1 , , t n  называют конечномерной (n-мерной)
функцией плотности вероятности случайного процесса   , t  .
Для того чтобы полностью задать случайный процесс, его нужно задать
во всех возможных сечениях, т.е.  t  T , а это бесконечное множество точек. В
общем случае случайный процесс при таком описании в реальной задаче не является полностью определенным, т.к. мы можем использовать только конечномерное распределение.
Существует другой способ описания случайного процесса, основанный на
переходе в другое вероятностное пространство  , B, Р  . В качестве  рассматривается множество   { (t )} всех траекторий (всех реализаций) случайного процесса   , t  . Это множество можно рассматривать как некое пространство, элементами или точками которого являются функции – реализации
случайного процесса.
Отображение        ,  (точкой обозначен несущественный здесь
параметр t) позволяет на  ввести  -алгебру B , состоящую из множеств
b   . Теперь на вероятностном пространстве  , B, Р  определим случайную
Функцию
10
функцию  t  t  T  , положив  t    . Тогда такой случайный процесс будем
называть непосредственно заданным.
2.4. Стохастически эквивалентные случайные процессы
Стохастическая эквивалентность – отношение эквивалентности между
случайными величинами, различающимися на множестве нулевой вероятности
(на множестве вероятностной меры нуль).
Определение 17. Случайные величины 1 ,  2 , заданные на одном вероятностном пространстве , А, Р  , называются стохастически эквивалентными,
если:
P : 1     2    1
или
P : 1     2    0
(1.7).
В большинстве задач теории вероятности работают не с самими случайными величинами, а с классами эквивалентных случайных величин.
Определение 18. Случайные процессы 1  , t ,  2  , t  t  T  , определенные на одном вероятностном пространстве, называются стохастически эквивалентными, если  t  T имеет место стохастическая эквивалентность между соответствующими случайными величинами, т.е.
P : 1  , t    2  , t   1
или
P : 1  , t    2  , t   0 .
Замечание 2. По отношению к случайным процессам 1 t ,  2 t  , у которых совпадают соответствующие конечномерные распределения, применяют
также термин «стохастическая эквивалентность в широком смысле». Заметим,
что если случайные процессы эквивалентны, то они эквивалентны в широком
смысле.
2.5. Элементарные случайные процессы
Определение 19. Элементарной случайной функцией будем называть
композицию или суперпозицию элементарных функций, аргументами которых
является параметр t  T и случайная величина X , не зависящая от времени.
Пример 1
Примером простейшей элементарной случайной функцией может служить процесс вида Y  , t   X  e  t , где X – равномерно распределенная на
отрезке 0, 1 случайная величина, а  и t – положительные параметры. Семейство реализации Y ( , t ) показано на рис. 2. При любом фиксированном t  T ,
например t1 , можно ассоциировать величину PY  Y , Y ; t1  с долей траекто-
11
рий (от полного их числа, изображенного на рисунке), пересекающих прямую
t  t1 на интервале Y , Y  Y .
Y  Y
Y
t1
t
Рис. 1.2. Семейство реализаций элементарной случайной функции
Y  , t   X  e  t
Пример 2
Рассмотрим теперь другую элементарную случайную функцию. Пусть
Y  , t   X  cos t , где X – равномерно распределенная на отрезке 0, 1 случайная величина. Семейство реализации Y ( , t ) для нее показано на рис.3
Рис. 1.3. Семейство реализаций элементарной случайной функции
Y  , t   X  cos t
12
Контрольные вопросы для самопроверки
1. Как определяется случайная функция?
2. Чем случайный процесс отличается от случайной функции?
3. Что называют реализацией случайного процесса?
4. Как получить сечение случайного процесса?
5. Что называют пространством состояний случайного процесса?
6. Назовите основные классы случайных процессов, если в основу классификации положены характеристики пространства состояний.
7. Что называют одномерной функцией распределения случайного процесса?
8. Почему невозможно полностью задать случайный процесс, используя
его сечения?
9. Какие процессы называются стохастически эквивалентными?
10. О каких множествах говорят, что они имеют вероятностную меру
нуль?
11. Что означает стохастическая эквивалентность в широком смысле?
12. Что называют элементарным случайным процессом?
13. Приведите три примера элементарных случайных процесса.
§3. Числовые характеристики случайного процесса
3.1. Математическое ожидание и дисперсия случайного процесса
Определение 20. Математическим ожиданием случайного процесса
  , t t  T  называют неслучайную функцию m t  , значение которой при
каждом фиксированном t1  T равно математическому ожиданию случайной
величины   , t1 , являющейся сечением случайного процесса при t  t1
m t   M   , t      , t Pd  ,
(1.8)

где Pd  – вероятностная мера для элемента d пространства элементарных
событий  .
Если F  x, t  – одномерная функция распределения случайного процесса
  , t  со значениями в R1 , то:

m t    x dF x, t  .

(1.9)
В частности, если  t  (сечение   , t  ) – дискретная случайная величина,
принимающая значения xk (t ), k  1, 2, , то
13

m t    xk (t ) pk t ,
(1.10)
k 1
где pk t   P :   , t   xk (t ) . А если  t  (сечение   , t  ) – непрерывная
случайная величина, то

m t    x f  x, t  dx .
(1.11)

Математическое ожидание случайного процесса можно интерпретировать
как его усредненную траекторию (реализацию).
Замечание 3. Все, сказанное выше, относилось к скалярным случайным
процессам и очевидным образом может быть распространено на векторные
(многомерные) случайные процессы.
Напомним, что дисперсия D(X ) случайной величины X определяется
как
2
(1.12)
DX   M  X  M  X  .
Дисперсия D(X ) есть мера отклонения случайной величины X от ее математического ожидания M  X .
Напомним также некоторые свойства дисперсии.
1.
DX   0 .
2.
DX   M X 2  M 2 X .
3.
если с – действительное число, то DcX   c 2 D( X ) .
4.
если X 1 , X 2 ,, X k – попарно независимые случайные величины, у которых существуют дисперсии, то
 k
  k

D  X i     D  X i   .
 i 1   i 1



 
Определение 21. Дисперсией скалярного случайного процесса
  , t t  T  называется неслучайная функция D t  , которая при любом значении момента времени t  t1 равна дисперсии случайной величины   , t1  , являющейся сечением исходного случайного процесса.
Если  t  (сечение   , t  ) – дискретная случайная величина, принимающая значения xk (t ), k  1, 2, , то
(1.3)
D t    xk  m t  pk (t ) .
Если  t  (сечение   , t  ) – непрерывная случайная величина, то
2
D t  

x  m t 
2
f  x, t dx .
(1.14)
14
Определение 22. Пусть  – случайная величина. Соответствующая ей
центрированная случайная величина определяется как

    M  .
Пусть   , t  – случайный процесс. Его центрированный случайный процесс определяется как

 , t    , t   m t  ,
(1.15)
а его центрированная дисперсия как

 

D  t   M   2 , t   D t .



Заметим, что M    , t    0 .


Определение 23. Среднеквадратическим или стандартным отклонением случайного процесса   , t  называют неслучайную функцию  t   D t  .
Определение 24. Комплексной случайной функцией называется случайная функция
 (t )   (t )  i (t ) ,
где  (t ) и  (t ) – действительные случайные функции.
Математическое ожидание и дисперсия комплексной случайной функции
определяются по правилам
m (t )  m (t )  im (t ) ,



D (t )  M   (t )  (t )    M  | (t ) |2  ,




где звездочка «  » означает комплексное сопряжение.
3.2. Корреляционная функция случайного процесса
Определение 25. Корреляционной функцией (автокорреляционной функцией, функцией корреляции) комплексного случайного процесса или комплекс t t  T  называют неслучайную функцию
ной случайной функции
K t , s t , s  T  , определяемую равенством





K  t , s   M   (t )  ( s )    M  (t )  m(t )  ( s )  m( s )  ,


где mt   M  t ,  – комплексное сопряжение.
(1.16)
15
Предложение 3. Корреляционная функция обладает следующими свойствами:
1)
K t , t   0 (неотрицательность);
2)
K t , s   K s, t  (эрмитовость);
3)
K t , s   K t , t   K s, s   D t   D s ;
4)
 K t , t  
2
n
i , j 1
i
j
i
j  0 (неотрицательная определенность) для
любых t1 , t 2 ,  , t n  T и любых комплексных чисел 1 , 2 ,  , n .
Доказательство.
1) K t , t   D (t )  0 .
2) следует непосредственно из определения K  t , s  .
Доказательство остальных свойств аналогично их доказательству для корреляционной матрицы семейства случайных величин.
Замечание 4. Для вещественной случайной функции корреляционная
функция обладает следующими свойствами:
1)
K t , t   0 (неотрицательность);
2)
K t , s   K s, t  (симметричность);
3)
K t , s   K t , t   K s, s   D t   D s  ;
4)
 K t , t  
2
n
i , j 1
i
j
i
 j  0 (неотрицательная определенность) для
любых t1 , t 2 ,  , t n  T и любых действительных чисел 1 , 2 ,  , n .
Замечание 5. Положим
R t , s   M  t   s  .
Тогда корреляционная функция записывается в виде
K t , s   R t , s   M  t   M   s  .




Определение 26. Нормированная корреляционная функция случайного
процесса ξ(t) (вещественного или комплексного) определяется формулой
k (t , s) 
K ( t , s )
D ( t ) D ( s )
.
Предложение 4. Нормированная корреляционная функция обладает следующими свойствами:
1)
k t , t   1 ;
2)
k t , s   k s, t  ;
3)
k t , s   1;
2
Доказательство следует непосредственно из предложения 3.
16
Принципиальное отличие корреляционной функции K  t1 , t 2  некоторого
случайного процесса от математического ожидания m t  и дисперсии D t 
того же случайного процесса заключается в том, что при нахождении корреляционной функции берутся два сечения случайного процесса, а не одно, как в
случае m t  и D t  .
Для нахождения корреляционной функции необходимо использовать
двумерную функцию распределения случайного процесса Ft1 , t2 x1 , x2 . При
этом если существует двумерная плотность, то корреляционная функция имеет
вид

K  t1 , t 2    x1  m t1   x2  m t 2  f t1 , t2 t1 , t 2  dx1dx2 ,
(1.17)
R2
2
где f t1 , t2 x1 , x2  
Ft , t x1 , x2  в точках, где Ft1 , t2 x1 , x2  дважды непрерывx1x2 1 2
но дифференцируема.
Заметим, что при интегрировании (3.6) часть информации теряется и корреляционная функция содержит меньше информации о случайном процессе,
чем двумерная функция распределения.
T
Если   , t   1  ,t ,  2  , t ,,  n  , t  многомерный случайный про-




цесс такой, что M  i , t    для  t  T i  1, n , то его корреляционной
функцией называют матричнозначную корреляционную функцию
2
K t1 , t 2   K ij t1 , t 2  i , j 1 ,
n
(1.18)




где K ij t1 , t 2   M  i t1  j t 2  .


Иногда вводят также нормированную взаимную корреляционную функцию случайных процессов  t  ,  t 



M  t1  t 2 
K  t1 , t 2 


.
(1.19)
k ,  t1 , t 2  
 
D t1   D t 2 
D t1   D t 2 
Контрольные вопросы для самопроверки
1. Чем математическое ожидание случайного процесса отличается от математического ожидания случайной величины?
2. Как определяется математическое ожидание непрерывного случайного процесса?
3. Что понимают под дисперсией случайного процесса?
17
4. Что можно сказать о процессе, если его дисперсия равна нулю, а математическое ожидание – периодическая функция времени?
5. Что называют центрированным случайным процессом?
6. Что характеризует стандартное отклонение случайного процесса?
7. Какими свойствами обладает корреляционная функция?
8. Какова размерность функции распределения случайного процесса, которую необходимо использовать для вычисления корреляционной функции?
9. Каково максимальное значение нормированной корреляционной
функции?
10. В каких случаях пользуются термином взаимная корреляционная
функция?
§4. Основные классы случайных процессов
4.1. Стационарные случайные процессы
Определение 27. Случайный процесс   , t  t  T  называется стационарным в узком смысле, если  n  1 : t k  T , k  1, n  h  R : t k  h  T имеет
место тождество
F x1 , x2 ,, xn , t1 , t 2 ,, t n   F x1 , x2 ,, xn , t1  h, t 2  h,, t n  h  (1.20)
или (если существует плотность вероятности)
f x1 , x2 ,, xn , t1 , t 2 ,, t n   f x1 , x2 ,, xn , t1  h, t 2  h,, t n  h . (1.22)
Таким образом, для стационарного процесса  , t  смещение начала момента отсчета времени не меняет его функцию распределения.
Любая числовая характеристика стационарного случайного процесса не
зависит от t, в частности
1.
m t   M  t   M  0  const ;
2.
D t   const ;
3.
K t1 , t 2   K t 2  t1   K   , т.е. K t1, t2  зависит от разности
аргументов   t 2  t1 .
Определение 28. Если для случайного процесса  , t  выполняются
свойства 1 и 3, то процесс называется стационарным в широком смысле.
18
Стационарность в узком смысле влечет стационарность в широком смысле. Обратное, вообще говоря, неверно.
4.2. Гауссовы (нормальные) случайные процессы

T
Определение 29. Пусть    1 ,  2 ,,  n  n-мерный случайный вектор,


   1 , 2 ,, n T  R n . Характеристическая функция  определяется как
 

 n ( )  Me i ( , )  Me i (11  n n ) ,
 
где  ,  – скалярное произведение векторов.

T
Напомним, что n-мерный случайный вектор    1 ,  2 ,,  n  имеет
нормальное распределение, если его характеристическая функция имеет вид


 n

1 n
   1 T 
 n ( )  exp i m, v   v K v   exp i  mk vk   K jk v j vk ,
(1.22)
2
2


k

1
j
,
k

1



T
T
где v  v1 , v2 ,, vn  , m   M1 , M 2 ,, M n  , K  ( K jk ) - ковариаци
T
онная матрица случайного вектора    1 ,  2 ,  ,  n  :

K jk  M   j  m j  k  mk    M  j  k , j , k 1, n .


___
Определение 30. Действительный случайный процесс   , t  t  T 
называется гауссовым или нормальным, если все его конечномерные законы
распределения являются нормальными, т.е. характеристическая функция совместного
распределения
вероятностей
случайных
величин
  , t1 ,   , t 2 ,,   , t n   t i  T i  1, n имеет вид
 n

1 n
 n v1 , v2 ,, vn ; t1 , t 2 ,, t n   exp i  m t k vk   K t k , tl vk vl  .
2 k , l 1
 k 1

Пример 3. Пусть n  1 . Тогда



  e
1 v   M e
i v
i xv
f1 x  dx ,

  x  m 2 
exp 
где f1  x  
 - плотность одномерного нормального рас2
2
2

2


пределения. Плотность f1  x  находится по формуле обращения
1
1
f1  x  
2
Покажем, что

e

i x v
1 v  dv .
19
 1 v   e
imv
1

2
v2
2
.
Имеем

e

i xv

1
2 2

 x m 2
2
e
xm y 
dx
 
e

2
e

1
2
 y i  v 
2
2
2
e


1
i  y  m v
2 2

ei m v
2
2
 2v 2
2
z  y i  2 v
dy


e
y2
2 2 dy
ei m v
2
2
e



ei m v
2 2
 2 v 2   i  2 v
2

e
1
2 2
y2
dy 


e
i y v
z2
2 2
dz 
 i  2 v
1
i m v   2 v2
2
.
e
Для случайного процесса вводят последовательность характеристических
функций
1 v1 ; t1   M e i   , t1 v1 ,




 2 v1 , v2 ; t1 , t 2   M e i   , t1 v1   , t2 v2  ,
 i 3   , t j v j 
,
 3 v1 , v2 , v3 ; t1 , t 2 , t3   M  e j 1





(1.23)
Характеристическую функцию можно разложить в ряд. Будем разлагать в
ряд не саму характеристическую функцию, а ее натуральный логарифм
 v   ln 1v  ,

 ( )  
k
iv k .
(1.24)
k
!
k 1
Коэффициенты разложения (4.3) k называются комулянтами. Они связаны с моментами следующим образом
1  M x   m
2  Dx   M 2
3  M 3
4  M 4  3M 22
5  M 5  10 M

Если случайная величина распределена по Гауссу, то все комулянты выше второго порядка равны нулю.
20
Замечание 6 (к определению гауссова процесса). Многомерный слуT
чайный процесс   , t   1  , t ,,  2  , t  называется гауссовым, если гауссовым
является
совместное
распределение
любых
величин
 i1 , t1 ,  i2 , t 2 ,,  in , t n  .
Замечание 7. Комплексным гауссовым случайным процессом  K  , t 
называется случайный процесс вида  K , t   1 , t   i 2 , t  , где
1  , t ,  2  , t  образуют в совокупности двумерный гауссов процесс.
Для комплексного гауссова процесса корреляционная функция комплексна


 .
K t1 , t 2   M  K , t1   mt1   K , t 2   mt 2 

4.3. Процессы с независимыми приращениями
Определение 31. Процесс   , t t  T  называется процессом с независимыми приращениями, если  n  1 и  t k T , k  1, n : t1  t 2    t n случайные величины   , t1 ,   , t 2     , t1 ,,   , t n     , t n 1  являются
независимыми, т.е.:
P , t k    , t k 1  1   , t k 1    , t k   2  
 P , t k    , t k 1  1   P , t k 1    , t k   2 .
Определение 32. Процесс с независимыми приращениями называется однородным, если
1.
Он определен при t  R  [0,) и   , 0  0;
2.
Закон
распределения
случайной
величины
  , t  h     , t  не зависит от .t.
Определение 33. (В обозначениях определения 31) Если случайные величины  , t1 ,   , t 2     , t1 ,,   , t n     , t n1  являются, вообще говоря,
зависимыми, но некоррелированными, то процесс   , t  называется процессом
с ортогональными приращениями.
Замечание 8. Процесс с независимыми приращениями полностью определяется одномерным распределением Ft  x  и распределением приращений
процесса, т.е. для задания такого процесса достаточно знать только двумерную
функцию распределения Ft , t x1 , x2  .
1
2
Пуассоновский процесс как частный случай процесса с независимыми
приращениями.
21
Определение 34. Пуассоновским процессом с параметром   0 называется скалярный случайный процесс   , t  , t  R , обладающий следующими
свойствами
  , 0   0;
1.
 n  1, t k  T , k  1, n : t1  t 2    t n случайные величины
 , t1 ,   , t 2     , t1 ,,   , t n     , t n1  являются независимыми;
3.
 t1 , t 2  T : 0  t1  t 2 случайная величина   , t 2     , t1 
распределена по закону Пуассона с параметром  t 2  t1 
2.

 t 2  t1 k  t t 
.
P  , t 2     , t1   k  
e
2 1
(1.25)
k!
Винеровский процесс как частный случай процесса с независимыми
приращениями.
Определение 35. Случайный процесс   , t  t  T  называется выходящим из нуля винеровским процессом с параметром   0 , если выполняются
три условия:
  , 0   0;
1.
2.
величины
 n 1 и
tk : tk T ,
k  1, n : 0  t1  t 2    t n
случайные
 , t1 ,   , t 2     , t1 ,,   , t n     , t n1 
являются независимыми;
0  t1  t 2 : случайная величина   , t 2     , t1  распределена
3.
по нормальному закону с нулевым математическим ожиданием и дисперсией
D     t 2  t1   2 (  называется коэффициентом диффузии).
Таким образом, винеровский случайный процесс является одновременно
и процессом с независимыми приращениями, и гауссовым случайным процессом.
Если   1, то винеровский процесс называется стандартным.
Некоторые полезные свойства винеровского процесса.
Винеровский процесс инвариантен относительно некоторых преобразований фазовой и временной шкал. Так, если w , t  - винеровский случайный
процесс, то для    0 и s  0 случайные процессы
22
t 

X  , t    w   , 2 ,
  
 1
X  , t   t w   , ,
 t
X  , t   w  , t  s   w  , s 
также являются винеровскими.
4.4. Марковские случайные процессы
Случайный процесс, эволюция которого после любого фиксированного
момента времени t и до момента времени t является условно независимой при
известном состоянии процесса в момент времени t (в настоящем), называется
марковским случайным процессом, а свойство условной независимости «будущего» от «прошлого» при заданном «настоящем» называется марковским свойством или свойством марковости.
Определение 36. Пусть   , t  t  T  – случайный процесс, конечномерные функции плотности вероятности которого f t1 , t2 ,, tn x1 , x2 ,, xn  заданы для
всех n  1 и t k T , k  1, n : 0  t1  t 2    t n . Если при этом условная
функция плотности вероятности
f  xn | xn1 , xn2 ,, x1   f  xn | xn1  ,
(1.26)
где
x n 1 – состояние в данный момент;
x n – состояние в будущем;
xn2 , xn3 ,, x1 – прошлые состояния,
то случайный процесс называется марковским процессом.
Пример 4. Пример марковского процесса, используемого в модели расчета риска столкновений воздушных судов.
Рассмотрим полет воздушного судна, с которым может произойти катастрофа, которую мы рассматриваем здесь как мгновенное событие. Введем некоторую случайную функцию   , t  , описывающую состояние воздушного
судна
0, если к моменту времени t катастрофы нет,
 , t   
1, если к моменту времени t катастрофа произошла.
Покажем, что   , t  – марковский случайный процесс.
Если в момент времени t   , t   0 , то прошлое – нормальный полет, не
дает никакой информации о том, произойдет катастрофа в будущем или нет.
Прошлое не информативно для будущего. Если же в момент времени t
  , t   1 , то есть на текущий момент факт катастрофы имеет место, то для
23
описания состояния в будущем неважна информация из прошлого о том, когда
эта катастрофа произошла.
Определение 37. Пусть на вероятностном пространстве , A, P  задан
случайный процесс X t  X t  t  T  со значениями в измеримом пространстве,
 , B  – пространство состояний. Для  t  T введем  -алгебру прошлого
N t   X s , s  t (все реализации случайного процесса X t , где s  t ) и будущего N t   X u , u  t (определена на реализациях после момента времени t).
Случайный процесс называется марковским процессом, если  t  T и любого
события А из  -алгебры прошлого N t и В из  -алгебры будущего N t имеет место марковское свойство:
P A  B | X t   P A | X t   PB | X t  .
При таком определении прошлое и будущее симметричны, т.е. переходя в
обратное время t  t  при переходе к отраженному процессу Yt  X t  , марковское свойство сохраняется.
Контрольные вопросы для самопроверки
1. Каким условиям удовлетворяют случайные процессы, стационарные в
узком смысле?
2. Можно ли сказать, что процесс, стационарный в узком смысле, стационарен и в широком смысле?
3. Чему равна производная от математического ожидания стационарного
в узком смысле процесса?
4. Какой случайный процесс называется нормальным?
5. Что такое характеристическая функция?
6. Приведите пример двумерного гауссового процесса.
7. Какой процесс называется процессом с независимыми приращениями?
8. В чем отличие независимых и ортогональных приращений?
Глава 2
Марковские процессы с дискретным пространством состояний
§5. Цепи Маркова
5.1. Определение цепи Маркова
Рассмотрим некую физическую систему, которая может находиться в одном из K состояний  i , i  1, K . Пусть далее вследствие вмешательства случая система шаг за шагом в заданные моменты времени t 0  t1  t 2   может
24
скачкообразно
случайным
образом
менять
свое
состояние
 0  1   2   ., где  j  t j  – какое-либо значение из  i , i  1, K .
Полное вероятностное описание поведения системы за n шагов задается
совместными конечномерными вероятностями P 0 , 1 ,,  n  .
Таких вероятностей много, столько, сколько различных путей может быть проложено в системе. Будем полагать, что процесс переходов между состояниями
обладает марковским свойством. Тогда вероятность каждой реализации может
быть записана в следующем виде
P 0 , 1 ,,  n   P 0 , 1 ,,  n1   P n |  0 , 1 ,,  n1  
 P 0 , 1 ,,  n1   P n |  n1  
 P 0 , 1 ,,  n2   P n1 |  n2   P n |  n1 .
Напомним, что процесс называется марковским, если
P  |  0 , 1 ,,   1   P  |   1 .
(2.1)
(2.2)
Определение 1. Случайная последовательность  k  , k  N (т.е.,
  , t k  – случайный процесс в дискретном времени) со значениями в дискретном пространстве состояний называется цепью Маркова, если справедливо соотношение (1.2).
Определение 2. Условную вероятность P n   k |  n1   j , дающую вероятность того, что на n–м шаге состояние системы примет значение  k при
условии, что на (n-1)-ом шаге система была в состоянии  j принято называть
переходной вероятностью или вероятностью перехода.
Аналогично – P n   k |  m   j , можно записать вероятность (n-m)шагового перехода (здесь n>m), то есть условную вероятность того, что система, находящаяся на m-ом шаге в состоянии  j , на n–ом шаге окажется в состоянии  k .
.
5.2. Уравнение Маркова
Основная задача для марковских цепей.
Пусть известно начальное состояние системы и указан вероятностный закон смены состояний (указаны все соответствующие вероятности одношаговых
переходов). Тогда основная задача для марковских цепей заключается в следующем:
каким образом можно найти вероятность состояния системы в некоторый момент времени t n  t 0 (в частности, при n   )?
25
Для удобства введем следующие обозначения для условной и безусловной вероятностей
Pk n   P n   k ,
 jk  , n   P n   k |     j ,
(2.3)
j , k  1, K 0    n n  1, N .
Т.к. система на n–м шаге в каком-нибудь состоянии обязательно будет
находиться, то полное пространство исходов эксперимента полно, и
K
Pk n   1,

k 1
(2.4)
Pk n   0.
Далее, если система находится в i-м состоянии, то она либо останется в
нем, либо перейдет в любое другое состояние. Третьего не дано. Поэтому сумма вероятностей многошагового перехода по всем возможным конечным состояниям (исходам) должна давать единицу:
K
 ij  , n   1,

j 1
(2.5)
 ij  , n   0.
Нетрудно убедиться в том, что согласно формуле полной вероятности,
имеет место следующая связь
K
Pk n    Pj   jk  , n ,
(2.6)
j 1
k  1, K 0    n.
Рассмотрим теперь подробнее структуру многошагового перехода. Переходя из j–го состояния на   м шаге в k  е состояние на n–м шаге, система
обязательно побывает в одном из K состояний на m-м шаге (рис.-2.1)
j-е состояние
k-е состояние
  й шаг
m  й шаг
n  й шаг
Рис. 2.1. Схема изменений состояния системы с   о по n–й шаг
26
Совокупность переходов, указанных на рисунке пунктиром, представляют собой множество несовместных событий. Поэтому вероятности реализаций
таких переходов складываются. Вместе с тем, каждый отдельно взятый переход
представим в виде последовательности двух переходов   m и m  n . В силу
марковости процесса, реализация перехода из какого-либо i  го состояния на
m-м шаге в k  е состояние на n–м шаге не зависит от того, как система попала
в i  e состояние. Поэтому вероятность такой реализации равна произведению
вероятностей соответствующих переходов –  ji  , m ik m, n  . Полная же вероятность перехода в этом случае равна
K
 jk  , n     ji  , m  ik m, n ,
i 1
(2.7)
j , k  1, K 0    m  n.
Определение 3. Соотношение (2.7) для дискретных цепей Маркова с конечным числом состояний принято называть уравнением Маркова.
Отметим, что уравнение Маркова – это частный случай уравнения Колмогорова-Чепмена для случая бесконечного числа промежуточных состояний.
Введем квадратную матрицу ˆ  , n    ij  , n  и матрицу-строку
P T n  P1 n, P2 n,, Pk n , тогда (2.6) и (2.7) можно записать в матричном
виде
(2.6а)
PT n   PT  ˆ  , n  ,
ˆ  , n   ˆ  , m ˆ m, n  .
(2.7а)
Определение 4. Квадратная матрица aij
тами, удовлетворяющая условию
a
ij
с неотрицательными элемен-
 1 , называется стохастической.
j
Записанное матричное уравнение (2.6а) можно транспонировать
Pn   ˆ Т  , n P  .
Используя уравнение Маркова в виде (2.7а), матрицу ˆ  , n  можно
представить в виде произведения
ˆ  , n   ˆ  , n  1ˆ n  1, n  
(2.8)
 ˆ  , n  2ˆ n  2, n  1ˆ n  1, n  

n   1
ˆ   p,   p  1.
p 0
Полагая в (2.8)   0 , находим
n 1
P T n   P T 0    p, p  1.
p 0
(2.9)
27
Из (2.9) следует, что полное вероятностное описание цепи Маркова достигается заданием PT 0 - вероятности начального состояния и последовательности матриц вероятностей одношаговых переходов – ˆ  ,   1 .
Определение 5. Марковская цепь, для которой матрица вероятностей одношаговых переходов не зависит от номера шага, называется однородной.
Если матрица ˆ  , n  удовлетворяет условию однородности, то
ˆ  , n   ˆ   m, n  m ,
(2.10)
m    n.
Матрицу ˆ 0, n  будем обозначать через ̂ n  . Тогда соотношение (2.7а)
можно переписать в виде
ˆ n     ˆ n  m ˆ m    .
(2.11)
Для одношагового перехода положим
ˆ 1  ˆ .
Нетрудно видеть, что
ˆ 2   ˆ 1 ˆ 1  ˆ 2 ,
ˆ 3  ˆ 3 ,

ˆ n   ˆ n .
Для однородной цепи Маркова матрица вероятностей перехода за n шагов
равна n-й степени матрицы одношагового перехода. Отсюда
(2.12)
PT n  PT 0̂ n .
Определение 6. Однородная цепь Маркова, для которой вероятности
 Pk n   не зависят от n, называется стационарной. В противном случае цепь
называется нестационарной.
Для стационарной цепи имеют место соотношения
(2.13)
PT n  PT 1  PT ,
T
T
(2.14)
P P ,
Pk   Pj  jk .
(2.15)
j
Одна из важнейших задач теории марковских цепей состоит в исследовании вопроса, существует ли для данной марковской цепи некая стационарная
цепь, к которой сходится исходная цепь. Другими словами, существует ли предел lim Pk n   Pk ? Если такой предел существует, то марковская цепь сходится
n
к стационарной.
Теорема 1. Если для цепи Маркова с конечным числом состояний выполняется условие  jk n   0, j , k  1, K , то существуют предельные (финальные) вероятности Pk , причем Pk не зависит от начального распределения
Pk 0  .


28
Очевидно, что Pk находится из системы К уравнений
K
Pk   Pj jk
j 1
и условия нормировки
K
Pk  1 .

k 1
Замечание 1. Однородную цепь Маркова удобно представлять в виде
ориентированного графа, вершины которого – возможные состояния цепи, а
дуги выписаны переходными вероятностями.
Контрольные вопросы для самопроверки
1. Какие случайные процессы называются цепями Маркова?
2. В чем суть основной задачи для марковских цепей?
3. Почему одно из соотношений (2.5) можно назвать «условием нормировки»?
4. Где в уравнении Маркова «зашито» условие марковости?
5. Какие матрицы называются стохастическими?
6. Каково требование однородности для цепи Маркова?
7. Является ли стационарная марковская цепь однородной?
8. Что такое предельные вероятности?
9. Каким условиям должна удовлетворять марковская цепь для того, чтобы для нее существовали финальные вероятности?
§6. Дискретные марковские процессы
6.1. Уравнение Колмогорова для дискретных марковских процессов
Рассмотрим случайный процесс  (t ) , который принимает только конеч-
ное число значений  k  k  1, K . В отличие от марковской цепи, переходы
между состояниями в этом процессе могут происходить не только в выбранный
дискретный момент, но и в произвольный момент времени.
Введем вероятность перехода  ij (t 0 , t )
(2.16)
 ij (t0 , t )  P(t ,  (t )   j | t0 , (t0 )   i ) t  t0 .
Заметим, что
K

j 1
ij
(t 0 , t )  1,
 ij (t 0 , t )  0
t  t0
0, i  j
  ij .
1
,
i

j

 ij (t 0 , t 0 )  
i, j  1, K ,
(2.17)
(2.18)
29
При этом справедливо уравнение Маркова
K
 ij (t0 , t  t )   ik (t0 , t ) kj (t , t  t ) , t0  t  t  t ,
(2.19)
k 1
которое называют также уравнением Колмогорова – Чепмана.
Основная задача в теории марковских процессов состоит в вычислении:
1. Вероятности перехода  ij (t 0 , t ) при t  t 0 .
2. Вероятностей различных состояний Pi (t ) i  1, K для  t  t 0
по известным начальным состояниям системы и локальным характеристикам
вероятностей перехода.
Определение 7. Пусть S – некая система с дискретным пространством
состояний. Под плотностью вероятностей (или интенсивностью) перехода
из состояния  i в состояние  j при i  j в момент времени t понимают величину ij (t ) , равную
ij (t )  lim
 ij (t , t  t )
(2.20)
, i j.
t
Таким образом, для малых t можно записать
 ij (t , t  t )  ij (t )t   (t ) .
Для дискретных марковских процессов для малых t вероятности переходов могут быть записаны в виде
(2.21а)
 ij (t , t  t )  ij (t )t   (t ) при i  j ,
 ii (t , t  t )  1  ii (t )t   (t ) .
(2.21б)
t 0
Отсюда следует, что при t  0 система, первоначально находившаяся в
состоянии i, почти наверное останется в этом состоянии, а вероятность перехода в другое состояние будет пропорциональна t .
Из условия нормировки можно записать:
K
  ij (t , t  t ) 
j 1

K

j 1
(i  j )
ij
(t , t  t )   ii (t , t  t ) 
K
 ( t   (t ))  1  
j 1
(i j )
ij
ii
(2.22)
(t )t   (t )  1.
Отсюда следует, что
K
ii (t )    ij (t )  0 .
j 1
(i  j )
Подставив (2.21а), (2.21б) в (2.19), находим
(2.23)
30
K
 ij (t0 , t  t )   ik (t0 , t ) kj (t , t  t ) 
k 1
K

k 1
(k  j )
ik
(t0 , t )kj (t )t   ij (t 0 , t )1   jj t 
.
Отсюда

K

 i j (t0 , t  t )   i j (t0 , t )   i k (t0 , t ) k j (t ) t .
 k 1

Деля последнее уравнение на t и переходя к пределу при t  0 , получим систему прямых уравнений Колмогорова
 i j (t 0 , t ) K
   i k (t 0 , t )k j (t ) .
(2.24)
t
k 1
Система уравнений (2.24) при начальных условиях  i j (t0 , t0 )   i j - (2.18)
дает зависимость вероятности перехода из i в j как функцию времени.
Можно показать, что если число состояний системы конечно (в нашем
случае К), то для любых непрерывных функций kj (t ) , удовлетворяющих условию (2.23), система уравнений (2.24) с начальными условиями (2.18) имеет
единственное неотрицательное решение, которое определяет дискретный марковский процесс.
В уравнении (2.24) фигурирует частная производная, т.к.  ij (t 0 , t ) - это
функция двух переменных. Можно менять начальный момент времени t 0 , а
можно конечный t. Меняя t 0 , получим по аналогии с (2.24) систему обратных
уравнений Колмогорова
 ij (t 0 , t ) K
(2.25)

   kj (t 0 , t )ik (t 0 ) .
t 0
k 1
Системы уравнения (2.24), (2.25) записываются соответственно в матричном виде
ˆ (t 0 , t )
ˆ (t ),
(2.26)
 ˆ (t 0 , t )
t
ˆ (t 0 , t ) ˆ
(2.27)

 (t 0 )ˆ (t 0 , t ) ,
t 0
где
ˆ (t )  ij (t ) .

Умножая обе части (2.24) на Pi (t 0 ) , а затем суммируя по i и, учитывая
K
Pj (t )   Pi (t 0 ) ij (t 0 , t ) ,
i 1
получим
31
Pj (t )
t
K
  Pi (t 0 )ij (t ) ,
(2.28)
i 1
Так как. (2.23)
K
 jj (t )     jk (t ) ,
k 1
(k  j )
то (2.28) можно переписать в следующем виде
K
K
dPj
  Pi (t )ij  Pj (t )   jk (t ) .
dt i 1
k 1
(i j )
(2.29)
(k  j)
В записанном виде уравнению Колмогорова можно придать некий физический смысл. Для этого введем понятие «потока вероятности»
Pi (t )ij – поток вероятности из i-го состояния в j-е.
Тогда скорость изменения вероятности обнаружения системы в j-м состоянии равна сумме потоков вероятностей, переводящих систему в это состояние,
минус сумма потоков вероятностей, выводящих систему из этого состояния.
Определение 8. Скалярный марковский процесс с дискретным пространством состояний называется однородным, если  ij (t 0 , t ) зависит только от разности времен, от величины   t  t 0 .
Предложение 1. Для однородного марковского процесса с дискретным
пространством состояний интенсивности переходов не зависят от времени:
i, j  1, K и i  j ij (t )  const  ij при t T .
Действительно,
 (t , t  t )
 ij (0, t )
ij (t )  lim ij
 lim
 ij (0) .
t 0
t 0
t
t
Так как для однородного марковского процесса  ij (t 0 , t ) зависит только
от   t  t 0 , то имеют место соотношения
 ij (t0 , t )  ij (to , t )   ij (to , t )
,
(2.30)



t

t

 ij (t0 , t )  ij (to , t ) 
 ij (to , t )
.
(2.31)



t0

t0

Теорема 2. Для однородного марковского процесса с дискретным пространством состояний имеем
ˆ ˆ
ˆ
.
(2.32)



t
t 0
Кроме того,
ˆ
ˆ 
ˆ ˆ ,
(2.33)
 ˆ

32
т.е., если процесс однородный, то ˆ и ̂ коммутируют. При этом решение
(2.33) имеет вид
ˆ
ˆ
ˆ ( )  e Iˆ  e ,
(2.34)
где Iˆ  ˆ (0) – единичная матрица, ̂  ij .
Доказательство. (2.32) есть матричная запись (2.30) и (2.31). (2.33) следует из (2.32) ,(2.26), (2.27). Ясно теперь, что (2.34) есть решение (2.33) с начальным условием Iˆ  ˆ (0) .
Определение 9. Множество состояний системы  k  k  1, K называется
эргодическим, если из любого состояния  i можно перейти в состояние  j .
Можно показать, что для эргодического процесса, по истечении достаточно большого промежутка времени  , вероятность того, что система будет
находиться в состоянии  j , не зависит от того, в каком состоянии  i система
находилась в начальный момент времени.
6.2. Типовые дискретные марковские процессы
Пуассоновский процесс
В п.4.3 главы 1 мы рассматривали пуассоновский процесс как частный
случай процесса с независимыми приращениями, который обладает следующими свойствами
1)  (,0)  0 ;
2) n и t k T : t1  t 2  ...  t k , k  1, n случайные величины
 ( , t k 1 )   ( , t k ) являются независимыми;

 (tk 1  tk ) n  (t
e
3) P : ( , t k 1 )   ( , t k )  n  
n!
k 1 tk )
.
Покажем, что этот процесс можно рассматривать и как дискретный марковский процесс.
Пусть нас интересует число появления некоторого случайного события
на полуинтервале t 0 , t  . Понятно, что такое число может быть только целым, и
его значение не может принимать отрицательные значения, т.е.  ij (t 0 , t )  0
при j<i.
Нетрудно убедиться в том, что вероятность появления одного события на
интервале ( t , t  t ) есть  t   (t ) . Кроме того, вероятность сохранения состояния (т.е. отсутствие события на выделенном интервале) есть
1   t   (t ) . Отсюда вероятность появления двух или нескольких событий
на этом интервале есть  (t ) . Другими словами,
 i ,i1 (t , t  t )  t   (t ) ,
33
 ii (t , t  t )  1  t   (t ) .
Зададим начальные условия
1, при i  0;
(2.35)
Pi (t0 )   i 0  
0
,
при
i

N
.

Вычислим вероятность i-го состояния в момент времени t. С этой целью
построим граф состояний


1
0

2
Рис. 2.2. Размеченный граф состояний пуассоновского случайного процесса
и запишем уравнения Колмогорова для описания эволюции вероятностей обнаружения системы в различных доступных состояниях
 dPj
 dt  Pj 1  Pj  , j  N
(2.36)

dP
 0   P .
0
 dt
Решая их последовательно с использованием начальных условий (2.35),
находим
- при j  0 : P0  e   t ,
dP1
- при j  1 :
 P1  e t .
dt
Отсюда


t


 t


P1 (t )  e  C   e e dt   te t .


0

 

t


(2.37)
Аналогичное получаем при j  2 :
Докажем по индукции, что
(  t ) 2  t
P2 (t ) 
e .
2
(t ) k t
Pk (t ) 
e .
k!
Напомним суть метода математической индукции.
(2.38)
34
Если для счетной последовательности утверждений P1 , P2 , P3 , P4 ,... показана справедливость первого - P1 и доказано, что из предположения о справедливости Pn следует справедливость Pn 1 , то все утверждения нашей последовательности верны.
Наше утверждение заключается в том, что число описанных выше событий на временном полуинтервале t 0 , t  распределено по закону Пуассона, т.е.
(t ) k t
e . Для
k!
случаев k  1 и k  2 мы убедились в справедливости утверждения. Докажем
(t ) k 1 t
(t ) k t
e следует Pk 
теперь, что из справедливости Pk 1 
e .
(k  1)!
k!
Воспользуемся соответствующим уравнением Колмогорова из системы
(2.36)
для любого k  N вероятность появления ровно k событий равна
dPk
 Pk  Pk 1 .
dt
Его можно переписать в другом, эквивалентном виде
t
Pk (t )   e  t e  t Pk 1 ( )d .
(2.39)
0
Подставляя в (2.39) выражение для Pk 1 ( ) , которое, в соответствии с алгоритмом метода считается истинным, получаем
Pk (t ) 
k 1
(k  1)!
t
 
0
k 1
d  e
t
(t ) k t

e .
k!
Полученный результат соответствует (2.38), следовательно, согласно методу математической индукции соотношение (2.38) – справедливо.
Определение 10. Марковский процесс называется циклическим, если его
размеченный граф имеет вид
0
1
2
 
k
Рис. 2.3. Размеченный граф состояний циклического процесса
Если при этом процесс однороден, то он называется однородным циклическим процессом.
Процессы рождения и гибели
35
Рассмотрим дискретный процесс, в котором присутствуют как положительные, так и отрицательные скачки (рис.2.4).
Процесс рождения и гибели подчиняется следующим условиям:
1. Если система в момент времени t находилась в состоянии j, то вероятность перехода из j в (j+1) в малом интервале времени t равна  j t   (t ) .
2. Если система в момент времени t находилась в состоянии j, то вероятность перехода из j в (j-1) в малом интервале времени t равна  j t   (t ) .
3. Вероятность перехода в состояние, отличное от двух соседних, на малом интервале t равна  (t ) .
4. Вероятность сохранения прежнего j-го состояния за малый интервал
времени t пропорциональна 1  ( j   j )t   (t ) .
5. Существуют состояния с j=0, т.е.  0 , которое является чисто поглощающим
1
0
2
Рис. 2.4. Размеченный граф состояний процессов рождения и гибели
Уравнения Колмогорова тогда имеют следующий вид
 dP0
 dt   P0 0 ,

 dP1
  P1 (1  1 )  P2  2 ,

dt

 dPj
  Pj ( j   j )  Pj 1 j 1  Pj 1  j 1 ,

 dt
(2.40)
j  1.
Рассмотрим задачу, когда нет левого состояния -  0
12
0
1
2 3
2
 21
3 2
Рис. 2.5. Размеченный граф состояний процессов рождения и гибели
без поглощающего состояния
Тогда
36
 dP1
 dt   P112  P2  21,

 dPj   P (
j
j , j 1   j , j 1 )  Pj 1 j 1, j  Pj 1  j 1, j ,
 dt
(2.41)
j  1.
Рассмотрим стационарный случай, т.е. когда вероятность обнаружить систему в j-м состоянии не меняется во времени
 dP1
 dt  0,

 dPj  0, j  1, N .
 dt
С учетом этого из системы уравнений (2.41) находим
P112  P2  21,
P2 23  P2  21  P112  P3  32 , следовательно P2 23  P3  32
P3 3 4  P3  3 2  P2 2 3  P4  43 , следовательно P334  P4  43
и т.д.
Отсюда нетрудно видеть, что в стационарном случае вероятности обнаружения системы в любых двух соседних допустимых состояниях связаны простыми соотношениями
12

 P2   P1 ,
21

23

 P3   P2 ,
(2.42)
32

...................

k 1,k

P

Pk 1 .
k


k , k 1

Физическая интерпретация полученных результатов: если величины
Pj 1 j 1, j и Pj 1 j 1, j рассматривать как потоки плотности вероятности, то в ста-
ционарном случае Pj  const  в каждом сечении Ci i 1 ( рис.2.6) суммарный
поток (с учетом направлений его составляющих) оказывается равным нулю.
1
2
C12
3
C 23
C 3 4
37
Рис. 2.6. К физической интерпретации характеристик потоков плотности
вероятности в стационарном случае
Перемножив предыдущие равенства (2.42), получим
  ...
Pk  12 23 k 1,k P1 , k  2 .
 2132 ... k ,k 1
Суммируя по k и учитывая, что
N
P
k 1
k
 1 , находим
N  k 1 


j , j 1 
  1 .
P1 1    


 k 2  j 1  j 1, j 
Отсюда нетрудно найти P1 и, соответственно, все Pk .
Контрольные вопросы для самопроверки
1. Что в теории марковских процессов называют плотностью вероятности перехода?
2. Почему систему (2.24) называют системой прямых уравнений?
3. Какой марковский процесс называется однородным?
ˆ (t )  ij (t ) и ˆ коммутируют?
4. В каком случае матрицы 
5. Нарисуйте размеченный граф пуассоновского процесса.
6. Какой процесс называется однородным циклическим процессом?
7. Перечислите свойства, которым подчиняются процессы рождения и
гибели.
8. Какому соотношению удовлетворяют потоки плотности вероятности в
стационарном случае?
Глава 3. Элементы стохастического анализа
Стохастический анализ – это раздел математики, в котором случайные
функции изучаются методами математического анализа с использованием другой метрики.
§7. Сходимость случайных процессов
7.1. Сходимость случайных величин. Виды сходимости
Пусть X – множество всевозможных случайных величин, заданных на
вероятностном пространстве (, A, P) со значениями из некоторого измеримого
38
пространства (  , B) . Нас интересует вопрос сходимости последовательности
случайных величин  n ( ) :  n ( )  X к случайной величине  0 ( )  X . В зависимости от того, как определить близость случайных величин, рассматривают различные типы сходимости. В основу классификации типов сходимости
удобно положить критерий разбиения на классы эквивалентности. Напомним,
что эквивалентные с точки зрения какого-либо критерия случайные величины в
теории вероятностей не различаются.
Наиболее употребляемыми являются 2 способа разбиения на классы эквивалентности.
Определение
1.
Говорят,
что
две
случайные
величины
 ( ) ,  ( )  X относятся к одному классу эквивалентности, если либо
А) P : ( )   ( )  1 , либо
В) P : ( )  b  P : ( )  b, b  B .
В дальнейшем стохастическую эквивалентность мы будем понимать в
смысле А (это более сильное условие, чем В).
Определение 2. Случайные величины  ( ) и  ( ) , заданные на одном
вероятностном пространстве (, A, P) ,называются стохастически эквивалентными, если
P :1 ( )   2 ( )  1 .
С условием А) связаны такие сходимости, как сходимость почти наверное, сходимость по вероятности, сходимость в среднеквадратическом (с.к.
сходимость), а с условием В) – слабая сходимость, сходимость по вариации,
равномерная сходимость.
Определение 3 (сходимость «почти наверное»). Говорят, что последовательность случайных величин  n ( ) , n  1,2... сходится почти наверное к
случайной величине  0 ( ) при n   , если
P : n ( )   0 ( )  1 при n   .
Определение 4 (сходимость по вероятности). Говорят, что последовательность случайных величин  n ( ), n  1,2... сходится по вероятности к случайной величине  0 ( ) при n   , если
  0 P :  n ( )   0 ( )    0 при n   .
Замечание 1. Нетрудно проверить, что если последовательность случайных величин  n ( ) , n  1,2... сходится почти наверное к  0 ( ) , то она сходится
и по вероятности к  0 ( ) , т.е. сходимость «почти наверное» влечет за собой
сходимость по вероятности.
Определение 5 (слабая сходимость). Последовательность распределений Pn (dx ) ( x  R ) случайных величин  n ( ) , n  1,2... называется слабо сходя-
39
щейся к P0 (dx ) случайной величины  0 ( ) и обозначается
 x и x : x  x имеем
x
w
Pn  P0 , если
x
 Px   0  x   P0 (dx) .

x Pn (dx)  Px   n  xn
x
Определение 6 (сходимость по вариации). Говорят, что Pn (dx ) сходится по вариации к P0 (dx ) при n   , если
 ( Pn , P0 )  supPn (a)  P0 (a)  n
 0

aA
7.2. Среднеквадратическая сходимость из группы А
Используемые типы сходимости случайных величин позволяют ввести в
пространстве всевозможных случайных величин X вероятностную метрику  ,
такую, что сходимость последовательности случайных величин эквивалентна
сходимости  ( n , 0 ) n
 0 .

Определение 7. Вероятностной метрикой в
отрицательный функционал  ( x, y) , определенный
распределений Px , y пар случайных величин x, y  X
ми свойствами
1)  ( x, y )  0  P : x  y  1 ;
2)  ( x, y)   ( y, x) ;
3)  ( x, y)   ( x, z )   ( z, y) .
Рассмотрим множество случайных величин  ( )
X называется каждый нена множестве совместных
и обладающий следующи-
(на некотором вероятност-
ном пространстве (, A, P) ), для которых M  ( )   . Это множество случайных величин образует гильбертово пространство H со скалярным произведением, определяемым по формуле
( , )  M    *     ( ) * ( ) P(d ) .
(3.1)
2
Введем норму случайной величины  ( ) по формуле:
 
 ,  

   ()
M  * 
2
P(d ) .
(3.2)
Если взять в качестве случайной величины    ( )   ( ) , то  определяет расстояние между  ( ) и  ( ) в рассматриваемом гильбертовом пространстве. Кроме того,  определяет так называемую среднеквадратическую
метрику (с.к. метрику):
  ,      ( )   ( ) 
  ()   () P(d) .
2
(3.3)
40
Определение 8. Говорят, что последовательность случайных величин
 n ( ) , n  1,2... сходится к  0 ( ) в среднеквадратическом смысле, если
 n ( )   0 ( ) с.к. n
 0 .

Перейдем к рассмотрению сходимости случайных процессов.
Определение 9. Пределом последовательности случайных процессов
 n ( , t ) n  N , t  T (если таковой существует) называется случайный процесс
 0 ( , t )
(3.4)
t1  T  lim  n ( , t1 )   0 ( , t1 )  0 .
n
Определение 10. Пределом случайного процесса  ( , t ) при t  t 0 в
смысле с.к. сходимости называется случайная величина  ( )
(3.5)
lim  ( , t )   ( )  0 .
t t0
Предельный переход t  t 0 можно понимать в смысле Гейне, т.е. рассматривать произвольную последовательность t k , k  N и вводить последовательность случайных величин  k ( )   ( , t k ) . Тогда предел в (1.5) можно записать в виде
lim  ( , t )   ( )  lim  k ( )   ( ) , t k  t0 .
t t0
k 
Теорема 1. Если существует предел скалярного случайного процесса
 ( , t ) при t  t0 , t  T , равный случайной величине  ( ) , то существует
предел скалярной функции M  ( , t ) при t  t 0 , и этот предел равен M  ( ) .
Доказательство.
  0 ,  t k   t 0 нужно доказать, что
 N :n  N  M  (, t n )  M  ( )   .
Имеем
M  ( , tk )  M  ( )  M  ( , tk )   ( ) 
 M  ( , tk )   ( )   1   ( , tk )   ( )  


1,  ( , t k )  ( ) 
Здесь мы применили известное неравенство a, b   a  b .
Напомним, что гильбертово пространство есть полное нормированное
пространство (норма определяется скалярным произведением (3.1)) , т.е. всякая
фундаментальная последовательность случайных величин  n  H имеет в H
предел.
Теорема 2 (необходимое и достаточное условие существования предела для случайного процесса). Скалярный случайный процесс  ( , t ) , t  T
41
имеет предел при t  t 0 тогда и только тогда, когда существуют конечные
пределы
lim M  (, t )  m0 ,
t t0
K t ,   K 0 .
lim
t , t
0
Контрольные вопросы для самопроверки
1. В каком случае говорят, что случайные величины относятся к одному
классу эквивалентности?
2. Какие процессы называются стохастически эквивалентными?
3. Что понимают под термином «вероятностная метрика»?
4. Как вводится среднеквадратическая метрика?
5. Что есть предел последовательности случайных процессов?
6. Что понимают под термином «предел случайного процесса»?
7. Каковы необходимые и достаточные условия существования предела
случайного процесса?
§8. Непрерывность, дифференцируемость и интегрируемость случайных
процессов
8.1. Стохастическая непрерывность случайных процессов
Определение 11. Скалярный случайный процесс второго порядка
2
 ( , t ) , t  T (т.е., M  (, t )   ) называется непрерывным в точке t  t0 , если
существует предел
2
(3.6)
lim M  ( , t )   ( , t0 )  0 .
t t0
Или


 (, t )   (, t0 ) t
 0 ,
t0
т.е. случайный процесс сходится в точке t  t 0 к случайной величине
 ( )   ( , t 0 ) .
Определение 12. Говорят, что скалярный случайный процесс второго порядка  ( , t ) , t  T непрерывен на T , если он непрерывен в каждой точке t  T .
Пример 1. Покажем, что пуассоновский случайный процесс непрерывен.
Покажем его непрерывность в некоторой точке t  t 0  T .
42

M  ( , t )   ( , t 0 )
2
   k P (, t )   (, t )  k    k


2
0
k 1

  (t  t 0 )e  (t t0 )  k
k 1
 (t  t 0 )
k 1
2
[ (t  t 0 )] k  (t t0 )
e

k!
k 1
.
(k  1)!
Для дальнейшего упрощения полученного выражения найдем сумму ряда

 (t  t 0 )k 1
. Для этого проинтегрируем его почленно
k

k 1
(k  1)!

k
k 1


x k 1
xk
xk
dx  
 x   xe x .
(k  1)!
k 1 ( k  1)!
  0 k!
Отсюда
x k 1
d
k
 ( xe x )  xe x  e x  e x ( x  1) .

dx
k 1 ( k  1)!

Таким образом,


M  ( , t )   ( , t 0 )   (t  t 0 )e
2
  ( t t 0 )

k

k 1
 (t  t 0 ) k 1

(k  1)!
  (t  t 0 ) (t  t 0 )  1 t
 0,
t0
и, согласно определению 11, пуассоновский процесс непрерывен в любой точке множества T и, следовательно, согласно определению 12, непрерывен на T .
Теорема 3 (необходимое и достаточное условие непрерывности случайного процесса). Скалярный случайный процесс второго порядка  ( , t )
t  T непрерывен на T тогда и только тогда, когда на T непрерывно его математическое ожидание m (t ) и на диагонали декартового произведения
T  T непрерывна его корреляционная функция K ( , ) .
8.2. Дифференцируемость случайного процесса
Определение 13. Скалярный случайный процесс второго порядка  ( , t )
t  T называется дифференцируемым в точке t  t 0 , если существует такая случайная величина ( , t ) , для которой
0
2
  ( , t )   ( , t )

0

M
  ( , t 0 )   0 .
(3.7)
lim
t  t0
t t0


При этом случайная величина (, t ) называется его производной в этой точке.
43
Определение 14. Если скалярный случайный процесс второго порядка
 ( , t ) t  T является дифференцируемым в каждой точке открытого множества T0  T , то его называют дифференцируемым на множестве T0 .
Теорема 4 (необходимое и достаточное условие дифференцируемости
случайного процесса). Для того, чтобы скалярный случайный процесс второго порядка  ( , t ) t  T был дифференцируемым в точке t 0  T , а для случайной величины (, t ) существовало математическое ожидание и дисперсия,
0
необходимо и достаточно, чтобы функция m (t ) была дифференцируема в
этой точке и существовала вторая обобщенная смешанная производная от
корреляционной функции K  (t1 , t 2 ) при t1  t 2  t 0 .
Следствие 1. Для дифференцируемого на множестве T скалярного случайного процесса второго порядка  ( , t ) t  T с математическим ожиданием m (t ) и корреляционной функцией K  (t1 , t 2 ) определен скалярный случайный
процесс
(, t ) t  T , и при этом, если скалярный случайный процесс
 ( , t )  ( , t ) есть процесс второго порядка, то
d
m (t ) ;
dt
2
2) K (t1 , t 2 ) 
K  (t1 , t 2 ) .
t1t 2
Если к тому же  ( , t ) еще и стационарный процесс, то
1) m (t ) 
1) m (t )  0 ;
2) K (t1 , t 2 )   K  ( ) .
Пример 2. Покажем, что пуассоновский процесс стохастически непрерывен, но не дифференцируем.
Действительно, пусть  ( , t ) t  T = 0,   - пуассоновский случайный
процесс с параметром   0 . Согласно определению, пуассоновского процесса
t , t1 , t 2 : 0  t1  t  t 2   имеет место независимость случайных величин
 ( , t )   ( , t1 ) и  ( , t 2 )   ( , t ) , которые распределены по Пуассону с параметрами  (t  t1 ) и  (t 2  t ) соответственно.
Если существует предел (3.7), а пространство полное, то по критерию
Коши последовательность фундаментальна, если и только если она сходится.
Проверим, является ли последовательность фундаментальной, т.е. выполняется
ли условие
44
  ( , t )   ( , t )  ( , t )   ( , t ) 2 
1
2
  0.
M

(3.8)
lim
t

t
t

t
t1 ,t 2 t


1
2
Возводя разность дробей в квадрат (3.8), можно переписать в виде суммы трех
пределов. Учитывая, что t1  t  t 2 , а пуассоновский процесс – процесс с независимыми приращениями, математическое ожидание от произведения дробей
(случайных величин, пропорциональных приращениям случайного процесса на
непересекающихся временных интервалах) в (3.8) «разваливается» на произведение соответствующих средних величин, которое, как нетрудно видеть, равно
 2 2 . Два оставшихся члена однотипны, и могут быть вычислены достаточно
просто

  ( , t )   ( , t ) 2 
1
2
1

M
M  ( , t )   ( , t1 )
2
t  t1

 (t  t1 )
Учитывая, что
 

D   M  2  M   ,
2
находим


  ( , t )   ( , t ) 2 
1
2
1

M
M  ( , t )   ( , t1 )
2
t

t

 (t  t1 )
1


1

2


D ( , t )   ( , t1 )   M  ( , t )   ( , t1 )  
 2  ,
2  
 

  (t  t1 )
(t  t1 )
 ( t t1 )


2 ( t t1 ) 2
Суммируя все сказанное, приходим к следующему выражению для математического ожидания в левой части (3.8)
  ( , t )   ( , t )  ( , t )   ( , t ) 2 
 
 
1
2
  lim 
M


 
lim
t  t1
t2  t
t1 ,t 2 t

 t1 ,t2 t  t  t1  t2  t 
Следовательно, можно выбрать последовательность с t1n   t и t 2n   t не являющуюся фундаментальной. Тогда, согласно критерию Коши, предела (3.8) не
существует, и следовательно, процесс не дифференцируем.
8.3. Интегрируемость случайного процесса
Определение 15. Скалярный случайный процесс второго порядка  ( , t )
t  T =[a,b] называется интегрируемым на T с весом  (t , t ) , где  (t , t ) - неслучайная (регулярная) функция, определенная на декартовом произведении T  T ,
45
если существует скалярный случайный процесс  (, t ) :   0   ( )  0 :
разбиения T ' , диаметр которого d   ( ) , и  выборки ti  i  1, n выполняется
условие
n
 (t , ti ) (, ti )   (, t )
2
 ,
(3.9)
i 1
или, что то же самое, если
2
 n

M   (t , ti ) ( , ti )   ( , t )    .
 i 1

При этом случайную функцию  (, t ) обозначают как
 ( , t )    (t , t ) ( , t )dt  t  T .
(3.10)
T
Теорема 5 (необходимое и достаточное условие интегрируемости случайного процесса). Скалярный случайный процесс второго порядка  ( , t )
t  T интегрируем на множестве T с весом  (t , t ) тогда и только тогда, когда
интегрируемо с весом  (t , t ) его математическое ожидание и на декартовом
произведении T  T с весом  (t , t1 ) (t , t 2 ) интегрируема его корреляционная
функция.
Следствие 1. Если  ( , t ) , t  T =[a,b] с весом  (t , t ) интегрируемый на
T скалярный случайный процесс второго порядка, и
 ( , t )    (t , t ) ( , t )dt  , t  T ,
T
то
m (t )    (t , t )m (t )dt  ,
T
K (t1 , t 2 ) 
  (t1 , t1 ) (t 2 , t 2 ) K  (t1 , t 2 )dt1dt 2 ,
T T
D( ) 
  (t , t1 ) (t , t 2 ) K  (t1 , t 2 )dt1dt 2 .
T T
Следствие 2. Если  (, t ) , t  T - скалярный случайный процесс, представляемый в виде
t
 ( , t )    ( , t )dt  ,
a
где  ( , t ) - интегрируемый случайный процесс второго порядка, то  (, t ) дифференцируемый процесс на множестве T, и при этом  ( , t )   ( , t ) .
46
Следствие 3. Если скалярный случайный процесс второго порядка
 ( , t ) , t  T интегрируем на множестве T с весом  (t , t ) , то взаимная корреляционная функция имеет вид
K  (t1 , t 2 )    (t 2 , t  ) K  (t1 , t  )dt  ,
T
причем
 ( , t )    (t , t ) ( , t )dt , t  T .
T
Вывод (из пунктов 2.1 - 2.3): линейные операторы умножения на неслучайную функцию, дифференцирование и интегрирование с весом коммутируют
(перестановочны) с оператором математического ожидания.
8.4. Эргодичность случайных процессов
Определение 16.
Скалярный случайный процесс второго порядка
1
 ( , t ) , t  T =[0,l], интегрируемый на множестве T с весом  (t , t ) = и облаl
дающий постоянным математическим ожиданием, называют эргодическим по
отношению к математическому ожиданию m , если справедливо
1l
 ( , t )dt  m
lim

l
l 
0
,
(3.11)
т.е., если
1l
 ( , t )dt  m l
 0 .

l 0
(3.11а)
Эргодические процессы играют большую роль в различных приложениях.
Фактически соотношения (3.11), (3.11а) означают, что среднее во времени для
l
1
таких процессов - lim   (, t )dt
l  l 0
равно среднему по ансамблю реализаций - m .
Т.е., для нахождения среднего достаточно продолжительного наблюдения за одной реализацией случайного процесса, что бывает удобно при различного рода
экспериментальных исследованиях.
Теорема 6 (критерий интегрируемости с весом скалярного случайного процесса). Пусть  ( , t ) t  T =[0,l] - скалярный случайный процесс второго порядка, интегрируемый на множестве T с весом  (t ) , где  (t ) - неслучайная функция, определенная на T. Тогда
47


1l
 ( , t )  m (t )  (t )dt  0 ,
lim

l
l 
0
если и только если существует и равен нулю предел
l
l
0
0
lim
 dt1  dt2  (t1 )  (t 2 ) K  (t1 , t 2 )  0 .
l 
1
Следствие. Пусть в условии теоремы  (t ) = , m (t )  const , тогда неl
обходимым и достаточным условием эргодичности случайного процесса в отношении m (t ) является
l
l
1
dt1  dt 2 K  (t1 , t 2 )  0 .
lim
2 
l  l 0
0
Контрольные вопросы для самопроверки
1. Какие процессы называются стохастически непрерывными?
2. Должны ли стохастически непрерывные процессы иметь непрерывные
реализации? Приведите пример.
3. Сформулируйте необходимое и достаточное условие стохастической
непрерывности случайного процесса.
4. Какие случайные процессы называются дифференцируемыми?
5. Сформулируйте необходимое и достаточное условие дифференцируемости случайного процесса.
6. Чему равно математическое ожидание производной стационарного
случайного процесса?
7. Где в доказательстве недифференцируемости пуассоновского процесса
используется то, что он является процессом с независимыми приращениями?
8. Сформулируйте критерий Коши. Какая последовательность случайных
величин является фундаментальной?
9. Какой случайный процесс называется интегрируемым с весом?
10. Верно ли, что оператор математического ожидания коммутирует с
оператором интегрирования с весом?
11. Какие случайные процессы называются эргодическими по отношению к математическому ожиданию?
12.
Сформулируйте необходимое и достаточное условие эргодичности
случайного процесса.
48
§9. Стохастическая мера и стохастический интеграл
9.1. Стохастическая мера
Определение 17. Пусть T – конечный или бесконечный отрезок действительной прямой и на его полуинтервалах вида   s, t  задана случайная функция  ( , ) со значениями в гильбертовом пространстве H случайных величин

 : M  ( )
2
  . И пусть далее  (, ) обладает следующими свойствами:
1) для двух непересекающихся полуинтервалов 1 и  2 случайные величины  (  1 ) и  ( 2 ) ортогональны, т.е. ( (  1 ) , ( 2 ) )=0 или


M  (1 )   ( 2 )  0 ;
2)
 (1   2 )   ()   (1 )   ( 2 ), где 1   2  ,   1   2 (дизъюнктивное объединение);
2
3)  ()    t  s .
Обобщим соотношение в 3). Рассмотрим
  1   2  ...   N (  i   j  Ǿ i  j ).


 ()   (), ()     ( k ),  ( p )  
2

k

p
   ( k ), ( p )     ( k )  kp    ( k ) 
2
k,p
N
2
k 1
k,p
N
   k   dt.
k 1

Отсюда

 (dt)  M  (dt)
2
2
  dt .
Введем теперь понятие стохастического интеграла от неслучайной
функции  (t ) по стохастической мере. Мы определим этот интеграл как предел последовательности интегралов от кусочно-постоянных функций  n t  ,
аппроксимирующих  (t ) , показав перед этим, что такие интегралы существуют.
1) Пусть  (t ) - вещественная кусочно-постоянная функция (т.е.  (t )  y k
при t   k ). Определим интеграл от кусочно-постоянной функции как
стохастическую сумму
(3.12)
  (t ) (dt)   yk ( k ) .
k
T
Тогда квадрат нормы такого интеграла равен обычному риманову интегралу
49
2
  (t ) (dt)
T


2
2
   y k ( k ), y p ( p )    y k2  ( k )    (t ) dt

 T
p
 k
 k,p 

(3.13)
k
Попутно заметим, что


  1 (t ) (dt),   2 (t ) (dt)    1 (t )   2 (t )dt .


T
 T
T
Отметим, что все вышесказанное верно и для случая комплексной функции
 (t ) . Если функция комплексная, то нужно лишь использовать комплексное
сопряжение.
2) Определим теперь такой же интеграл для произвольной неслучайной
функции  (t )  L2 на T, (  2 (t ) интегрируема на T), допускающей аппроксимацию кусочно-непрерывными функциями  n (t ) n
 (t )

2

(3.14)
  n (t )   (t ) dt n
0 .
T
Если выполняется (3.14), то согласно критерию Коши последовательность
 n (t ) фундаментальна, и имеет место предел
2


  n (t )   m (t ) dt n,m
0 .
T


Рассмотрим теперь последовательность интегралов   n (t ) (dt) . ДокаT

жем, что эта последовательность имеет предел. Для этого покажем, что это последовательность фундаментальна. Имеем
2
2
  n (t ) (dt)    m (t ) (dt)    n (t )   m (t ) (dt) 
T
T
T
   n (t )   m (dt)2 dt n,m


0.
T


Следовательно,   n (t ) (dt) действительно фундаментальная последовательT

ность. Но тогда, согласно критерию Коши, она имеет предел.
Определение 18. Стохастическим интегралом от неслучайной функции
по стохастической мере   (t ) (dt) будем называть предел
T
(3.15)
  (t ) (dt)  lim  (t k ) ( k ) ,
T
k 
 0
k
50
где  - диаметр разбиения –   max    .
 k
9.2. Стохастический интеграл Ито и стохастический дифференциал
Распространим понятие стохастического интеграла (3.15) на случай случайной функции
(3.16)
 (t )   (, t ),   , t T .
Кроме того, стохастическую меру  ( , ) будем выбирать так, чтобы выполнялось условие
M  ( , )  0 .
(3.17)
1) Введем случайную кусочно-постоянную функцию на полуинтервалах  k :
 ( , t )   ( ) , t    T .
(3.18)
k
k
Тогда определим для функций (3.18) стохастический интеграл как сумму
  ( , t ) ( , dt)  k  k ( ) ( ,  k ) .
(3.19)
T
2) Рассмотрим случайную функцию  ( , t ) , которая может быть аппроксимирована последовательностью  k ( , t ) кусочно-постоянных функций.
Для таких функций имеем
  (, t )   n (, t )
2
dt n
 0    n (, t )   m (, t ) dt n
 0 .


2
T
T


Рассмотрим некоторую последовательность интегралов   n ( , t ) ( , dt) .
T

Для нее справедливо:
2
  n (, t ) (, dt)    m (, t ) (, dt)
T
n

 0 .
, m 
T
Действительно, по аналогии с (3.13) можно показать, что
  n   m  (dt)
T
2
   n   m dt n

0 .
,m
2
T
Следовательно, рассмотренная последовательность интегралов фундаментальна, и значит, согласно стохастическому критерию Коши, имеет предел.
Этот предел и называется стохастическим интегралом от случайной
функции по стохастической мере с ортогональными значениями
T
(3.20)
  (t ) (dt)  lim   n ( , t ) ( , dt) .
T
n0
51
Пусть стохастическая мера определена соотношением
 ( k )  w(t k )  w(t k 1 ) ,
(3.21)
т.е. равна приращению винеровского процесса. Если в (3.20) заменить  (dt) на
dw(t ) , то интеграл в (3.20) будет называться стохастическим интегралом от
случайной функции по винеровскому процессу.
Стохастические интегралы Ито и Стратоновича
Рассмотрим стохастический интеграл, образованной суммой вида
t
n
 w(s), sdw(s)  lim w(t k 1 ), t k 1  w(t k )  w(t k 1 ),
(3.22)
n k 1
t0
где значение подынтегральной функции берется на левом конце интервала разбиения, а w(t ) - стандартный винеровский процесс. Такой интеграл будем
называть интегралом Ито. Отметим, что в отличии от стохастических интегралов от неслучайной функции, рассмотренных нами в п.9.1, значение стохастического интеграла от случайной функции зависит от выбора выборки: если
брать значения функции  на левом или правом краях полуинтервала  , то
k
соответствующие значения интегралов будут разными.
В качестве альтернативы интегралу Ито наиболее часто рассматривают
интеграл Стратоновича, определяемый по формуле:
n
 w(t )  w(t ) t  t 



w
(
s
),
s
dw
(
s
)

   k 2 k 1 , k 2 k 1   w(t k )  w(t k 1 ) (3.23)
lim


n k 1 
t0
Удобство интеграла Стратоновича заключается в том, что с ним можно
обращаться как с обычным римановым интегралом: интегрировать по частям,
дифференцировать по параметру и т.д.
Можно показать [4], что стохастический интеграл от винеровского процесса, вычисленный по Ито и Стратоновичу принимает следующие значения
t
t
1
2
1
2
1
 w(s)dw(s)  2 w (s)  2 t
(для интеграла Ито),
0
t
 w(s)dw(s)  2 w (s)
(для интегралаСтратонович).
0
Мы будем использовать обозначения: dw(s) для дифференциала в интеграле
Ито и d*w(s) для дифференциала в интеграле Стратоновича.
52
Стохастический дифференциал и его связь с задачей об эволюции состояния динамической системы при случайных внешних воздействиях
Эволюцию состояния детерминированной
динамической системы при за
данных внешних воздействиях f обычно описывают в виде задачи Коши для

вектора состояния X , компонентами которого являются изменяющиеся во
времени параметры системы:

 
X  f X ,t
(3.24)


X 0  X
0
В реальных задачах часто не удается с достаточной степенью точности
описать внешние воздействия. Отклонения реальных воздействий от их модельных значений задают в виде случайной функции – шума nt  , записывая
динамическое уравнение (3.24) в виде

 

(3.25)
X  f X , t  n(t ) .
Далее обращаются к моделям шумов. Наибольшее распространение (далее станет понятно почему) получила модель белого шума – случайного процесса, интеграл по интервалу времени для компонент которого определяется приращением винеровского процесса
 
 
t1t
 n( ) d  w(t1  t )  w(t1 ) .
(3.26)
t1
Объединяя (3.25) и (3.26), длямалых t получаем



dX  f ( X , t ) dt  d w
(3.27)
Полученное уравнение называют стохастическим дифференциальным
уравнением или стохастическим дифференциалом.
Определение 19. Говорят, что случайная функция  ( , t ), t  t 0 имеет
стохастический дифференциал и пишут
d ( , t )   ( , t )dt   w( , t ), t dw( , t ) ,
(3.28)
если  (, t ) представима в виде
t
t
t0
t0
 ( , t )    ( , )d    w( , ), dw( , ) .
9.3. Спектральное представление стационарных случайных процессов
Будем рассматривать стационарные в широком смысле процессы, допускающие интегральное (спектральное) представление вида

 (t )   e it g ( ) (d )    t   ,

(3. 29)
53
где  (d ) - стандартная стохастическая мера с ортогональными значениями на
прямой       и

M  (d )  0 , M  (d )
2
  d .
(3.30)
Неслучайная функция g ( ) удовлетворяет условиям

 g ( )
2
d  

Таким образом, (3.29) – стохастический интеграл, представляющий собой сумму гармоник eit , взятых с неслучайным весом g ( ) . Стохастику же  (t ) порождает стохастическая мера  (d ) .
S ( )  g ( ) - регулярная функция параметра  получила название
спектральной плотности случайного процесса  (t ) .
Если

M [ (t )]   eit g ( )M [ (d )]  0 ,

т.е.  (t ) - центрированный случайный процесс, тогда
2

M [ (t1 )   (t 2 )]  R (t1 , t 2 )  K  (t1 , t 2 )  K  (t 2  t1 ) 

e

i ( t 2 t1 )
g ( ) d .

2
S ( )
Последнее равенство получено с помощью (3.29),(3.30), и представляет
собой комплексное преобразование Фурье для спектральной плотности случайного процесса  (t ) . Другими словами, корреляционная функция и спектральная
плотность процесса связаны друг с другом преобразованием Фурье

K  ( )   e i S ( )d ,

1
S ( ) 
2

e
(3.31)
i
K  ( )d .

Если случайный процесс вещественный, то K  ( )  K  ( ) и
S ( ) 
1

 cos( ) K  ( )d .
(3.31а)
0
Формулы (3.30) и (3.31а) отражают содержание теоремы Винера-Хинчина, связывающей корреляционную функцию со спектром.
54
9.4. Стохастические дифференциальные уравнения и уравнение Колмогорова для марковских процессов с непрерывным пространством состояний
Рассмотрим случайный процесс  (t ) такой, что:
d  A( , t )dt  B( , t )dw(t ) .
(3.32)
Здесь A( , t ) и B( , t ) - некоторые известные функции, обладающие рядом перечисленных ниже свойств. Сформулируем без доказательства важную теорему,
описывающую свойства процесса  (t ) .
Теорема 7 (Дуба). Пусть функции A( , t ) и B( , t ) измеримы и удовлетворяют локальному условию Липшица, т.е.
c  0 lc  0 : x  c, y  c, t  c
имеем A( x, t )  A( y, t )  B( x, t )  B( y, t )  lc x  y .
Тогда решение (3.32) с начальным условием  (0)   0 единственно с точностью до стохастической эквивалентности.
При этом:
1)  (t ) непрерывна почти наверное,
2)  (t ) - марковский случайный процесс,
3) если A( , t ) и B( , t ) непрерывны по t, то  (t ) - диффузионный процесс.
Диффузионный процесс – непрерывный марковский процесс с переходной плотностью вероятности, удовлетворяющей следующим условиям: существуют функции a( x, t ) и b( x, t ) , называемые соответственно коэффициентами
сноса и диффузии, такие, что для любого   0 выполняются соотношения







 y  x   x, t y, t  t dy  0(t )
 y  x   y  x    x, t y, t  t dy  a( x, t )  0(t )
2
 y  x   y  x    x, t y, t  t dy  b( x, t )  0(t )
Важнейшим представителем этого класса процессов является процесс
броуновского движения, впервые рассмотренный как математическая модель
процессов диффузии, и определивший название всего класса.
Для всякого диффузионного марковского процесса с непрерывным пространством состояний можно построить уравнение Колмогорова – Фоккера –
Планка подобно тому, как это делалось для процессов с дискретным спектром.
55
Т.е. для переходной вероятности имеет место дифференциальное уравнение
 ( x, t | x0 t 0 )

1 2
b( x, t ) ( x, t | x0t0 )
  a( x, t ) ( x, t | x0 t 0 ) 
t
x
2 x 2
Если известно P ( x0 ) , то, используя очевидное соотношение

P ( x, t )    ( x, t | x0t 0 ) P( x0 )dx0 ,

можно перейти к уравнению Колмогорова – Фоккера – Планка для плотности
вероятности обнаружения процесса в состоянии x
P( x, t )

1 2
b( x, t ) P( x, t ) .
  a( x, t ) P( x, t ) 
t
x
2 x 2
(3.33)
Таким образом, в ряде случаев, описываемых теоремой 7, мы можем
получить информацию (безусловно, не всю) о свойствах решения стохастического дифференциального уравнения (3.32), решая более простую задачу, связанную с решением дифференциального уравнения второго порядка в частных
производных.
Контрольные вопросы для самопроверки
1. Перечислите свойства, которыми обладает стохастическая мера.
2. Как вводится стохастический интеграл от неслучайной функции по
стохастической мере?
3. Как вводят стохастическую меру для интеграла Ито?
4. Чем стохастический интеграл Стратоновича отличается от интеграла
Ито?
5. Что представляет собой стохастический дифференциал?
6. Как выглядит спектральное представление случайного процесса?
7. Что называют спектральной плотностью случайного процесса?
8. Сформулируйте содержание теоремы Винера-Хинчина.
9. Какой случайный процесс называют диффузным?
10. Сформулируйте основные результаты теоремы Дуба.
11. Запишите уравнение Колмогорова – Фоккера – Планка для переходной вероятности.
12. Проделайте переход к уравнению Колмогорова – Фоккера – Планка
для плотности вероятности обнаружения процесса в заданном состоянии.
56
Литература
1. Боровков А.А. Теория вероятностей. - М.: Наука, 1986.
2. Булинский А.В., А.Н. Ширяев А.Н. Теория случайных процессов. - М.: Физматлит: Лаборатория базовых знаний, 2003.
3. Вентцель А.Д. Курс теории случайных процессов. - М.: Физматлит, 1975.
4. Волков И.К. ,Зуев С.М. , Цветкова Г.М. Теория случайных процессов. - М.:
МГТУ им.Н.Э. Баумана, 1999.
5. Гихман И.И., Скороход А.В. Введение в теорию случайных процессов. М.: Наука, 1965.
6. Гнеденко Б.В. Курс теории вероятностей. - М.: Наука, 1969.
7. Карлин С. Основы теории случайных процессов. - М.: МИР, 1971.
8. Кемени Джон Дж., Снелл Дж. Лори. Конечные цепи Маркова. - М.: Наука,
1964.
9. Кокс Д.Р., Смит В.Л. Теория восстановления. - М.: Сов. радио, 1967.
10. Миллер Б.М., Панков А.Р. Теория случайных процессов в примерах и задачах. - М.: Физматлит, 2002.
11. Пугачев В.С. Теория случайных функций. - М.: Физматлит, 1962.
12. Розанов Ю.А. Теория вероятностей, случайные процессы и математическая
статистика. - М.: Наука, 1989.
13. Розанов Ю.А. Случайные процессы. Краткий курс. - М.: Наука, 1971.
14. Чжун Кай-лай. Однородные цепи Маркова. - М.: Мир, 1964.
57
Оглавление
Глава 1 Основные понятия и определения……………………………...
3
§1. Основные понятия теории вероятностей…………………….
3
1.1 Вероятностное пространство……………………………
3
1.2 Аксиоматическое определение вероятности
(аксиоматика Колмогорова)……………………………..
4
1.3 Случайные величины…………………………………….
5
Контрольные вопросы для самопроверки………………
6
§2. Случайные функции и случайные процессы…………………
7
2.1 Определение случайного процесса………………………
7
2.2 Предварительная классификация случайных процессов.. .7
2.3 Способы задания, описания случайных процессов……..
8
2.4 Стохастически эквивалентные случайные процессы…..
10
2.5 Элементарные случайные процессы…………………….
10
Контрольные вопросы для самопроверки………………
12
§3. Числовые характеристики случайного процесса…………….
12
3.1 Математическое ожидание и дисперсия случайного
процесса……………………………………………………
12
3.2 Корреляционная функция случайного процесса………..
14
Контрольные вопросы для самопроверки……………….
16
§4. Основные классы случайных процессов………………………
17
4.1 Стационарные случайные процессы……………………
17
4.2 Гауссовы (нормальные) случайные процессы………….
18
4.3 Процессы с независимыми приращениями…………….
20
4.4 Марковские случайные процессы………………………
22
Контрольные вопросы для самопроверки………………
23
Глава 2 Марковские процессы с дискретным пространством
состояний…………………………………………………………….
23
58
§5. Цепи Маркова…………………………………………………...
23
5.1 Определение цепи Маркова………………………………
23
5.2 Уравнение Маркова………………………………………
24
Контрольные вопросы для самопроверки……………….
28
§6. Дискретные марковские процессы……………………………
28
6.1 Уравнение Колмогорова для дискретных марковских
процессов………………………………………………….
28
6.2 Типовые дискретные марковские процессы…………….
32
Контрольные вопросы для самопроверки……………….
37
Глава 3 Элементы стохастического анализа……………………………… 37
§7. Сходимость случайных процессов…………………………….
38
7.1 Сходимость случайных величин. Виды сходимости…..
38
7.2 Среднеквадратическая сходимость из группы А………..
39
Контрольные вопросы для самопроверки………………
41
§8. Непрерывность, дифференцируемость и интегрируемость 41
случайных процессов…………………………………………..
8.1 Стохастическая непрерывность случайных процессов…
41
8.2 Дифференцируемость случайного процесса……………
42
8.3 Интегрируемость случайного процесса…………………
44
8.4 Эргодичность случайных процессов……………………..
46
Контрольные вопросы для самопроверки……………….
47
§9. Стохастическая мера и стохастический интеграл……………
48
9.1 Стохастическая мера……………………………………..
48
9.2 Стохастический интеграл Ито и стохастический диффе- 50
ренциал………………………………………………
9.3 Спектральное представление стационарных случайных 52
процессов………………………………………………….
9.4 Стохастические дифференциальные уравнения и урав-
59
нения Колмогорова для марковских процессов с непрерывным пространством состояний………………………
54
Контрольные вопросы для самопроверки………………
55
Литература………………………………………………………………………
56