VMIO - Кафедра анализа данных и исследования операций

Казанский Государственный Университет
Кафедра экономической кибернетики
Миссаров М.Д.
Учебное пособие
«Вероятностные модели в исследовании операций»
2006г.
Предисловие
Основная часть материала, изложенного в этом пособии,
читается в рамках курса «Теория риска и моделирование
рисковых
ситуаций», предназначенного для
студентов
специальности «Математические методы в экономике». В
различных экономико-математических и финансовых теориях
слово риск употребляется в разных смыслах. Одно из основных
употреблений этого слова возникает в теории принятия решений
в условиях риска. Мы решаем такие задачи, когда нам
приходится оптимизировать или сравнивать между собой
экономические или технические системы, на функционирование
которых влияют внутренние и внешние случайные факторы.
Вероятностные модели исследования операций являются
основными поставщиками примеров таких систем. В моделях
финансовой математики слово риск имеет другой смысл и чаще
всего понимается просто как дисперсия или стандартное
отклонение доходности пакета каких-либо финансовых активов.
Такие модели также обсуждаются в курсе по теории риска, но им
будет посвящено другое пособие.
Основной критерий отбора материала состоял в том, чтобы он
был доступен всем студентам, прослушавшим элементарный
курс высшей математики и теории вероятностей для технических
и
экономических
специальностей.
Я
также
пытался
минимизировать
расстояние
между
математическими
определениями и содержательными примерами. Теория
вероятностей наряду с математическим анализом и линейной
алгеброй входит в «золотое ядро» математики и по праву
читается студентам самых разных специальностей. Но из-за
нехватки времени студенты не получают представления о
приложениях теории вероятностей в физике, или, например, в
исследовании операций. Поэтому это пособие будет полезно и
студентам-математикам в рамках курса « Дополнительные главы
теории вероятностей».
Математическую основу курса составляет теория марковских
цепей, изложенная в главе третьей. При этом я обсуждаю только
те аспекты теории, которые непосредственно используются в
элементарных моделях систем массового обслуживания или
марковской теории принятия решений. Например, вопросы
классификации марковских цепей не рассматриваются. Седьмая
глава посвящена вопросам статистического моделирования. В
ней, в частности, обсуждается актуальный в современной
прикладной математике метод моделирования сложных
распределений, использующий марковские цепи ( теория Monte
Carlo Markov Chain). Другим актуальным направлением в
современной науке является стохастическое программирование.
Простейшие примеры из этой темы приводятся в главе первой.
В заключение хочу сказать, что большую помощь в
подготовке этого текста мне оказала Миссарова Ф.Р., за что я
выражаю ей свою благодарность
1. Принятие решений в условиях неопределенности и в
условиях риска
Принятие решений в условиях неопределенности
Условно можно разделить задачи принятия решений в
исследовании операций на три группы: принятие решений в условиях
определенности, в условиях неопределенности и в условиях риска.
Первая группа задач является самой богатой, ей посвящено огромное
количество книг и мы не будем ее обсуждать. В простейшей форме эти
задачи представляются в следующем виде: есть некоторое множество,
имеется конкретная функция или функционал на этом множестве и
надо найти максимум или минимум этой функции. В частности, одним
из основных достижений математического анализа является то, что он
дал методы решения важного класса таких задач. Линейное и
нелинейное программирование, комбинаторика и целочисленная
оптимизация, оптимальное управление  вот те разделы исследования
операций, в которых решаются различные задачи принятия решений в
условиях определенности. Задачи принятия решений в условиях
неопределенности образуют самый «бедный» класс задач и мы обсудим
их также целиком в этом разделе. Вся остальная часть пособия будет в
той или иной степени посвящена задачам принятия решений в условиях
риска.
В самой общей форме задача принятия решения в условиях
неопределенности ставится следующим образом. Задано некоторое
множество
  {1 , 2 ,, n } состояний «природы» («среды»), а у
лица, принимающего решения (ЛПР), имеется некоторый набор
действий (решений) A  {a1 ,, a m } . Кроме того, есть отображение
L : A   R ,
L ( a,  )
называемое функцией потерь (или выигрышей). Число
интерпретируется как потери (выигрыш) ЛПР в случае, когда он
принял решение a , а состояние «природы» оказалось равным  .
Естественно, что ЛПР заранее не знает состояния «природы». В свою
очередь «природа» не настроена злонамеренно по отношению к ЛПР и
не интересуется тем, какое решение оно (ЛПР) приняло. Заметим, что
случай, когда вместо «природы» выступает разумный противник,
имеющий свом собственные интересы, обычно изучается в курсе
теории игр. Удобно записывать набор значений L(a, ), a  A,   A
в виде матрицы размера m n , которую называют матрицей потерь
(выигрышей). Задачей ЛПР является выбор «хорошего» решения.
Понятно, что в общем случае ситуация очень неопределенная и трудно
рассчитывать на то, что математика даст однозначные рекомендации.
Тем не менее есть несколько критериев, носящих имена знаменитых
математиков.
Рассмотрим следующий пример. У вас есть деньги, которые вы
можете вложить в строительство гостиницы в курортной местности:
a1  в пункте A ,
a 2  в пункте B ,
a 3  в пункте C .
Ходят слухи о том, что в пункте A могут построить экологически
вредное предприятие, а также о том, что в пункте C построят
горнолыжный курорт. Обозначим возможные состояния среды как
1  ничего не изменится,
 2  в пункте A построят предприятие,
 3  в пункте C построят горнолыжный курорт.
Матрица возможных доходов (в рублях) оценивается следующим
образом:
1
a1
a2
a3
3
2
300000
160000
70000
130000
480000
90000
-60000
70000
600000
1. Критерий Максимина. Этот критерий называют еще
критерием Вальда, а также критерием пессимиста.
ЛПР считает, что «природа» построена против него и при любых
его решениях она выбирает состояние, приносящее наименьший
доход. Поэтому процедура принятия решения по этому критерию
состоит из двух шагов:
Шаг 1. Для каждого действия найти состояние среды, приносящее
наименьший доход.
Шаг 2. Выбрать такое действие, при котором соответствующий
ему наименьший доход максимален.
Другими словами, мы должны найти
a opt  arg max min L(a, ) .
a

Для нашего примера действию a1 соответствует наименьший доход
70000 (при состоянии  3 ), действию a 2  90000 (при состоянии
 2 ), действию
a 3  (-600000)
(при состоянии
1 ). Значит,
максимальный критерий рекомендует выбрать решение a 2 .
Если L(a,  ) является функцией потерь, то критерий называется
минимаксным. В этом случае надо найти
aopt  arg min max L(a, ) .

a
2. Критерий оптимиста. По-видимому, этот критерий самый
глупый, поскольку не является именным. Оптимист считает, что
«природа» благоприятствует ему и поэтому в каждой строке матрицы
ищет наибольший доход, и выбирает решение
a opt  arg max max L(a,  ) .
a

В нашем примере это решение равно a 3 .
3. Критерий Лапласа. Человек, пользующийся этим критерием,
считает, что поскольку вероятности возможных состояний 1 ,,  n
не известны, то все состояния равномерны и поэтому равновероятны.
1
, находим среднее значение
n
(математическое ожидание) дохода для каждого из решений a1 ,, a n .
Считая, что
p(1 )    p( n ) 
Выбирается то решение, для которого средний доход максимален:
1

aopt  arg max   L(a, )  .
a
n 

В нашем примере критерий Лапласа дает ответ a 2 .
4. Критерий Сэвиджа. Предположим, что ЛПР стало известно,
каким будет состояние «природы». Тогда ЛПР может найти
максимально возможный доход, а также вычислить для каждого
решения недополученный доход. Возникает целая матрица
недополученных доходов
r (a, )  max L(b, )  L(a, ) ,
b
L ( a,  )
которая называется матрицей сожаления. Если
матрицей потерь, то матрица сожаления определяется как
является
r (a, )  L(a, )  min L(b, )
b
и имеет смысл матрицы лишних потерь (лишних по сравнению с
наименьшими потерями). В любом случае матрица сожаления по
смыслу является матрицей потерь. Далее мы применяем к матрице
r ( a,  ) минимаксный критерий Вальда. Оптимальное
сожаления
решение определяется как
aopt  arg min max r (a, ) .
a

В нашем примере матрица сожаления выглядит так:
a1
a2
a3
1
2
3
0
320000
530 000
170000
0
360000
510000
410000
0
.
Оптимальное решение равно a 3 .
С точки зрения психологии критерий Сэвиджа кажется разумным.
Осознание недополученной выгоды или чувство зависти к соседу,
ничем от вас не отличающемуся, но угадавшему выигрышное решение,
может служить сильным раздражителем.
5. Критерий Гурвица. Пусть L(a,  )  матрица выигрышей.
Если оптимист выбирает решение, максимизирующее (по
a)
max L(a,  ) , а пессимист пытается максимизировать min L(a,  ) ,


то критерий Гурвица предлагает максимизировать взвешенную сумму
этих величин:
max  max L(a, )  (1   ) min L(a, ) .
Выбор

a




отражает субъективную склонность ЛПР к оптимизму,
0    1. Например, если  
1
, то в примере с гостиницами этот
2
критерий дает решение a 2 .
Мы видим, что разные критерии дают разные ответы. Хотя
решение a1 не встретилось ни разу, легко построить матрицу
выигрышей, для которой критерии дают все три различные варианты
решений.
Принятие решений в условиях риска
При постановке задачи принятия решения в условиях
неопределенности заранее известно множество всех возможных
действий A , множество состояний «природы» («среды»)  и
функция выигрышей (потерь) L(a,  ) . Если кроме этого имеется
информация о вероятностях всех состояний природы p( ),    , то
говорят, что ставится задача принятия решений в условиях риска.
Основной критерий, которым пользуются при решении таких задач,
называется критерием среднего значения. В условиях риска функция
потерь может рассматриваться как случайная величина, зависящая от
параметра a . Поэтому естественно вычислить среднее значение (или
математическое ожидание) этой величины
f (a)  M  L(a, )  L(a, ) p( ) .


L ( a,  )
Пусть для определенности
является функцией
выигрышей. Критерий среднего значения предлагает выбрать то
решение, при котором достигается максимальный средний выигрыш:
a opt  arg max M  L(a,  ) .
a
Мотивировать разумность этого критерия можно, например,
следующим образом. Предположим, что в течении n дней мы
принимаем одно и то же решение a . Пусть  i обозначает случайную
величину, задающую состояние среды в i -ый день и пусть для
простоты
являются случайными независимыми
 i , i  1,, n
величинами. Тогда выигрыш за n дней будет записываться как
n
 L ( a,  ) .
i 1
i
По закону больших чисел
1 n

P  L(a,  i )  f (a)     0 .
 n i 1
 n
Другими словами, средний (по времени) доход за n дней с большой
вероятностью практически равняется f (a ) . Максимизируя функцию
f (a ) , мы тем самым максимизируем средний (по времени) доход за
большой период времени.
Мы будем понимать задачи принятия решения в условиях риска
несколько более широко – как задачи оптимизации или задачи
сравнительного анализа систем,
функционирование которых
подвержено влиянию случайных факторов. В последующих главах
будет рассмотрено много задач такого рода из теории управления
запасами и теории массового обслуживания.
Рассмотрим пример, не требующий предварительной подготовки.
Необходимо провести медицинское обследование большого количества
людей. Опасный вирус может быть обнаружен в крови с помощью
дорогостоящего анализа. Методика, предложенная Р.Дорфманом при
обследовании призывников в армию США во время второй мировой
войны, позволила сократить число анализов в 5 раз. Идея состоит в
том, что смешиваются пробы крови k человек и анализируется
полученная смесь. Если антител нет, то вся группа является здоровой.
Если антитела обнаруживаются, то необходимо провести еще k
анализов для того, чтобы найти зараженных.
Пусть количество обследуемых равно n , а вероятность того, что
человек болен, равна p . Пусть n делится нацело на k , число групп
n
. Обозначим через  j число проверок в
k
j -ой группе. Величины  j , j  1,, m являются независимыми и
обследуемых равно m 
имеют распределение
P( j  1)  (1  p) k
P( j  k  1)  1  (1  p) k
(в группе нет больных)
(есть больные)
(1.1)
  1     m . Надо найти значение k ,
минимизирующее среднее значение M . Из (1.1) следует
M j  1 (1  p) k  (k  1)  1  (1  p) k  ,
Общее число проверок
n
 1

M1  n1   (1  p) k  .
k
 k

j 1
Несмотря на то, что k
является дискретной переменной,
M  является
разумным приближением к задаче минимизации
m
M    M j 
минимизация функции
f ( x)  1 
1
 (1  p) x ,
x
x  0.
Точное нахождение минимума функции f (x ) затруднительно. Но
p
заметим, что при малых
справедливо приближение
(1  p) x  1  px :
1
1
 1  px   px .
x
x
1
Минимум функции g (x ) достигается при x0 
, g ( x0 )  2 p .
p
f ( x)  g ( x)  1 
В случае, которым занимался Р.Дорфман,
x0  10,
f ( x0 )  g ( x0 ) 
p  0,01 . При этом
1
. Значит, при k  10
5
n
M  .
5
Обобщением критерия среднего значения является критерий
среднего значения – дисперсии. Пусть L(a,  ) – функция выигрышей.
Кроме среднего значения f (a)   M  L(a, ) величина
характеризуется еще и дисперсией
L ( a,  )
D L(a, )  M  L(a, )  M  L(a, ) .
2
Можно предположить, что существует большое количество ЛПР,
желающих максимизировать средний выигрыш M  L(a, ) , но не
желающих, чтобы выигрыш сильно отклонялся от среднего значения
(большие отклонения могут привести к разорению). Отклонения
величины относительно среднего значения характеризуются
дисперсией или стандартным отклонением. Критерий среднего
значения – дисперсии предлагает максимизировать величину
f1 (a)  M  L(a, )  KD L(a, )
или
f 2 (a)  M  L(a, )  K D L(a, ) .
Здесь коэффициент K субъективен и характеризует склонность ЛПР к
риску. Большие значения K придают больший вес дисперсии, что
означает несклонность ЛПР к риску.
Учитывать дисперсию можно и в такой постановке:
Максимизировать
при
M  L ( a,  )
ограничении
D L(a, )  Const
или
минимизировать
D L(a, )
при
ограничении
M  L(a, )  Const .
Известным примером задачи такого типа является задача
Марковитца об оптимальном портфеле.
Имеется n акций, доходности которых являются случайными
величинами ri со средними значениями Mri  mi и матрицей
ковариаций V  (vij ) ,
vij  M (ri  mi )( r j  m j ),
i, j  1,, n .
Напомним, что доходность ценной бумаги за какой-то период
определяется как
C/ C
,
C
r
где C – цена бумаги в начале периода, C / – в конце. Вы должны
решить, какую долю своего капитала инвестировать в ту или иную
бумагу. Пусть x i – доля капитала, инвестированная в i -ую акцию.
Тогда легко видеть, что доходность вашего портфеля
n
rp   xi ri ,
i 1
математическое ожидание доходности портфеля
n
Mr p   xi mi ,
i 1
дисперсия доходности портфеля
Dr p 
n
x v
i , j 1
i ij
xj .
Один из вариантов задачи Марковитца выглядит так
n
x
i 1
i
n
x m
i
i 1
n
x v
i , j 1
i ij
i
 1,
 mp ,
x j  min ,
здесь m p – желаемое значение математического ожидания доходности
портфеля. В случае, когда xi  R, i  1,, n , задача решается явно с
помощью
метода
множителей
Лагранжа.
Если
наложено
дополнительное условие xi  0, i  1,, n , она может быть решена
численно с помощью методов квадратичного программирования.
Стохастическое программирование
В последующих главах пособия будут изучаться различные
стохастические модели исследования операций. При анализе этих
моделей мы будем использовать в основном методы элементарной
теории вероятностей и математического анализа.
Но известно, что многие задачи исследования операций могут
быть сведены к задачам линейного программирования. Существует
целое направление в современной науке, называемое стохастическим
программированием, которое изучает вероятностные версии задач
математического программирования. Алгоритмы решения задач
стохастического программирования достаточно громоздки и часто
приводят к решению задач линейного программирования большой
размерности. Поэтому мы ограничимся лишь кратким обсуждением
простейших примеров.
Предположим, что задача линейного программирования имеет
вид:
n
max  r j x j
(1.2)
Ax  b ,
Cx  d ,
x j  0, j  1,, n ,
(1.3)
(1.4)
(1.5)
j 1
при ограничениях
где векторы r  (r1 ,, rn ) и
b  (b1 ,, bm ) , а также матрица
A  (aij ), i  1,, m, j  1,, n являются случайными, а матрица C
и вектор d – не случайными. Предположим, что закон распределения
всех случайных величин известен.
Если случайными величинами являются только коэффициенты
целевой функции r1 ,, rn , то критерий среднего значения предлагает
искать максимум линейной функции
 n
 n

M   r j x j    Mr j x j
 j 1
 j 1
при тех же неслучайных ограничениях (1.3) – (1.5).
Но в общем случае задача (1.2) – (1.5) существенно сложнее.
Простой рецепт, состоящий в том, чтобы заменить все случайные
коэффициенты на их средние значения, может привести к
противоречию. Например, решение такой «усредненной» задачи может
не удовлетворять ограничениям ни при каком наборе значений
коэффициентов a ij , bi .
Один из возможных подходов к постановке задач стохастического
программирования состоит в том, чтобы условия (1.2) – (1.5) заменить
на условия
n
max  x j Mr j
(1.6)
j 1
при ограничениях
 n

P  aij x j  bi    i , i  1,, m ,
 j 1

Cx  d ,
x j  0, j  1,, n ,
(1.7)
(1.8)
(1.9)
где 1 ,,  m – заданные вероятности. Другой вариант – вместо
выполнения m условий (1.7) потребовать выполнение одного
условия
0    1.
 n

P  aij x j  bi , i  1,, m    ,
 j 1

Рассмотрим следующий пример. Фирма владеет R единицами
некоторого сырья, из которого можно изготовить два вида продукции.
Спрос на 1-ый вид обозначим D1 , на 2-ой– D2 , D1 и D2 являются
случайными величинами с известными законами распределений. Из
одной единицы сырья можно получить a1 единиц продукции 1-го
вида и a 2 единиц продукции 2-го вида. Руководство фирмы хочет
максимизировать прибыль, но при условии, что вероятности сбыта
продукции были больше заданных вероятностей  1 и  2 . Задача с
вероятностными ограничениями имеет вид:
(1.10)
max (c1 x1  c2 x2 )
при ограничениях
(1.11)
Pa1 x1  D1   1 ,
Pa1 x2  D2    2 ,
x1  x2  R ,
x1  0, x2  0 .
(1.12)
(1.13)
(1.14)
Здесь c1 и c2 – цена продукции 1-го и 2-го вида соответственно. Пусть
D1 и D2 имеют нормальное распределение,
D2 ~ N (m2 ,  22 ) . Тогда
Пусть
D1 ~ N (m1 ,  12 ) ,
 D  m1 a1 x1  m1 
  1 .
(1.15)
PD1  a1 x1   P 1

 1 
 1
u11 – (1  1 ) - квантиль стандартного гауссовского
распределения:
1
2
u11


 x2 
exp    dx  1   1 .
 2 
Тогда условие (1.15) означает, что
a1 x1  m1
1
 u11
или
m1  1
 u11 .
a1 a1
Аналогичное условие возникает на x 2 :
m 
x2  2  2 u1 2 .
a2 a2
x1 
(1.16)
(1.17)
Возникает простая задача линейного программирования, задаваемая
условиям (1.10), (1.13), (1.14), (1.16), (1.17).
В случае, когда коэффициенты матрицы A также являются
случайными величинами с многомерным нормальным распределением,
вероятностные ограничения вида (1.17) приводят к квадратичным
неравенствам. Рассмотренный выше пример модели с вероятностными
ограничениями относится к классу так называемых одноэтапных
стохастических моделей. В одноэтапных задачах мы принимаем
решения за один этап, исходя из критерия среднего значения и
информации о распределениях вероятностей случайных параметров,
входящих в условия задач.
Существует
другой
класс
моделей
стохастического
программирования, называемых двухэтапными моделями. Рассмотрим
конкретный пример такой постановки.
Имеются посевные площади размером в S га и мы выращиваем
на них две посевные культуры, например, зерно и картофель. Для
внутренних потребностей хозяйства (корм для скота и прочее) нам
нужно m1 тонн зерна и m2 тонн картофеля. Если зерна не хватает, то
мы должны купить его на стороне по цене b1 рублей за тонну, а если
образуются излишки, то сможем продать по цене c1 . Для картофеля
соответствующие цены равны b2
и
c2 . Затраты на выращивание
зерна равны a1 рублей на гектар, затраты по выращиванию картофеля
– a 2 рублей на гектар. Урожайность этих культур зависит от
климатических условий. Статистические данные за прошлые годы и
консультации у специалистов дают нам следующую информацию:
будущий сезон будет нормальным с вероятностью p1 , плохим – с
вероятностью
p 2 и хорошим – с вероятностью
p3 .
урожайность по зерну при нормальных условиях равна
гектара, при плохих – r21 ,
Пусть
r11 тонн с
при хороших – r31 тонн с гектара.
Аналогичные величины для картофеля обозначим через r12 , r22 , r32 .
Введем переменные:
– площади, отведенные под зерно и картофель
x1 и x 2
соответственно,
yi1 и y i 2 – количество зерна или картофеля, которое придется
закупить в случае нехватки в сезоне, находящемся в состоянии
i, i  1,2,3 ,
z i1 и z i 2 – излишки зерна и картофеля, которые можно будет
продать в сезоне, находящемся в состоянии i, i  1,2,3 .
Поставим
программирования:
задачу
двухэтапного
max  a1 x1  a2 x2 
 p1  b1 y11  c1 z11  b2 y12  c2 z12  
 p2  b1 y21  c1 z 21  b2 y22  c2 z 22  
 p3  b1 y31  c1 z 31  b2 y32  c2 z 32 
стохастического
(1.18)
при ограничениях
x1  x2  S ,
r11 x1  y11  z11  m1 ,
r21 x1  y21  z 21  m1 ,
r31 x1  y31  z 31  m1 ,
(1.19)
(1.20)
(1.21)
(1.22)
r12 x2  y12  z12  m2 ,
r22 x2  y22  z 22  m2 ,
r32 x2  y32  z 32  m2 ,
x1 , y11 , z11 , y 21 , z 21 , y31 , z 31 , x2 , y 21 , z 21 , y 22 , z 22 , y32 , z32  0 .
(1.23)
(1.24)
(1.25)
(1.26)
В такой постановке имеются три возможных «сценария» –
нормальный, плохой и хороший. Есть переменные, общие для всех трех
сценариев – x1 и x 2 . С каждым сценарием связаны свои переменные,
которые играют роль компенсирующих переменных. Решения
принимаются в два этапа. На первом этапе решается вопрос о том,
какие площади x1 и x 2 отдать под зерно и картофель. Например, x1
и x 2 находятся из решения задачи линейного программирования
(1.18) – (1.26). После того, как сезон подойдет к концу, можно будет
понять, надо ли закупать зерно или картофель или наоборот, останутся
излишки. Пусть, например, сезон оказался хорошим. В этом случае
надо будет решить задачу:
max  b1 y31  c1 z 31  b2 y32  c2 z 32 
(1.27)
при ограничениях
(1.28)
r31 x1  y31  z 31  m1 ,
r32 x2  y32  z32  m2 ,
(1.29)
y31 , z 31 , y32 , z32  0
(1.30)
(здесь x1 и x 2 уже известны).
Таким образом, на втором этапе можно будет обнаружить
«невязки» и компенсировать их с помощью набора переменных
y31 , z 31 , y32 , z 32 . Конечно, выбор переменных 1-го этапа x1 и x 2
должен быть таков, что задача 2-го этапа (1.27) – (1.30) имела
решение.
Переменные предварительного плана x1 и x 2 можно находить
также исходя из «усредненного» сценария. Вычислим средние
урожайности по зерну и картофелю:
r1  p1r11  p2 r21  p3 r31 ,
r2  p1r12  p2 r22  p3 r32
и решим задачу ЛП для этих средних значений:
max  a1 x1  a2 x2  b1 y1  c1 z1  b2 y2  c2 z 2 
при ограничениях
(1.31)
r1 x1  y1  z1  m1 ,
r2 x2  y2  z 2  m2 ,
x1 , x2 , y1 , y2 , z1 , z 2  0 .
(1.32)
(1.33)
(1.34)
Далее ждем окончания сезона. Если он оказался, например, хорошим,
решаем задачу (1.27) – (1.30), используя вместо переменных x1 и x 2
значения, полученные при решении «усредненной» задачи (1.31)–
(1.34).
Очевидным недостатком двухэтапных моделей является резкий
рост размерности задачи при увеличении количества сценариев.
Задачи
1.. Придумайте пример матрицы потерь, для которой критерии
Вальда, Лапласа и Сэвиджа дают разные ответы.
2. Устройство состоит из n блоков, надежность каждого из
них равна p . Выход из строя одного блока выводит из строя все
устройство. Для повышения надежности системы решено провести
дублирование с помощью дополнительных n блоков. Какой способ
дублирования дает большую надежность: а) дублирование каждого
блока; б) дублирование всей системы?
а)

б)

3.
Рассмотрите пример простой задачи линейного
программирования со случайными коэффициентами. Найдите решение
«усредненной» задачи ЛП, в которой все коэффициенты заменены на
их средние значения. Постройте пример задачи, в которой решение
«усредненной» задачи не удовлетворяет условиям ни при каком наборе
значений случайных коэффициентов.
4.
Фирма изготавливает продукцию двух видов, цены на
которые образуют случайный гауссовский вектор (1 ,  2 ) со средними
значениями M1  100 рублей,, M 2  120 рублей и матрицей
ковариаций
 64

  36
 36 

81 
Затраты на производство продукции 1-го и 2-го вида равны 40 и 50
рублей соответственно. При каких минимальных затратах на
производство доход продажи продукции превысит 100000 рублей.
5. Рассмотрите конкретный числовой пример для задачи о
зерне и картофеле (двухэтапная стохастическая модель). Просчитайте
модель (1.18) – (1.26) и (1.31) – (1.346). Сравните полученные
результаты при различных сценариях.
6.
Прогноз спроса на некоторый товар следующий: с
вероятностью 0,6 он будет равен 1000 ед., с вероятностью 0,4 – 1500
единиц. Фирма может сама производить этот продукт по цене 3000
рублей за штуку или импортировать по цене 5000 рублей за штуку.
Фирма обязана удовлетворить спрос, но стремится минимизировать
издержки.
Постройте
двухэтапную
модель
стохастического
программирования для этой задачи и решите ее.
2. Вероятностные модели управления запасами
2.1. Одноэтапная модель управления запасами
Рассмотрим классическую задачу управлениями запасами,
которую называют еще задачей о торговце газетами, или задачей о
рождественской елке. Пусть есть товар, который можно продать только
в течении какого-то периода времени. К концу этого периода товар
либо испортится, либо станет никому не нужным (вчерашние газеты,
елки после Нового года).
Спрос на товар D является случайной величиной с известным
законом распределения. Заказывать товар можно только к началу
периода (сезона). Обозначим через c0 потери, которые мы понесем от
одной единицы нереализованного товара. Пусть c1 обозначает потери,
которые мы понесем при отсутствии одной единицы товара в случае,
когда спрос превысит предложение. Обозначим через q количество
товара, которое мы запасли перед началом периода. Тогда функция
потерь (или издержек) примет вид:
c0 (q  D),
c( D, q)  
c1 ( D  q),
при D  q
при D  q
(2.1)
В терминах первой главы q обозначает наше действие, D –
состояние среды.
Рассмотрим сначала случай, когда товар штучный. Спрос D
является дискретной случайной величиной,
q – целочисленная
переменная. Критерий среднего значения ставит задачу минимизации
функции.
f (q)  Mc ( D, q) 
q

i 0
i  q 1
 c0  (q  i ) pi  c1  (i  q) pi ,
где pi  P( D  i) .
Предположим, что функция
точке
как
f (q ) достигает минимума в одной
q  q0 . Условие на минимум в дискретном случае запишется
f (q0  1)  f (q0 ), f (q0  1)  f (q0 ) .
Рассмотрим разности h(q )  f (q  1)  f (q) :
(2.2)

 q 1

h(q)  c0  (q  1  i) pi  c1  (i  q  1) pi  
i q
 i 0

q
q

1




 c0  (q  i) pi  c1  (i  q) pi   c0  pi  c1  pi .
i  q 1
i 0
i q
 i 0

Поскольку

q 1
i q
i 0
 pi  1   pi
и
q 1
p
i 0
i
 P( D  q  1)  F (q  1) ,
то
h(q)  c1  (c0  c1 ) F (q  1) ,
где F (q)  P( D  q) – функция распределения случайной величины
D . Тогда условия (2.2) запишутся как
c1
(2.3)
F (q0  1) 
 F (q0 ) .
c0  c1
Мы получим не вполне очевидный ответ для такой простой
задачи.
Рассмотрим теперь случай непрерывного случайного спроса D с
p (x ) . Среднее значение функции издержек
плотностью
(2.1)
запишется как
q

0
q
f (q)  Mc ( D, q)  c0  (q  x) p( x) dx c0  ( x  q) p( x) dx .
Тогда
q





df
 c0 (q  q) p(q)   p( x) dx   c1 (q  q) f (q)   p( x) dx  
dq


0
q


 c0 P( D  q)  c1 P( D  q)  F (q)(c0  c1 )  c1 .
Приравнивая эту производную к 0, получаем, что оптимальный
запас находится из уравнения
F (q) 
c1
.
c0  c1
(2.4)
В силу монотонности и непрерывности функции F (q) ясно, что
уравнение (2.4) имеет решение. Тот факт, что это решение дает
минимум функции издержек, следует из того, что
d 2 f (q)
 p(q)(c0  c1 )  0 .
dq 2
Пример. Посредническая фирма скупает у дирекции спортивного
комплекса билеты для проведения концерта по цене 500 руб. за штуку
и собирается продавать их по цене 800 руб. Статистика показывает, что
спрос на билеты имеет нормальное распределение с математическим
ожиданием 4000 и стандартным отклонением 300. Сколько билетов
стоит выкупить этой фирме?
Цена покупки c0  500 рублей. В случае, когда спрос превысит
предложение, недополученная прибыль от одного билета равна
c1  800 руб.-500 руб.=300 руб. Мы должны решить уравнение
F (q) 
c1
,
c0  c1
где
 Dm qm
qm
F ( q )  P ( D  q )  P

  
,
 
 
  
где m  4000,   300, ( x) – функция распределения стандартного
нормального распределения N (0,1) .
Так как
c1
300

 0,375
c0  c1 500  300
квантиль нормального распределения u 0,375  0,32 , то
q  m   u 0,375  3904 .
Заметим, что нормально распределенная величина может принимать и
отрицательные значения, но в нашем случае это не приводит к
противоречиям, поскольку вероятность такого события очень мала.
Константу c0 можно интерпретировать как издержки, связанные
с хранением единицы нереализованной продукции. Издержки,
связанные с дефицитом товара, очень трудно оценить. В предыдущем
примере эти издержки интерпретировались как недополученная
прибыль. Когда речь идет о системе управления запасами на
производстве, дефицит запчастей может привести к простою и
соответствующим убыткам или к штрафным санкциям со стороны
заказчиков.
В том случае, когда оценка издержек дефицита затруднительна,
иногда запас q определяют исходя из требования, чтобы вероятность
возникновения дефицита не превышала заданной вероятности p :

 p( x) dx  p .
q
Одноэтапная модель с учетом затрат на оформление заказа
Рассмотрим обобщение модели, приведенной в предыдущем
параграфе. Пусть D – случайный спрос с плотностью p ( x ), q –
планируемый уровень запасов,
q 0 – начальный уровень запасов,
c0 (c1 ) – удельные издержки, связанные с хранением (нехваткой) одной
единицы продукции. Кроме того, предположим, что затраты на закупку
дополнительной продукции имеют вид
c 2  c3 ( q  q 0 ) ,
где c2 – цена подачи (или оформления) заказа, c3 – стоимость одной
единицы продукции. Тогда полная функция издержек имеет вид:
c2  c3 (q  q0 )  c0 (q  D), при D  q
C / ( D, q)  
c2  c3 (q  q0 )  c1 ( D  q), при D  q
Обозначим математическое ожидание издержек как
f1 (q)  MC / ( D, q) .
f 1 (q)
f 0 (q)
s
Рис. 2.1
S
q
Легко видеть, что
f 1 (q)  c 2  f 0 (q) ,
где
f 0 ( q )  c3 ( q  q 0 )  f ( q ) ,
q

0
q
f (q)  c0  (q  x) p( x) dx c1  ( x  q) p( x) dx .
Используя результаты предыдущего параграфа, получаем
df 0 (q)
df
 c3 
 c3  F (q)(c0  c1 )  c1 ,
dq
dq
где F (q)  P( D  q) – функция распределения спроса D .
Значит, минимум функции
f 0 (q) достигается в точке
q,
удовлетворяющей уравнению
F (q) 
c1  c3
.
c0  c1
(2.5)
Обозначим решение уравнения (2.5) через S . Поскольку функция
f1 (q) отличается от функции f 0 (q) на константу, то минимум f1 (q)
достигается в той же точке S .
Из уравнения (2.5) следует, что функции f 0 (q) и f1 (q) слева
от точки S убывают, а справа от нее – возрастают. Поэтому в
типичной ситуации (см. Рис. 2.1) существует точка s  S такая, что
f 0 ( s)  f1 ( S ) .
Заметим, что если
q  s , то
f 0 (q)  f1 ( S ) , а если s  q  S , то
f 0 (q)  f1 ( S ) . Поэтому, если начальный запас q0  s , то средние
издержки без подачи заказа равны f 0 (q0 ) , и т.к. f 0 (q0 )  f1 ( S ) , то
имеет смысл заказать партию товара размера
S  q 0 . В этом случае
издержки будут все равно меньше (они равны
f1 (S ) ).
Если же
S  q0  s , то и
f 0 (q)  f1 (S )  min f1 (q) ,
q
и подавать заказ не выгодно. Ясно, что если
дополнительный заказ также не выгодно.
q0  S , то делать
Стратегию такого вида называют еще ( s  S ) – стратегией.
Многоэтапная модель управления запасами
Рассмотрим теперь тот случай, когда товар не портится и может
продаваться в течение нескольких сезонов. Предположим, что спрос на
товар случаен. Кроме того, если торговая фирма заказывает
дополнительную партию товара у поставщика, то время исполнения
заказа тоже может быть случайным. Общепринятая практика состоит в
том, что фирма заказывает партию товара размера q , если уровень
r . За время
запасов на складе упал до критической отметки
выполнения заказа L какое-то случайное количество товара будет
куплено.
p (x )
Обозначим
через
функцию
плотности,
аппроксимирующую плотность случайной величины спроса в течение
времени исполнения заказа:
x
P( D  x)   p( y) dy  F ( x) ,
(2.6)
0
F (x) обозначает функцию распределения спроса D в течение
времени исполнения заказа.
Сразу после прибытия заказанной партии объема q уровень
запасов равняется q  r  D , в то время как уровень запасов в конце
времени ожидания равняется r  D . Расходы на содержание запасов
производятся лишь в том случае, когда запасы неотрицательны.
Математические ожидания запасов в начале и конце периода поставки
пополнения равны соответственно
r
r
 (r  x) p( x) dx
и
0
 (r  x) p( x) dx  q .
0
Поэтому затраты на содержание запасов пропорциональны среднему
арифметическому этих двух величин:
r
r
1 


c0   q   (r  x) p( x) dx   (r  x) p( x) dx  
0
0

 2 
r
q
 c0  c0  (r  x) p( x) dx .
2
0
(2.7)
Хотя спрос имеет случайный характер, мы по-прежнему предположим,
что среднее число заказов в течение года равно M q , т.е. такое же,
как и в детерминированной модели. Поэтому годовая стоимость подачи
заказов равна c2 M q . Наконец, издержки, связанные с дефицитом,
возникают всякий раз, когда D  r . Ожидаемые потери от дефицита в
течение периода L равны

c1  ( x  r ) p ( x) dx ,
(2.8)
r
а соответствующие годовые потери равны

M
c1 ( x  r ) p ( x) dx .
q r
(2.9)
Таким образом, годовые издержки всей системы управления запасами,
которые мы обозначим через c(q, r ) , равны
c ( q, r ) 

r
 c0
q
M
M
 c0  (r  x) p( x) dx  c2
 c1
( x  r ) p( x) dx . (2.10)

2
q
q
0
r
При выводе этой функции мы фактически не вели учета
неудовлетворенных требований. В случае, когда издержки дефицита
велики, различие между моделями с учетом и без учета
неудовлетворенных требований будут незначительны, поскольку
системы будут стремиться к тому, чтобы сделать случаи дефицита
более редкими.
Для того, чтобы найти оптимальные значения q и r , надо найти
точку стационарности функции c(q, r ) . Получаются два уравнения:

 c ( q, r )
1
M
M
 c0  c 2 2  c1 2  ( x  r ) p ( x)dx  0 ,
q
2
q
q r
r
(2.11)

 c ( q, r )
M
 c0  p( x) dx  c1
( p( x) )dx 
r
q1 r
0
 c1
M 
M
 c1  c1  F (r )  0,
q 
q
(2.12)
r
где
F (r )   p( x) dx .
0
итерациями.
Эту систему уравнений можно решить
Предположим, что в выражении для
интегральные члены. Тогда оптимальное q
формулой Уилсона:
q1 
опущены
c ( q, r )
задается известной
2Mc 2
.
c0
Подставляя q1 в (2.12), получаем, что оптимальное r1 (в первом
приближении) находится из уравнения
F (r1 ) 
Mc1
.
Mc1  q1c0
Подставляя r1 в (2.11) и решая относительно
q , получаем 2-ую
итерацию q 2 . Подставляя q 2 в (2.12) и решая относительно r ,
получаем вторую итерацию r2 и т.д. Через некоторое число шагов
итерации (q, r ) практически перестанут изменяться и это будет
означать, что мы нашли оптимальные значения (q, r ) . Конечно,
решение уравнений
(2.11)(2.12)
в общем случае потребует
применения численных методов, но даже первая итерация может
служить разумным выбором параметров (q, r ) .
Управление запасами с учетом издержек на производство
В этом параграфе мы рассмотрим модель, в которой наряду с
издержками, связанными с запасами, учитываются затраты на
производство самой продукции.
Некоторая фабрика производит определенный вид продукции,
для хранения которой имеет свой собственный склад. Продукция
может предназначаться как для внешних потребителей, так и для самой
фабрики. Обозначим через X n спрос на эту продукцию, возникший в
течение n периода (дня, недели и т.д.). Если в начале года уровень
запасов на складе равнялся B , то после первого периода (при
отсутствии пополнения) он упадет до уровня B  X 1 , после второго –
до
и т.д. Может оказаться так, что запасы
B  X1  X 2
исчерпываются и в этом случае будем учитывать неудовлетворенные
требования, т.е. фактически введем понятие отрицательных запасов.
Предположим, что уровень производства данной продукции на
период n должен быть установлен до того, как становится известным
спрос на этот период. Обозначим через Pn количество единиц
продукции, произведенной в
n -ый период. Естественно, что
отклонения Pn от X n могут быть значительны, и это повлияет на
политику управления запасами.
Рассмотрим следующую стратегию: уровень производства в n ый период всегда равняется спросу в (n  1) -й период.
Pn1  X n ,
n  1,2, .
Если в течение первой недели произведено X 0 единиц товара, то
легко видеть, что уровень запасов в конце n периода равняется
B  X 0  X n , n  1,2,. Трудности, связанные с реализацией такой
стратегии очевидны. Производство должно очень гибко реагировать на
флуктуации спроса, что влечет за собой больше издержки. Возникают
проблемы с занятостью рабочих в периоды низкого спроса, со
сверхурочными работами и т.д.
Альтернативная, вторая стратегия, заключается в следующем:
уровень производства в
n период равняется математическому
ожиданию спроса в (n  1) период.
Pn1  M X n ,
n  1,2, .
Если все случайные величины X n имеют одно и то же среднее m ,
Pn1  m,
n  1,2, .
В этом случае производство всегда остается на одном и том же уровне,
поэтому трудностей, типичных для предыдущей стратегии, здесь нет.
Но при этом возникнут трудности, связанные с большими
флуктуациями остатков относительно 0 . В самом деле, если все X m
имеют одну и ту же дисперсию  2 , то остатки продукции I n
(положительные в случае избытка и отрицательные в случае дефицита)
в конце n -го периода имеют дисперсию.
 n

D( I n )  D  ( xi  m)   n 2 ,
 i 1

n  1,2, .
При n »1 дисперсия может стать как угодно большой. Заметим, что в
первой стратегии
D( I n )   2 , n  1,2, .
Поэтому во второй стратегии могут возникнуть большие издержки,
связанные с хранением запасов и дефицитом.
Можно предположить еще одну политику управления запасами,
которая в некотором смысле будет компромиссом между двумя
первыми. Эту стратегию естественно называть стратегией
экспоненциального сглаживания.
Пусть
Pn1  X n  (1   ) Pn ,
где  называется константой сглаживания, 0    1. При   0
мы получаем 2-ой случай, при   1 – первый. Параметры  , B
являются варьируемыми переменными:
Справедливы следующие рекуррентные соотношения:
I n  I n1  X n  Pn , n  2,3, ,
Pn  X n1  (1   ) Pn1 ,
Отсюда

n  2,3, .

Pn   X n 1  (1   ) X n  2    (1   ) n  2 X 1  (1   ) n 1 P1 ,

I n  B  X n  (1   ) X n 1  (1   ) X n  2   
2
1  (1   ) n 
 (1   ) n1 X 1  P1 
.



Видно, что при 0    1 Pn является взвешенным средним от

значений спроса в течение всего прошедшего времени, причем вес
слагаемого
задается выражением
т.е.
X nk
 (1   ) k 1 ,
экспоненциально убывает с ростом k . Как и в первой стратегии,
уровень производства Pn реагирует на колебания спроса, но в отличие
от 1-го примера эта реакция носит более сглаженный характер.
Изучим
стратегию
экспоненциального
сглаживания
в
предположении, что случайные величины X n не зависят друг от
друга и имеют нормальное распределение со средним
m и
2
дисперсией  .
Тогда, как легко видеть, I n являются нормальными случайными
величинами, при этом
M I n   B  (m  P1 )
1  (1   ) n

1  (1   ) 2 n 
D( I n )   2 
.
  (2   ) 
,
В пределе n   средние и дисперсии случайных величин
будут сходиться к значениям:
M ( I n )  mI  B 
m  P1

n
D( I n )   I2 
n
2
 (2   )
,
.
Случайные величины Pn также нормально распределены. При этом
M Pn   m  (m  P1 )(1   ) n 1 ,
M Pn   m p  m ,
n 
1  (1   ) 2 n2 
DPn    2 
.
2 


2
 
.
DPn    p2 
n 
2 
Введем меру, оценивающую изменения уровня производства:
K n  M Pn  Pn1  .
Если P1  m , то M ( Pn  Pn1 )  0 , и поэтому
K n  DPn  Pn1   DX n  (1   ) Pn1  Pn1  
2
  2 DX n   2 DPn 1  2
 2 2
.
2 
Отсюда видно, что если   0 , то  I2   , и поэтому вероятность
возникновения неудовлетворенных требований увеличивается. Но при
этом колебания уровня производства становятся незначительными.
Пусть, как обычно, величина c0 характеризует удельные
издержки по содержанию запасов, c1 характеризует издержки,
связанные с наличием неудовлетворенных требований. В общие
издержки необходимо включить затраты, связанные с колебаниями
уровня производства K – соответствующий коэффициент обозначим
через ck . Тогда мы можем написать
c( B, )  c0 B  c1
 1 zm
I
 
exp

2

2  I 

I

1
0



2

 dz  ck K .

Здесь предполагаем, что P1  m , и поэтому средний уровень запасов
mI  B . Учтено также то обстоятельство, что в пределе n   I n
имеет нормальное распределение с параметрами mI ,  I .
При оптимизации
зафиксируем предварительно
c ( B,  )
параметр
 , и продифференцируем по B :
 1 B
c1
c
 c0 
exp  
B
2  I
 2   I



2

.

Отсюда следует, что если
c0

c1
1
2  I
,
то Bopt  0 , в противном случае
Подставим Bopt

c1
Bopt   I 2 ln 
 2 c 
0 I

в c ( B,  ) , получим
 Bopt  I
c( Bopt ,  )  c0 Bopt  c1



.


 1 
exp   z 2  dz  c k K .
2
 2 
1
Минимизация по  может быть проведена численными методами.
Отметим, что более точно издержки по содержанию запасов
учитываются следующим образом: вместо cc B надо подставить
величину
 1 zm
I
c0  z
exp  
2  I
 2   I
0
Но в этом случае минимум по ( B,  )

1



2

 dz .

с самого начала надо
искать численными методами.
Задачи
1. Пусть себестоимость производства одной единицы продукта
равна c1 руб., розничная цена одной единицы продукта в сезон равна
c2 руб. По окончании сезона остатки продукции могут быть
распроданы по сниженной цене c3 руб. за единицу. Спрос на продукт
в течение сезона имеет функцию распределения F (x ) . Постройте
функцию издержек и вычислите оптимальный уровень запасов, исходя
из критерия среднего значения.
2. Цена батона в универсаме равна 10 руб. при закупочной цене
7 руб. за один батон. Спрос на батон имеет показательное
распределение со средним значением m1  10000 единиц в день.
Менеджер, отвечающий за торговлю хлебом, исходит из ошибочного
предположения, что спрос имеет показательное распределение со
средним значением m2  9000 единиц. Каковы будут средние потери
в прибыли, если менеджер при расчете запасов исходит из критерия
оптимизации средней прибыли?
3. Запас некоторого химического вещества на складе равен 100
кг. Стоимость хранения одного кг вещества в течение месяца равняется
c0  10 руб. Потери от нехватки 1 кг сырья равны c1  100 руб.
Стоимость подачи заказа равняется 200 руб., а стоимость закупки 1 кг
этого сырья равна 50 руб. Количество вещества в килограммах,
используемого в течение месяца, равномерно распределено в интервале
[200,600] . Какое количество сырья нужно закупить?
4. Фирма продает в течение года в среднем 5000 упаковок
стирального порошка. Спрос на этот товар в течение года имеет
равномерное распределение в интервале [4000,6000] . Цена подачи
заказа равна 3000 руб., закупочная цена одной упаковки равна 150 руб.,
стоимость хранения одной упаковки в течение года составляет 20% от
цены. Время исполнения заказа равно 2 неделям. Менеджеры фирмы
считают, что один случай дефицита обходится фирме в 250 руб.
(потеря хорошего отношения клиента к фирме и затем потеря самого
клиента). Каковы оптимальные значения размера заказа q и точки
подачи заказа r ? Какова вероятность возникновения дефицита?
3. Марковские цепи
3.1. Марковские цепи. Уравнение Колмогорова-Чэпмена
Поведение многих систем в естественных науках, а также в
экономике и исследовании операций можно описывать в рамках
следующей модели. Пусть множество всех возможных состояний
системы S является конечным или счетным. Для удобства будем
нумеровать эти состояния целыми числами. В зависимости от задачи
будем считать, что
S  {0,1,  , n} , или S  N  {1,2,} , или
S  Z  {,2,1,0,1,2,3} .
Обозначим состояние системы в момент времени t через  (t ) и
будем считать, что  (t ) является случайной величиной, принимающей
значения в множестве S . Простейшее возможное поведение системы
состоит в том, что случайные величины  (t1 ),  (t 2 ), ,  (t n ) при
различных наборах моментов времени t1  t 2    t n независимы
между собой. То есть состояние системы в любой момент времени t не
зависит от того, в каких состояниях находилась система прежде.
Более сложное, но более естественное поведение заключается в
том, что состояние системы в какой-то момент в будущем зависит от
состояния системы в текущий момент времени, но не зависит от
поведения в прошлом. Дадим точное математическое определение
таких систем.
   (t )
В теории вероятностей случайным процессом
называют функцию от действительного параметра (времени) t  T ,
значения  (t )
которой при каждом t
являются случайными
величинами.
   (t ) называется
Определение 3.1.
Случайный процесс
марковским, если для любых наборов моментов времени
t1  t 2    t n  t n1 и любых состояний i1 , i2 ,, in
P (t n1 )  in1 |  (t1 )  i1 ,,  (t n )  in  
 P (t n1 )  in1 |  (t n )  in 
(3.1)
В этом определении момент времени t n задает настоящий
(текущий) момент времени, моменты
t1 ,, t n1
относятся к
прошлому, а t n 1 – к будущему времени.
Общепринято называть марковские случайные процессы с
конечным или счетным множеством состояний марковскими цепями.
Этот класс случайных процессов был введен математиком
А.А.Марковым в 1907г. В настоящее время построена большая и
глубокая теория марковских процессов, имеющая серьезные
приложения во многих науках. Вообще говоря, очень большое число
моделей может быть формализовано в виде марковских моделей,
правда за счет увеличения мощности множества состояний S .
Как следует из определения (3.1), важную роль в теории
марковских
процессов
играют
условные
вероятности
P (t )  j |  (u )  i  pij (u, t ) ,
называемыми
переходными
вероятностями. В дальнейшем мы будем предполагать, что вероятности
pij (u, t )
не зависят от того, где расположен временной интервал
(u , t ) , а зависят только от его длины t  u . Марковские процессы с
таким свойством называются однородными. Значит, в дальнейшем мы
будем считать, что
P (t )  j |  (u)  i  P (t  u)  j |  (0)  i
и пользоваться обозначением
P (t )  j |  (0)  i  pij (t ) .
Матрицу переходных вероятностей за t единиц времени будем
обозначать
P(t )  pij (t )i , jS .
Заметим, что матрица P (t ) для любого момента времени t обладает
следующим свойством: все элементы матрицы неотрицательны и сумма
элементов каждой строки равна 1:
 pij (t )  1 , i  S .
jS
Заметим также, что P (0)  I , I - единичная матрица.
Предложение 3.1. (Уравнение Колмогорова-Чэпмена).
Пусть u и t - произвольные значения времени, u  t , t  0 . Тогда
для любых состояний i и j выполнены соотношения
pij (u  t )   pik (u ) p kj (t )
kS
(3.2)
Доказательство.
pij (u  t )  P (u  t )  j |  (0)  i 
  P (u  t )  j,  (u )  k |  (0)  i 
kS
P (u  t )  j,  (u )  k ,  (0)  i

P (0)  i
kS
P (u  t )  j |  (u )  k ,  (0)  iP (u )  k ,  (0)  i
=

P (0)  i
kS
P (u )  k ,  (0)  ipkj (t )

  pik (u ) pkj (t ) .
P (0)  i
kS
kS
=

Свойство марковости в этом выводе использовалось в том месте, где
мы заменили условную вероятность P (u  t )  j |  (u)  k ,  (0)  i
на P (u  t )  j |  (u )  k   p kj (t ) .
На языке матриц эти соотношения можно записать в следующем
виде:
(3.3)
P(u  t )  P(u ) P(t )
Знания матрицы переходных вероятностей недостаточно для того,
чтобы ответить, например, на вопрос о том, с какой вероятностью
система находится в состоянии j в момент времени t . Но если мы
знаем вероятности различных состояний в момент t  0 , то можем
вычислить вероятности любых состояний в любой другой момент
времени. Обозначим P (t )  k   pk (t ) . Применяя формулу полной
вероятности, получаем, что
(3.4)
pi (t ) 
p k (0) p ki (t ) .

kS
В матричной форме соотношение (3.4) можно записать как


p(t )  p(0) P(t ) ,
(3.5)

где p(t )  pi (t ), i  S   вектор-строка вероятностей системы в
момент времени t .
3.2 Марковские цепи с дискретным временем. Теорема о
предельных вероятностях
В этом параграфе мы будем считать, что время t принимает
неотрицательные целые значения: t  0,1,2,... .Такие марковские цепи
называются марковскими цепями с дискретным временем.
Используя соотношения Колмогорова-Чэпмена (3.3), мы можем
видеть, что
(3.6)
P(n)  P(n  1) P(1) ,
где P (n ) - матрица переходных вероятностей за n шагов (единиц
времени). Разрешая это рекуррентное соотношение, мы получаем, что
(3.7)
P(n)  P n (1) .
Таким образом, для вычисления матрицы переходных
вероятностей за n шагов достаточно задать матрицу переходных
вероятностей за один шаг и затем возвести ее в n -ую степень.
Матрицу переходных вероятностей за один шаг мы будем обозначать
P , P(1)  P и будем называть ее матрицей переходных вероятностей.
Рассмотрим несколько примеров.
Пример 1. Случайное блуждание.
Пусть 1 , 2 ,, n , ... - последовательность независимых,
одинаково распределенных, целочисленных случайных величин.
Определим процесс  (n)
как  (n)  1     n ,
 (0)  0 .
Марковость
этого
процесса
видна
из
соотношения
 (n  1)   (n)   n1 , n  0 . В случае, когда случайные величины
n
принимают значения +1 и -1 с вероятностью
P( n  1)  p ,
P( n  1)  1  p , где 0  p  1 , процесс случайного блуждания
называется простым случайным блужданием. Этот пример играет
важную роль в физике, но с помощью процессов такого рода можно
также описывать поведение курсов акций (под  (n) понимается цена
акции в момент времени n ). В случае, когда множество состояний
S  Z , матрица переходных вероятностей для простого случайного
блуждания является бесконечной. При некотором размышлении можно
научиться возводить такие матрицы в произвольную степень. Но
переходную вероятность за n шагов в простом случайном блуждании
легко найти, не прибегая к возведению бесконечной матрицы P в n ую степень. Пусть pij (n)  P (n)  j |  (0)  i . Очевидно, что если
| i  j | n , то переход из i в j невозможен и pij (n)  0 . Пусть,
например, j  i . Чтобы попасть из состояния i в состояние j ,
n j i
m
необходимо сделать
шагов направо (в сторону
2
увеличения номера состояния), а оставшиеся ( n  m) шагов - налево.
При этом порядок совершения шагов направо и налево не важен, и,
кроме того, если m не является целым числом, то pij (n)  0 .
Отсюда мы получаем, что
pij (n)  Cnm p m (1  p) nm .
Пример 2.
Случайное блуждание с ограничениями (задача о
разорении).
Игрок приходит в казино с a рублями в кармане. В каждой игре
он выигрывает 1 рубль с вероятностью p и проигрывает один рубль с
вероятностью q  1  p . Игрок уходит из казино , если его капитал
достигает величины b рублей или 0 рублей. Обозначим через  (n)
его капитал после
n -ой игры. Ясно, что последовательность
 (0),  (1),... образует марковскую цепь, причем P( (0)  a )  1 .
Множеством состояний этой цепи является множество {0,1,  , b} .
Матрица переходных вероятностей размера (b  1)  (b  1) имеет вид
1 0 0.....................0 


 q 0 p 0.................0 
 0 q 0 p 0..............0 

.
 .............................. 
 0.................0 q 0 p 


 0..................0 0 0 1 


(3.8)
Заметим, что из любого состояния данной цепи можно с ненулевой
вероятностью попасть в состояния 0 и b , но из этих состояний выйти
уже нельзя. Такие состояния называются поглощающими. Этот пример
представляет собой случайное блуждание с ограничениями.
Пример 3. (ветвящийся процесс).
Пусть некоторый вид биологических организмов может иметь от
k  0,1,  .
каждой особи k потомков с вероятностью
pk ,
Обозначим через  (0) количество этих организмов в 0-й момент
времени. Пусть  (n) - количество организмов в n -ый момент
времени. Обозначим через  n 1, m
случайное количество потомков у
m -ой особи в (n  1) -м поколении, m  {1, ,  (n  1)} . Случайные
величины  k ,m независимы между собой при разных парах (k , m) .
Марковский характер процесса следует из очевидной формулы
 (n) 
 ( n 1)

m 1
n 1, m
.
Такие марковские процессы называются ветвящимися процессами и
они могут моделировать как процессы размножения в биологических
популяциях, так и цепные реакции в ядерной физике.
Пусть имеется марковская цепь с матрицей переходных
вероятностей P  ( pij ) i , jS . Мы будем предполагать, что цепь конечна
и пусть в дальнейшем для определенности S  {1,2, , N } .
Определение 3.2.
Распределение вероятностей
 1 ,  2 ,,  N
называется стационарным для данной марковской цепи, если
(3.9)
 j   i pij , j  1,2, , N

i
Из этого определения следует, что если начальное распределение
вероятностей
состояний
системы
задается
стационарным
распределением pi (0)   i , i  1,2, , N , то оно остается таким же
для любого n : pi (n)   i , i  1,2, , N .
Если ввести вектор-строку   ( 1 ,  2 ,,  N ) , то условие
стационарности распределения (3.9) перепишется в матричной форме
как
(3.10)
  P .
Таким образом, стационарное распределение вероятностей
задается левым собственным вектором матрицы P с собственным
числом 1.
Система линейных уравнений (3.9), задающих стационарное
распределение  , является вырожденной ( в силу того, что сумма
элементов каждой строки матрицы P равна 1). Но если дополнить
эту систему условием нормировки
i  1,

is
то можно однозначно определить стационарное распределение  .
Определение 3.3. Марковская цепь  (n) называется эргодической,
если существуют не зависящие от начального распределения и не
зависящие от i величины p j  lim pij (n) ,  p j  1 .
Вероятности
p ,
j
финальными вероятностями.
n 
jS
jS
называют предельными или
Замечательным обстоятельством является то, что при некоторых
условиях матрица переходных вероятностей P (n ) имеет предел при
n   , причем этот предел является матрицей, все строки которой
совпадают со стационарным распределением
 . Эту теорему
называют теоремой о предельных вероятностях или эргодической
теоремой.
Пусть марковская цепь обладает таким свойством, что
существует
n 0 такое, что все элементы матрицы
P ( n0 )
положительны. Определим величину
1
k (n0 )  1  sup  | pim (n0 )  p jm (n0 ) | ,
2 i, j m
(3.11)
которая называется коэффициентом эргодичности.
Заметим, что для марковской цепи с конечным множеством состояний
из строгой положительности матричных элементов матрицы P (n0 )
следует, что коэффициент эргодичности k (n0 )  0 . Не все марковские
цепи обладают таким свойством. Например, если матрица переходных
вероятностей
0
P  
1
1
,
0 
то P(n)  P n совпадает с единичной матрицей при четных n и с
матрицей P при нечетных n и поэтому при любом n матрица
P (n ) содержит нулевые матричные элементы.
Теорема 3.1 (теорема о предельных вероятностях). Пусть для конечной
марковской цепи  (n) существует
n 0 такое, что матричные
элементы матрицы P (n0 ) положительны. Тогда существуют пределы
lim pij (n)   j ,
n

j
 1,
j  1,2,  , N
(3.12)
j
Другими словами, марковская цепь является эргодической.
Доказательство. Обозначим
m j (n)  min pij (n) , M j (n)  max pij (n) .
i
Поскольку
i
pij (n  1)   pik p kj (n) ,
k
то из того, что
m j (n)  p kj  M j (n)
m j (n)  pij (n  1)  M j (n) . Значит
при любом
k
следует
m j (n)  m j (n  1)  M j (n  1)  M j (n) .
Отсюда следует, что существуют пределы последовательностей m j (n)
и
M j (n) при n   . Наша цель состоит в том, чтобы доказать
равенство этих пределов.
Пусть l и s - произвольные состояния. Запишем, что
0   plk (n0 )   p sk (n0 ) 
k
k
 k [ plk (n0 )  psk (n0 )]  k [ plk (n0 )  psk (n0 )] ,




где суммирование
ведется по таким
k
plk (n0 )  p sk (n0 )  0 , а


k,
для которых
ведется по таким k , для которых
k
plk (n0 )  p sk (n0 )  0 . Отсюда следует, что
1
max  | plk (n0 )  p sk (n0 ) |
2 l ,s k
1


 max k [ plk (n0 )  p sk (n0 )]  k [ plk (n0 )  p sk (n0 )] 
2 l ,s

 max k [ plk (n0 )  psk (n0 )] .


l ,s
max k [ plk (n0 )  p sk (n0 )]  1  k (n0 ) ,

Значит,
где
l ,s
k ( n0 )
задается (3.11). Заметим, что
M j (n0 )  m j (n0 )  max plj (n0 )  min p sj (n0 ) 
s
l
 max [ plj (n0 )  psj (n0 )]   max k [ plk (n0 )  psk (n0 )]  1  k (n0 ) .

l ,s
l ,s
Поэтому для любого n  0
M j (n0  n)  m j (n0  n)  max [ plj (n0  n)  psj (n0  n)] 
l ,s
 max  [ plk (n0 )  p sk (n0 )] p kj (n) 
 max
l ,s
 p
l ,s

k
k

(n0 )  psk (n0 )M j (n)  k  plk (n0 )  psk (n0 )m j (n) 

lk
= max
l ,s
 p

k
lk



= 1  k (n0 ) M j (n)  m j (n) .
Отсюда получаем, что

(n0 )  psk (n0 ) M j (n)  m j (n) 
M j (Tn0 )  m j (Tn0 )  [1  k (n0 )]T ,
Поскольку
T  1, 2,... .
1  k (n0 )  0 , последовательность
возрастает, последовательность
M j ( n)
m j ( n)
монотонно
монотонно убывает и
M j (n)  m j (n) , то
lim( M j (n)  m j (n))  0 .
n 
Значит, последовательности
и
M j ( n)
m j ( n) , а следовательно и
последовательность pij (n) имеют один и тот же предел, который мы
обозначим  j :
lim pij (n)   j ,
n 
i  1,..., N .
Покажем, что предельные вероятности  j , j  1, 2,... образуют
стационарное распределение вероятностей. Перейдя в уравнениях
pij (n  1)   pik (n) pkj
k
к пределу по n   , получаем
 j    k pkj .
k
Кроме того

j
  lim pij (n)  lim  pij (n)  1 .
j
j
n 
n 
j
j,
j  1,..., N действительно образуют
стационарное распределение вероятностей. Теорема доказана.
Из этой теоремы следует, что для любого начального
k  1, 2,... безусловные
распределения вероятностей
pk (0) ,
Значит, величины
вероятности p j (n) стремятся к  j :
lim p j (n)  lim
n 
n 
p
k
(0) p kj (n) 
k
  p k (0) lim p kj (n)   j  p k (0)   j .
k
n 
k
Отсюда, в частности, следует единственность стационарного
распределения   { 1 ,  2 ,,  N } . Предельную вероятность  j
можно интерпретировать как вероятность обнаружить систему в
состоянии j при больших n . Действительно, пусть   случайный
момент времени, равномерно распределенный по множеству значений
{1,2, , n} ,
P (  m) 
1
,
n
m  {1,2,, n} ,
причем
случайная
величина  не зависит от случайных величин, задающих нашу
марковскую цепь. Пусть  (0)  i . Тогда
P ( )  j 
  P (m)  j  (0)  iP(  m) 
n
m 1
1 n
 j . (3.13)
 pij (m) n

n m 1
Из доказательства теоремы следует, что
 j  0,
j  1,  , N ,
а также то, что для любого начального распределения
p j (n)   j  C exp(  Dn ) ,
C
1
,
1  k ( n0 )
D
p
j
(0)
(3.14)
(3.15)
1
1
.
ln
n0 1  k ( n0 )
Утверждение эргодической теоремы справедливо и для
марковской цепи со счетным множеством состояний. Для
справедливости утверждения в общем случае надо сразу потребовать,
чтобы при некотором
коэффициент эргодичности
k (n0 ) ,
n0
задаваемый формулой (3.11), был положительным.
Что может служить препятствием к существованию предельных
вероятностей? Рассмотрим пример марковской цепи с множеством
состояний S  {1,2,3,4} и матрицей переходных вероятностей
 0,3

 0,8
P
0

0

0 

0,2 0 0 
.
0 0,4 0,6 

0 0,5 0,5 
0,7
0
 (0)  {1,2} , то в пределе получится
распределение e1  (8 15 , 7 15, 0, 0) ,
а если
Если начальное состояние
стационарное
 (0)  {3,4} , то в пределе марковская цепь «выйдет» на стационарное
e2  (0, 0, 5 11, 6 11) . Множество состояний этой
цепи разбито на подмножества S1  {1,2} и S 2  {3,4} . Нельзя
перейти из состояний множества S1 в состояния множества S 2 и
распределение
наоборот.
Мы говорим, что состояние j достижимо из состояния i , если
существует такое n , что pij (n)  0 . Если состояние j достижимо
из состояния i и состояние i достижимо из состояния j , то
состояния i и j называются сообщающимися. Если все состояния в
множестве
являются сообщающимися, то марковская цепь
S
называется неразложимой.
Другой пример неэргодического поведения задается матрицей
 0 0,5 0 0,5 


 0,5 0 0,5 0 
.
P
0 0,5 0 0,5 


 0,5 0 0,5 0 


S  {1,2,3,4} этой цепи разбивается на
Множество состояний
подмножества S1  {1,3} и S 2  {2,4} . Мы наблюдаем некоторую
периодичность: за нечетное число шагов цепь переходит из состояний
множества S1 в состояния множества S 2 и наоборот. Такие цепи
называются периодическими. Дадим точные определения.
Состояние i имеет период d  d (i ) , если d является
pii (n)  0 только для n , кратных
d : n  md , m  N . Другими словами,
d является наибольшим
общим делителем чисел n таких, что pii (n)  0 . Если pii (n)  0
i
d (i )  0 . Состояние
для всех
называется
n  1, то
апериодическим, если d (i )  1 .
наибольшим числом таким, что
Можно показать, что все состояния неразложимой марковской
цепи имеют один и тот же период и поэтому можно говорить о периоде
неразложимой марковской цепи. Если этот период больше 1, то цепь
называется периодической, а если он равняется 1, то цепь называется
апериодической.
Можно доказать, что конечная неразложимая апериодическая
марковская цепь эргодична.
3.3. Марковские цепи с непрерывным временем. Уравнения
Колмогорова
В этом параграфе мы будем считать, что время t пробегает
вещественную числовую прямую или какой-то отрезок на ней, t  0 .
Всякий раз, когда система попадает в состояние i , она будет
находиться в этом состоянии какое-то случайное время  i , которое мы
будем называть временем пребывания в состоянии i . Поскольку
система является марковской цепью, распределение случайной
величины  i зависит только от состояния i , но не зависит от того,
как эволюционировала система в прошлом.
Допустим, что в какой-то момент времени t система находится в
состоянии i , и в момент времени t  x она еще не вышла из этого
состояния. Вычислим условную вероятность того, что система не
выйдет из этого состояния в момент времени t  x  y . Поскольку в
момент t  x система находится в состоянии i , то в силу
марковского свойства, оставшееся время  i/ пребывания в состоянии
i (после момента t  x ) будет иметь такое же распределение, что и
случайная величина  i . Значит,

P i  x  y |  (t )  i, i  x 

 P   y |  (t  x)  i  P i  y |  (t )  i.
/
i
(3.16)
В этом случае говорят, что случайная величина  i обладает свойством
отсутствия последействия: каково бы ни было текущее время
пребывания в состоянии i , оставшееся время пребывания не зависит
от прошлого и имеет то же самое распределение, что и все (полное)
i.
время пребывания в состоянии
Оказывается, что это
i
парадоксальное свойство времени пребывания в состоянии
однозначно определяет вид распределения.
Предложение 3.2. Неотрицательная ненулевая случайная величина 
обладает свойством отсутствия последействия тогда и только тогда,
когда она имеет экспоненциальное распределение.
Доказательство. Свойство отсутствия последействия величины 
означает, что
(3.17)
P(  x  y   x)  P(  y)
для любых x  0, y  0 . Обозначим P(  x)  f ( x) . Тогда из
(3.17) следует, что
f ( x  y )  f ( x) f ( y ) , x  0, y  0 .
(3.18)
Покажем, что из функционального уравнения (3.18) следует, что
f ( x)  exp( x) для некоторого   0 . Действительно, из (3.18)
легко следует, что для любого рационального числа r 
n
m
n
n
1
f (r )  f    f (1) m  f (1) r .
m
Для любого иррационального числа x  0 выберем монотонно
убывающую последовательность рациональных чисел r1  r2  ...
такую, что rn  x при n   . Поскольку функция
непрерывна справа, то
f ( x)  P(  x)
f ( x)  lim f (rn )  lim f (1)rn  f (1) x .
n
n
Так как f ( x)  P(  x)  0 при x   , то 0  f (1)  1 . Если бы
f (1)  0 , то f ( x)  P(  x)  0 при любом x  0 , что означало бы
что   0 . Обозначив  ln f (1)   , мы получаем, что
P(  x)  exp( x) .
Обратное утверждение очевидно. Предложение доказано.
Тот факт, что  имеет экспоненциальное распределение с
параметром  , мы будем обозначать так:   E ( ) .
Ясно, что для каждого состояния i марковской цепи параметр
распределения  i вообще говоря зависит от i :  i  exp( i ) .
Постоянную i называют плотностью выхода из состояния i .
Заметим, что возможен случай, когда i  0 . Но в этом случае
процесс  (t ) навсегда остается в состоянии i и такое состояние
называется поглощающим.
Пусть 0  i   . Вероятность того, что за малое время t
система выйдет из состояния i , равна
P( i  t )  1  exp( i t ) 


(i t ) k
 1  1  i t  
k!
k 2


  i t  o(t ) ,


(3.19)
где o(t ) обозначает величину более высокого порядка малости по
сравнению с t :
o ( t )
 0.
t t 0
Если система выходит из состояния i , то она попадает в какоето другое состояние и мы предположим, что вероятность перехода из
состояния i в состояние j за малое время t в главном члене
пропорциональна этому времени:
pij (t )  ij t  o(t ) ,
i  j.
(3.20)
 ij называется плотностью перехода из i в j . Кроме того, введем
обозначение ii  i , i  1,2,  . Вообще говоря, за малое время
t система может совершить несколько переходов, прежде чем
попасть из i в j . Но каждый переход возможен с вероятностью,
пропорциональной
и поэтому вероятность многоходовых
t ,
переходов будет давать вклад o(t ) . Из формулы (3.19) также
следует, что
pii (t )  1  i t  o(t ) .
(3.21)
Исходя
из
этих
предположений,
мы
выведем
систему
дифференциальных уравнений для переходных вероятностей p ij (t ) .
Для простоты предположим, что множество состояний марковской
цепи конечно.
p ij (t ) удовлетворяют
Теорема 3.2. Переходные вероятности
дифференциальным уравнениям
dpij (t )
dt
  ik p kj (t ) ,
i, j  1,2,
(3.22)
i, j  1,2,
(3.23)
k
и
dpij
dt
  pik (t )kj ,
k
с начальными условиями
1, при i  j
pij (0)  
0, при i  j
(3.24)
Доказательство. Пользуясь соотношением Колмогорова-Чэпмена (3.2)
и представлениями (3.20), (3.21), получаем
(3.25)
pij (t  t ) 
pik (t ) p kj (t ) 

k
  ik t  o(t ) p kj (t )  1  i t  o(t )  pij (t ) .
k i
Вычтем из обоих частей (3.25) p ij (t ) и разделим на t :
pij (t  t )  pij (t )
t
o(t ) 

  ik 
pkj (t ) .
t 
k 
(3.26)
Заметим, что правая часть уравнения (3.26) имеет предел при
t  0 . Следовательно существует предел у левой части, который
является производной по времени от переходной вероятности
p ij (t ) .
Уравнения (3.23) доказываются аналогично.
Системы уравнений (3.22) и (3.23) называют прямой и обратной
системами дифференциальных уравнений Колмогорова.
Безусловные
вероятности состояний марковской цепи
вычисляются по формулам
(3.27)
p j (t ) 
pi (0) pij (t ),
j  1,2, ,

i
где
pi (0), i  1,2,  вероятности состояний цепи в начальный
(нулевой) момент времени. Из (3.27) и (3.23) следует, что уравнения
Колмогорова справедливы и для вероятностей p j (t ) :
dp j (t )
dt
  pk (t )kj ,
j  1,2,
(3.28)
k
Система уравнений Колмогорова справедлива и для счетных цепей
Маркова, но в этом случае необходимо потребовать, чтобы для всех
остаточных членов o(t ) , участвующих в соотношениях (3.20),
(3.21)
o(t )
0
при t  0
t
равномерно по всем i , и плотности перехода  ij с фиксированным
j были равномерно ограничены:
ij   j  ,
i  1,2,...
(3.29)
Для марковских цепей с непрерывным временем также
справедлива эргодическая теорема.
t 0 такое, что коэффициент
Теорема 3.3.
Пусть существует
эргодичности
1
k (t 0 )  1  sup  | pik (t 0 )  p jk (t 0 ) |
2 i, j k
положителен. Тогда существуют предельные вероятности
lim pij (t )   j ,
t 
j  1,2,...
Из (3.27) и (3.30) следует, что в этом случае
lim p j (t )   j ,
t 
для любого начального распределения pi (0), i  1,2,... .
(3.30)
(3.31)
Марковской
цепи
можно
поставить
в
соответствие
ориентированный граф, вершинами которого являются состояния.
Соединим каждую пару вершин i и j ориентированным ребром, если
плотность перехода ij  0 . Этот граф называется графом состояний.
Можно показать, что если граф конечен, и из любого состояния можно
перейти в любое, то предельные вероятности существуют.
Пусть условие теоремы 3.4. выполнено и предельные
вероятности  j , j  1,2,  существуют. Перейдем к пределу t  
в уравнениях (3.28). Кажется правдоподобным ( на самом деле это
можно доказать), что пределы в левой части стремятся к 0. Таким
образом, для предельных вероятностей получается система линейных
уравнений
(3.32)
 k kj  0,
j  1,2,...

k
Эту систему необходимо дополнить условием нормировки

k
1
k
Если вспомнить, что  jj   j
перепишется в виде

k j
j
и j 
 jk    k  kj ,
(3.33)

k j
jk
, то система (3.32)
j  1,2,.
(3.34)
k j
В этом виде система уравнений легко запоминается.
Графическая интерпретация уравнений (3.34) говорит о том, что
для каждого состояния j сумма членов, соответствующих ребрам,
выходящим из этого состояния, равна сумме членов, соответствующих
ребрам, входящим в состояние (вершину) j . Эти уравнения называют
еще уравнениями баланса. Прибегая к физической терминологии, мы
говорим, что имеется закон сохранения вероятностей в каждой
вершине – «сколько вероятности вытекает из вершины, столько же туда
и втекает».
Задачи
1. Студент X играет со студентом Y в «орлянку». В каждой
игре он может с вероятностью 1 2 выиграть 1 рубль или с той же
вероятностью проиграть его. Первоначально у студента X был 1
рубль, а у студента Y – 2 рубля. Игроки играют до разорения. Какова
вероятность того, что игра продлится не более 3-х раундов?
 0 , 1 , – независимые одинаково распределенные
случайные величины,
P( i  1)  1  p, P( i  1)  p . Пусть
 n   n1 n , n  1,2, . Будет ли последовательность  n цепью
2.
Пусть
Маркова?
3. Пусть случайные величины
 1 ,  2 , ,  n
независимы,
P( i  1)  p, P( i  0)  q ,
Докажите, что пары
(1 ,  2 ), ( 2 ,  3 ), , ( n1 ,  n )
образуют цепь Маркова. Найдите переходные вероятности этой цепи за
N шагов.
4. Докажите утверждение (3.13).
5. Докажите неравенство (3.15).
6. Докажите, что все состояния неразложимой марковской цепи
имеют один и тот же период.
7. Пусть на столе лежит 3-х-томная энциклопедия. Каждая
энциклопедия выбирается с вероятностью pi  0, i  1,2,3 и при
возвращении кладется сверху. Определите матрицу переходных
вероятностей для этой марковской цепи и найдите ее предельные
вероятности.
P называется дважды
8.
Неотрицательная матрица
стохастической, если сумма элементов любой строки и любого столбца
равна 1. Пусть матрица P переходных вероятностей за один шаг
марковской цепи с n состояниями является дважды стохастической и
для нее выполнены условия теоремы о предельных вероятностях.
Найдите предельные вероятности этой марковской цепи.
9. На окружности отмечено 5(6) точек, занумерованных по
часовой стрелке. Частица с вероятностью p переходит за один шаг из
точки i в точку i  1 , и с вероятностью (1  p ) – в точку i  1 .
Будут ли существовать предельные вероятности у такой марковской
цепи? Если будут, то вычислите их.
p  q  1.
4. Пуассоновский процесс
Простейший поток
В этой главе мы рассмотрим простую и естественную
математическую модель потока случайных событий или требований.
Такая задача возникает при описании работы системы массового
обслуживания или, например, страховой компании. Примерами
случайных потоков событий (требований) являются потоки сообщений
в телефонных или компьютерных сетей, транспортные потоки, потоки
страховых случаев и т.п.
Эта модель возникает при очень естественных предпосылках, и
поэтому ее иногда называют моделью «простейшего потока событий».
Пусть t1 , t 2 ,..., t n ,... - случайные моменты наступления событий
в порядке их появления: t1  t 2  ... . Назовем последовательность
этих величин случайным потоком и будем называть его простейшим,
если выполнены следующие условия:
1) Стационарность: вероятность появления заданного числа событий
на интервале длины t зависит от длины t и не зависит от положения
интервала на временной оси.
2) Отсутствие последействия : число событий, появляющихся на
непересекающихся интервалах времени являются независимыми
случайными величинами.
3) Ординарность: вероятность появления более одного события на
малом интервале t является величиной более высокого порядка
малости, чем t .
В частности, из условия стационарности следует, что
интенсивность (или плотность) потока является постоянной величиной.
Под интенсивностью потока понимается среднее число событий в
единицу времени. Если вероятностные характеристики потока зависят
от того, где расположен временной интервал моделирования, то такой
поток называется нестационарным.
Отсутствие последействия означает, что события появляются
независимо друг от друга. Ординарность потока означает, что события
(или требования) приходят по одиночке. Заметим, что легко придумать
примеры реальных потоков, когда эти условия нарушаются.
Замечательный факт состоит в том, что из свойств 1)-3),
задающих простейший поток, можно вывести его вероятностные
характеристики.
Предположим, что вероятность того, что в течение малого
интервала времени t произойдет одно событие
(4.1)
p1 (t )  t  o(t ) .
Разобьем временной интервал [0, t ] на n малых интервалов
длины
t 
t
.
n
Так как интервалы не пересекаются, то события,
связанные с различными интервалами, не зависят друг от друга в силу
отсутствия последействия. Вероятность того, что на каком-то
интервале не произойдет событие, равна
(4.2)
p0 (t )  1  t  o(t ) .
Вероятность же того, что на каком-то интервале произойдет более
одного события, равна
(4.3)
p1 (t )  o(t )
(в силу свойства ординарности).
N (t ) - случайная величина, задающая количество
Пусть
[0, t ] . В соответствии с
событий, происшедших на интервале
биномиальным законом распределения из условий (4.1) – (4.3)
следует, что мы можем оценить вероятность того, что за время t
поступит
требований,
равна
k
Cnk t  o(t ) 1  t  o(t )
nk
k
 o(t ) . Устремляя t к нулю,
мы получаем
 t
n!
 t 
P( N (t )  k )  lim
  o 

n  k!( n  k )!
 n 
 n

 t 
o  
k

(t )
n!
1   n  

lim
k
n


t
k!
(n  k )! n 
 

n 


k

t
 t 
1   n  o n 
 

nk

k

t
 t 
1   n  o n 
 

nk

( t ) k
exp( t ) .
k!
N (t ) имеет
Таким образом, мы получили, что величина
пуассоновское распределение с параметром t . Поэтому другое
название простейшего потока – пуассоновский поток ( или
пуассоновский случайный процесс). Значит,
MN (t )  t ,
(4.4)
и параметр
 имеет простой физический смысл:
интенсивность (или плотность) потока.
4.2.

есть
Пуассоновский поток как марковский процесс.
Немарковские потоки
Рассмотрим марковскую цепь  (t ) с непрерывным временем, в
которой множеством состояний является S  {0,1,2,...}, а вероятности
перехода за малое время t удовлетворяют следующим условиям:
pi ,i 1 (t )  t  o(t )
(4.5)
pi , j (t )  o(t ) ,
если
ji
и
j  i 1.
Мы интерпретируем эту марковскую цепь как случайный поток
событий, где состояние цепи в момент времени t определяется как
количество событий, происшедших в интервале [0, t ] . Понятно, что
при увеличении времени число событий только увеличивается, и
переход из состояния с большим номером в состояние с меньшим
номером невозможен. Запишем уравнения Колмогорова для
вероятностей p j (t )  P( (t )  j ), j  0,1,2,... . В данном случае
плотность
выхода
из
 , i ,i 1   , i ,i   , i  0,1,2,... ,
состояния
при
ij  0
равна
j  i, i  1 .
Уравнения (3.25) будут выглядеть так:
p0/ (t )  p0 (t ) ,
p (t )  p k 1 (t )  p k (t ),
/
k
(4.6)
k  1,2,... .
Начальные условия имеют вид
p0 (0)  1, pi (0)  0,
i  1,2,... .
Введем функции
f k (t )  exp( t ) pk (t ) . Уравнения
перепишутся следующим образом:
f 0/ (t )  f 0 (t )  exp( t ) p0/ (t )  f 0 (t )  e t p0 (t )  0 ,
(4.6)
f k/ (t )  f k (t )  exp( t ) p k/ (t ) 
 f k (t )   exp( t ) p k 1 (t )   exp( t ) p k (t ) 
 f k 1 (t ), k  1,2,... ,
f 0 (0)  1, f k (0)  0 при k  1,2,... .
с начальными условиями
Используя математическую индукцию, легко доказать, что решения
этой бесконечной системы уравнений имеют вид
f 0 (t )  1, f1 (t )  t ,  , f k (t ) 
( t ) k
, .
k!
Отсюда
p k (t ) 
(t ) k
exp( t ),
k!
k  0,1,2,...
и значит, величина  (t ) имеет пуассоновское распределение с
параметром t .
Этот марковский процесс можно охарактеризовать еще
следующим образом. Пусть
t1 , t 2 ,..., t n ... - случайные моменты
поступления требований
t1  ...  t n  ..., t n  
Предположим, что в каждый момент
при
n  .
t n поступает только одно
требование. Тогда последовательность таких величин   {t n : n  1}
называется
точечным
случайным
процессом.
Обозначим
 n  t n  t n1 , n  1,2,... ,  n - промежуток времени между
n -го и (n  1) -го требования. Случайный точечный
  {t n : n  1} , для которого случайные величины  n
поступлением
процесс
образуют последовательность независимых одинаково-распределенных
случайных величин, называется простым процессом восстановления.
Величина t n называется n -ым моментом восстановления. Такие
процессы возникают в задачах теории массового обслуживания и
теории надежности. Название объясняется следующей задачей. Пусть
некоторый элемент технической системы, отработав случайное время
 1 , выходит из строя. Он мгновенно меняется на другой однотипный
элемент, который обслужив случайное время  2 , также выходит из
строя и т.д. Тогда момент времени t n   1   2  ...   n называется
моментом n -го восстановления.
Для марковской цепи, задающий пуассоновский процесс, время
пребывания в состоянии i имеет показательное распределение с
параметром  . Значит, пуассоновский процесс можно определить как
простой процесс восстановления, для которого функция распределения
величин  n , n  1,2,... равна
1  e  x , x  0
P( i  x)  F ( x)  
, x0
0
Для произвольного простого процесса восстановления обозначим
через N (t ) количество требований, поступивших в интервале [0, t ] .
Очевидно, что
N (t )  n  t n  t, t n1  t, n  1 .
Интенсивностью процесса восстановления называется величина

Справедлива
восстановления:
так
lim
t 
1
.
M
называемая
N (t )

t
lim
t 
элементарная
теорема
с вероятностью 1 и
MN (t )
.
t
( 4.7 )
Для пуассоновского процесса

M   xe x dx 
0
1

,
и поскольку MN (t )  t , предельное равенство (4.7) превращается
просто в равенство.
Момент прихода n -ого требования для пуассоновского процесса
t n   1   2  ...   n
имеет распределение Эрланга
E n ( )
(частный случай гамма-
распределения (n,  ) ). Плотность распределения Эрланга
имеет вид
f t n ( x)  
(x) n1
exp( x),
(n  1)!
Mt n  M ( 1  ...   n ) 
x  0,
n

E n ( )
( 4.8)
.
Если величины  i не имеют показательного распределения, то
процесс восстановления не будет марковским. Понятно, что процесс
восстановления можно интерпретировать как случайный поток
требований (или событий). Если случайные величины  i  const , то
такой поток называется детерминированным и при кодировке систем
массового обслуживания он обозначается буквой D . Пуассоновский
поток обозначается буквой M ( в силу марковского свойства).
Если времена между поступлениями заявок  i , i  1,2,... имеет
распределение
E n ( ) , то соответствующий случайный поток
называется потоком Эрланга порядка n и обозначается E n . Чтобы
получить такой поток, надо «прореживать» пуассоновский поток и
оставлять из него каждое n -е требование. Для потока Эрланга E n
M 
n

,
D 
n
2
.
Обозначим интенсивность потока E n буквой  n :
1

 .
M n
Предположим, что интенсивность
 n зафиксирована и равна
n 
некоторой константе:  n   . Тогда
M 
1
,

D 
1
.
n2
Мы видим, что математическое ожидание времени между
поступлениями заявок постоянно, а дисперсия стремится к 0 при
En «сходится» к
n   . Другими словами, поток Эрланга
детерминированному потоку D при n   , а при n  1 он
совпадает с пуассоновским потоком M . Потоки Эрланга заполняют
широкий спектр потоков от простейшего случайного (пуассоновского)
потока до детерминированного и поэтому их удобно использовать при
моделировании систем массового обслуживания.
4.3. Сложный пуассоновский процесс и процессы риска в
страховой математике
Пусть имеется пуассоновский поток заявок, а если заявки
характеризуются независимыми случайными величинами (размерами
этих заявок). Например, имеется случайный поток покупателей,
каждый из которых заказывает какое-то свое количество одного и того
же товара. Или имеется поток страховых случаев по определенному
виду страхования, и ущерб по каждому иску имеет свое значение.
Мы формализуем такие потоки в виде так называемого сложного
пуассоновского процесса.
Пусть
1 ,  2 , ... ,  n , ... - последовательность независимых
одинаково распределенных случайных величин,
M i  m , D i   2 .
 i , i  1,2, ... задают размеры заказов или исков. Для
упрощения мы предположим, что величины
 i являются
Величины
целочисленными. Пусть
N (t ) - пуассоновский случайный процесс
интенсивности  , независимый от случайных величин 1 ,  2 , .. .
Рассмотрим случайный процесс
S (t )  1  ...   N (t ) ,
который мы будем называть сложным пуассоновским процессом.
Теорема.
равны
Математическое ожидание и дисперсия процесса
MS (t )  tm ,
S (t )
DS (t )  t ( 2  m 2 ) .
Доказательство. Трудность состоит в том, что мы имеем случайное
количество случайных слагаемых. Воспользуемся формулой полной
{N (t )  n}, n  0,1,2, ... образуют полную
вероятности. События
группу событий.

MS (t )  M (1  ...   N (t ) )   kP(1  ...   N (t )  k ) 
k 0


k 0
n 0
  k  P(1  ...   N (t )  k | N (t )  n) P( N (t )  n) 


  P( N (t )  n) kP(1  ...   n  k ) 
n 0
k 0

  P( N (t )  n)  nM1 
n 0
 M1  MN (t )  tm .
Для вычисления дисперсии вычислим сначала MS 2 (t ) :

MS 2 (t )   k 2 P(1  ...   N (t )  k ) 
k 0


n 0
k 0
  P( N (t )  n) k 2 P(1  ...   n  k ) 



  PN (t )  n  nM12  n(n  1)M1  
n 0
2
 M12  MN (t )  M1  M N (t )N (t )  1 .
2
Отсюда
DS (t )  MS 2 (t )  MS (t )  
2
 M12  MN (t )  M1  MN 2 (t ) 
2
 M  MN (t )  MN (t )   M1  
2
2
2
 M1  DN (t )  MN (t )  D1 (t ) .
2
Так как
MN (t )  DN (t )  t ,
то мы получаем утверждение теоремы.
S (t ) при
Можно показать, что для случайной величины
t   справедлив аналог центральной предельной теоремы:
 S (t )  tm

P
 x   ( x) 
    2  m2





1
2
x
e
y
2
2
dy .

Это означает, что распределение центрированной случайной
величины S (t ) при больших значениях t или  можно считать
приближенно гауссовским.
Если интерпретировать величины  i как размеры выплат по
страховым случаям, а N (t ) - количество наступивших страховых
случаев за время t , то процесс S (t ) означает суммарную выплату и в
страховой математике называется процессом риска.
Пусть страховая компания имеет в начале года капитал A , и в
единицу времени собирает  рублей страховых сборов. Предположим
для простоты, что все выплаты по всем страховым случаям в интервале
[0, T ] будут производиться в конце периода, т.е. в момент времени T .
Какова должна быть интенсивность страховых сборов  , чтобы с
заданной вероятностью  компания была способна произвести все
выплаты?
 S (T )  Tm
A  T  Tm 
PS (T )  A  T   P


2
2 
 T  2  m 2

T


m


 A  T  Tm 
 .
 
 T  2  m 2 


Пусть U  -  -квантиль нормального распределения,  (U  )   .



Тогда
  m 





U  T  2  m 2  A
T
.
Задачи
1. Случайный поток заявок является пуассоновским потоком с
интенсивностью   3 заявки в час. Какова вероятность того, что
между 10 и11 часами придет а) 0 заявок, б) более 3 заявок?
Предположим, что первые две заявки пришли в течение часа (с10 до
11). Какова вероятность того, что обе заявки пришли в течение первых
30 минут?
2.
Пусть
и
являются независимыми
N1 (t )
N 2 (t )
пуассоновскими процессами с интенсивностью
соответственно. Докажите, что суммарный поток
1
и
2
N1 (t )  N 2 (t )
является пуассоновским потоком с интенсивностью 1  2 .
3. Пусть N (t ) является пуассоновским потоком заявок с
интенсивностью
 . Каждая заявка независимо от других с
вероятностью p является заявкой 1-го типа и с вероятностью 1  p –
заявкой 2-го типа. Докажите, что заявки только 1-го и только 2-го
типов образуют независимые пуассоновские потоки с интенсивностью
p и (1  p ) соответственно.
4.
Докажите, что плотность распределения Эрланга E n ( )
имеет вид (4.8).
5. Фабрика шьет модные рубашки на летний сезон. Известно, что
половина покупателей берет одну рубашку, треть – две и оставшаяся
часть – три рубашки. Число покупателей в сезон имеет пуассоновское
распределение с интенсивностью
10000 человек за сезон.
Себестоимость одной рубашки – 100 рублей, а цена – 300 рублей.
Оцените, какое число рубашек следует пошить, чтобы средний доход
был максимален.
5.
5.1.
Системы массового обслуживания
Марковские системы массового обслуживания
Простое представление о системе массового обслуживания
(СМО) подразумевает некоторую систему пунктов (или механизмов)
обслуживания, на которую падает поток заявок, рождающийся вне или
внутри системы. В общем случае поток заявок является случайным,
времена обслуживания также случайные. Заявки могут обладать
приоритетами, а дисциплина обслуживания также может
варьироваться. Производство и сфера обслуживания,
телекоммуникации, компьютерные и транспортные сети порождают
необозримое количество реальных примеров СМО. Например, такое
замечательное и сложное достижение, как World Wide Web (WWW),
стало предметом изучения самых разных дисциплин – от исследования
операций до статистической физики.
В этом разделе мы рассмотрим простейшие (марковские) модели
СМО, ограничиваясь математическим аппаратом теории марковских
цепей. Оказывается, что даже в рамках марковских моделей можно
получать содержательные и даже неожиданные результаты.
Прежде чем привести первые примеры, рассмотрим некоторые
свойства показательного распределения.
Пусть случайная величина  имеет показательное
распределение с параметром
M   , D  
1
2
 ,  ~ E ( ) .
Как мы уже знаем,
и  обладает свойством отсутствия
последействия:
P(  x  y |   x)  P(  y ) .
Предложение 5.1. Пусть независимые случайные величины 1 и 2
имеют показательное распределение: 1  E(1 ), 2  E (2 ) . Тогда
случайная величина   min( 1, 2 ) также имеет показательное
распределение с параметром (1  2 ) :   E (1  2 ) . Кроме того,
P(1 )   2 ) 
1
1  2
.
(5.1)
Доказательство. Действительно,
P(  x)  Pmin( 1 ,  2 )  x  P(1  x,  2  x) 
 P(1  x) P( 2  x)  exp  (1  2 ) x ,
откуда и следует, что  ~ E(1  2 ) . Далее,
P(1   2 ) 
  
1
2
exp( 1 x1  2 x 2 ) dx1 dx 2 
x1  x2

x2
0
0
 12  exp( 2 x2 ) dx2  exp( 1 x1 ) dx1 

 12  exp( 2 x2 ) 
0
1
1
1  exp( 1 x2 )dx2 

 1  2  exp  (1  2 ) x2 dx2 
0
1
1  2
.
Из предложения 5.1. по индукции следует, что если независимые
случайные величины 1 ,,  n имеют показательное распределение,
 i  E (i ), i  1,2,, n , то
min( 1 ,,  n )  E (1   n ) .
(5.2)
Если  (t ) - марковская цепь с непрерывным временем, то
каждое состояние i этой цепи характеризуется плотностью выхода из
состояния i . Это означает, что система пребывает в состоянии i
случайное время, имеющее показательное распределение с параметром
i , после чего она переходит в другое состояние. Пусть t n обозначает
момент времени, в который происходит n -ое по счету изменение
состояние. Определим марковскую цепь с дискретным временем  n
как  n   (t n ) , т.е.  n в момент времени n переходит в то
состояние, в которое переходит марковская цепь с непрерывным
временем  (t ) в момент времени t n . Марковская цепь  n (время
обозначено как нижний индекс) называется вложенной цепью Маркова.
Обозначим переходную матрицу этой дискретной цепи
P  ( pij ), pij  P( n 1  j |  n  i ) . Понятно, что переходная
матрица P  ( p ij ) с набором плотностей выхода из состояний i 
однозначно определяет марковскую цепь  (t ) .
Рассмотрим следующий пример марковской СМО. Пусть у нас
имеется один пункт (канал) обслуживания, на который падает
пуассоновский поток интенсивности  . Канал обслуживает каждую
заявку случайное время, распределенное по показательному закону с
параметром  и независимое от потока заявок. Если канал занят, то
заявка становится в очередь, и обслуживается в порядке очередности.
Введем марковскую цепь  (t ) , для которой состояние задается
количеством заявок в системе (т.е. в очереди и в канале). Изменение
состояния происходит в момент прихода или ухода заявки. Если
 (t )  0 , то первое изменение состояния произойдет в момент прихода
первой заявки, т.е. через время  1  E ( ) . Если  (t )  i , то система
будет пребывать в состоянии i время  i min{ , ) , где 
обозначает оставшееся время обслуживания заявки в канале, а 
обозначает время до прихода следующей заявки. Так как время
обслуживания обладает свойством отсутствия последействия, то
оставшееся время обслуживания  также имеет показательное
распределение с параметром  . Поскольку   E ( ) , то в силу
предложения 5.1.  i  E (   ) . Ясно, что введенная цепь обладает
марковским свойством. Осталось выяснить, куда и с какой
вероятностью будет переходить марковская цепь. Пусть  n вложенная цепь Маркова в данном примере. Если  n  0 , то переход
возможен только в состояние 1 ( после прихода очередной заявки).
Поэтому p01  P( n1  1 |  n  0)  1 . Если  n  i, i  0 , то
 n1  i  1 в случае, если    и  n1  i  1, если    . Значит,
pi ,i 1  P(   ) 


в силу (5.1). Аналогично
pi ,i 1  P(   ) 


.
Все остальные переходы имеют нулевую вероятность. Значит,
вложенная марковская цепь в нашем примере представляет собой
случайное блуждание на множестве неотрицательных целых чисел.
Данный пример СМО кодируется как M | M | 1 |  , где буквы M
обозначают марковский характер пуассоновского потока и
показательного времени обслуживания, 1 – один канал обслуживания,
 - бесконечное число мест в очереди. Дисциплина обслуживания –
FIFO (первым пришел – первым вышел).
Рассмотрим пример СМО, который можно обозначить
M | M | n |  . Он отличается от предыдущего примера тем, что в
системе имеется n каналов обслуживания. Приходящие заявки идут в
первый свободный канал обслуживания. Если таковых нет, они
становятся в очередь. Пусть как и раньше  (t ) обозначает количество
заявок в системе в момент времени t . Понятно, что плотность выхода
из состояния 0 равна 0   . Пусть  (t )  i, 0  i  n . Время
пребывания в состоянии i равно
 i  min( 1 , 2 ,, i , ) ,
где i обозначает остаточное время обслуживания i -го работающего
канала,  - время до прихода очередной заявки. Рассуждая также, как и
в предыдущем примере, получаем, что  i  E (  i ) и i    i .
Если же i  n , то поскольку число работающих каналов достигло
максимума, i    n .
Дадим теперь точное решение одноканальной марковской
системы с отказами M | M | 1 | 0 . То, что в очереди 0 мест, означает,
что если приходящая заявка обнаруживает канал занятым, то она
получает отказ. Применим к этой системе уравнения Колмогорова.
Если система находится в состоянии 0, то переход происходит в
состоянии 1 (канал занят) через время   E ( ) . Поэтому
p01 (t )  1  exp( t )  t  o(t ) .
Если же система находится в состоянии 1, то переход в состояние 0
произойдет через остаточное время работы канала   E (  ) :
p10 (t )  t  o(t ) .
Так
p01 (t )  1  p00 (t ), p10 (t )  1  p11 (t ) ,
как
то достаточно
выписать уравнения Колмогорова для вероятностей p00 (t ) и p11 (t ) :
/
p00
(t )   p00 (t )  1  p00 (t )  ,
p11/ (t )   p11 (t )  1  p11 (t ) .
Учитывая начальные условия p00 (0)  1, p11 (0)  1, получаем
p00 (t ) 

exp  (   )t  

,




.
p11 (t ) 
exp  (   )t  


Предположим, что в нулевой момент времени мы находились в
состоянии 0 с вероятностью p0 (0) , а в состоянии 1 – с вероятностью
p1 (0)  1  p0 (0) . Тогда
p0 (t )  p0 (0) p00 (t )  p1 (0) p10 (t ) 



Аналогично
p1 (t ) 
1  exp  (   )t   p0 (0) exp  (   )t  .


1  exp  (   )t   p1 (0) exp  (   )t  .
Из этих формул видно, что функции p 0 (t ) и p1 (t ) при t  
экспоненциально быстро стремятся к константам, не зависящим от
начальных условий p0 (0), p1 (0) :
lim p0 (t ) 

 p0 ,


lim p1 (t ) 
 p1 .
t 

t 
Именно такое поведение вероятностей p0 (t ), p1 (t ) предсказывалось
теоремой о предельных вероятностях (см. раздел 3.1.). Как мы уже
отмечали, предельные вероятности p0 , p1 показывают, какую долю
времени проводит система в состояниях 0 и 1 по прошествии
достаточно большого времени.
5.2. Процессы рождения и гибели.
Одноканальная марковская СМО с бесконечной очередью
Здесь и далее мы будем описывать марковские СМО в пределе
Для этого мы перейдем от дифференциальных уравнений
Колмогорова к алгебраическим уравнениям для предельных
вероятностей (см. раздел 3.3.).
Распределение
вероятностей,
задаваемое
предельными
pj, jS
вероятностями
называют еще стационарным
t .
распределением (или распределением равновесия). Если вначале
вероятности различных состояний зависят от начальных условий, то
при увеличении времени эта зависимость уменьшается и в пределе
исчезает. Поэтому говорят, что при больших временах в марковской
системе устанавливается предельный стационарный режим.
Существует важный класс марковских цепей, для которых легко
определить существование стационарного режима и вычислить
соответствующие предельные вероятности.
Пусть S  {0,1,2,} . Предположим, что из состояния i мы
можем перейти непосредственно только в соседние состояния i  1 и
i  1 , а если i  0 , то переход возможен только в состояние i  1 .
Плотность перехода из состояния i в i  1 мы обозначим i ,i 1  i ,
а из состояния i в i  1 -  i ,i 1   i .
Нарисуем граф состояний такой марковской цепи, а рядом со
стрелками переходов поставим плотности соответствующих переходов:
0
0
1
1
1
2


i
i 1
i
i
i 1


рис. 5.1
Такие марковские цепи называются процессами «рождения и
гибели». Название пришло из приложений марковских цепей в задачах
биологии, в которых под состоянием понимается количество особей в
популяции, переход от i к i  1 происходит в результате рождения
еще одной особи, а обратный переход – в результате гибели.
Предположим, что множество состояний конечно. Тогда из
любого состояния можно перейти в любое, и согласно эргодической
теореме для марковских цепей с непрерывным временем (см. раздел
p j , j  0,1, . Мы
3.3.), существуют предельные вероятности
,конечно, предполагаем, что плотности всех переходов отличны от 0 (в
противном случае мы не должны были рисовать стрелки).
Напишем систему уравнений для предельных вероятностей:
(5.3)
0  0 p0  1 p1 ,
0  (k   k ) pk  k 1 pk 1   k 1 pk 1 ,
k  0.
Докажем по индукции, что эту систему уравнений можно переписать
как
(5.4)
k pk   k 1 pk 1 , k  0,1,2, .
Действительно, 0-е уравнение в (5.4) совпадает с 0-ым уравнением в
(5.3). Пусть k -е уравнение в (5.3) совпадает с k -ым уравнением в
(5.4). Рассмотрим (k  1) -е уравнение в (5.3):
0  (k 1   k 1 ) pk 1  k pk   k  2 pk  2 .
(5.5)
В силу предположения индукции k p k   k 1 p k 1 и уравнение (5.5)
приводится к виду
k 1 pk 1   k  2 pk  2 ,
что совпадает с (k  1) -м уравнением в (5.4). Система уравнений (5.4)
имеет очевидное решение
pn 
0  
p0 .
1   n
(5.6)
Из условия нормировки
N
p
i 0
i
1
(5.7)
мы находим
1
N k 1

 
p 0  1   i  ,
 k 1 i 0  i 1 
(5.8)
где N - номер последнего состояния.
В случае бесконечного числа состояний решение системы
уравнений формально можно выписать таким же способом, но тем не
менее предельные вероятности могут не существовать. В самом деле,
ответ для p 0 имеет вид:
1
 k 1

 

p 0  1   i  .
 k 1 i 0  i 1 
(5.9)
Поэтому для решения системы (5.4) по крайней мере необходимо
потребовать, чтобы ряд в формуле (5.9) сходился:
k 1

i
 
k 1 i 0
.
(5.10)
i 1
Математики доказали, что предельные вероятности для бесконечного
процесса рождения и гибели будут существовать в том и только в том
случае, когда будут выполнены условие (5.10) и условие

k
i
 
k 1 i 0
 .
(5.11)
i
Например, если начиная с некоторого номера k 0 для всех k  k 0
k
 c  1,
 k 1
(5.12)
то условия (5.10) и (5.11) будут выполнены.
Рассмотрим следующий поучительный пример марковской СМО
M | M |1| m .
Имеется один канал обслуживания. Заявки
обслуживаются в порядке поступления и длина очереди ограничена
m . Граф состояний выглядит следующим образом:

0


1


2





m+1
рис. 5.2
где состояние задается количеством заявок в системе (в канале и в
очереди). Вероятность перехода из состояния i в состояние i  1 за
малое время t задается вероятностью прихода заявки
pi ,i 1 (t )  t  o(t ) ,
i  0,1,, m .
Плотность перехода  из состояния i в состояние i  1 задается
интенсивностью входящего пуассоновского потока заявок. Переход из
i в состояние i  1 происходит при освобождении
состояния
работающего канала. Пусть канал обслуживает заявку случайное время
  E (  ) . Тогда
pi ,i 1 (t )  t  o(t ),
i  1,2,, m  1 .
M   , то в среднем на обслуживание одной заявки
1
Поскольку
уходит  единиц времени, и поэтому среднее количество заявок,
которое может обслужить канал за единицу времени, равно  .
1
Поэтому  еще называют интенсивностью работы канала. Если
очередная заявка приходит в систему в тот момент, когда очередь
достигла длины m , то она получает отказ в обслуживании и не входит
в систему.
Мы имеем пример процесса рождения и гибели. Из уравнений
(5.6) и (5.8) следует, что
p n   n p0 , n  1,2,, m  1
(5.13)

p0  1     2     m
где


. Величина



1
,
(5.14)
имеет смысл среднего числа заявок,
приходящих в систему за среднее время обслуживания одной заявки.
Эту величину называют «приведенной интенсивностью» потока заявок.
Легко видеть, что
p0 
если   1 и
p0 
1
m2
1 
,
1   m2
при   1 .
(5.15)
В дальнейшем мы всегда
предполагаем,
что система вышла на стационарный режим и
вероятности состояний системы задаются своими предельными
значениями.
Дадим определение основных показателей, характеризующих
работу СМО.
Пусть L - число заявок в системе, Lq - число заявок в очереди,
W - время пребывания заявки в системе, W q - время пребывания
заявки в очереди. Все эти величины являются случайными и поэтому
естественно
характеризовать
систему
средними
значениями
ML, MLq , MW и MWq .
Абсолютной пропускной способностью A системы называется
среднее количество заявок, которое может обслужить система за
единицу времени.
q системы
Относительной пропускной способностью
называется отношение среднего числа заявок, обслуживаемых
системой в единицу времени, к среднему числу поступающих за это
время заявок. Относительная пропускная способность равна
вероятности того, что заявка получает обслуживание. Вероятность
отказа в обслуживании Pотк  1  q .
Понятно, что если среднее число заявок, приходящих в систему
за единицу времени, (интенсивность потока заявок) равна  , то
A  q .
(5.16)
Рассчитаем теперь все эти характеристики для системы
M | M | 1 | m . Заявка получает отказ только в случае, когда система
находится в состоянии m  1 :
Pотк  p m1 
 m1 (1   )
.
1   m 2
Относительная пропускная способность
q  1  Pотк  1 
 m1 (1   )
.
1   m 2
(5.17)
Абсолютная пропускная способность определяется соотношением
(5.16). Средняя длина очереди
m
m
k 1
k 1
MLq   kpk 1   2 p0  k k 1 .
(5.18)
Заметим, что последняя сумма в (5.18)
m
 k k 1 
k 1

d  m k
   
d  k 0 
d  1   m1  1   m (m  1  m )


.
d  1   
(1   ) 2
Отсюда получаем, что
MLq 
 2 1   m (m  1  m )
.
(1   m 2 )(1   )
(5.19)
(5.20)
Аналогично можно вычислить среднее количество заявок в системе
ML . Но проще ответить на этот вопрос, используя соотношение
L  Lq   ,
где случайная величина  принимает значение 1 или 0 в
зависимости от того, есть или нет в канале обслуживания заявка.
Понятно, что
M  0  p0  1  (1  p0 ) 
Отсюда
   m 2
.
1   m 2
ML 
 1  (m  2)  m1  (m  1)  m 2 
.
1   m2 (1   )
(5.21)
Вычислим среднее время пребывания заявки в очереди. Если
заявка приходит в систему в тот момент, когда та находится в
состоянии k (0  k  m) , то это значит, что перед заявкой в очереди
будет стоять k  1 заявок и еще одна заявка находится в канале.
Среднее время обслуживания одной заявки равно  1 . Остаточное
время обслуживания заявки, находящейся в канале, имеет
показательное распределение E (  ) и поэтому среднее значение этого
времени также равно  1 . Если же заявка приходит в систему,
находящуюся в состоянии 0 или m  1 , то заявка либо сразу встает в
канал обслуживания, либо уйдет необслуженной. Следовательно,
m
MWq  
k
pk 
p0 
m
 k
 k 1
k 1 
 1   m (m  1  m )
.

 1   m 2 (1   )
k 1

(5.22)
Из формул (5.18) и (5.22) следует соотношение
MLq  MWq ,
(5.23)
которое является первым примером проявления универсального закона
Литтла. Об этом законе мы поговорим позже.
Время пребывания заявки в системе
W  Wq  X ,
(5.24)
где X - случайная величина, равная времени обслуживания в случае,
когда заявка обслуживается, и нулю, когда она получает отказ. Легко
видеть, что
MX 
q

.
(5.25)
Отсюда
MW  MWq  MX 
Легко проверить, что
1

ML
MLq  q  ML
q
 q  .
(5.26)
и поэтому мы получаем
соотношение, аналогичное (5.23):
ML  MW .
(5.27)
Рассмотрим теперь, что произойдет с системой, если число мест в
очереди станет неограниченным. Пусть приведенная интенсивность


 1.

(5.28)
Поскольку число состояний в системе бесконечно, то для
существования предельных вероятностей достаточно проверить
условие (5.12). Это условие выполнено в силу (5.28).
M | M | 1 |  можно получить прямым
Характеристики СМО
вычислением, повторяя те же рассуждения, что мы проводили только
что. Но можно получить эти характеристики из характеристик системы
M | M | 1 | m предельным переходом m   . Приведем ответы:
p0  1   ,
p k   (1   ),
k
k  1,2,  .
(5.29)
Очевидно, что в случае бесконечной очереди отказов в
обслуживании не будет и q  1, A  q   . Далее
2
,
1 

,
ML 
1 
1 
,
MWq  
 1 
MLq 
MW 
1
1
.
 1 

(5.30)
(5.31)
(5.32)
(5.33)
Из этих формул видно, что все эти характеристики стремятся к
бесконечности, когда  стремится к 1. Например, средняя длина
очереди
MLq стремится к бесконечности. Этот результат кажется
удивительным. Иногда, при исследовании моделей случайных явлений
разумно рассматривать детерминированный вариант модели, в которой
все случайные величины заменяются на их средние значения. Если в
нашем случае мы последуем этому принципу, то получим СМО, в
котором поток заявок является детерминированным, а время
обслуживания – постоянным. Даже если    и   1 , то очевидно,
что в детерминированном варианте мы не будем иметь очереди. В
марковском же случае средняя длина очереди будет бесконечной. Этот
пример показывает, что интуиция может обманывать нас при
исследовании случайных явлений.
5.3. Многоканальная марковская СМО с ожиданием.
Дисциплины взаимопомощи
Рассмотрим марковскую СМО M | M | n | m , в которой имеется
n каналов обслуживания и m мест в очереди.
Под состоянием системы понимается количество заявок в
системе. Заявка, приходящая в систему, встает на обслуживание в
любой свободный канал, в противном случае встает в очередь. Если же
длина очереди достигла максимального значения m , заявка уходит из
системы. Граф состояний выглядит следующим образом:
0


1

2




n
n
n
n+1

n



n
n+m
рис. 5.3
Из анализа, проведенного в разделе 5.1, следует, что
pi ,i 1 (t )  t  o(t ),
i  0,1,, n  m  1 ,
pi ,i 1 (t )  it  o(t ),
pi ,i 1 (t )  nt  o(t ),
i  1,2,, n ,
i  n  1,, n  m .
Поскольку мы имеем дело с процессом «размножения и гибели», то,
используя (5.6), (5.8), получаем
pk 
p n l 
k
k!
p0 ,
 n l
n l n!
m
 n k
 n l 
p0   
  l 
 k 0 k! l 1 n n! 
1
p0 ,
k  1,2,, n ,
(5.34)
l  1,2,, m ,
(5.35)
 n 1  k  n  n   n m1 

  



k
!
n
!
1


n
k

0


1
(5.36)
Отсюда следуют следующие выражения для вероятности отказа,
относительной и абсолютной пропускных способностей:
Pотк  p n  m 
 nm
n m n!
p0 ,
(5.37)
q  1  Pотк  1 
 nm
n m n!
p0 ,
(5.38)
  n m

A  q   1  m p0  .
n n! 

(5.39)
Среднее количество заявок в очереди
m
MLq   kpn  k
k 1
 n 1 p 0


k 

n  n! k 1  n 
m
k 1
.
Воспользовавшись формулой (5.19), получаем
MLq 
где  

n
 n 1 p0 1   m (m  1  m )
,

n  n!
(1   ) 2
(5.40)
.
Подсчитаем среднее время ожидания заявки в очереди. Если
заявка приходит в систему, в которой есть свободные каналы, то она
сразу встанет на обслуживание. Если система находится в состоянии
n (очередь пустая, все каналы работают), то заявка будет ждать до
первого освобождения. Это время равно   min(  1 ,, n ) , где все
 i ~ E (  ) и независимы между собой. Следовательно, время ожидания
заявки в очереди  ~ E (n ) и
M  (n ) 1 . Если же заявка
приходит в систему, находящуюся в состоянии n  k , она должна
пропустить впереди себя
k заявок, и поэтому среднее время
ожидания такой заявки в очереди будет равно (k  1)( n ) 1 . Значит,
среднее время ожидания заявки в очереди
 n p0 m1
k 1

pnk 
(k  1)  

n n! k 0
n
k 0 n
m 1
MWq  

 n p0 1   m (m  1  m )
.

n n!
(1   ) 2
k
(5.41)
Формула Литтла остается справедливой и в этом случае:
MLq  MWq .
В этой СМО появляется такая новая характеристика, как среднее
число работающих каналов. Пусть Z – число работающих каналов.
Математическое ожидание этой случайной величины равно
n
m
MZ   kpk   np n  k 
k 1
n
 k
k 1

k
k!
k 1
m
 n k
k 1
n k n!
p0   n
p0 
m 1
 n1  k
 nk 
   
p0   k p0  
k 0 n n!
 k 0 k!

n 1
m 1


    p k   pl    (1  p n m ) .
l n
 k 0

Из этой выкладки следует, что
  nm

MZ   1  m p0  .
n n! 

(5.42)
Из формул (5.39) и (5.42) следует соотношение
MZ 
A

,
(5.43)
которое легко интерпретируется и фактически предлагает более легкий
способ получения формулы (5.42). Действительно, если один канал за
единицу времени может обслужить  заявок, а в целом система за
A
единицу времени обслуживает
заявок, то среднее число
работающих каналов должно равняться
A
.

Среднее число заявок в системе находится из соотношения
ML  MLq  MZ .
(5.44)
Используя формулы (5.24) и (5.25), получаем, что среднее время
пребывания заявки в системе равно
MW  M Wq  X   MWq 
q

,
(5.45)
где q – относительная пропускная способность (или вероятность
обслуживания).
M |M |n
Приведем ответы для системы
с бесконечной
очередью. Эти ответы могут быть получены непосредственно или
предельным переходом при
m   из ответов для системы
M | M | n | m . Для того, чтобы предельные вероятности существовали,
необходимо потребовать, чтобы
   n  1.
При
 1
стационарного состояния не существует и очередь бесконечно
возрастает.
Формула (5.36) для p 0 изменится на формулу
1
 n k
 n 1 
p 0  

 ,
 k 0 k! n!(n   ) 
а соотношения (5.34), (5.35) останутся теми же.
Очевидно, что в случае бесконечной очереди
Pотк  0, q  1, A   .
Среднее число заявок в очереди равно
 n 1 p0
.
MLq 
n  n!(1   ) 2
(5.46)
(5.47)
(5.48)
Среднее время ожидания в очереди
MWq 
 n p0
n n!(1   ) 2
.
(5.49)
Среднее число работающих каналов
MZ 
A

.
(5.50)
Рассмотрим различные варианты «взаимопомощи» между
каналами. Если каналы работают «каждый сам за себя», то мы имеем
дело с системой M M n m , характеристики которой мы только что
описали. Предположим теперь, что все каналы объединяются в один,
но этот канал способен обслужить за единицу времени в среднем в n
раз заявок больше, чем обычный канал. Предположим также, что новая
система по-прежнему является марковской, т.е. время обслуживания
является
показательным.
Такое
предположение
ничем
не
мотивировано, но мы сделали его для того, чтобы остаться в рамках
разработанной схемы. Фактически мы приходим к системе M M 1 m ,
в которой интенсивность канала равна n . Такая дисциплина
взаимопомощи называется дисциплиной « все как один».
Наконец, предположим, что каналы работают по принципу «
равномерной взаимопомощи». Это означает, что в случае, когда в
системе находится k заявок, k  n , то все каналы разбиваются на
группы, и каждая группа обслуживает одну заявку. Если какая-то
группа закончила свою работу, то она приходит на помощь другим
группам. Опять предположим, что при такой взаимопомощи
марковский характер системы не изменится.
Граф состояний системы с равномерной взаимопомощью имеет
вид:

0

n
1

n
2
n



n
n+m
Рис. 5.4
Фактически мы имеем дело с одноканальной системой с
n и максимальной длиной очереди
интенсивностью канала
n  m  1.
Несложно показать, что основные характеристики системы с
равномерной взаимопомощью лучше, чем у систем с другими
дисциплинами взаимопомощи. Но надо понимать, что анализ этих
вопросов в реальных СМО сложнее. Например, предположение о том,
что объединение n каналов приводит к n -кратному увеличению
интенсивности разумно только при небольших значениях n .
5.4. Задача о ремонте станков
Рассмотрим следующую марковскую систему. Пусть имеется n
станков, каждый из которых, проработав показательно распределенное
случайное время с параметром  , может сломаться. Таким образом,
каждый станок порождает пуассоновский поток неисправностей с
интенсивностью  , причем все эти потоки независимы между собой.
Имеется группа из
рабочих, каждый из которых может
m
отремонтировать один станок за случайное время с показательным
распределением
1
.

E (  ) . Среднее время ремонта станка равно
Если станок сломается, а все рабочие заняты, то станок становится в
очередь и ждет своего обслуживания.
Представим эту систему как процесс рождения и гибели и
рассчитаем его характеристики. Граф состояний имеет вид
( n  1) 
n
0
1
( n  m  1) 


( n  m) 
m



n

2
m
m
m
Рис. 5.5
Предполагается, что m  n . Состояния системы задаются следующим
образом:
0 – все станки работают, рабочие не заняты,
1 – один станок вышел из строя, один рабочий его ремонтирует,
2 – два станка вышли из строя, двое рабочий их ремонтируют,
. . . . . . . . .
m – m станков вышли из строя, все рабочие работают,
m из них
m  1 – (m  1) станков вышли из строя,
ремонтируются, один стоит в очереди,
. . . . . . . . .
n – все станки вышли из строя, m из них ремонтируются,
остальные стоят в очереди.
В состоянии 0 все станки работают, и поскольку любой из них может
остановиться, то плотность перехода из состояния 0 в состояние 1
равна n . Плотность перехода из состояния k в состояние k  1
равна (n  k ) , так как в состоянии k работают n  k станков и
только они могут выйти из строя. Если система находится в состоянии
k , k  m , то плотность перехода из состояния k в состояние k  1
равна k , поскольку работают k рабочих. Если же k  m , то число
занятых рабочих равно m и плотность перехода стабилизируется на
значении m . Особенностью данной системы является то, что поток
заявок в ней рождается внутри системы, а не падает извне. Кроме того,
интенсивность потока зависит от состояния системы. Такие системы
массового обслуживания называются замкнутыми.
Обозначим  

. Предельные вероятности состояний данной

системы имеют вид:
p0 
1
n
n(n  1) (n  m  1) k 
 m n(n  1) (n  k  1) k
 
  
  (5.51)
k!
m!m k m
k  m 1
 k 0

n(n  1)  (n  k  1) k
pk 
 p0  C nk  k p0 , k  1,, m ,
k!
pk 
n(n  1)  (n  m  1) k
 ,
m!m k  m
k  m  1, , n .
Поскольку в этой системе любая заявка рано или поздно будет
обслужена, то относительная пропускная способность q  1 .
Среднее число занятых рабочих может быть вычислено по
формуле
m
MZ   kpk 
k 1
n
 mp
k  m 1
k
.
(5.52)
Определим абсолютную пропускную способность A данной
системы как среднее число станков, обслуживаемых системой в
единицу времени. Т.к. интенсивность одного рабочего равна  , то A
может быть вычислено как
A  MZ .
(5.53)
Обозначим число неисправных станков S . Тогда
n
MS   kpk .
k 1
Это число может быть найдено проще из следующего соображения. Так
как среднее число исправных станков равно n  MS , и каждый из них
ломается с интенсивностью  , то средняя интенсивность общего
(n  MS ) . Поскольку все эти
потока неисправностей равна
неисправности устраняются, то можно написать равенство
(n  MS )  A
и, используя (5.53), получаем
MS  n  MZ .
(5.54)
5.5. Немарковские модели СМО
Марковские модели образуют наиболее простую группу моделей
СМО и являются плацдармом для дальнейшего продвижения в
сложной мир реальных систем массового обслуживания. Легко
представить себе системы, в которых входящий поток заявок является
марковским, но время обслуживания не обязательно имеет
показательное распределение. Рассмотрим систему вида
M Er 1  ,
для которой входящий поток заявок является пуассоновским, а время
обслуживания имеет распределение Эрланга
E r . Как мы уже
обсуждали в главе 3-ьей, распределения Эрланга
Er , r  1,2,
образуют достаточно широкий класс распределений, включающий в
себя показательное распределение E1 . Также в некотором предельном
режиме
с помощью распределений Эрланга можно
r 
моделировать детерминированное распределение D .
Оказывается, исследование системы M E r 1  можно свести к
исследованию марковской системы. Напомним, что случайная
величина  имеет распределение Эрланга,  ~ Er ( ) , если
  1   r ,
где 1 ,  2 ,,  r являются независимыми величинами с показательным
распределением E1 (  ) . Поэтому можно считать, что если заявка
находится на обслуживании, то она проходит фактически r фаз
обслуживания, каждая из которых имеет показательное распределение
с параметром  . Состояние системы можно описать с помощью пары
чисел ( k , l ) , где k обозначает число заявок в системе, а l
обозначает количество оставшихся фаз обслуживания для заявки,
находящейся в канале обслуживания. Вместо пары ( k , l ) в качестве
состояния мы можем использовать полное число фаз обслуживания
всех k заявок в системе. Это число равно n  (k  1)r  l , поскольку
в очереди находится (k  1) заявка, каждой из которых предстоит
пройти r фаз обслуживания.
Тогда граф состояний для системы, находящейся в предельном
стационарном режиме, имеет вид


0

1



r

r+1 
Рис. 5.6
Можно показать, что предельный стационарный режим
существует в том случае, когда интенсивность входящего потока 
меньше интенсивности канала обслуживания

r
(заметим, что
M 
r

). Пусть   
r

 1 . Граф состояний (рис.5.6) не является
графом процесса рождения и гибели, но уравнения для предельных
вероятностей поддаются анализу:
(5.55)
p0   p1  ,
pn (   )  pn1  ,
n  1,2,, r  1,
(5.56)
(5.57)
pn (   )  pnr   pn1  , n  r , r  1, r  2, .
Рассмотрим производящую функцию P (x ) для вероятностей p n :

P( x)   p n x n ,
x 1.
n 0
Умножая соотношения (5.55) – (5.57)
x , n  0,1,2, и складывая их, получаем
последовательно на
n
P( x)(   )  p0   P( x)x r  P( x)  p0 x 1 .
Отсюда следует, что
P( x) 
p0  (1  x 1 )
p0 
.

r
1
r
    x  x
   ( x  x r 1    x)
Можно доказать, что уравнение
(5.58)
   ( x r  x r 1    x)  0
имеет различные корни x1 ,, xr и следовательно P (x ) может быть
представлено в виде разложения по простейшим дробям:
r
P( x)  
k 1
ak
x
1
xk
.
(5.59)
Значит,
 x
P( x)   ak  
k 1
n 0  xk
r

n

r

 1
   x n  ak 
n 0
k 1

 xk
 1
p n   a k 
k 1
 xk
r
n

 ,

n

 .

(5.60)
Коэффициенты a k можно определить, подставляя разложения (5.60)
в уравнения (5.55) -(5.56) и используя условие нормировки P(1)  1 .
Пусть, например, r  2,   1,   6 . Тогда уравнение (5.58)
принимает
x2  x  6 .
вид
Корни
последнего
уравнения
x1  2, x2  3 ,
n
n
1
 1
p n  a1    a 2    , n  0,1,2, .
2
 3
p1 и p 2 в уравнение (5.55), и используя условие
Подставляя
P(1)  1 , получаем
a1  a2  3a1  2a2 ,
a1
a2

 1.
11 2 11 3
Отсюда a1  2 5 , a2  4 15 ,
n
pn 
Зная вероятности
n
21
4  1
     ,
5  2  15  3 
n  0,1,2, .
pn всех состояний системы M Er 1 , мы можем
найти все остальные характеристики. Пусть
вероятность того, что в системе находится
q0  p0 , а для k  1
kr
r
обозначает
заявок. Ясно, что
k
1
q k   p n    al 
n  ( k 1) r 1
n  ( k 1) r 1 l 1
 xl
kr
qk
n

 .

Так как каждая фаза работы в системе длится в среднем
1

единиц времени, то среднее время пребывания заявки в системе равно
 1
MW   np n   a k n
 n 0
 n 0 k 1
 xk
1

1

r
n
r

ak xk
  
.
2
k 1 (1  x k )

Таким образом, основной математической проблемой при
анализе систем вида M Er 1 является проблема вычисления корней
уравнения (5.58), проблема легко решается с помощью современных
пакетов «Mathematica или «Matlab».
Приведем без доказательства еще несколько результатов о
свойствах общих систем массового обслуживания. Во-первых, закон
Литтла оказывается универсальным законом для очень широкого
класса систем. Пусть L обозначает среднее (по времени) количество
заявок в системе. Под системой может пониматься вся СМО, состоящая
из очереди и канала обслуживания или только очередь или только
канал. Пусть  обозначает интенсивность потока заявок, входящих в
систему, W обозначает среднее время пребывания заявки в системе.
Тогда закон Литтла можно сформулировать следующим образом:
L  W .
Приведем точные математические определения. Пусть заявки
прибывают в моменты времени {t n : n  0}, t n   при n   .
Предположим, что
n -ая заявка находится в системе время W n .
Обозначим через N (t ) количество заявок, пришедших в систему в
интервале [0, t ] .
Пусть L (t ) обозначает количество заявок в системе в момент
времени t :
N (t )
L(t )   I ( 0, ) (Wn  t n  t ) ,
n 1
где
I ( 0, ) ( x) – индикатор луча {x : x  0} . Определим следующие
величины ( при условии, что пределы существуют)
N (t )
t 
t
1 n
W  lim W j
n  n
j 1
  lim
– интенсивность потока заявок,
–
среднее время пребывания заявок в
системе,
T
1
L  lim  L(t ) dt – среднее (по времени) число заявок в
T  T
0
системе.
Можно доказать следующую теорему: если величины  и W
существуют и конечны, то L также существует и L  W .
Другой известный результат относится к системе M G 1 . Пусть
поток заявок является пуассоновским с интенсивностью  . Время
обслуживания  имеет какое-то распределение со средним значением
M 
1

и дисперсией D   2 . Пусть  

 1 . Тогда средняя

длина очереди равна
2  2
.
2(1   )
MLq 
(5.61)
Формула (5.61) называется формулой Поллачека-Хинчина.
Из закона Литтла следует, что среднее время ожидания заявки в
очереди равно
MWq 
 1  2   2 
.
2(1   )
Среднее количество заявок в системе и среднее время пребывания
заявки в системе равны
ML  MLq   , MW  MWq 
1

.
Заканчивая эту главу, отметим, что все результаты носили
дескриптивный характер – мы описывали характеристики различных
систем массового обслуживания. Но в некоторых случаях, когда можно
оценивать издержки, связанные с длиной очереди или временем
ожидания, можно ставить и оптимизационные задачи. Например, в
задаче о станках простой станков приводит к потере прибыли, но
увеличение количества рабочих-ремонтников также приводит к
дополнительным издержкам. Оценивая суммарные издержки, можно
оптимизировать данную систему.
Задачи
1.
Выведите характеристики системы M M n  .
2.
Просчитайте характеристики системы
M M 30
при
дисциплинах взаимопомощи «каждый сам за себя», «все как один» и
«равномерной взаимопомощи» и сравните их между собой для
произвольных значений  и  .
3. В цеху стоит 4 станка, каждый из которых ломается с
интенсивностью   1 поломок в час. Рабочий ремонтирует станок в
среднем за 0,5 часа. Простой одного станка в час приводит к потерям в
a рублей, заработная плата рабочего в час равна b рублей. При
каком соотношении между a и b более выгодно иметь двух
рабочих, чем
марковской.
4.
одного?
Предполагается,
Пусть дана система
что
M M n 0.
система
является
Поток заявок имеет
интенсивность   10 заявок/час. Среднее время обслуживания одной
заявки равно t обл  1 час. Каждая обслуженная заявка приносит доход
a  1000 рублей. Затраты на содержание одного канала равны 300
рублей в час. Сравните доходы от эксплуатации системы при n  1,2,3
и найдите наиболее выгодное число каналов.
5. Касса имеет два окошка и продает билеты в два пункта:
Москва и Санкт-Петербург. Интенсивности потоков пассажиров,
выезжающих в Москву и Санкт-Петербург, равны 1 и  2
соответственно. Среднее время обслуживания одного пассажира равно
1
. Рассматривается следующее предложение: в одной кассе продавать

билеты только в Москву, а в другой – только в Санкт-Петербург.
Сравните различные характеристики этих двух СМО и оцените
эффективность этого предложения при различных значениях 1 , 2 ,  .
6.
Рассмотрите систему
M E2 1  .
Пусть интенсивность
потока заявок равна   1 , среднее время обслуживания одной заявки
равна 3.
Определите среднее время ожидания заявки в очереди и
среднюю длину очереди.
6. Марковские процессы принятия решений
6.1. Модели с конечным горизонтом планирования.
Задача о замене оборудования
Предположим, что имеется марковская система  (t ) с конечным
S  {1,  , m} . Будем считать, что время
множеством состояний
дискретно, t  1,2, , N . Если система находится в состоянии i  S
в момент времени t , то у нас имеется возможность повлиять на
поведение системы с помощью некоторого управления at  Ai , где
Ai – множество всех возможных управлений в состоянии i . Выбор
управления at влияет на вероятности перехода в момент времени t :
P (t  1)  j  (t )  i   pij (at ) .
Предположим, что при переходе из состояния i в состояние j в
случае использования управления at мы получаем доход rij ( a t ) .
Если в момент времени t  N  1 система оказывается в состоянии
j , то мы получаем дополнительный доход (финальную плату) r j .
Таким образом, для случайной эволюции
i1 , i2 ,, i N 1  , в которой мы
использовали управления a1 ,, a N , суммарный доход записывается
как
N
C (i1 , , i N 1 ; a1 , , a N )   rit ,it 1 (at )  riN 1 .
t 1
Если нам известно начальное распределение вероятностей состояний
системы p i0 , то среднее значение дохода за весь период равняется
 
C (a1 ,, a N ) 

{i1 ,,i N ,i N 1 }
N
pi01  pit ,it 1 (at )  C (i1 ,, i N 1 ; a1 ,, a N ) .
t 1
Задача состоит в том, чтобы найти стратегию управления {a1 ,, a N } ,
максимизирующую средний доход за весь период времени. При этом
мы будем предполагать, что управление at зависит только от времени
t и текущего состояния it .
Эта задача сводится к задаче динамического программирования с
конечным числом этапов. Определим f n (i) как оптимальный средний
доход за этапы n, n  1, , N при условии, что система находилась в
состоянии i в момент времени n . В дальнейшем для большей
простоты мы будем предполагать, что множество возможных
управлений
Ai для всех состояний является одним и тем же:
A1    Am  A .
Мы можем записать обратное рекуррентное
соотношение, связывающее функции f n и f n 1 :
m

f n (i)  max  pij (a) rij (a)  f n1 ( j ) , n  1,2,, N ,
aA  j 1

f N 1 (i)  ri , i  1,2,, m .


(6.1)
(6.2)
Уравнение
(6.1)
называют уравнением динамического
программирования или уравнением Беллмана. Оно следует из того
соображения, что для оптимизации управления на интервале [1, N ]
можно сначала оптимизировать управление на интервале [n, N ] ,
найти функцию
интервале
f n (i) ,
а затем оптимизировать управление на
[1, n] , используя в качестве финальной платы функцию
f n (i) . Решая рекуррентные соотношения (6.1) – (6.2), мы должны
запомнить управления
m

(6.3)
a n* (i)  arg max  pij (a) rij (a)  f n1 ( j ) , i  1,, N .
aA
j

1


*
В результате мы получим стратегию a1 (i ), , a *N (i )  , которая будет


максимизировать средний доход за весь период
m
p
i 1
f (i )  C (a1* ,, a *N )  max C (a1 ,, a N ) .
0
i 1
a1 ,, a N 
(6.4)
Если ввести обозначение для среднего дохода за один этап при
переходе из состояния i в состояние j при управлении a
m
 (i; a)   pij (a)rij (a) ,
(6.5)
j 1
тогда уравнения (6.1) – (6.2) можно переписать как
m


f n (i)  max  (i; a)   pij (a) f n1 ( j ), n  1,, N ,
a
j 1


f N 1 (i)  ri , i  1,, m .
(6.6)
(6.7)
В качестве примера рассмотрим задачу о замене оборудования. Под
состоянием оборудования будем понимать длительность эксплуатации
этого оборудования. Пусть множество возможных состояний
оборудования равно S  {0,1,  , m} . В каждом состоянии i мы
можем использовать два управления: a1 – продолжить использование
оборудования, a 2 – произвести замену. При управлении a1 система
из состояния i переходит в состояние i  1 с вероятностью p i , и с
вероятностью qi  1  pi переходит в состояние 0, если произойдет
поломка оборудования (в этом случае старое оборудование придется
заменить на новое с нулевым сроком эксплуатации). С увеличением
срока эксплуатации вероятность поломки увеличивается и при
достижении критического срока m она достигает значения 1:
(6.8)
q0  q1    q m  1 .
При управлении a 2 система из любого состояния i переходит в
состояние 0 с вероятностью 1. Таким образом, матрицы переходных
вероятностей имеют вид:
 pi ,

pij (a1 )  qi ,
0,

1,
pij (a 2 )  
0,
j  i 1
j0
j  0, i  1
j0
j0
.
Предположим, что при переходе из состояния i в состояние
i  1 доход ri ,i 1 (a1 )  hi , а при переходе в состояние 0 доход
ri 0 (a1 )  0 . При случайной поломке возможны даже убытки, но мы
примем этот уровень доходов за нулевой. При плановой замене
оборудования
доход
от
эксплуатации
оборудования
за
соответствующий период равен ri 0 (a 2 )  c . Естественно считать, что
h0  h1    hm1  c  0 .
Под финальной платой
ri
(6.9)
будем понимать остаточную стоимость
оборудования в момент времени N  1 ,
r0  r1    rm .
Заметим, что средний доход за один этап равен
 (i; a1 )  pi ,i 1 hi  pi 0  0  pi hi ,
(6.10)
 (i; a2 )  pi 0 c  c .
Введем обозначения
u n (i; a1 )  pi hi  qi f n1 (0)  pi f n1 (i  1) ,
u n (i; a2 )  c  f n1 (0),
(6.11)
0  i  m, 1  n  N ,
(6.12)
Тогда уравнения (6.6) – (6.7) примут вид:
f n (i)  max u n (i; a1 ), u n (i; a2 ),
n  1,, N ,
(6.13)
f N 1 (i)  ri .
(6.14)
*
n
Обозначим через a (i ) оптимальное управление (решение),
которое следует принять в начале n -го периода в случае, когда срок
эксплуатации оборудования равняется i :
если u n (i; a1 )  u n (i; a2 )
a1 ,
an* (i)  
a2 ,
если u n (i; a1 )  u n (i; a2 )
.
(6.15)
Таким образом, для того, чтобы найти оптимальную стратегию,
надо решать рекуррентные соотношения (6.11) – (6.14) и попутно
вычислять оптимальные уравнения (6.15).
Явных аналитических формул для величин f n (i) и a n* (i ) не
существует, но можно дать качественное описание ответа. Обозначим
через An1 ( An2 ) множество состояний i , в котором оптимальным
управлением в момент времени n является управления a1 (a2 ) .
Кажется правдоподобным, что если в некоторый момент времени n
выгодно заменить оборудование в возрасте i , то тем более выгодно
заменить более старое оборудование. Можно доказать, что множество
An2  k n , k n  1,  , m ,
An2
имеет следующую структуру:
0  k n  m . Множество
An1  0,1,  , k n  1 .
An1
дополнительно к
An2
и имеет вид
Используя предположения (6.8) – (6.10),
несложно увидеть, что
удовлетворяющее условию
k n  это наименьшее значение
q

hi  f n (i  1)  f n (0)  c i  1 .
 pi

6.2. Задача о наилучшем выборе
n,
(6.16)
Пусть у нас имеется некоторый марковский процесс, в эволюцию
которого мы можем вмешаться следующим образом: остановить этот
процесс или не останавливать и продолжать наблюдения за ним до
определенного момента времени. И в том, и в другом случае мы можем
получать какие-то доходы (положительные или отрицательные). Задача
состоит в том, чтобы остановить процесс в нужный момент времени.
Примером такой задачи является задача о выборе момента
исполнения опциона американского типа. Напомним, что опцион колл
американского типа позволяет купить акцию по заранее фиксированной
цене K в любой момент времени 0  t  T . Тогда доход, который
вы можете получить, исполняя опцион в момент времени t , равняется
f ( K ; t )  max S (t )  K ,0 ,
где S (t ) обозначает цену акции в момент времени t . Если имеется
статистическая информация о случайной эволюции цены акции в
интервале [0, T ] , то возникает естественное желание угадать наиболее
выгодный момент исполнения опциона.
Другим примером является задача об обнаружении разладки.
Пусть автоматическая линия выпускает какую-то деталь или продукт.
Основная характеристика  , определяющая качество этого продукта,
является случайной величиной с плотностью p0 ( x) . В некоторый
случайный момент времени происходит разладка оборудования, что
приводит к изменению распределения величины  . Пусть плотность
величины  после
разладки равна p1 ( x) . Задача состоит в том, чтобы по наблюдениям
за характеристикой  как можно скорее обнаружить разладку и
провести переналадку оборудования. Задачи такого типа относятся к
классу задач об оптимальной остановке.
Рассмотрим в качестве примера знаменитую задачу о наилучшем
выборе (другое название – «задача о разборчивой невесте»).
Предположим, что нужно просмотреть N кандидатов на какую-то
работу и выбрать среди них наилучшего кандидата. Собеседование с
кандидатами происходит в порядке очередности. В конце каждого
собеседования вы должны определиться – брать этого человека на
работу или отказать ему. В случае отказа кандидат уходит и вы больше
не должны к нему обращаться. Предположим, что все кандидаты
сравниваются по какой-то единой шкале и все имеют разные баллы.
Формализуем эту задачу как задачу теории марковских процессов
принятия решений.
Горизонт планирования равняется N , n обозначает количество
просмотренных кандидатов на момент времени
n . Определим
множество состояний как множество S  {1,2,3} :
состояние 1 означает, что рассматриваемый кандидат не является
наилучшим из всех просмотренных к данному моменту времени;
состояние 2 означает, что рассматриваемый кандидат является
лучшим среди всех просмотренных к данному моменту времени;
состояние 3 означает, что собеседование закрыто (оно может
закончиться в любой момент времени).
Множество управлений в состояниях 1 и 2 равны A1  A2  {a1 , a2 } ,
где a1 означает продолжить собеседование, a 2 означает остановить
собеседование. Множество управлений в состоянии 3 состоит только из
одного элемента a 2 .
Пусть pijn (a) обозначает вероятность перехода из состояния i
в состояние
j при выборе управления a в момент времени
n, n  1, , N  1 . Заметим, что в отличие от модели, рассмотренной в
предыдущем параграфе, переходные вероятности в задаче о наилучшем
выборе зависят не только от управления a , но и от момента времени.
Для управления a1 имеем следующие вероятности перехода:
1
,
n 1
n
n
p11n (a1 )  p 21
(a1 ) 
,
n 1
n
p13n (a1 )  p 23
(a1 )  0 .
n
p12n (a1 )  p 22
(a1 ) 
(6.17)
(6.18)
(6.19)
Для управления a 2 :
n
n
p11n (a2 )  p12n (a2 )  p21
(a2 )  p22
(a 2 )  0 ,
n
p13n (a 2 )  p 23
(a 2 )  1 ,
p (a 2 )  p (a 2 )  0 ,
n
31
n
32
p (a 2 )  1 .
n
33
Поясним соотношение
(6.20)
(6.21)
(6.22)
(6.23)
(6.17). Обозначим через  (n) состояние
процесса выбора в момент времени n . Пусть x1 ,, xn , xn1 – ранги
(рейтинги) кандидатов в порядке их просмотра (мы не останавливали
собеседования до момента n  1 ). Ясно, что любая перестановка этих
рангов равновероятна. Число вариантов, в которых (n  1) -й кандидат
имеет наивысший ранг среди ранее просмотренных, равно
Поэтому
P (n  1)  2 
n!
1
,

(n  1)! n  1
P (n  1)  1 
Отсюда
n! .
n
.
n 1
P (n)  1,  (n  1)  2

P (n)  1
(n  1)!(n  1) (n  1)!
1


.
(n  1) n
n 1
P (n  1)  2  (n)  1 
Аналогично,
P (n  1)  2  (n)  2 
1
.
n 1
Поскольку из состояний 1 и 2 при продолжении собеседования можно
перейти только в состояния 1 и 2, то вероятности (6.18) являются
дополнительными к вероятностям (6.17). Соотношения (6.20) – (6.23)
следуют из определения управления a 2 .
Заметим, что если n -й кандидат является наилучшим из ранее
просмотренных, то вероятность того, что он будет наилучшим из всех
N
кандидатов, равна
n
. Поэтому определим доход (текущую
N
плату) от того, что мы останавливаем собеседование в момент времени
n в состоянии 2 как вероятность того, что n -ый кандидат будет
наилучшим из всех:
rn (2; a 2 ) 
n
,
N
n  1, , N  1 .
Ясно, что не имеет смысла останавливаться в состоянии 1, поэтому
rn (0; a1 )  rn (0; a2 )  rn (3; a2 )  0, n  1,, N  1 .
Финальная плата равна
rN (1)  1, rN (0)  0, rN (3)  0 .
Такой выбор текущих и финальной плат означает, что мы хотим
максимизировать вероятность выбора наилучшего кандидата.
Пусть f n (i) обозначает максимальный доход, который можно
получить за этапы n, n  1, , N при условии, что в момент времени
i.
мы находимся в состоянии
Выпишем рекуррентные
соотношения для функций f n (i) . Ясно, что
n
f N (2)  1, f N (1)  0, f N (3)  0 ,
а также то, что при любом n
f n (3)  0
(попав в состояние 3, мы уже не выходим из него и не получаем
никаких доходов). Далее, для
1
 n

f n (1)  max 
f n 1 (1) 
f n 1 (2),0  f n 1 (3) ,
n 1
n 1

1
n
 n

f n (2)  max 
f n 1 (1) 
f n 1 (2),  f n 1 (3) ,
n 1
N
n 1

(первый член под знаком max соответствует выбору управления a1 ,
второй – выбору управления a 2 ).
Из этих уравнений следует, что
f n (3)  0 для n  1,, N ,
n
1
f n (1) 
f n 1 (1) 
f n 1 (2)
(6.24)
n 1
n 1
и, следовательно, оптимальное управление a n* (1)  a1 для всех n ,
n

f n (2)  max  f n (1), 
(6.25)
N

n
 f n (1) . Из (6.25) следует,
и, следовательно, a n* ( 2)  a 2 , если
N
что f n (2)  f n (1) , и в силу (6.24) получаем, что f n (1)  f n1 (1) .
n
n 1
 f n (1) , то
 f n 1 (1) . Поэтому множество
Значит, если
N
N
оптимальных управлений в состоянии 2 устроено следующим образом:
a *N (2)  a 2 ,  , a k*1 (2)  a 2 , a k* (2)  a1 ,  , a1* (2)  a1 .
Для всех n  k
1 n 1
n
n 1
N



f n 1 (1)   
f n 1 (1)  . (6.26)
n 1 N
n 1
N  n n 1

Итерируя соотношение (6.26) и используя то, что
f N (1)  0 ,
f n (1) 
получаем
n 1
1
1 

 
.
N  n n 1
N 1
k 1
и f k 1 (1) 
, то k определяется как
N
f n (1) 
Так как
f k (1) 
k  k (N ) :
k
N
1
1


k ( N )  max n  1,  , N  1 :   
 1 .
n
N 1 

Очевидно, что k (N )   при N   . Легко видеть, что
 1
1 
  1 .
lim 

N   k ( N )
N

1


(6.27)
С другой стороны
N
 1
1 
dx
N
  lim 
.
lim 

 lim ln
N  k ( N )
N  1  N  k ( N ) x N  k ( N )

(6.28)
Отсюда получаем, что
N
e.
N  k ( N )
Таким образом, надо пропустить 1 e -ую часть кандидатов и
lim
после этого остановиться на первом кандидате, который будет лучше
всех предыдущих. Приблизительно так следует поступать разборчивой
невесте, выбирающей жениха «по науке». Конечно, при таком выборе
надо заранее оценить, сколько будет кандидатов.
Эта задача имеет различные обобщения [3].
6.3. Модели с бесконечным горизонтом планирования
Рассмотрим задачу управления марковским процессом в случае,
когда число этапов планирования бесконечно. Метод динамического
программирования, использованный в предыдущем параграфе, даже
при умеренных значениях N приводит к значительному количеству
вычислений. Поэтому мы ограничимся в этом параграфе только
стационарными стратегиями, т.е. такими стратегиями, в которых выбор
управления зависит от состояния, но не зависит от момента времени
(номера этапа). Если число состояний равно m , а в каждом состоянии
у нас есть выбор из l управлений, то число возможных стационарных
стратегий равно l m . Поэтому при небольших значениях l и m
можно попытаться просто перебрать все стационарные стратегии.
Обозначим множество всех стационарных стратегий через L .
Каждая стратегия l  L задается набором управлений a l (i ) , i  S .


Пусть  (i ) – среднее значение дохода за один этап при стратегии l
для состояния i :
l
 l (i)   pij a l (i) rij a l (i) .
m
j 1
l
Обозначим через P матрицу переходных вероятностей за один шаг,
соответствующую стратегии l :
P l  pij a l (i) , i, j  S .
 

Предположим, что все матрицы P l удовлетворяют условиям
теоремы о предельных вероятностях
(см. теорему 3.1), и
соответствующие им марковские цепи имеют предельные вероятности
 l   1l ,  ,  ml . Как известно из главы 3, вектор  l является


левым собственным вектором матрицы P l с собственным числом 1:
 l Pl   l ,
 1l     ml  1 .
 il имеет смысл вероятности того, что система находится в состоянии
i (при условии, что прошло достаточно много времени),  il  0 для
всех i .
Поскольку мы имеем дело с бесконечным числом этапов
планирования, то можно считать, что для всех этапов, кроме конечного
их числа, вероятность того, что система находится в состоянии i
приблизительно равна  il . Поэтому естественно определить величину
e(l ) – среднее значение (математическое ожидание) дохода при
стратегии l за один этап:
m
e(l )    il l (i ) .
i 1
Тогда оптимальную стационарную стратегию можно найти, выполнив
полный перебор:
l opt  arg max e(l ) .
lL
Количество вычислений быстро растет с ростом m .
Теперь мы обсудим так называемый метод итераций по
стратегиям, который является менее трудоемким по сравнению с
полным перебором.
Пусть l – какая-то стационарная стратегия. Ей соответствует
матрица переходных вероятностей
и матрица
P l  pij a l (i)

 


доходов за один этап R l  rij a l (i) . Чтобы упростить обозначения,
будем опускать индекс l :
P l  P  ( pij ),
R l  R  (rij ) .
Предположим, что мы имеем дело с N -этапной моделью. Обозначим
через f n (i) среднее значение суммарного дохода за n этапов до
конца, т.е. за этапы N  n  1,  , N при использовании стратегии l .
Предположим, что финальная плата равна 0. Для величин f n можно
написать рекуррентные соотношения:
m
m
j 1
j 1
f n (i)   pij rij   pij f n1 ( j ) ,
i  1,, m, n  1,2,, N , f 0 ( j )  0 .
Пусть 
(6.29)
обозначает вектор-столбец средних доходов за один
этап:
 T   (1),  , (m) T ,
m
 (i)   pij rij , i  1,  , m ,
j 1
f n – вектор-столбец:
f n   f n (1),  , f n (m) .
T
Тогда соотношения (6.29) можно записать в векторной форме
f n    Pf n 1  ( I  P    P n 1 ) ,
(6.30)
где I – единичная матрица.
Предполагая, что для матрицы P выполнены условия теоремы о
предельных вероятностях, мы можем написать, что P n   , где все
n 
строки матрицы
совпадают с вектор-строкой предельных

вероятностей    1 ,  2 ,,  m  . Поэтому при n  
P n    (e, e,  , e)T ,
где e 
m
   (i) .
i 1
i
Пусть ( P k ) i
обозначает i -ую компоненту в вектор-столбце
P  . При k   ( P k ) i  e . Так как
k
n 1
f n (i )   ( P k ) i ,
(6.31)
k 0
то в разложении (6.18) при увеличении n новые слагаемые стремятся
к e . Поэтому естественно ввести величины
f (i )  lim  f n (i )  ne  ,
(6.32)
n 
которые
называются
относительными
весами
состояний
i, i  1,  , m . Средний доход за n этапов может быть представлен
в виде:
(6.33)
f n (i)  ne  f (i)   n (i) ,
где  n (i)  0 при n   , i  1,, m . Действительно, перепишем
(6.29) как
n 1
n 1


f n   P k  n   I   ( P k  )    
k 0
k 1






 n   I   ( P k  )      ( P k  ) .
k 1
k n


Определим векторы



f   I   ( P k   )    ,
k 1


(6.34)

 n   ( P k   ) .
(6.35)
k 1
Так P n   экспоненциально быстро (см.(3.15)), то суммы в (6.34)
n
и (6.35)
корректно определимы и, более того,
 n  0 . Отсюда
n 
следует существование предела в (6.32) и справедливость разложения
(6.33).
Подставим разложения (6.33) в (6.30):
m
ne  f (i)   n (i)   (i)   pij (n  1)e  f ( j )   n1 ( j ) , i  1,, m .
j 1
m
p
Используя то, что
j 1
ij
1
и устремляя
n   , получаем
уравнения
m
e  f (i)   (i)   pij f ( j ),
i  1,, m .
(6.36)
j 1
Итак, мы имеем m уравнений и (m  1) неизвестных величин
e, f (1), , f (m) .
Заметим, что уравнения
(6.36)
остаются
f (i)  f (i )  c ,
i  1,, m
неизменными при сдвиге
для
произвольной константы c . Поэтому можно положить одну из
f (i ), i  1, , m равной 0, и тогда систему (6.36)
переменных
можно будет однозначно разрешить. Уравнения (6.36) называются
уравнениями Ховарда [32]. Метод итераций по стратегиям основан на
использовании этих уравнений.
Выберем произвольную стационарную стратегию
l0  L .
Используя уравнения
(полагая
(6.36), найдем относительные веса
f (i; l0 )
f (m; l0 )  0 ), а также величину e(l 0 ) . В качестве матриц
P и R используются матрицы P l0 и R l0 . На следующем шаге
производится улучшение стратегии l 0 . Для каждого состояния i
находим управление a * (i ) :
m


a * (i)  arg max  (i; a)   pij (a) f l0 ( j ) ,
a
j 1


где  (i, a) 
(6.37)
m
p
j 1
ij
(a)rij (a) , максимум берется по всем возможным
управлениям. Набор управлений
a (1),  , a (m)
*
*
образует новую
стационарную стратегию l1 .
Заметим, что
 l  Pl f l   l  Pl f l ,
1
1
0
0
0
0
(6.38)
l
где P
обозначает матрицу переходных вероятностей для
стационарной стратегии l , f l  вектор относительных весов для
стратегии l ,
 l   l (1), , l (m) ,  l (i )   pijl rijl .
T
j
Неравенство (6.38) понимается в том смысле, что все компоненты
вектора в левой части больше (либо равны) соответствующих
компонент вектора в правой части.
Предложение 6.1. Пусть в (6.37) выполнено строгое неравенство.
Тогда e(l1 )  e(l 0 ) , где e(l ) обозначает средний доход за один этап
при стационарной стратегии l .
Доказательство. Пусть
   l  P l f l  l  P l f l  0 ,
1
1
0
0
0
1  (1,1,,1)T  вектор-столбец размера m  1.
0
Из (6.36) следует, что
e(l1 ) 1  f l1   l1  P l1 f l1 ,
e(l 0 ) 1  f l0   l0  P l0 f l0 .
Вычитая из 1-го уравнения 2-е, получим
e 1  f    P 1  f ,
l
(6.39)
где e  e(l1 )  e(l 0 ) , f  f l1  f l0 . Умножим обе части равенства
(6.39) слева на вектор-строку предельных вероятностей
 l1  ( 1l1 ,,  ml1 ) и получим
e  
l1
 0,
l
так как все компоненты вектора  1 и некоторые компоненты вектора
 положительны.
Таким образом, если хотя бы при одном значении i  i  0 , то
надо переходить к стратегии l1 . Далее мы повторяем процедуру:
рассчитываем величины e(l1 ) и вектор относительных весов f
l1
и
строим стратегию l 2 , пользуясь соотношением (6.37), в котором
l
вместо f 0 ( j ) должно стоять f l1 ( j ) . Поскольку множество
стационарных стратегий конечно, то рано или поздно мы получим
стратегию l * , которую уже нельзя будет улучшить. Легко видеть, что
полученная стратегия l * будет иметь наибольший средний доход за
один этап e(l * ) среди всех стационарных стратегий.
Задачи
1. Используя метод математической индукции, докажите
утверждение (6.4).
2. Дайте обоснование качественного описания ответа в задаче о
замене оборудования и докажите формулу (6.16).
3. Состояние продаж некоторого товара может оцениваться как
хорошее (состояние 1), удовлетворительное (состояние 2), и плохое
(состояние 3). Руководство фирмы может принять решение о рекламе
продукта или об отказе от рекламы. В отсутствии рекламы матрица
переходных вероятностей и матрица доходов за один сезон имеет вид
 0,2 0,6 0,2 
10 7 3 




1
P   0,1 0,5 0,4  , R   6 5 2  .
 0 0,2 0,8 
0 2 1 




1
В случае, когда товар рекламируется, соответствующие матрицы имеют
вид
 0,3 0,6 0,1 
9



2
P   0,2 0,6 0,2  , R   7
 0,1 0,3 0,6 
6



2
2

5 1.
4  2 
6
а) Найдите оптимальную стратегию в этой задаче, если горизонт
планирования равен 3 годам.
б) Найдите оптимальную стационарную стратегию в задаче с
бесконечным горизонтом планирования методом перебора.
в) Найдите оптимальную стационарную стратегию в задаче с
бесконечным горизонтом планирования методом итераций по
стратегиям.
4. Докажите предельные соотношения (6.27) и (6.28).
5. Докажите, что стационарная стратегия, на которой происходит
остановка алгоритма итераций по стратегиям, имеет наибольший
средний доход за один этап среди всех стационарных стратегий.
7. Статистическое моделирование
7.1. Моделирование случайных величин
Пусть  - некоторая случайная величина с заданным законом
распределения. Задача состоит в том, чтобы научиться строить
достаточно длинную последовательность чисел, которую можно было
бы рассматривать с некоторой точностью как выборку независимых
наблюдений над величиной  . Существуют различные способы
моделирования случайных величин, но мы будем обсуждать только
программные генераторы случайных чисел.
Оказывается, что главное в этой науке – это научиться
моделировать случайную величину, равномерно распределенную на
отрезке [0,1] . В алгоритмах, которые обсуждаются ниже, каждое
новое число в последовательности однозначно определяется
предыдущим числом и рано или поздно последовательность
зацикливается. Ясно, что последовательности таких чисел не могут
рассматриваться теоретически как случайные последовательности и
поэтому их называют еще псевдослучайными. В дальнейшем мы для
краткости будем называть псевдослучайные числа, моделирующие
равномерное распределение на [0,1] просто случайными числами.
Качество последовательности псевдослучайных чисел проверяется с
помощью статистических тестов на равномерность и независимость.
Проверку на равномерность можно провести, например, с
помощью критерия Колмогорова-Смирнова. Пусть
Fˆn ( x) –
эмпирическая функция распределения для выборки x1 ,, x n :
1 n
Fˆn ( x)   I (  , x ) ( xi ) ,
n i 1
где I (  , x ) – индикатор луча (, x)  R ,
1,
I (  , x ) ( y )  
0,
yx
y  x.
Функция распределения случайной величины с равномерным
распределением U [0,1] равна
0,

F ( x )   x,
1,

x0
x  [0,1]
x  1.
Статистика Колмогорова
Dn  sup | Fˆn ( x)  F ( x) |
x
должна быть мала, если выборка взята из распределения U [0,1] . По
теореме Колмогорова


lim P n Dn  x  K ( x) 
n

 1  2 (1) k e  2 k
k 1
Для заданного уровня значимости
2 2

x
.
критерий Колмогорова
n Dn  x1 , где x1 –
соответствующий квантиль функции K ( x) : K ( x1 )  1   .
отвергает гипотезу о равномерности, если
Проверку на независимость можно провести, например, с
помощью критерия перестановок. Для данной выборки x1 ,, x n
рассмотрим блоки произвольной длины l : ( x1 ,  , xl ), ( x 2 ,  , xl  1 ) ,
и т.д. Если гипотеза о независимости наблюдений верна, то все l!
различных упорядочений должны быть одинаково вероятны, а это
можно проверить с помощью критерия  2 .
Проблема построения хороших датчиков случайных чисел до сих
пор является актуальной, и в ее истории случались курьезные моменты.
Один из первых датчиков случайных чисел предложен
Дж.Нейманом. Интересно отметить, что Дж.Нейман и С.Улам впервые
использовали только что появившиеся ЭВМ для статистического
моделирования в ходе работы над американским атомным проектом.
Метод середины квадратов состоит в том, что берется произвольное
четырехзначное число
x 0 , возводится в квадрат, из которого
выделяются четыре средние цифры. Например, обозначим
получившееся число x1 . Тогда первое случайное число y1  x1  10 4 .
Далее процедура применяется к числу x1 и т.д. Ясно, что этот датчик
зациклится по крайней мере через 104 шагов.
В настоящее время часто используются так называемые
конгруэнтные датчики. Они имеют вид:
xn  (axn1  b) mod d ,
yn 
где
a, b, d - натуральные числа,
xn
,
d
x 0 - произвольное натуральное
y n , n  1,2, образуют
псевдослучайных чисел,
y n  [0,1] . Если
число.
Числа
последовательность
b  0,
то датчик
называется мультипликативным. Популярным примером является
датчик с d  2 32 , a  69069, b  1 . Неудачным оказался датчик
RANDU ( d  2 31 , a  65539, b  0 ), вошедший в библиотеку научных
программ для IBM-360. Недостатком конгруэнтных датчиков является
заметная корреляция между последовательными значениями
случайных чисел.
В дальнейшем мы будем считать, что датчики, использующиеся
в программном обеспечении современных компьютеров, достаточно
хороши и выдерживают проверку статистических критериев на
равномерность и независимость при больших объемах выборок.
Обратимся теперь к вопросу моделирования наиболее часто
используемых распределений вероятностей.
Дискретная случайная величина (общий случай). Пусть  дискретная случайная величина,
P(  a j )  p j ,
j  0,1,2,,
p j  1.

j
 случайную величину с равномерным
Обозначим через
распределением на [0,1] . Разобьем отрезок [0,1] на интервалы
B0  [0, p0 ), B1  [ p0 , p0  p1 ), ,
Bi  [ p0    pi 1 , p0    pi 1  pi ),  .
Зададим случайную величину  правилом:
если
  ai ,
  Bi , i  0,1,. Ясно, что P(  ai )  pi , i  0,1, . Отсюда
получаем алгоритм:
1. Прогенерировать случайное число x (пользуясь своим или
компьютерным датчиком)
2. Определить номер i того интервала Bi , для которого x  Bi
3. Положить y  ai .
При построении выборки y1 , y2 , для каждого числа y k нам
нужно одно случайное число x k из выборки для равномерного закона.
Этот алгоритм можно эффективно использовать в том случае, когда
число значений величины  не очень велико. Для моделирования
дискретных случайных величин с большим или бесконечным числом
значений используются другие алгоритмы.
Геометрическое распределение. Пусть случайная величина 
имеет геометрическое распределение с параметром p , если
P(  k )  p(1  p) k 1 ,
k  1,2, .
Рассмотрим последовательность независимых испытаний, в
которых «орел» выпадает с вероятностью p , а «решка» - с
1  p . Тогда количество испытаний до первого
вероятностью
выпадения «орла» имеет геометрическое распределение. Отсюда
следующий алгоритм для моделирования  :
1. Генерировать последовательность случайных чисел x1 , x2 ,
для распределения U [0,1] и определить номер i такой, что
x1  p, x2  p,, xi 1  p, xi  p
2. Положить y  i .
В этом алгоритме для моделирования одного числа
y может
понадобиться достаточно много случайных чисел x1 , x2 , .
Другой алгоритм следует из того факта, что случайная величина
 ln  
 

 ln (1  p) 
имеет геометрическое распределение с параметром
  U [0,1] , [  ] обозначает целую часть числа.
(7.1)
p . Здесь
Биномиальное распределение. Пусть случайная величина 
имеет биномиальное распределение с параметрами n и p :
P(  k )  C nk p k (1  p) n k , k  0,1,, n .
Вспомним, что биномиальное распределение возникает, когда мы
вычисляем вероятность выпадения ровно k «орлов» в серии из n
независимых испытаний, а вероятность выпадения «орла» в одном
испытании равна p .
Алгоритм:
1. Генерируем n случайных чисел x1 ,, x n из распределения
U [0,1]
2. Подсчитываем сумму
n
k   I [ 0, p ] ( xi ) ,
i 1
где I [ 0, p ] - индикатор отрезка [0, p ]
3. Полагаем y  k .
Случай пуассоновского распределения мы обсудим в следующем
разделе. Перейдем к непрерывным распределениям вероятностей. Здесь
удобно использовать метод обратного преобразования.
Пусть случайная величина  имеет функцию распределения
F ( x), P(  x)  F ( x) .
Предложение 7.1. Определим функцию F 1 ( y) как
(7.2)
F 1 ( y)  min x : F ( x)  y.
Тогда, если случайная величина   U [0,1] , то случайная величина
  F 1 ( ) имеет функцию распределения F (x) .


Доказательство. Из (7.2) следует F F 1 ( y)  y и
F
Отсюда
и
1
F ( x)  min y : F ( y)  F ( x)  x .
( y, x) : F
1

( y)  x  ( y, x) : y  F ( x)


P(  x)  P F 1 ( )  x  P  F ( x)  F ( x) .
Метод обратного преобразования легко использовать в случае,
когда функцию F 1 ( y) можно определить явно.
Показательное распределение. Пусть  имеет показательное
распределение с параметром  . Ее функция распределения имеет вид:
F ( x)  1  e x ,
  0.
Тогда
F 1 ( y )  
и если   U [0,1] , то
1

ln (1  y ),
y  [0,1]
1
  F 1 ( )   ln (1   )

(7.3)
имеет искомое распределение. Заметим, что т.к. 1  
распределение U [0,1] , то можно использовать формулу
1
   ln  .

Распределение Эрланга.
также имеет
(7.4)
Распределение Эрланга E n ( ) при
n  1 имеет функцию распределения, для которой трудно вычислить
n
обратную функцию. Вспоминая, что сумма
    i независимых
i 1
случайных величин
 i  E ( ), i  1,, n
имеет распределение
Эрланга E n ( ) и, пользуясь (7.4), получаем необходимый алгоритм:
1. Прогенерировать случайные числа x1 ,, x n из распределения
U [0,1]
2. Положить
Y 
1

ln x1  x n .
Такой метод моделирования случайных величин называется методом
свертки (плотность распределения Эрланга является сверткой
плотностей показательного распределения).
В общем случае, когда трудно вычислить обратную функцию
1
F и трудно использовать специфические свойства распределения,
можно использовать метод исключения. Пусть случайная величина 
f (x) и функцию
имеет плотность распределения вероятностей
распределения F (x ) . Пусть существует плотность распределения
вероятностей g (x ) такая, что f ( x)  cg ( x) для некоторой константы
c и для всех x  R . Предположим, что мы можем моделировать
g . Алгоритм исключения для
распределение с плотностью
моделирования случайной величины  с плотностью f состоит в
следующем:
1. Прогенерировать величину X из распределения с плотностью
g . Предположим X  x
2. Прогенерировать Y из распределения U [0, cg ( x)]
3. Принять
X  x , если Y  f (x) . В противном случае
вернуться к шагу 1.
Докажем справедливость этого алгоритма. Пусть X обозначает
случайную величину с плотностью g и h(x) – характеристическая
множества
x : g ( x)  0 : h( x)  1,
g ( x)  0, h( x)  0 , если g ( x)  0 . Тогда
функция
если
P X  x, X принято  P X  x, Y  f ( x) 
x f ( z)


 0
g ( z) 
1
h( z ) dydz 
cg ( z )
x

x
f ( z)
f ( z)
 c h( z ) dz   c dz .
В частности

f ( z)
dz .
c


P( X принято) 
Следовательно,
x
P X  x | X принято  
1
 c f ( z ) dz


1
 c f ( z ) dz
x

 f ( z ) dz

и величина X , при условии, что она принята, действительно имеет
плотность f .
Рассмотрим в качестве примера плотность
60 x 3 (1  x) 2 ,
f ( x)  
0,
x  [0,1]
x  [0,1].
Ясно, что трудно вычислить обратную функцию
распределения такой величины. Легко видеть, что
3
2
к
функции
3  2
max f ( x)  60        2,1 .
5  5
Значит плотность f мажорируется функцией 2,1  g ( x) , где g (x ) –
плотность распределения U [0,1] . Отсюда алгоритм:
Генерируем две величины Y , Z из распределения U [0,1] и если
Z  2,1  60  Y 3 (1  Y ) 2 , то полагаем
X  Y , в противном случае
повторяем процедуру.
Нормальное
распределение.
Обсудим
два
способа
моделирования нормального распределения. Приближенный метод
использует центральную предельную теорему, которая утверждает, что
для любой последовательности 1 , 2 , независимых, одинаково
распределенных величин со средним m и дисперсией  2
n

i 1
i
 nm
 n
Здесь
d

d
 N (0,1) .
означает сходимость по распределению,
N (0,1)
обозначает стандартное нормальное распределение. Пусть  i  U [0,1] .
1
1
m , 2  .
Тогда
Следовательно,
величина
2
12
1   2    12  6 приближенно имеет нормальное распределение.
В этом алгоритме для получения одного «нормального» случайного
числа требуется 12 обычных случайных (равномерных) чисел. Для
увеличения точности нужно брать большее количество слагаемых, но
тогда нужна дополнительная нормировка. Метод Бокса-Мюллера
является точным.
Предложение 7.2. Пусть 1  U [0,1],  2  U [0,1]  независимые
случайные величины. Тогда
(7.5)
1   2 ln 1 cos (22 ) ,
 2   2 ln 1 sin (22 )
являются независимыми величинами, 1  N (0,1),  2  N (0,1) .
Доказательство. Рассмотрим случайные величины
R  12   22 ,
Q  arctg
2
1
(7.6)
(R
и
Q можно рассматривать как полярные координаты точки
(1 ,  2 )
в плоскости
получаем
R 2 ).
Выполняя обратное преобразование,
1  R cos Q,  2  R sin Q .
Из (7.5), (7.6) следует, что
R   2 ln 1 ,
Q  22 .
Так как 1 и  2 независимы, то R и Q также независимы. При
1
p 0 ( ) 
Q ~ U [0,2 ] , и значить плотность
этом
для
2
0    2 . Простая выкладка показывает, что плотность случайной
R
величины
равна
f Q (r )  r exp  r 2 2 , r  0 . Значит,

совместная плотность
f R ,Q ( r ,  ) 
Тогда



1
r exp  r 2 2 .
2
P1  x1 ,  2  y1   PR cos Q  x1 , R sin Q  y1  
1
 
r exp  r 2 2dr d ,
2

A
где интегрирование ведется по множеству
A  (r, ) : r cos   x1 , r sin   y1 .
Переходя к декартовым координатам,
x  r cos  , y  r sin 
и зная, что dxdy  r dr d , получаем
1
P1  x1 ,  2  y1  
2
x1 y1
 1
  exp  2 ( x
  
2

 y 2 ) dx dy .

Последняя формула означает, что 1 и  2 независимы, и имеют
стандартное нормальное распределение.
Формулы (7.5) и (7.6) и определяют алгоритм Бокса-Мюллера.
7.2. Моделирование случайных процессов
в страховой и финансовой математике
В главе 4 мы ввели понятие процесса риска, описывающего
эволюцию капитала страховой компании во времени. Процесс был
определен как сложный пуассоновский процесс
S (t )  1     N (t ) ,
где 1 ,  2 , – независимые случайные величины, задающие размеры
N (t ) – пуассоновский случайный процесс,
страховых выплат,
независимый от величин  i , i  1,2, . N (t ) моделирует количество
страховых случаев за время t .
Случайная величина N (t ) имеет пуассоновское распределение с
параметром 
( t ) k
(7.7)
PN (t )  k  
exp (t ), k  0,1, ,
k!
но моделировать N (t ) как дискретную величину с помощью общего
алгоритма сложно, поскольку число значений бесконечно и при
достаточно больших k вероятности в (7.7) являются машинными
нулями.
Из главы 4 известно, что пуассоновский процесс является
случайным потоком, в котором времена между поступлениями заявок
 i независимы и распределены по закону E ( ) . Величины  i могут
быть представлены в виде
1
 i   ln  i ,  i ~ U [0,1], i  1,2, .

Значит
n


N (t )  max n :  n  t  max n :  ln  i  t  
 i 1

 t
 max n : 1  n  e .
Отсюда алгоритм:
1. Генерировать случайные числа
x1 , x2 , из распределения
U [0,1]
2. Вычислять произведения
выполнится условие
x1 , x1 x2 ,  до тех пор, пока не
n 1
n
i 1
i 1
 x i  e  t   x i
3. Положить N (t )  n . Если x1  e  t , то положить
N (t )  0 .
S (t ) ,
Чтобы промоделировать величину
сначала надо
промоделировать N (t ) . Если N (t )  n , то надо n раз обратиться к
датчику случайных величин  i , i  1,, n (предполагается, что они
F (x) ) и затем
имеют одну и ту же функцию распределения
суммировать полученные случайные числа.
Предположим, что начальный капитал страховой фирмы
равняется K , а интенсивность страховых сборов равна  . Поставим
вопрос об оценке вероятности разорения страховой компании в период
[0, T ] .
Для того, чтобы разыграть одну реализацию случайного процесса,
используем алгоритм:
1. Полагаем A  K , S  0, t  0
2.
Генерируем случайное число
из показательного
x
распределения E ( ) и случайное число y из распределения F
3. t : t  x
4. Если t  T , то Stop
5. S : S  y, A : A  x
6. Если S  A , то z : 0 , Stop
7. Переход к шагу 2.
Здесь z  1 ( z  0) означает, что в данной реализации компания
не разорилась (разорилась). Обращаясь к этой процедуре большое
количество раз, мы можем оценить вероятность неразорения компании
как частоту события z  1 .
Перейдем теперь к примерам распределений и процессов,
использующихся в финансовой математике. Теория Х.Марковитца
(Нобелевская премия по экономике 1990г.) рассматривает доходности
ценных бумаг (например, акций) как случайные величины. Не вдаваясь
здесь в содержание теории, скажем только, что доходность акции за
какой-то период времени определяется как
r
c 'c
,
c
где c – цена акции в начале периода, а c ' – в конце. Если имеется n
r1 ,, rn образуют случайный векторакций, то их доходности
столбец и часто предполагают, что этот вектор имеет многомерное
гауссовское распределение со средними значениями
Mri  mi ,
и матрицей ковариаций V  (vij )
i  1,, n
vij  Cov (ri , r j )  M (ri  mi )(r j  m j )T ,
i, j  1,, n .
Обозначается это так:
r ~ MN (m, V ) ,
где r  (r1 , , rn ) , m  (m1 , , mn ) T – вектор-столбцы. Из теории
гауссовского распределения известно, что многомерная плотность
распределения вероятностей вектора r имеет вид:
T
p r ( x) 
1
(2 )
n
2
 1

exp  ( x  m) T V 1 ( x  m) ,
 2

|V |
где | V | – определитель матрицы V , V 1 – матрица обратная к V .
Предположим, что для проведения статистических экспериментов
с данным портфелем ценных бумаг нам необходимо моделировать
вектор доходностей этих ценных бумаг. Ясно, что случайный вектор
  (r  m) ~ N (0,V ) и поэтому достаточно научиться моделировать
вектор  . Пусть случайные величины  i , i  1,2,, n независимы и
имеют стандартное гауссовское распределение
комбинации величин
i
N (0,1) . Линейные
также имеют гауссовское распределение.
Пусть C – матрица размера n  n,   (1 ,  , n ) T . Тогда легко
видеть, что
C  ~ MN (0, CC T ) .
Так как мы умеем моделировать величины
 i , i  1,, n
(смотрите предыдущий параграф), то задача сводится к тому, чтобы
найти матрицу C такую, что
CC T  V .
(7.8)
Матрица ковариаций
симметрична и положительноV
определена (т.е. x T Vx  0 для любого вектора x  R n ). Из линейной
алгебры известно, что для таких матриц V можно подобрать нижнюю
треугольную матрицу
C , удовлетворяющую уравнению (7.8).
c ij
Матричные элементы
можно получить из рекуррентных
соотношений
j 1


cij   vij   cik c jk  c jj ,
k 1


cij  0 при i  j .
В частности, для n  2 мы получим ответы
c11  v11 ,
v
v
c 21  12  12 ,
c11
v11
c 22  v 22 
v122
.
v11
(7.9)
Пусть теперь
r1  c111  m1 ,
r2  c211  c22 2  m2 .
Тогда случайный вектор r ~ MN (m, V ) .
(7.10)
Теория Марковитца исследует задачу оптимизации портфеля
ценных бумаг в статическом режиме (временная эволюция портфеля не
рассматривается). В современной финансовой математике зависимость
стоимости ценных бумаг от времени находится в центре внимания.
Для моделирования этой зависимости используется случайный
процесс, который является непрерывной версией процесса случайного
блуждания (смотрите главу 3).
Случайный процесс Wt , 0  t   называется стандартным
винеровским процессом (или броуновским движением), если
1. W0  0
0  t1    t n
случайные
Wt1  Wt0 , Wt2  Wt1 ,  , Wtn  Wtn 1 независимы
2.
Для
любых
величины
3. Для любых s, t  0 Wt  s  Wt ~ N (0, t  s) .
Л.Башелье еще в 1900 году предложил использовать для описания
курса акций S t модель
S t  S 0  t  Wt .
Если приращение цены акции за время
S t  S t  t  S t , то легко видеть, что
MS t  t , D(S t )   2 t .
t
(7.11)
обозначить
(7.12)
Из (7.12) следует, что параметр  характеризует норму возврата или
2 –
коэффициент роста, а
скорость роста дисперсии (в
экономической литературе стандартное отклонение 
называют
волатильностью). Одним из недостатков модели Башелье является то,
что цена S t может принимать отрицательные значения.
П.Самуэльсон
(Нобелевская премия по экономике 1970г.)
предложил использовать геометрическое броуновское движение:

2
S t  S 0 exp   
2



t  Wt  .


(7.13)
Не вдаваясь в тонкости стохастического анализа, скажем только, что
выражение в
(7.13)
является решением стохастического
дифференциального уравнения
d St
  dt   dWt .
St
(7.14)
Уравнение (7.14) приближенно в разностях можно понимать как
уравнение
S t  t  S t
(7.15)
  t   t  t ,
St
где t  kt ,  t   kt , k  1,2, – последовательность независимых
стандартных гауссовских величин. Уравнение
(7.15)
на
экономическом языке означает, что доходность ценной бумаги за время
t складывается из постоянного приращения  t и случайного
колебания с дисперсией  2 t .
Для того, чтобы моделировать реализации случайного процесса
(7.13),
достаточно научиться моделировать реализации
St
стандартного винеровского процесса
Wt . Для практических целей
достаточно моделировать значения процесса
Wt
в некотором
дискретном множестве моментов времени 0  t 0  t1    t n . Из
определения
следует,
что
приращения
Wt1  Wt0 , Wt2  Wt1 ,,Wtn  Wtn 1
Wti  Wti 1 ~
независимы,
N (0, t i  t i 1 ) . Поэтому алгоритм очень прост:
1. Полагаем W0  0
2. Для i от 1 до n генерируем X ~ N (0, t i  t i 1 ) и полагаем
Wti  Wti 1  X .
Рассмотрим пример, использующий модель геометрического
броуновского движения для описания временной эволюции курса
акции. Производная ценная бумага, называемая опционом колл,
позволяет купить через время T пакет акций по цене K рублей за
одну акцию. Человеку, обладающему опционом колл, выгодно
исполнить его, если цена акции в момент времени T превысит цену
исполнения K . В противном случае он не будет исполнять его.
Опцион европейского типа разрешает использовать опцион только в
момент времени T , при этом доход владельца опциона (без учета
цены, заплаченной за опцион) составит
f (S , K )  (ST  K )   max ( ST  K ,0) .
Опцион американского типа разрешает использовать опцион в любой
момент времени 0  t  T . При этом прибыль владельца опциона
составит
f ( S , K )  ( S t  K )   max ( S t  K ,0) .
Опцион азиатского типа даст доход

1 m

f ( S , K )    S iT  K  .
 m i 1 m

Возникают сложные математические вопросы о том, сколько
должен стоить опцион того или иного типа или о том, какова должна
быть стратегия выбора момента времени при исполнении опционов
американского типа. Понятно, что статистическое моделирование
курсов акций с помощью геометрического броуновского движения
полезно при поиске ответов на все эти вопросы.
7.3. Моделирование систем массового обслуживания
Рассмотрим задачу моделирования одноканальной СМО с какимто распределением времени обслуживания. Предположим, что времена
между поступлениями заявок независимы и имеют какое-то общее
распределение. Все это означает, что мы будем моделировать систему
вида G G 1 . Заявки обслуживаются в порядке очередности.
Пусть заявка с номером n приходит в момент времени t n ,
0  t 0  t1  t 2    t n   .
Tn время между приходом (n  1) -ой и n -ой
заявок: Tn  t n 1  t n . Пусть n -ая заявка обслуживается время S n , а
время, которое эта заявка будет ждать обслуживания, обозначим W n .
Обозначим через
Покажем, что выполняются рекуррентные соотношения
(7.16)
Wn1  max Wn  S n  Tn ,0  Wn  S n  Tn  , n  0 .
Действительно, n -ая заявка покидает систему в момент времени
t n  Wn  S n , а (n  1) -ая заявка приходит в момент времени
t n1  t n  Tn . Следовательно, время ожидания (n  1) -ой заявки

равняется
Wn1  t n  Wn  S n   t n1
(7.17)
при условии, что правая часть (7.16) положительна, и 0, если она
отрицательна. Таким образом,


Wn1  t n  Wn  S n   t n  Tn   Wn  S n  Tn  .
Соотношение (7.18) позволяет нам моделировать последовательность
времени ожиданий Wn : n  0 . Пусть последовательность S n 
образует последовательность независимых случайных величин с
функцией распределения F ( x)  P( S n  x) , а последовательность
Tn 
является последовательностью независимых величин с функцией
распределения G( x)  P(Tn  x) . Предположим для простоты, что мы
можем вычислить обратные функции F 1 ( x) и G 1 ( x)
и ,
следовательно, можем применить метод обратного преобразования.
Обозначим через X n : n  0 и Yn : n  0 две независимые
последовательности с равномерным распределением U [0,1] . Положив
S n  F 1 ( X n ),
образом
Tn  G 1 (Yn ), W0  0 ,
вычисляем рекуррентным



Wn  Wn 1  F 1 ( X n 1 )  G 1 (Yn ) , n  1,2, .
Среднее значение времени ожидания оценивается как
1 n
W  W j .
n j 1
(7.18)
Если у системы существует предельный стационарный режим, то для
оценки (7.18) среднего времени ожидания в стационарном режиме надо
выбрать достаточно большое значение n . Если мы хотим оценить
какую-то характеристику СМО, относящуюся к начальному периоду
функционирования системы, то мы должны моделировать
интересующую нас величину какое-то количество раз, всякий раз
используя независимые последовательности случайных чисел, и затем
вычислить выборочное среднее.
Приведем теперь более подробное описание алгоритма
моделирования одноканальной СМО, позволяющего собирать
статистическую информацию о ее характеристиках. Алгоритм
отслеживает цепочку событий, которые происходят с системой и
обновляют необходимые статистики в те моменты времени, когда
происходят эти события. Под событием понимается уход или приход
очередной заявки. Такой метод называется методом моделирования
дискретных событий.
Пусть время между поступлениями заявок имеет функцию
распределения
время обслуживания имеет функцию
G,
распределения F . Предположим, что первая заявка приходит в
систему в момент времени 0. Дисциплина обслуживания FIFO. Введем обозначения:
at – время прихода очередной заявки в систему
dt – время ухода очередной заявки из системы
ct – время наступления очередного события (текущее
время)
nq – текущее количество заявок в очереди
T
– время моделирования
TNQ – количество заявок, вставших в очередь за время
моделирования
TW – суммарное время ожидания всех заявок
TI – время простоя канала обслуживания за период
моделирования
TSF – суммарное время обслуживания всех заявок
TS – суммарное время пребывания заявки в системе
NA – количество поступивших заявок за время
моделирования.
Шаг 1. Задать время моделирования T , закон
распределения времени обслуживания F , закон распределения
времени между поступлениями заявок G
Шаг 2. Установить начальные условия:
ct =0
at =0
nq =0
TNQ =0
TW =0
TI =0
NA =1
Шаг 3. Прогенерировать случайное число x из
распределения F . Промоделировать время ухода очередной
заявки:
dt : ct  x
Шаг 4. Прогенерировать случайное число y из
распределения G . Промоделировать время прихода очередной
заявки:
at : ct  y
Шаг 5. Если следующим событием является уход заявки,
т.е. если dt  at , то переход к шагу 6; в противном случае
переход к шагу 14
Шаг 6. Если очередь пуста, т.е. если nq  0 , то переход к
шагу 11; в противном случае переход к шагу 14
Шаг 7. Установить время наступления очередного события
(ухода заявки):
ct : dt
И обновить время простоя канала обслуживания:
TI : TI  (at  ct )
Шаг 8. Установить время наступления очередного события
(прихода заявки):
ct : at
Увеличить количество поступивших заявок на единицу:
NA : NA  1
Шаг 9.
Если текущее время
больше времени
ct
моделирования T , то переход к шагу 19, в противном случае
переход к шагу 3
Шаг 10. Обновить суммарное время ожидания:
TW : TW  nq(dt  ct )
Шаг 11. Установить время наступления очередного события
(ухода заявки):
ct : dt
Уменьшить количество заявок в очереди на единицу:
nq : nq  1
Шаг 12.
Прогенерировать случайное число
из
x
распределения F . Промоделировать время ухода очередной
заявки:
dt : ct  x
Шаг 13.
Если текущее время ct
больше времени
моделирования T , то переход к шагу 19, в противном случае
переход к шагу 5
Шаг 14. Обновить суммарное время ожидания:
TW : TW  nq(at  ct )
Шаг 15. Установить время наступления очередного события
(прихода заявки):
ct : at
Увеличить количество поступивших заявок на единицу:
NA : NA  1
Шаг 16. Если уход и приход очередных заявок совпадают
(dt  at ) , то переход к шагу 9, в противном случае переход к
шагу 17
Шаг 17. Увеличить текущее количество заявок в очереди
на единицу:
nq : nq  1
Увеличить общее количество заявок, вставших в очередь, на
единицу:
TNQ : TNQ  1
Шаг 18. Если текущее время
больше времени
ct
моделирования T , то переход к шагу 19, в противном случае
возврат к шагу 4
Шаг 19. Вычислить и вывести на печать следующие
статистики:
Суммарное время обслуживания всех заявок TSF :
TSF : ct  TI
Суммарное время пребывания всех заявок в системе TS :
TS : TSF  TW
Среднее время пребывания заявки в системе AS :
AS : TS NA
Среднее время пребывания заявки в канале обслуживания ASF :
ASF : TSF NA
Среднее время пребывания заявки в очереди AW :
AW : TW NA
Среднее время пребывания в очереди заявок, стоявших в очереди
ANQ :
ANQ : TW TNQ
Доля времени, в течение которого происходит обслуживание
POF :
POF : TSF ct .
Для моделирования сложных систем и сетей массового
обслуживания
используются
специализированные
языки
моделирования GASP, GPSS, SIM SCRIPT, СЛЕНГ и др.
7.4. Статистический анализ данных. Методы уменьшения
дисперсии
Предположим, что в ходе статистического эксперимента мы
получили выборку независимых наблюдений
x1 , x2 ,, xn над
интересующей нас величиной  с неизвестным средним M  m и
неизвестной дисперсией
Из курса математической
D   2 .
статистики известно, что выборочное среднее
x
1 n
 xi
n i 1
и выборочная дисперсия
S2 
1 n
(x  x)2

n  1 i 1
являются несмещенными оценками для среднего m и дисперсией
 2 соответственно.
Для построения доверительного интервала для
m вспомним
центральную предельную теорему, которая утверждает, что при
достаточно больших n величина
n
x
i 1
i
 nm
 n
приближенно является стандартной гауссовской величиной. Это
утверждение остается приближенно справедливым и в том случае,
когда неизвестное стандартное отношение
заменяется на

выборочное стандартное отклонение
S . Пусть u1
–
2
 
1   2

квантиль стандартного гауссовского распределения. Тогда
x m


P  u1 
n  u1   1  
2
2 
S

или

S
S 
P x  u1
 m  x  u1
  1   .
2
2
n
n

Это означает, что интервал

S
S 
, x  u1
 x  u1 2

2
n
n

является приближенным 100 (1   ) % -м доверительным интервалом
для
Например,
при
  0,05 u1  1,96 , при
m.
2
  0,01
u1  2,58 .
2
Заметим, что если элементы выборки
распределены, то случайная величина
n
x
i 1
i
xi
нормально
 nm
S n
для всех n имеет распределение Стьюдента t n 1 с (n  1) -й
степенью свободы. В этом случае для получения точного
доверительного интервала надо заменить квантиль нормального
распределения u1 на квантиль распределения Стьюдента t n1;1 .
2
2
Поставим вопрос о том, сколько нужно сделать наблюдений для
того, чтобы оценка x находилась на расстоянии  от истинного
значения m ? Это означает, что половина длины доверительного
интервала равняется  :
u1
отсюда следует
S
2
n
 ,
2
 Su

1
2 

.
n
2

Для того, чтобы увеличить точность доверительной оценки в k раз,
количество наблюдений нужно увеличить в k 2 раз.
Другой подход состоит в том, чтобы уменьшить дисперсию  2
(или выборочную дисперсию S 2 ).
Рассмотрим некоторые способы уменьшения дисперсии. Метод
значимой выборки заключается в том, что простая случайная выборка
заменяется на другую случайную выборку с тем же средним, но
меньшей дисперсией.
Многие задачи статистического моделирования ставятся как
f от
задачи нахождения среднего значения некоторой функции
случайной величины  (обычной или векторной). Первые применения
статистического моделирования были именно такого рода, а сам метод
статистического вычисления таких средних называют методом МонтеКарло. Пусть
  Mf ( ) 

 f ( x) p( x) dx ,

где p (x ) – плотность  . Пусть q(x) – другая плотность и пусть
f ( x) p( x)
.
q ( x)
Предположим, что там, где q(x) равняется 0, f ( x) p( x) также
равняется 0 и g (x ) тоже равняется 0. Пусть h(x) обозначает
индикатор множества x : q( x)  0. Тогда
g ( x) 




f ( x) p ( x)h( x) dx 

 g ( x)q( x)h( x) dx 



 g ( x)q( x) dx .

Если
независимые случайные величины с
x1 ,, x n –
плотностью q , то мы можем оценить интеграл  несмещенной
оценкой
ˆq 
1 n
 g ( xi )
n i 1
с дисперсией

1
2
Dˆq    g ( x)    q( x) dx .
(7.19)
n 
Оказывается, что удачным подбором плотности q можно добиться
того, что дисперсия
прямой оценки
(7.19)
будет значительно меньше дисперсии
n
ˆ p   f ( xi ) .
i 1
 ~ E (1) и нас интересует вероятность
Рассмотрим пример. Пусть
того, что   a , при a »1:

 (a)   e  x dx .
a
Пусть
1,
f ( x)  
0,
xa
xa
Тогда

 (a)   f ( x)e  x dx  e a .
0
В качестве плотности q(x)
выберем плотность показательного
распределения с параметром   1:
e  x ,
q ( x)  
0,
x0
x0
Тогда
g ( x) 
f ( x) p( x)
 1e (  1) x f ( x) .
q ( x)
Dˆq 
1
g ( x)   (a)2 q( x) dx 

n0
Получаем





1 2
  g ( x)q ( x) dx   2 (a )  

n  0


 1  2 n  e a

1   2 2 (  1) x 
2a
 e
 e 

e
dx

e

1
 . (7.20)
 n
n  0
  (2   ) 

Минимизируя
(7.20)
 , легко видеть, что минимум
по
Dˆq
достигается при
 (a)  1 
При таком выборе 
1
1
1
 1 2 
a
a
a
при a »1.
1 1 2 a
e a.
2n
Дисперсия первоначальной оценки ˆq (  1) равна
Dˆq
  ( a )

1 a
e .
n
Видно, что при больших значениях a получается существенный
Dˆq
 1

выигрыш.
Рассмотрим еще один метод уменьшения дисперсии,
называемый методом противоположных выборок. Пусть
случайные величины X i , i  1,,2m являются независимыми
корнями величины X со средним значением m и дисперсией
 2 . Тогда выборочное среднее X может быть записано как
1 2m
1 m
(7.21)
X
X

Yj  Y ,
 j m
2m j 1
j 1
где
X 2 j 1  X 2 j
Yj 
,
j  1,  , m .
2
Вычислим дисперсию величины Y j :


1 2
   2  2Cov Cov( X 2 j 1 , X 2 j ) .
(7.22)
4
X 2 j 1
X2j
Так как величины
и
независимы, то
DY j 
Cov( X 2 j 1 , X 2 j )  0 , и в этом случае переход от величин X
к
Y не приводит к уменьшению дисперсии
величинам
выборочного среднего. Откажемся от условия независимости
X 2 j 1 и X 2 j , j  1, , m
величин
и используем пары с
отрицательной ковариацией Cov( X 2 j 1 , X 2 j )  0 . Это приведет к
уменьшению дисперсий DY j (7.22) и к уменьшению дисперсии
выборочного среднего (7.21).
Рассмотрим этот метод на примере статистического
моделирования задачи сетевого планирования. Многие сложные
проекты могут быть представлены как наборы индивидуальных
заданий, выполняемых в определенном порядке. Математически эту
задачу можно изобразить с помощью ориентированного графа. Очень
часто продолжительности каждого из заданий точно неизвестны и
должны рассматриваться как случайные величины. Тогда время,
необходимое для выполнения всего проекта, также является случайной
величиной. Наша задача состоит в том, чтобы по функциям
распределения времен исполнения индивидуальных заданий
определить характеристики случайной величины – времени
выполнения всего проекта. Пусть, например, граф, соответствующий
некоторому проекту, имеет вид
0
T1
T2
1
T3
2
T4
3
Рис. 7.1
Здесь вершина 0 означает начало проекта, вершина 1 означает
выполнение 1-го задания, T1 – его продолжительность и т.д.
Тогда время выполнения всего проекта можно записать как
T  T1  max (T2 , T3 )  T4 .
Зная распределение величин T1 , T2 , T3 , T4 , можно в принципе
найти распределение величины T . Если случайные величины 
и  независимы и имеют плотности и функции распределения
p ( x), F ( x) и p ( x), F ( x) соответственно, то сумма   
имеет плотность, равную свертке плотностей  и  :

p  ( x) 
 p ( y) p ( x  y) dy .

Операцию свертки обычно обозначают с помощью звездочки
F  ( x)  F ( x)  F ( x) .
Кроме того, так как случайные величины T2 и T3 независимы,
то
G ( x)  Pmax (T2 , T3 )  x  P(T1  x, T2  x)  FT2 ( x) FT3 ( x) .
Отсюда для случайной величины T получаем соотношение:
P{T  x}  FT1  G  FT4 ( x) .
В более сложных и реалистичных сетях приходится вычислять
большое число сверток и произведений и вычислить
аналитически функцию распределения продолжительности всего
проекта трудно. В таком случае естественно прибегнуть к
статистическому моделированию. Надо получить
n
независимых реализаций T1 ,, Tn величины T , после чего
T
можно оценить функцию распределения величины
с
помощью эмпирической функции распределения:
1 n
FˆT ,n ( x)    (  , x ) (Ti ) ,
n i 1
где
0, y  x
 (  , x ) ( y)  
1, y  x
обозначает индикатор луча ( , x ) . Среднее значение T
оценивается с помощью выборочного среднего
1 n
T   Ti .
n i 1
Посмотрим, как работает метод противоположных выборок в
таких задачах. Пусть у нас имеется следующий фрагмент сети:
1
T1
T2
2
Рис. 7.2
3
Здесь
T  T1  T2 .
Для того, чтобы получить одну реализацию T  T 1 , необходимо
прогенерировать значения T11 и T21 :
T11  FT1 1 ( x1 )
T21  FT2 1 ( x2 ) ,
где x1 и x 2 – независимые случайные числа из равномерного
закона U [0,1] ,
T 1  T11  T21 .
~
Теперь построим реализацию T 1 при помощи дополняющих
переменных:
~
T11  FT1 1 (1  x1 )
~
T21  FT2 1 (1  x2 )
~
~
~
T 1  T11  T21 .
Построим оценку
1
~
T A1  (T 1  T 1 ) .
2
Построив n независимых реализаций величин T A , можно
оценить среднее значение T . Тогда дисперсия этой оценки
окажется меньше, чем дисперсия оценки, полученной
стандартным образом с помощью 2n независимых реализаций
T . В самом деле, пусть
распределены по
T1 и T2
~
показательному закону E (1) . Если T1  ln (1   ), T1  ln  , где
 – равномерно распределена на [0,1] , то
~
~
~
Cov (T1 , T1 )  M (T1  1)(T1  1)  MT1T1  1 
1
  ln (1  y) ln y dy  1  1 
0
Отсюда
2
6
 0,64 .
~
T 1  T 1  1
~1 ~1
1
1
D T  D
  D T1  T2  T1  T2 
 2  4
 
1
A



 

1
~
~
D T11  T11  D T21  T21 ,
4
~
~
так как случайные пары (T11 , T11 ) и (T21 , T21 ) независимы.


    


 2 
~1
~1
1
1 ~1
  0,72
D T  T1  D T1  D T1  2 Cov T1 , T1  2  21 
6


Таким образом,
1
D TA1  (2  0,72)  0,36
4
и следовательно, при использовании выборки объема n
0,36
DT A  
.
n
~
~
Если бы мы использовали независимые величины T1 , T1 , T2 , T2 , то
получили бы оценку с дисперсией
1
DT   .
n
Метод противоположных выборок позволил уменьшить
дисперсию почти в три раза.
1
1
 
7.5. Метод Монте Карло марковских цепей.
Метод отжига в задачах комбинаторной оптимизации
В различных приложениях, использующих метод статистического
моделирования, часто возникает следующая задача. Имеется набор
ai , i  1,, m
положительных чисел
и надо смоделировать
распределение вероятностей вида
i 
ai
,
A
i  1,, m ,
m
где
A   a j – нормирующий множитель. При этом сумму
A
j 1
невозможно вычислить явно (например, из-за того, что N очень
велико). Это означает, что мы фактически не знаем значений  i , а
можем вычислить только отношения вида
i
j .
Идея, состоит в том, чтобы построить марковскую цепь с
P
матрицей переходных вероятностей
таким образом, чтобы
распределение   ( 1 ,,  m ) являлось предельным распределением
для этой цепи.
Пусть  (0),  (1),  (2),  является однородной марковской
цепью с дискретным временем и конечным множеством состояний
P.
и матрицей переходных вероятностей
S  1,, m
  ( 1 ,,  m ) на S называется
обратимым для марковской цепи  (n), если выполняются уравнения
Распределение вероятностей
баланса:
 i pij   j p ji
для всех i и j .
(7.23)
Заметим, что если выполнено условие (7.23), то распределение
 является стационарным для марковской цепи. Действительно,
m
m
m
j 1
j 1
j 1
 i   i  pij    i pij   j p ji ,
i  1,, m ,
т.е.    P .
Алгоритмы, которые моделируют заданные распределения с
помощью марковских цепей, называются Монте Карло алгоритмами
марковских цепей ( Markov Chain Monte Carlo – MCMC). Приведем
один из наиболее общих алгоритмов МСМС – алгоритм МетрополисаХастингса.
Пусть  ( n)  i . Определим  (n  1) следующим способом:
Шаг 1. Моделируем номер
j кандидата на следующее
состояние с помощью некоторого распределения g ij . Распределение
g ij должно удовлетворять условиям
а) если g ij  0 , то g ji  0 ,
б)
g ij
должно задавать матрицу переходных вероятностей
неразложимой марковской цепи на S .
Шаг 2. Мы полагаем  (n  1)  j
с вероятностью  ij
полагаем  ( n  1)  i с вероятностью 1   ij , где


 ij  min 1,
 j g ij 
.
 i g ji 
и
Таким образом, матрица переходных вероятностей для цепи
имеет вид
pij  g ij ij ,
 (n)
i j
pii  g ii   g ik (1   ik ) .
k i
Покажем, что распределение  обратимо для цепи  (n) :
 i pij   j p ji .
(7.24)
Пусть, например, i  j и  j g ji   i g ij . Тогда
  j g ji 
pij  g ij ij  g ij min 1,
  g ij .
  i g ij 
(7.25)
Также
  i g ij 
p ji  g ji ji  g ji min 1,

  j g ji 
 i g ij  i
 g ji

g ij .
 j g ji  j
(7.26)
Из (7.25) и (7.26) следует (7.24).
Если матрица P  ( p ij ) удовлетворяет условиям теоремы о
предельных вероятностях (гл.3), то стационарное распределение 
является предельным распределением для этой цепи. Таким образом,
выбирая любое начальное состояние  (0) и генерируя достаточно
большое количество шагов эволюции этой цепи, мы можем
рассчитывать на то, что с большой точностью
P (n)  j   j .
В качестве примера построим матрицу переходных вероятностей
P для моделирования пуассоновского распределения
i 
i
i!
exp (  ),
 0 .
Пусть  ( n)  i . Промоделируем  (n  1) :
Шаг 1. Положим
1 2 ,

g ij  1 2 ,
0,

если j  i  1
если j  i  1
в других случаях .
То есть, кандидат на следующее состояние выбирается с равной
вероятностью из состояний i  1, i  1.
Шаг 2. Мы принимаем  (n  1)  i  1 с вероятностью
 i 1 
  min

i 


 i ,i 1  min 1,
 

1,

 i  1
и принимаем  (n  1)  i  1 с вероятностью
 i 1 
 i
  min 1,  .
 
 i 

 i ,i 1  min 1,
Если
 ( n)  0 , то состояние
j  1 отвергается и принимается
 (n  1)  0 .
Одним из наиболее известных применений алгоритмов МСМС
является метод отжига в задачах комбинаторной оптимизации.
Предположим, что имеется сложная задача комбинаторной
оптимизации (например, задача коммивояжера). Это значит, что мы
X, и
имеем очень большое (конечное) множество вариантов
функцию
f :X R,
которую мы хотим минимизировать. Пусть min f ( x)  c .
x X
X 0  x  X f ( x)  c  x1 ,, xl .
Определим распределение вероятностей  T на X
 T ( x) 
1
exp  f ( x) T  ,
Z
(7.27)
Z   exp  f ( x) T  .
xX
Здесь T  0 – вещественный параметр. В литературе иногда параметр
T
f (x) – энергией,
называется температурой, функцию
распределение
 T – распределением Больцмана (или Гиббса).
Терминология пришла из статистической физики, в которой метод
отжига был придуман. Сам алгоритм отжига имеет аналогию с
процедурой закаливания материалов в металлургии.
Рассмотрим предельные распределения
 0 ( x)  lim  T ( x) ,
T 0
  ( x)  lim  T ( x) .
T 
Предложение 7.3. Распределения  0 и   являются равномерными
распределениями на X 0 и X соответственно:
1 l , x  X 0
0, x  X 0
1
  ( x) 
, x X .
|X|
 0 ( x)  
Доказательство.
 0 ( x)  lim
T 0

(7.28)
(7.29)
exp  f ( x) T 

 exp f ( y) T 
yX
 lim
T 0
1
.
 exp f ( x)  f ( y) T 
yX
Если x  X 0 , y  X 0 , то f ( x)  f ( y ) и exp f ( x)  f ( y) T  1.
f ( x)  f ( y )
то
x X0, y  X0 ,
lim exp  f ( x)  f ( y ) T   0 . Значит, при x  X 0
Если
и
T 0
 0 ( x) 
1
1
 .
 lim exp f ( x)  f ( y) T  l
yX
T 0
Если x  X 0 , то выбирая y 0  X 0 , получаем
lim
T 0
1
1
 lim
 0.
 exp f ( x)  f ( y) T  T 0 exp  f ( x)  f ( y0 ) T 
yX
Похожие рассуждения доказывают (7.29).
Применим
алгоритм
Метрополиса-Хастингса
к
моделированию  T (x) . Для каждой точки x  X определим
окрестность U ( x)  X со следующими условиями:
1. x  U (x)
2. для любых x и y x  U ( y ) тогда и только тогда,
когда y  U (x)
3. для любых x и y, x  y существует m  0
и
x1 ,, xm  X такие, что
x  U ( x1 ), x1  U ( x2 ),  , xm1  U ( xm ), xm  U ( y) .
1
Распределение g xy
определим как
g xy 
U ( x)
для
y  U (x) и g xy  0 для y  U (x) . Тогда марковская цепь  (n)
задается матрицей переходных вероятностей
 1
y  U ( x), f ( y )  f ( x)
 u ( x) ,

 1

exp  f ( x)  f ( y ) T , y  U ( x), f ( y )  f ( x)
T
p xy   u ( x)

y  U ( x), y  x
0 ,
1 
p Txz ,
yx
 
zx
Заметим, что матрица
удовлетворяет условиям
p Txy
теоремы о предельных вероятностях. Действительно, из свойств
окрестностей следует, что из любого состояния x можно
попасть в любое состояние y за конечное число шагов, т.е. цепь
является неразложимой. Кроме того, если функция f (x) не
является константой, то легко видеть, что существует x такое,
что p Txx  0 . Отсюда следует, что существует n такое, что мы
можем из любого состояния x попасть в любое состояние y за
n шагов с ненулевой вероятностью.
Алгоритм отжига является эвристическим алгоритмом,
основанным на аналогии с процедурой закаливания металла.
Известно, что медленное охлаждение металлического листа
приводит к большей прочности материала по сравнению с
процедурой быстрого охлаждения. Обычная процедура
локального поиска в сложных задачах комбинаторной
оптимизации приводит к тому, что мы спускаемся в какой-то
локальный минимум, из которого уже не можем выйти. В то же
время сложная задача комбинаторной оптимизации обычно имеет
большое количество локальных минимумов, далеко отстоящих от
глобального минимума. Алгоритм моделирования гиббсовского
распределения (7.27) позволяет нам выскакивать из локального
минимума с некоторой вероятностью и продолжить поиск.
Алгоритм отжига сводится к следующим шагам:
Шаг 1. Выбирается большое значение параметра T0
(температуры), начальное значение x и моделируется случайное
блуждание алгоритма Метрополиса-Хастингса для получения
гиббсовского распределения (7.27).
В силу предложения 7.3. распределение (7.27) при больших
значениях T близко к равномерному. Случайное блуждание
легко
преодолевает
«энергетические»
барьеры
между
локальными минимумами и позволяет свободно двигаться по
всему пространству X в поисках очередного решения.
Шаг 2. Температура T0 снижается до значения T1  T0 , в
качестве стартового значения выбирается то значение x , на
котором было остановлено случайное блуждание при
температуре T0 . Опять используется алгоритм МетрополисаХастингса для моделирования распределения  T1 ( x) .
Далее процедура повторяется с постепенным снижением
температуры до некоторого малого значения Tn . В силу
T
предложения 7.3. при малых значениях температуры
распределение
 T (x) сосредоточено вблизи глобального
минимума и есть шанс получить «почти оптимальное» значение
x.
В этом алгоритме есть несколько эвристических моментов:
1) не определено количество шагов алгоритма МетрополисаХастингса при фиксированной температуре для получения
распределения  T (x) с заданной точностью (хотя в конкретных
случаях возможны теоретические оценки)
2) не ясно, как выбирать температурное расписание
T0  T1  T2   . В качестве вариантов используются убывающие
арифметические и геометрические последовательности.
Теоретический анализ эффективности этого алгоритма
весьма сложен. Но в качестве эвристической процедуры метод
отжига пользуется популярностью.
Задачи
1. Обоснуйте алгоритм моделирования геометрического
распределения, основанного на формуле (7.1).
2.
Придумайте алгоритм моделирования случайной
перестановки из n элементов {1,2,  , n} (все перестановки
должны быть равновероятны).
3. Объясните, как моделировать следующие распределения:
а) равномерное распределение на отрезке [a, b]
б) распределение Коши с плотностью
1
1
P( x) 

, xR
2
 1 x
в) треугольное распределение с плотностью
ab
 4( x  a )
ax
 (b  a ) 2 ,
2

ab
 4( x  b )
P ( x )  
,
 xb.
2
2
(
b

a
)

0,
x  [ a, b]


4. Дана конечная марковская цепь с матрицей переходных
вероятностей за один шаг P и начальным распределением

p (0) . Предложите алгоритм моделирования этой цепи.
5.
Предложите алгоритм моделирования нормального
распределения с помощью метода отсечений.
6. Докажите формулы (7.9) и проверьте, что величины
(7.10) имеют двумерное гауссовское распределение с вектором
средних m и матрицей ковариаций V .
7.
Предложите определение окрестности допустимого
решения в задаче коммивояжера и запрограммируйте алгоритм
отжига для решения этой задачи.
Приложение
Сводка определений и теорем теории вероятностей
и математической статистики
1.
Множество  всех возможных исходов случайного
эксперимента называют пространством элементарных исходов,
элемент    называется элементарным событием.
2. Класс A подмножеств пространства  называется  алгеброй множеств, если
а) Ø  A,   A
б) если A  A, то A  A
в) если An  A, n  1,2,  , то

 An  A,
n 1

A
n
 A.
n 1
3. Вероятностным пространством называется тройка ( , A , P ) ,
где  –пространство элементарных событий,
A –  -алгебра
подмножеств  , называемых событиями, P – числовая функция на
 -алгебре A, называемая вероятностью, если выполнены аксиомы:
а) P ( A)  0 для всех A  A
б) P()  1 (условие нормировки вероятности)
в)
Если события
A1 , A2 ,– попарно несовместны (т.е.
Ai A j  Ø при i  j ), то

 
P  An    P( An )
 i n  n 1
(аксиома  -аддитивности).
4. Условной вероятностью P ( A | B ) события A при условии,
что произошло событие B , называется отношение:
P( A | B) 
P( AB)
.
P( B)
5. События A1 , A2 ,, An , образуют полную группу событий,
если они удовлетворяют условиям:
Ai A j  Ø при i  j ,

A
i
i 1
 .
6.
Теорема (формула полной вероятности). Пусть
A1 , A2 ,
образуют полную группу событий, P( Ai )  0, i  1,2, . Тогда для
любого события B

P( B)   P( B | Ai ) P( Ai ) .
i 1
7.
Теорема (формула Байеса). Пусть
A1 , A2 , образуют
полную группу событий, P( Ai )  0, i  1,2, , P( B)  0 . Тогда
P( A ) P( B | Ak )
.
P( Ak | B)   k
 P( Ai ) P( B | Ai )
i 1
8. Два события A и B называются независимыми, если
P( AB)  P( A) P( B) .
События A1 , A2 , независимы в совокупности, если
P( Ai1    Aik )  P( Ai1 )    P( Aik )
для любого набора индексов {i1 ,, ik } .
9. Отображение  :   R называется случайной величиной,
если для любого числа x множество
  x   : ()  xA.
10. Функцией распределения случайной величины  называется
функция
F ( x)  F ( x)  P  x .
11. Случайная величина 
имеет дискретное распределение,
если она принимает конечное или счетное число значений
причем

P  x k   p k ,
12.
Случайная величина
p
k 1

k
x1 , x2 , ,
 1.
имеет абсолютно непрерывное
распределение, если существует такая функция P (x ) , что для любых
ab
b
Pa    b   p ( x) dx .
a
Функция
p (x ) называется плотностью распределения случайной
величины  .
13. Пусть на вероятностном пространстве
( , A , P ) задано
1 ,,  n . Многомерной функцией
распределения величин 1 ,,  n называется функция n переменных
F ,, ( x1 ,, x n )  P1  x1 ,,  n  x n  .
несколько случайных величин
1
n
Многомерной плотностью распределения
p ( x)  p1 ,, n ( x1 , , x n )
называется такая функция, что
P  B   p ( x) dx ,
B
где B – произвольная область в R n .
14. Случайные величины 1 ,,  n называются независимыми,
если
F1 ,, n ( x1 , , x n )  F1 ( x1 )  F n ( x n )
или
P1  B1 ,,  n  Bn   P1  B1    P n  Bn 
для любых интервалов B1 ,, Bn в R .
15. Формула свертки. Пусть  и  – независимые случайные
величины, p и p – их плотности. Тогда плотность распределения
суммы    равна

p  ( y ) 
 p ( x) p ( y  x) dx .

16.
Пусть  – дискретная случайная величина, принимающая
значения x1 , x2 , . Математическим ожиданием
величины  называется число
M
случайной

M   xi P  xi 
i 1
при условии, что ряд абсолютно сходится.
Если  – случайная величина с плотностью
математическое ожидание определяется как
p (x ) ,
то ее
M 

 xp ( x) dx

при условии, что интеграл абсолютно сходится.
17. Дисперсией случайной величины  называется число
D  M (  M ) 2
(при условии, что правая часть определена).
18. Коэффициентом ковариации случайных величин 
называется число
Cov( , )  M (  M )(  M ) .
Коэффициент корреляции определяется как
 ( , ) 
Cov( , )
D  D
и 
.
19. Случайная величина  имеет биномиальное распределение
с параметрами n и p ,  ~ b(n, p ) , если
0  p  1,
P  k   C nk p k (1  p) n  k , k  0,1,, n ,
n – натуральное число.
M  np, D  np(1  p) .
20. Случайная величина  имеет отрицательное биномиальное
распределение с параметрами n и p ,  ~ b (n, p) , если
0  p  1,
P  k   C nk k 1 p n (1  p) k , k  0,1, ,
m – натуральное число
n(1  p )
n(1  p )
M 
, D 
.
p
p2

21.
Случайная величина
имеет геометрическое
распределение с параметром p ,  ~ G ( p ) , если
P  n  p(1  p) k ,
k  0,1,2, ,
0  p  1.
1 p
1 p
, D  2 .
p
p
22. Случайная величина  имеет распределение Пуассона с
параметром  ,  ~  ( ) , если
M 
P  k  
  0.
k
k!
exp ( ),
M   ,
k  0,1,2, ,
D   .
23. Случайная величина  имеет равномерное распределение
на отрезке [ a, b] ,  ~ U [a, b] , если ее плотность распределения
 1
,

p ( x )   b  a
0,
ab
M 
,
2
x  [ a, b]
x  [a, b].
(b  a) 2
.
D 
12
24. Случайная величина  имеет нормальное (или гауссовское)
распределение с параметрами
плотность распределения
 1

exp 
( x  m) 2 ,
2
2 
 2

2
 0.
p ( x ) 
   m  ,
m,  2 ,  ~ N (m,  2 ) ,
1
если ее
x R,
M  m,
D   2 .

25.
Случайная величина
имеет логнормальное
2
распределение,  ~ LN (m,  ) , если ln  ~ N (m,  2 ) .

2
M  exp m 
,
2 



D  m 2 exp( 2 )  1 .
Случайная величина 
имеет гамма-распределение,
 ~ ( ,  ) , если ее плотность распределения
26.
    1
x exp( x),

p ( x)   ( )
0,


x0
x  0,
 ,   0, ( ) – гамма-функция, ( )   x  1 exp(  x) dx .
0


,
D  2 .


27. Случайная величина  имеет показательное распределение,
M 
 ~ P(a, b) , если ее плотность распределения
1
 xa
xa
,
 exp  
p ( x)   b
b 

0,
x  a,

   a  , b  0 .
M  a  b,
D  b 2 .
P (0,  ) является частным случаем
Показательное распределение
P (0,  ) ~ (1 ,1) .
гамма-распределения,
Для распределения
P(0, 1 ) мы используем также обозначение E ( ) .
28.
Случайная величина  имеет распределение Эрланга,
 ~ E n ( ) , если  может быть представлена в виде суммы
независимых величин  i ~ E ( ), i  1,, n :
  1     n .
Распределение Эрланга является
распределения, E n ( ) ~ ( , n) .
29.
частным
случаем
гамма-
Случайная величина  имеет хи-квадрат с n степенями
свободы,  ~  n2 , если справедливо представление
где величины
  12     n2 ,
1 , 2 ,, n независимы между собой и имеют
распределение N (0,1) .
Хи-квадрат распределение является частным случаем гаммараспределения,
1 n
 n2 ~  ,  .
2 2
30. Случайная величина  имеет распределение Стьюдента с
n
степенями свободы,
1
 ~ tn ,
если справедливо представление
1  2
, где  и  – независимые случайные величины,
n 
 ~ N (0,1),  ~  n2 . Распределение Стьюдента t n имеет плотность
    
 n 1
n 1



x2  2
2  

1 

ptn ( x) 
,
  x  .
n 
 n  
n   
2
n
M  0, D 
.
n2
31.
Случайная величина 
имеет бета-распределение с
параметрами a и b ,  ~  (a, b) , если ее плотность распределения
(a  b) a 1
p ( x ) 
x (1  x) b 1 ,
(a)(b)
0  x  1, a, b  0 .
a
ab
M 
, D 
.
2
ab
(a  b) (a  b  1)
32. Случайная величина  имеет распределение Вейбулла с
параметрами  и  , если ее плотность распределения
p ( x)  t  1 exp  t  , x  0 .

1
M  

 1
1  ,
 

2
D  

  2
1 
2
1      1    .



 
33.
Случайная величина  имеет распределение Парето с
параметрами  и c , если ее плотность распределения
p ( x ) 
x  c ,   0.
 c
 
c  x
 1
,

c (существует при   1 ),
 1

D 
c 2 (существует при   2 ).
(  1) 2 (  2)
34. Последовательность 1 ,  2 , сходится почти наверное
M 
п.н
(п.н.) к случайной величине  ,  n   , если

P
lim  n     1 .
 n

35.
Последовательность 1 ,  2 , сходится по вероятности к
p
случайной величине  ,  n   , если для любого   0
P|  n   |    0 .
n 
36. Последовательность 1 ,  2 , сходится по распределению к
d
 ,  n   , если Fn  F (x) в любой точке x , в которой функция
F (x) непрерывна. Здесь Fn ( x)  P n  x , F ( x)  P  x.
37.
Теорема (закон больших чисел).
Если
1 ,  2 ,
независимы и существует такая константа
что
c 0,
D n  c, n  1,2, , то
      n M1    M n

lim P 1

    1.
n 
n
n


Следствие. Если 1 ,  2 , независимы и одинаково распределены,
M n  m, D n   2   , то
1     n
n
p
 m.
38.
Центральная предельная теорема. Пусть
независимые одинаково распределенные случайные
S n  1     n . Если 0   2  D1   , то
S n  nm
где  ~ N (0,1) .
39.
n
1 ,  2 ,–
величины,
d
 ,
n 
Пусть функция распределения F (x ) случайной величины
 принадлежит семейству функций распределения F (x);   ,
 – множество значений параметра  . Наблюдения x1 ,, x n
рассматриваются как реализация выборки
X 1 ,, X n , элементы
которой независимы и имеют функцию распределения
Функция
ˆ  ˆ( X 1 ,, X n )
от выборки
статистикой или оценкой параметра  .
X 1 ,, X n
F (x) .
называется
Оценка
ˆ( X 1 ,, X n ) параметра  называется несмещенной,
если
M  ˆ( X 1 ,, X n )   для всех    .
1 n
40. Статистика x   xi является несмещенной статистикой
n i 1
математического ожидания и называется выборочным средним.
1 n
( xi  x ) 2
является несмещенной

n  1 i 1
статистикой дисперсии D  и называется выборочной дисперсией.
41. Пусть задана выборка независимых наблюдений x1 ,, x n
Статистика
S2 
над случайной величиной  n . Функция
1 n
Fˆn ( x)   I (  , x ) ( xi ) ,
n i 1
где
1, y  x ,
I (  , x ) ( y )  
0, y  x
называется эмпирической функцией распределения.
42.
Теорема Колмогорова.
Пусть
Dn  sup Fˆn ( x)  F ( x) .
 x 
Если функция распределения F (x ) непрерывна, то


lim P n Dn  x  K ( x) 
n 

 (1)
k
exp (2k 2 x 2 ), x  0 .
k  
На основе этой теоремы строится критерий Колмогорова. Пусть   1
– уровень значимости. По таблицам находится значение k1 такое,
что K (k1 )  1   . Если
n Dn  k1 то мы принимаем гипотезу о
имеет функцию распределения, равную F (x ) . В
том, что 
противном случае мы отвергаем эту гипотезу.
43. Критерий  2 Пирсона. Пусть наша гипотеза состоит в том,
что случайная величина  имеет функцию распределения F (x ) .
y0    y1  y 2    y r 1  y r   и вычислим
pk  F ( y k )  F ( y k 1 ) . Обозначим через  k число
Выберем точки
вероятности
элементов выборки x i , для которых y k 1  xi  y k . Тогда, если верна
гипотеза, то распределение статистики
( k  np k ) 2
np k
k 1
n
 n2  
 2 -распределению с ( r  1) степенью
свободы. Выбирая уровень значимости
 по таблицам  2 при
n 
сходится к
распределения, находим значение k1 (r  1) такое, что


P  2 (r  1)  k1 (r  1)   .
Если   K  ( r  1) , то гипотеза принимается, в противном
случае отвергается.
2
n
Литература
1. Акофф Р., Сасиени М. Основы исследования операций. –
М.: Мир, 1971.
2. Беллман Р., Дрейфус С. Прикладные задачи динамического
программирования. М.: Наука, 1965.
3. Березовский Б.А., Гнедин А.В. Задача наилучшего выбора. –
М : Наука, 1984.
4. Букан Д.Ф., Кенигсберг Э. Научное управление запасами. –
М.: Наука, 1967.
5. Вагнер Г. Основы исследования операций. – М.: Мир, 1972.
6. Вентцель Е.С. Исследование операций. – М.: Советское
радио, 1972.
7. Вентцель Е.С., Овчаров Л.А. Прикладные задачи теории
вероятностей. – М.: Радио и Связь, 1983.
8. Гнеденко Б.В. Курс теории вероятностей. – М.: Наука, 1965.
9. Гнеденко Б.В., Коваленко И.Н. Введение в теорию
массового обслуживания. – М.: Наука, 1966.
10. Дынкин Е.Б., Юшкевич А.А. Управляемые марковские
процессы и их приложения. – М.: Наука, 1975.
11. Дынкин Е.Б., Юшкевич А.А. Теоремы и задачи о процессах
Маркова. – М.: Наука, 1967.
12. Ермаков С.М. Метод Монте-Карло и смежные вопросы. –
М.: Наука, 1975.
13. Ермаков С.М. , Михайлов Г.А. Статистическое
моделирование. – М.: Наука, 1982.
14. Ермольев Ю.М., Ястремский А.И. Стохастические модели и
методы в экономическом планировании. – М.: Наука, 1979.
15. Карлин С. Основы теории случайных процессов. – М.: Мир,
1971.
16. Кемени Дж., Снелл Дж. Конечные цепи Маркова. – М.:
Наука, 1970.
17. Клейнрок Л. Теория массового обслуживания. – М.:
Машиностроение, 1979.
18. Костевич Л.С., Лапко А.А. Теория игр. Исследование
операций. – Минск: Высшая школа, 1982.
19. Лагутин М.Б. Наглядная математическая статистика: В 2-х
книгах . – М.: ООО “ Фирма “ П-центр”, 2003.
20. Майн Х., Осаки С. Марковские процессы принятия
решений. – М.: Наука, 1977.
21. Нейлор Т. Машинные имитационные эксперименты с
моделями экономических систем. – М.: Мир, 1975.
22. Роббинс Г., Сигмунд Д., Чао И. Теория оптимальных правил
остановки. – М.: Наука, 1977.
23. Розанов Ю.А. Случайные процессы. Краткий курс. – М.:
Наука, 1979.
24. Рыжиков Ю.И. Теория очередей и управление запасами. 
СПб.: Питер, 2001.
25. Рыжиков Ю.И. Имитационное моделирование. Теории и
технологии.  СПб.: КОРОНА принт, 2004.
26. Сакович В.А. Модели управления запасами. – Минск: Наука
и техника, 1986.
27. Севастьянов Б.А.
Курс теории вероятностей и
математической статистики. – М.: Наука, 1982.
28. Секей Г. Парадоксы в теории вероятностей и
математической статистике. – М.: Мир, 1990.
29. Таха Х. Введение в исследование операций: В 2-х книгах. –
М.: Мир, 1985.
30. Феллер В. Введение в теорию вероятностей и ее
приложения, т.1. – М.: Мир, 1984.
31. Феллер В. Введение в теорию вероятностей и ее
приложения, т.2. – М.: Мир, 1984.
32. Ховард Р. Динамическое программирование и марковские
процессы.  М.: Сов. радио, 1965.
33. Хедли Д., Уайтин Т. Анализ систем управления запасами. –
М.: Наука, 1969.
34. Шеннон Р. Имитационное моделирование систем. – М.:
Мир, 1978.
35. Ширяев А.Н. Вероятность. – М.: Наука, 1989.
36. Шрайбер Т.Дж. Моделирование на GPSS. – М.:
Машиностроение, 1980.
37. Gaver D.P., Thompson G.L. Programming and probability
models in operations research, Brooks/Cole, Monterey,
California, 1973.
38. Derman C. Finite state Markovian decision processes, Academic
Press, 1970.
39. Hiller F.S., Lieberman G. J. Introduction to Stochastic Models in
Operations Research. McGraw-Hill, N.Y., 1990.
40. Hinz J. Markov Decision Processes and Valuation of Real
Options, Institut of Operations Research, ETH Zentrum –
www.ifor.math.ethz.ch
Оглавление
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Глава 1. Принятие решений в условиях неопределенности
и в условиях риска
1. Принятие решений в условиях неопределенности . .
2. Принятие решений в условиях риска . . . . . . . . . . . .
3. Стохастическое программирование . . . . . . . . . . . . . .
4. Задачи. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .. .
Глава 2. Вероятностные модели управления запасами
1. Одноэтапная модель управления запасами . . . . . . . . .
2. Одноэтапная модель с учетом затрат на
оформление заказа . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3. Многоэтапная модель управления запасами . . . . . . .
4. Управление запасами с учетом издержек на
производство . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5. Задачи. . . . . . . . . . . . . . . . . . . . . . .. . . . . . . . . . . . . . . . .
Глава 3. Марковские цепи
1. Марковские цепи. Уравнение Колмогорова-Чэпмена .
2. Марковские цепи с дискретным временем. Теорема
о предельных вероятностях . . . . . . . . . . . . . . . . . . . . .
3. Марковские цепи с непрерывным временем.
Уравнения Колмогорова . . . . . . . . . . . . . . . . . . . . . . .
4. Задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Глава 4. Пуассоновский процесс
1. Простейший поток . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2. Пуассоновский поток как марковский процесс.
Немарковские потоки . . . . . . . . . . . . . . . . . . . . . . . . . .
3. Сложный пуассоновский процесс и процессы риска
в страховой математике . . . .. . . . . . . . . . . . . . . . . . . .
4. Задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Глава 5. Системы массового обслуживания
1. Марковские системы массового обслуживания . . . .
2. Процессы рождения и гибели. Одноканальная
марковская СМО с бесконечной очередью . . . .. . . . .
3. Многоканальная марковская СМО с ожиданием.
Дисциплины взаимопомощи . . . . . . . . . . . . . . . . . . . .
4. Задача о ремонте станков . . . . . . . . . . . . . . . . . . . . . . .
5. Немарковские модели СМО . . . . . . . . . . . . . .. . . . . . .
6. Задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Глава 6. Марковские процессы принятия решений
1. Модели с конечным горизонтом планирования.
Задача о замене оборудования . . . . . . . . . . . . . . . . . .
2. Задача о наилучшем выборе . . . . . . . . . . . . . . . . . . .
3. Модели с бесконечным горизонтом планирования .
4. Задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Глава 7. Статистическое моделирование
1. Моделирование случайных величин . . . . . . . . . . . . .
2. Моделирование случайных процессов в страховой и
финансовой математике . . . . . . . . . . . . . . . . . . . . . . . .
3. Моделирование систем массового обслуживания .. .
4. Статистический
анализ
данных.
Методы
уменьшения дисперсии . . . . . . . . . . . . . . . . .. . . . . . . .
5. Метод Монте-Карло марковских цепей. Метод
отжига в задачах комбинаторной оптимизации . . . .
6. Задачи . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Приложение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Литература . . . . . . . . . . . . . . .