Цепи Маркова

[титульный лист]
Цепи Маркова и их применение в спорте
Курсовая работа
студента 2 курса
_________________________
Научный руководитель:
_________________________
Китеж
2014
Оглавление
Введение ................................................................................................................... 3
1. Необходимые теоретические сведения ............................................................ 4
2. О моделировании соревнований по большому теннису с использованием
цепей Маркова ............................................................................................... 11
Заключение ............................................................................................................ 20
Список литературы ............................................................................................... 21
2
Введение
Настоящая
работа
посвящена
собственным
значениям
и
собственным векторам. Данная тема изучается во всех технических
ВУЗах. собственные векторы часто встречаются в механике, квантовой
теории и так далее. Широкая применимость этого инструмента
обусловлена
его
наглядностью
и
математической
простотой.
Применяются марковские цепи и при вероятностно-статистическом
анализе спортивных соревнований (см., например, [1]).
В настоящей работе излагаются основные теоретические сведения о
марковских цепях, их применение иллюстрируется на конкретных примерах.
Работа состоит из настоящего Введения, двух глав основной части,
Заключения и списка использованной литературы. В первой главе дается
необходимый материал (определения и теоремы) из теории цепей Маркова.
Вторая глава посвящена приложению этого материала к математическому
моделированию соревнований по большому теннису. В Заключении
подводится итог проделанной работы, формулируются выводы.
При написании этой работы использовалась учебная и научная
литература. Список использованной литературы приведен в конце работы и
состоит из 4 пунктов.
3
1. Необходимые теоретические сведения
Цепь Маркова задается следующей совокупностью объектов.
1) Счетчик времени. Время считается дискретным, то есть не тянется
непрерывно, а меняется «скачками». Поэтому удобно считать (так обычно и
делается), что время принимает целые неотрицательные значения: 0, 1, 2, …
2) Множество состояний. В каждый момент времени система,
описываемая марковской цепью, может находиться в одном из состояний.
Множество состояний может быть либо конечным: {𝑆1 , 𝑆2 , … , 𝑆𝑁 }, либо
счетным (то есть бесконечным, но нумеруемым натуральными числами):
{𝑆1 , 𝑆2 , … , 𝑆𝑁 , … }. Иными словами, множество состояний марковской цепи
дискретно (так же, как и время). Мы будем рассматривать только конечные
цепи Маркова.
3) Начальное распределение вероятностей. Считается, что в момент
времени 𝑛 = 0 известно, с какой вероятностью система находится в каждом
из своих состояний. Если {𝑆1 , 𝑆2 , … , 𝑆𝑁 } — множество состояний цепи
Маркова, то начальное распределение вероятностей описывается вектором
𝑝0 = (𝑝10 𝑝20 … 𝑝𝑁0 )𝑇 (здесь 𝑇 — это значок транспонирования: на самом деле
вектор — это столбец, а не строка), компоненты которого должны
удовлетворять двум условиям:
𝑝𝑗0 ≥ 0, 𝑗 = 1, 2, … , 𝑁
(смысл этого требования в том, что вероятность не может быть
отрицательной), и
𝑝10 + 𝑝20 + ⋯ + 𝑝𝑁0 = 1
(вероятность того, что система находится хоть в каком-нибудь состоянии,
равна 1 — это достоверное событие).
4) Для любого момента времени 𝑛 и любых двух состояний 𝑆𝑖 , 𝑆𝑗
известна вероятность того, что система в момент 𝑛 окажется в состоянии 𝑆𝑗
при условии, что в момент 𝑛 − 1 она была в состоянии 𝑆𝑖 . Эта вероятность
4
(𝑛)
(𝑛)
обозначается 𝑝𝑖𝑗 . Иными словами, 𝑝𝑖𝑗 — это вероятность перехода системы
из состояния 𝑆𝑖 в состояние 𝑆𝑗 на n-м шаге (шаг — это переход от одного
(𝑛)
момента времени к следующему). В частности, 𝑝𝑖𝑖 — это вероятность того,
что система, бывшая в момент 𝑛 − 1 в состоянии 𝑆𝑖 , в этом же состоянии и
останется в момент 𝑛.
Ключевая особенность цепи Маркова состоит в том, что вероятность
попасть в любое состояние в любой момент времени зависит только от
состояния системы в предыдущий момент времени, но не зависит от более
ранних состояний (можно сказать, что система, описываемая цепью Маркова,
«не помнит прошлого»).
(𝑛)
Все переходные вероятности 𝑝𝑖𝑗
на определенном фиксированном
шаге 𝑛 образуют матрицу переходных вероятностей — это квадратная
матрица порядка 𝑁:
(𝑛)
𝑃(𝑛)
𝑝11
=( ⋮
(𝑛)
𝑝𝑁1
(𝑛)
⋯ 𝑝1𝑁
⋱
⋮ ).
(𝑛)
⋯ 𝑝𝑁𝑁
(𝑛)
Поскольку 𝑝𝑖𝑗 — это вероятности, и поскольку в какое-то состояние
на n-м шаге система попадет обязательно, элементы матрицы удовлетворяют
условиям:
(𝑛)
𝑝𝑖𝑗 ≥ 0 ∀ 𝑖, 𝑗 = 1, … , 𝑁,
(𝑛)
(𝑛)
(𝑛)
𝑝𝑖1 + 𝑝𝑖2 + ⋯ + 𝑝𝑖𝑁 = 1 ∀ 𝑖 = 1, … , 𝑁.
Матрицы, элементы которых подчиняются этим условиям, называются
стохастическими.
(𝑛)
Может оказаться так, что вероятности 𝑝𝑖𝑗 не зависят от 𝑛, а зависят
только от 𝑖, 𝑗. Это самый простой случай: вероятность перехода в состояние
𝑆𝑗 определяется только текущим состоянием, на каком бы шаге эти ни
происходило. Если выполняется это условие, то цепь Маркова называется
5
однородной. Для однородной марковской цепи переходные вероятности
обозначаются просто 𝑝𝑖𝑗 , а матрица переходных вероятностей —
𝑝11
𝑃=( ⋮
𝑝𝑁1
⋯ 𝑝1𝑁
⋱
⋮ ).
⋯ 𝑝𝑁𝑁
Мы будем рассматривать однородные цепи Маркова.
Однородную марковскую цепь удобно изображать
взвешенным
ориентированным графом. Состояниям системы соответствуют вершины
графа, а каждой ненулевой вероятности 𝑝𝑖𝑗 соответствует дуга с началом в
вершине 𝑆𝑖 и концом в вершине 𝑆𝑗 и с весом 𝑝𝑖𝑗 (если 𝑝𝑖𝑗 = 0, то вводить
соответствующую дугу бессмысленно). На рис. 1 показан пример графа для
марковской цепи с 4 состояниями.
Рис. 1.
Иногда (см., например, [3, с. 114]) на графе марковской цепи не
изображают петель (то есть, дуг, у которых начало и конец совпадают). При
этом не происходит никакой потери информации, потому что сумма весов
дуг, исходящих из каждой вершины, равна 1 (это соответствует условию
стохастичности
𝑝𝑖1 + 𝑝𝑖2 + ⋯ + 𝑝𝑖𝑁 = 1).
Следовательно,
задержки 𝑝𝑖𝑖 в состоянии 𝑆𝑖 вычисляется по формуле
𝑝𝑖𝑖 = 1 − 𝑝𝑖1 − ⋯ − 𝑝𝑖,𝑖−1 − 𝑝𝑖,𝑖+1 − ⋯ − 𝑝𝑖𝑁 ,
6
вероятность
и если изображен граф без петель, то петли и их веса восстанавливаются.
Так, например, для графа, изображенного на рис. 1, соответствующий ему
граф без петель изображен на рис. 2.
Рис. 2.
Заметим также, что матрицу вероятностей переходов
в силу
выписанного нами соотношения можно записать в виде
1 − ∑ 𝑝1𝑗
𝑝12
⋯
𝑝1𝑁
1 − ∑ 𝑝2𝑗
⋯
𝑝2𝑁
⋱
⋮
𝑗≠1
𝑝21
𝑃=
.
𝑗≠2
⋮
⋮
𝑝𝑁1
𝑝𝑁2
(
⋯ 1 − ∑ 𝑝𝑁𝑗
𝑗≠𝑁
)
Пусть 𝑝0 = (𝑝10 𝑝20 … 𝑝𝑁0 )𝑇 — начальное распределение вероятностей
состояний марковской цепи, и пусть известна матрица 𝑃. Найдем
1 )𝑇
распределение 𝑝1 = (𝑝11 𝑝21 … 𝑝𝑁
для момента 𝑛 = 1. Вероятность 𝑝𝑗1 того,
что на первом шаге система окажется в состоянии 𝑆𝑗 , равна (по формуле
полной вероятности)
𝑝𝑗1 = 𝑝10 𝑝1𝑗 + 𝑝20 𝑝2𝑗 + ⋯ + 𝑝𝑁0 𝑝𝑁𝑗 .
Такие равенства верны для всех 𝑗 = 1, … , 𝑁. Совокупность этих
равенств можно записать в векторном виде:
𝑝1 = 𝑃𝑇 𝑝0 ,
7
где матрица 𝑃𝑇 получена из матрицы 𝑃 транспонированием, то есть если
𝑝11
𝑝21
𝑃=( ⋮
𝑝𝑁1
𝑝12
𝑝22
⋮
𝑝𝑁2
⋯ 𝑝1𝑁
⋯ 𝑝2𝑁
⋱
⋮ ),
⋯ 𝑝𝑁𝑁
𝑝11
𝑝12
𝑃𝑇 = ( ⋮
𝑝1𝑁
𝑝21
𝑝22
⋮
𝑝2𝑁
⋯ 𝑝𝑁1
⋯ 𝑝𝑁2
⋱
⋮ ).
⋯ 𝑝𝑁𝑁
то
Вектор 𝑝𝑛 вероятностей состояний системы на n-м шаге аналогичным
образом получается из вектора 𝑝𝑛−1 вероятностей состояний на (𝑛 − 1)-м
шаге:
𝑝𝑛 = 𝑃 𝑇 𝑝𝑛−1 .
Поэтому
𝑝𝑛 = 𝑃𝑇 𝑝𝑛−1 = 𝑃𝑇 𝑃𝑇 𝑝𝑛−2 = ⋯ = ⏟
𝑃𝑇 𝑃𝑇 ⋅ … ⋅ 𝑃𝑇 𝑝0 = (𝑃𝑇 )𝑛 𝑝0 .
𝑛
Таким образом, зная начальное распределение вероятностей, можно
вычислить распределение вероятностей на любом шаге. Поскольку (𝑃𝑇 )𝑛 =
(𝑃𝑛 )𝑇 , формулу 𝑝𝑛 = (𝑃𝑇 )𝑛 𝑝0 можно переписать в виде
𝑝𝑛 = (𝑃𝑛 )𝑇 𝑝0 .
𝑛
Отсюда ясно, что элемент 𝑝𝑖𝑗
матрицы 𝑃𝑛 есть вероятность перехода из
состояния 𝑆𝑖 в состояние 𝑆𝑗 ровно за n шагов.
Дадим еще несколько определений.
Состояние 𝑆𝑖 марковской цепи называется несущественным, если
𝑛
существует такое состояние 𝑆𝑗 , что 𝑝𝑖𝑗0 > 0 для некоторого 𝑛0 , и при этом
𝑛
𝑝𝑗𝑖
= 0 для всех 𝑛. Иначе говоря, состояние несущественно, если система
может перейти из него в другое состояние, из которого не сможет вернуться
обратно. Если состояние не является несущественным, то оно называется
существенным. На языке графов эти понятия можно выразить так: вершина
𝑆𝑖 изображает несущественное состояние, если из этой вершины существует
путь (конечная последовательность дуг, в которой конец каждой предыдущей
8
дуги совпадает с началом следующей) в некоторую вершину 𝑆𝑗 , такую, что
пути из 𝑆𝑗 в 𝑆𝑖 не существует. Существенное же состояние характеризуется
тем, что, покинув его, система всегда может вернуться. Легко видеть, что у
цепи Маркова, граф которой изображен на рис. 1 и рис. 2, все состояния
существенны. Пример марковской цепи с несущественными состояниями
будет дан в следующей главе.
Существенные состояния 𝑆𝑖 и 𝑆𝑗 называются сообщающимися, если
𝑛
𝑚
𝑝𝑖𝑗
> 0 для некоторого 𝑛, и 𝑝𝑗𝑖
> 0 для некоторого 𝑚. На языке графов: да
состояния сообщаются, если из каждого из этих состояний можно добраться
до другого. У марковской цепи, граф которой изображен на рис. 1 и рис. 2,
все состояния сообщаются.
Пусть 𝑆𝑖 — существенное состояние. Выделим в множестве всех
состояний
системы
подмножество
[𝑆𝑖 ]
существенных
состояний,
включающее 𝑆𝑖 и все сообщающиеся с ним состояния. Легко убедиться в том,
что два любых состояния, принадлежащие одному классу [𝑆𝑖 ], сообщаются
друг с другом. Ясно также, что если система попала в класс [𝑆𝑖 ], то в
дальнейшем она уже не сможет выбраться из этого класса.
Если класс [𝑆𝑖 ] состоит из единственного состояния 𝑆𝑖 , то это
состояние называется поглощающим. Проще говоря, поглощающее состояние
— это такое состояние, из которого нельзя попасть ни в какое другое. На
графе марковской цепи поглощающее состояние характеризуется тем, что из
соответствующей ему вершины не исходит ни одной дуги (кроме петли,
которая соединяет эту вершину с самой собой). Если 𝑆𝑖 — поглощающее
состояние, то в матрице переходных вероятностей 𝑝𝑖𝑖 = 1, и 𝑝𝑖𝑗 = 0 при
условии 𝑗 ≠ 𝑖.
Цепь
Маркова
называется
неразложимой,
если
она
содержит
единственный класс сообщающихся существенных состояний, и разложимой
— в противном случае. Можно сказать, что у неразложимой марковской цепи
есть единственный «бассейн притяжения», в который она рано или поздно
9
попадет, и уже не выберется из него — в этом смысле далекое будущее
неразложимых
марковских
цепей
вполне
определено
(хотя
бассейн
притяжения может содержать более одного состояния). Для разложимой же
марковской цепи такой предопределенности нет — в зависимости от
начального состояния она может угодить в разные «бассейны».
10
2. О моделировании соревнований по большому теннису с
использованием цепей Маркова
В качестве примера приложения изложенной выше теории рассмотрим
один гейм теннисной игры. Как известно, обычный гейм (не тай-брейк) в
теннисе состоит из нескольких розыгрышей, в которых подает один и тот же
игрок. Гейм завершается победой одного из игроков в тот момент, когда этот
игрок достигает преимущества над соперником в 2 или более очков, выиграв
при этом не менее 4 розыгрышей. Если оба игрока выиграли не менее 2
розыгрышей, то гейм играется до того момента, когда преимущество одного
из игроков достигнет 2 очков. Теоретически гейм может длиться до
бесконечности (например, если соперники выигрывают очки попеременно),
но нам не известно ни одного случая, когда гейм был бы не доигран из-за
того, что ни один из соперников не может достичь решающего
преимущества.
Мы не будем пользоваться традиционной теннисной системой записи
счета (15-0, 40-30 и т. д.), поскольку эта система используется по чисто
историческим причинам и не отражает реального количества выигранных
соперниками очков. Будем записывать счет как 0-0, 1-0 и т. д. Выпишем все
возможные варианты счета в гейме (слева от дефиса — очки подающего,
справа — принимающего):
0-0 (начальный счет),
1-1,
2-2, 3-3, 4-4, …,
1-0,
2-1,
3-2, 4-3, …,
0-1,
1-2,
2-3, 3-4, …,
11
2-0,
3-1,
4-2 (подающий выигрывает гейм),
0-2,
1-3,
2-4 (принимающий выигрывает гейм),
3-0,
4-1 (подающий выигрывает гейм),
0-3,
1-4 (принимающий выигрывает гейм),
4-0 (подающий выигрывает гейм),
0-4 (принимающий выигрывает гейм).
Построим марковскую цепь, моделирующую розыгрыш гейма. Прежде
всего опишем множество состояний. Можно приписать каждому возможному
счету свое отдельное состояние, но это будет нерационально, поскольку, вопервых, таким образом мы получим систему с бесконечным числом
состояний, а с такой системой неудобно работать, и, во-вторых, с точки
зрения вопроса о победе в гейме некоторые варианты счета эквивалентны
друг другу, и их разумно объединить в одно состояние. Прежде всего, надо
объединить все варианты счета, которые соответствуют победе одного из
игроков и окончанию гейма. Затем, в одно состояние мы объединим
варианты счета 2-2, 3-3, 4-4 и т. д., потому что при любом варианте счета из
этого списка дальнейшие сценарии развития гейма приведут к одному
результату: гейм прекращается, как только один из игроков достигнет
преимущества в 2 очка. В теннисе ситуация 3-3 (40-40) и далее обозначается
термином «ровно», но в действительности уже счет 2-2 (30-30) соответствует
игровой ситуации «ровно». Счет же 1-1 не эквивалентен счету 2-2, поскольку
при счете 1-1 игроку необходимо выиграть как минимум 3 очка для победы в
гейме (при счете 2-2 может хватить 2 очков). Также в одно состояние мы
объединим варианты счета 3-2, 4-3 и т. д. (в теннисе эта игровая ситуация
12
обозначается термином «больше»), и в одно состояние — варианты счета 2-3,
3-4 и т. д. (игровая ситуация «меньше»).
Введем обозначения для всех состояний и перечислим их:
𝑆1 — соответствует начальному счету 0-0,
𝑆2 — соответствует счету 1-1,
𝑆3 — соответствует вариантам счета 2-2, 3-3, 4-4, …,
𝑆4 — соответствует счету 1-0,
𝑆5 — соответствует счету 2-1,
𝑆6 — соответствует вариантам счета 3-2, 4-3, …,
𝑆7 — соответствует счету 0-1,
𝑆8 — соответствует счету 1-2,
𝑆9 — соответствует вариантам счета 2-3, 3-4, …,
𝑆10 — соответствует счету 2-0,
𝑆11 — соответствует счету 3-1,
𝑆12 — соответствует счету 0-2,
𝑆13 — соответствует счету 1-3,
𝑆14 — соответствует счету 3-0,
𝑆15 — соответствует счету 0-3,
𝑆16 — соответствует победе подающего в гейме,
𝑆17 — соответствует победе принимающего в гейме.
Таким образом, при розыгрыше гейма возможно 17 существенно
разных игровых ситуаций.
Поскольку каждый гейм начинается со счета 0-0, начальное
распределение вероятностей в каждом гейме одно и то же: 𝑝0 = (1 0 … 0)𝑇 .
Чтобы полностью описать марковскую цепь, нам остается
задать
матрицу переходных вероятностей. Розыгрыш каждого очка завершается
одним из двух способов: либо выигрывает подающий, либо принимающий.
Примем допущение, что вероятность выигрыша очка подающим постоянна
(не зависит от счета и иных факторов). Обозначим ее 𝑝 (по смыслу 0 < 𝑝 <
1). Тогда вероятность выигрыша очка принимающим равна 1 − 𝑝, и каждая
13
строка матрицы перехода, кроме последних двух строк, содержит ровно два
ненулевых элемента, один из которых равен 𝑝, а второй 1 − 𝑝. Для удобства
введем обозначение: 1 − 𝑝 = 𝑞. Последние две строки содержат по одной
единице и нулевые остальные элементы.
По определению состояний, матрица переходных вероятностей
исследуемой системы имеет вид
0 0 0 𝑝 0 0 𝑞 0 0 0 0 0 0 0
0 0 0 0 𝑝 0 0 𝑞 0 0 0 0 0 0
0 0 0 0 0 𝑝 0 0 𝑞 0 0 0 0 0
0 𝑞 0 0 0 0 0 0 0 𝑝 0 0 0 0
0 0 𝑞 0 0 0 0 0 0 0 𝑝 0 0 0
0 0 𝑞 0 0 0 0 0 0 0 0 0 0 0
0 𝑝 0 0 0 0 0 0 0 0 0 𝑞 0 0
0 0 𝑝 0 0 0 0 0 0 0 0 0 𝑞 0
𝑃= 0 0 𝑝 0 0 0 0 0 0 0 0 0 0 0
0 0 0 0 𝑞 0 0 0 0 0 0 0 0 𝑝
0 0 0 0 0 𝑞 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 𝑝 0 0 0 0 0 0
0 0 0 0 0 0 0 0 𝑝 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 𝑞 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 𝑝 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0
(0 0 0 0 0 0 0 0 0 0 0 0 0 0
Граф построенной нами системы изображен на рис. 3.
14
0
0
0
0
0
0
0
0
0
0
0
𝑞
0
0
0
0
0
0
0
0
0
0
𝑝
0
0
0
0
𝑝
0
0
𝑝
0
1
0
0
0
0
0
0
0
0
0
𝑞 .
0
0
0
𝑞
0
𝑞
0
1)
Рис. 3.
Понятно, что состояния 𝑆16 и 𝑆17 , и только они, являются
поглощающими. Любое другое состояние является несущественным, потому
что из любого другого состояния можно добраться в одно из поглощающих
состояний. Два поглощающих состояния не сообщаются друг с другом (они
не могут быть сообщающимися и по определению, потому что поглощающее
состояние образует класс существенных состояний, не сообщающийся с
другими классами).
Попробуем получить некоторые утверждения с помощью построенной
нами модели.
В качестве первого примера вычислим вероятность того, что один из
игроков выиграет гейм «под ноль», то есть гейм закончится за 4 розыгрыша.
Для этого найдем распределение вероятностей системы на четвертом шаге.
Вычисления дают
𝑝(4) = (𝑃4 )𝑇 𝑝0 = (0 0 6𝑝2 𝑞 2 0 0 0 0 0 0 0 4𝑝3 𝑞 0 4𝑝𝑞 3 0 0 𝑝4 𝑞 4 )𝑇 .
Компонента 𝑝16 (4) = 𝑝4 этого вектора равна вероятности того, что на
4-м шаге система придет в состояние 𝑆16 , соответствующее победе
15
подающего. Соответственно, 𝑝17 (4) = 𝑞 4 = (1 − 𝑝)4 — вероятность победы
принимающего.
Заметим, что, например, при 𝑝 = 0.7 (при встрече сравнимых по классу
соперников подающий, как правило, имеет преимущество, поэтому такое
значение 𝑝 реалистично) получается: 𝑝4 = 0.74 = 0.2401, 𝑞 4 = 0.34 =
0.0081, то есть при данном значении 𝑝 подающий может выигрывать «под
ноль» почти каждый четвертый гейм, а для принимающего такое событие
будет происходить в среднем меньше чем 1 раз за 100 геймов.
Чтобы получить другие результаты, прибегнем к следующему приему,
позволяющему уменьшить размерность задачи.
Заметим, что состояния 𝑆1 , 𝑆2 , 𝑆4 , 𝑆5 , 𝑆7 , 𝑆8 , 𝑆10 , 𝑆11 , 𝑆12 , 𝑆13 , 𝑆14 и 𝑆15
не реализуются на пятом шаге и далее, потому что они соответствуют
игровым ситуациям, которые складываются после розыгрыша 4 или менее
очков. Поэтому мы можем принять распределение вероятностей на пятом
шаге за новое начальное распределение и оставить только те состояния,
которые могут быть реализованы на этом и последующих шагах. Остается
всего 5 состояний. Переобозначим их:
𝑆̃1 = 𝑆3 (счет «ровно»),
𝑆̃2 = 𝑆6 (счет «больше»),
𝑆̃3 = 𝑆9 (счет «меньше»),
𝑆̃4 = 𝑆16 (победа подающего),
𝑆̃5 = 𝑆17 (победа принимающего).
Распределение вероятностей системы на пятом шаге равно
𝑝(5) = (𝑃 5 )𝑇 𝑝(0) =
𝑇
= (0 0 0 0 0 10𝑝3 𝑞 2 0 0 10𝑝2 𝑞 3 0 0 0 0 0 0 𝑝4 (4𝑞 + 1) 𝑞4 (4𝑝 + 1)) .
Удаляя из этого вектора компоненты, соответствующие нереализуемым
состояниям, мы получаем начальное распределение для новой системы,
которая полностью эквивалентна старой с точки зрения описания возможных
исходов розыгрыша гейма:
16
𝑇
𝑝̃(0) = (0 10𝑝3 𝑞 2 10𝑝2 𝑞 3 𝑝4 (4𝑞 + 1) 𝑞4 (4𝑝 + 1)) =
𝑇
= (0 10𝑝3 (1 − 𝑝)2 10𝑝2 (1 − 𝑝)3 𝑝4 (4 − 3𝑝) (1 − 𝑝)4 (4𝑝 + 1)) .
Назовем эту новую систему (и соответствующую ей марковскую цепь)
редуцированной1.
Матрица переходных вероятностей для редуцированной системы
такова:
0
𝑞
𝑃̃ = 𝑝
0
(0
𝑝
0
0
0
0
𝑞
0
0
0
0
0
𝑝
0
1
0
0
0
𝑞 .
0
1)
Граф редуцированной системы показан на рис. 4.
Рис. 3.
Как
и
прежде,
соответствующие
поглощающими
победе
одного
из
являются
игроков,
два
остальные
состояния,
состояния
несущественны
Распределение состояний редуцированной системы на n-м шаге (это
соответствует игровой ситуации после розыгрыша 𝑛 + 5 очков) равно
𝑛
𝑝̃(𝑛) = (𝑃̃𝑇 ) 𝑝̃(0).
Найдем вероятность того, что гейм будет играться вечно. На языке
построенной нами модели это означает, что система будет блуждать между
состояниями 𝑆̃1 , 𝑆̃2 и 𝑆̃3 , и никогда не попадет ни в одно из финальных
состояний 𝑆̃4 , 𝑆̃5 . Вероятность того, что на n-м шаге гейм еще не закончен,
равна 𝑝̃1 (𝑛) + 𝑝̃2 (𝑛) + 𝑝̃3 (𝑛). Обозначим эту величину через 𝑢𝑛 . Нам надо
найти lim 𝑢𝑛 . Мы знаем, что
𝑛→∞
1
От слова редукция (лат. reductio — сведение).
17
𝑢0 = 𝑝̃1 (0) + 𝑝̃2 (0) + 𝑝̃3 (0) = 10𝑝3 𝑞 2 + 10𝑝2 𝑞 3 = 10𝑝2 𝑞 2 (𝑝 + 𝑞) =
= 10𝑝2 (1 − 𝑝)2 (𝑝 + 1 − 𝑝) = 10𝑝2 (1 − 𝑝)2 .
2
Воспользуемся также условием 𝑝̃(𝑛) = (𝑃̃𝑇 ) 𝑝̃(𝑛 − 2). Имеем:
0
𝑞
2
𝑇
𝑇
2
(𝑃̃ ) = (𝑃̃ ) =
𝑝
0
((0
2𝑝𝑞
0
=
0
0
( 0
0
𝑝𝑞
𝑝2
0
0
0
𝑞2
𝑝𝑞
0
0
𝑝
0
0
0
0
𝑝2
𝑝
0
1
0
𝑞
0
0
0
0
0
𝑝
0
1
0
0
0
0
𝑞
𝑞 ⋅ 𝑝
0
0
1 ) (0
𝑇
2𝑝𝑞
𝑞2
0
0
=
0
𝑞
𝑝2
0
1)
( 𝑞2
𝑝
0
0
0
0
0
𝑝𝑞
𝑞2
𝑝
0
𝑞
0
0
0
0
0
𝑝2
𝑝𝑞
0
𝑝
0
𝑝
0
1
0
𝑝2
0
0
1
0
𝑇
0
0
=
𝑞
0
1))
𝑞2
0
0 .
0
1)
Поэтому
𝑢𝑛 = 𝑝̃1 (𝑛) + 𝑝̃2 (𝑛) + 𝑝̃3 (𝑛) =
= 2𝑝𝑞𝑝̃1 (𝑛 − 2) + (𝑝𝑞𝑝̃2 (𝑛 − 2) + 𝑝2 𝑝̃3 (𝑛 − 2))
+ (𝑞 2 𝑝̃2 (𝑛 − 2) + 𝑝𝑞𝑝̃3 (𝑛 − 2)) =
= 2𝑝𝑞𝑝̃1 (𝑛 − 2) + (𝑝𝑞 + 𝑞 2 )𝑝̃2 (𝑛 − 2) + (𝑝2 + 𝑝𝑞)𝑝̃3 (𝑛 − 2) =
= 2𝑝(1 − 𝑝)𝑝̃1 (𝑛 − 2) + (1 − 𝑝)𝑝̃2 (𝑛 − 2) + 𝑝𝑝̃3 (𝑛 − 2) ≤
≤ max(2𝑝(1 − 𝑝), 1 − 𝑝, 𝑝) ⋅ (𝑝̃1 (𝑛 − 2) + 𝑝̃2 (𝑛 − 2) + 𝑝̃3 (𝑛 − 2)) =
= max(2𝑝(1 − 𝑝), 1 − 𝑝, 𝑝) ⋅ 𝑢𝑛−2 .
Нетрудно проверить, что при 0 < 𝑝 < 1 выполняется условие
0 < max(2𝑝(1 − 𝑝), 1 − 𝑝, 𝑝) < 1
(выражение 2𝑝(1 − 𝑝) достигает максимума при 𝑝 = 1⁄2, и этот максимум
равен 1⁄2).
Обозначим max(2𝑝(1 − 𝑝), 1 − 𝑝, 𝑝) = 𝑎. Имеем:
0 < 𝑎 < 1,
2
𝑢𝑛 ≤ 𝑎𝑢𝑛−2 ≤ 𝑎 𝑢𝑛−4
𝑎𝑛⁄2 𝑢0 , если 𝑛 четно,
≤ ⋯ ≤ { (𝑛−1)⁄2
𝑎
𝑢1 , если 𝑛 нечетно.
Полученную оценку перепишем в виде
18
𝑛
0 ≤ 𝑢𝑛 ≤ (√𝑎) ⋅ max (𝑢0 ,
𝑢1
√𝑎
).
Из неравенств 0 < 𝑎 < 1 следует, что и 0 < √𝑎 < 1: следовательно,
последовательность
max (𝑢0 ,
𝑢1
√𝑎
𝑛
(√𝑎)
стремится
к
0
при
𝑛 → ∞.
Множитель
) представляет собой константу (то есть не зависит от 𝑛): значит,
𝑛
lim ((√𝑎) ⋅ max (𝑢0 ,
𝑛→∞
𝑢1
√𝑎
)) = 0.
По лемме о двух милиционерах получаем, что
lim 𝑢𝑛 = 0.
𝑛→∞
Таким образом, вероятность «вечного гейма» равна 0. Этот результат
вполне согласуется с житейским здравым смыслом: гейм не может играться
вечно.
19
Заключение
Мы рассмотрели основные положения теории цепей Маркова и
применили эту теорию к построению математической модели большого
тенниса. Рассмотренная нами частная модель одного гейма оказалась уже
достаточно содержательной для того, чтобы продемонстрировать на ней
возможности применения теории марковских цепей для моделирования
спортивных состязаний. В качестве примеров нами вычислена вероятность
выигрыша гейма «под ноль» и доказано, что вероятность «вечного гейма»
равна 0.
20
Список литературы
[1] Афанасьев В. В., Непряев И. Н., Алаев С. В., Смирнов Е. А. Цепи
Маркова в спортивных соревнованиях // Ярославский педагогический
вестник. — 2012, т. III (Естественные науки), № 3. — С. 57–64.
[2] Босс В. Лекции по математике. Т. 4: Вероятность, информация,
статистика. — М.: КомКнига, 2005. — 216 с.
[3] Вентцель Е. С., Овчаров Л. А. Теория случайных процессов и ее
инженерные приложения. — 2 изд. — М.: Высшая школа, 2000. —
383 с.
[4] Вероятностные разделы математики / под ред. Ю. Д. Максимова. —
СПб.: «Иван Федоров», 2001. — 592 с.
21