Вероятностные методы информационных технологий

Федеральное агентство по образованию
Нижегородский государственный университет им. Н.И. Лобачевского
Национальный проект "Образование"
Инновационная образовательная программа ННГУ.
Образовательно-научный центр
"Информационно-телекоммуникационные системы: физические основы
и математическое обеспечение"
И.С. Жукова, А.И. Саичев
Вероятностные методы
информационных технологий
Учебно-методические материалы по программе повышения
квалификации "Применение современных информационнотелекоммуникационных систем и технологий для обработки
сигналов различной природы"
Нижний Новгород
2006
Учебно-методические материалы подготовлены в рамках
инновационной образовательной программы ННГУ: Образовательнонаучный центр "Информационно-телекоммуникационные
системы: физические основы и математическое обеспечение"
Жукова И.С., Саичев А.И. Учебно-методический материал по программе
повышения квалификации “Применение современных информационнотелекоммуникационных систем и технологий для обработки сигналов
различной природы”. Нижний Новгород, 2006, 89 с.
Аннотация
Учебно-методические материалы подготовлены для курсов повышения квалификации преподавателей и сотрудников Нижегородского университета, и содержит сведения из теории случайных величин, процессов
и полей, необходимые для решения разнообразных научных и инновационных проблем, возникающих при передаче и обработке информации
современными средствами связи. Первая глава, где излагаются способы вероятностного описания случайных совокупностей, могут быть использованы студентами для ознакомления с вероятностными методами
анализа случайных явлений. В остальных главах обсуждаются современные методы описания диффузионных процессов, а также методы теории
восстановления и точечных процессов, знание которых необходимо для
решения актуальных научных и прикладных проблем обработки информации.
c Жукова И.С., Саичев А.И., 2006
Предисловие
Вероятностные методы служат одним из наиболее эффективных инструментов анализа и разработки современных информационно-телекоммуникационных систем и технологий обработки сигналов самой различной природы. Они буквально пронизывают современные отрасли знания, адекватно описывая многие физические и технологические процессы. Соответственно каждый научный работник и разработчик современной аппаратуры должен владеть как основами теории вероятности, так
и современными вероятностными методами описания окружающего мира, получившими развитие в последние десятилетия. Теория аномальных диффузионных процессов, которой посвящена вторая глава данных
учебно-методических материалов, является одним из таких – актуальных
– направлений теории вероятностей. Дело в том, что хаотическое поведение природных объектов и технических систем часто демонстрирует
отклонение от хорошо известного гауссова сценария поведения случайных процессов. Поэтому научному работнику и инженеру необходимо
знать методы вероятностного описания аномальных хаотических явлений, такие как негауссовы предельные вероятностные распределения и
аномальная диффузия, для которых нарушены условия применимости
закона больших чисел и центральной предельной теоремы. В третьей
главе обсуждаются, не менее важные для разработчиков и пользователей информационно-телекоммуникационных систем, вопросы статистики потоков событий. Обсуждаются различия вероятностных свойств случайных интервалов, обусловленные различием способов измерения потоков событий. В первой, вводной главе данного методического материала,
детально обсуждаются, необходимые для освоения материала последующих глав, вероятностные методы описания совокупностей случайных величин. особое внимание уделено гауссовым совокупностям, обсуждению
понятий статистической зависимости, коррелированности и регрессии.
Несколько слов о структуре материалов: нумерация рисунков в пособии двойная. Первая цифра указывает номер главы, где помещен рисунок, а вторая – номер рисунка в главе. Формулы имеют тройную нумерацию. Первая цифра указывает номер главы, вторая – номер раздела,
третья – номер формулы в разделе. Если ссылка на формулу дается в
том же разделе, то при нумерации опускаются первые две цифры. При
ссылках на формулу одной главы но других разделов – указываются две
последних цифры номера формулы.
3
Глава 1
Совокупности случайных величин
Случайные явления обычно описываются совокупностью взаимосвязанных случайных величин {X1 , . . . , Xn }, и возникает потребность в исследовании их совместных вероятностных свойств. В данной главе излагаются методы анализа подобных совокупностей. Как правило, идеи
упомянутых методов удается наглядно донести на примере пары случайных величин X и Y . Поэтому подробные выкладки будут проводиться
преимущественно для этого случая.
1.1. Совместные вероятностные свойства
1.1.1. Интегральная функция распределения
Статистические свойства совокупности {X1 , . . . , Xn } определяются совместной n-мерной интегральной функцией распределения
F (x1 , x2 , . . . , xn ) = P(X1 < x1 ∩ X2 < x2 ∩ · · · ∩ Xn < xn ) ,
(1)
равной вероятности пересечения событий, состоящих в том, что первая
случайная величина X1 меньше x1 , вторая x2 и наконец последняя меньше xn . Зачастую достаточно знать вероятностные свойства всего двух
случайных величин X и Y . Вся информация о них содержится в интегральной функции распределения
F (x, y) = P(X < x ∩ Y < y) ,
(2)
равной вероятности пересечения событий X < x и Y < y.
Выразим через F (x, y) вероятность, что в одном и том же испытании
случайные величины X и Y попадают в интервалы X ∈ [x, x + ∆x),
Y ∈ [y, y + ∆y). Для этого введем случайные события
A : {x 6 X < x + ∆x ∩ y 6 Y < y + ∆y} ,
B : {X < x ∩ Y < y + ∆y} ,
C : {X < x + ∆x ∩ Y < y} .
Они изображены на рис. 1.1. Очевидно, искомая вероятность равна вероятности события A, а вероятности событий B, C и их пересечения BC
напрямую связаны с F (x, y):
P(B) = F (x, y + ∆y) , P(C) = F (x + ∆x, y) , P(B ∩ C) = F (x, y) . (3)
4
Y
y+'y
B
A
BC
C
y
x
x+'x
X
Рис. 1.1. Иллюстрация к выводу формулы совместной для плотности вероятностей
Найдем вероятность объединения перечисленных событий. Из рисунка
видно, что она равна
P(A ∪ B ∪ C) = F (x + ∆x, y + ∆y) .
(4)
С другой стороны, по аксиоме сложения вероятностей, с учетом несовместности событий A и B ∪ C, имеем
P(A ∪ B ∪ C) = P(A) + P(B ∪ C) .
Далее, согласно теореме сложения вероятностей,
P(B ∪ C) = P(B) + P(C) − P(B ∩ C) .
Следовательно,
P(A ∪ B ∪ C) = P(A) + P(B) + P(C) − P(B ∩ C) ,
или
P(A) = P(A ∪ B ∪ C) − P(B) − P(C) + P(B ∩ C) .
Выразив вероятности в правой части равенства через функции распределения (3), (4), придем к искомой формуле
P(A) = P(x 6 X < x + ∆x ∩ y 6 Y < y + ∆y) =
F (x + ∆x, y + ∆y) − F (x, y + ∆y) − F (x + ∆x, y) + F (x, y) .
(5)
1.1.2. Совместная плотность вероятностей
Вероятность (5) попадания в прямоугольник A (см. рис. 1.1) позволяет найти совместную плотность вероятностей совокупности двух
5
случайных величин. Действительно, плотность “вероятностной массы”
на плоскости (X, Y ), как и плотность любого вещества, равна пределу
при ∆x → 0, ∆y → 0, вероятности попадания (X, Y ) в прямоугольник
A, деленной на его площадь ∆x ∆y:
P(A)
=
∆x,∆y→0 ∆x∆y
F (x + ∆x, y + ∆y) − F (x, y + ∆y) − F (x + ∆x, y) + F (x, y)
lim
.
∆x,∆y→0
∆x∆y
f (x, y) =
lim
Из математики известно, что этот предел равен второй смешанной производной F (x, y) по x и y. Следовательно, совместная плотность вероятностей случайных величин {X, Y } равна
f (x, y) =
∂ 2 F (x, y)
.
∂x∂y
(6)
1.1.3. Статистические средние
Выразим интегральную функцию распределения совокупности {X, Y }
на языке средних по ансамблю. По определению, F (x, y) равна среднему
от произведения единичных функций
F (x, y) = hχ(x − X) χ(y − Y )i .
(7)
Здесь и ниже χ(x) – единичная функция, равная 1 при x > 0 и 0 при x <
0. Дифференцируя обе части равенства по x и y, а затем поменяв порядок
дифференцирования и статистического усреднения, получим среднее по
ансамблю, равное двумерной плотности вероятностей
f (x, y) = hδ(X − x)δ(Y − y)i .
(8)
Обобщение этого соотношения на совокупность n случайных величин
{X1 , X2 , . . . Xn } дает их n-мерную плотность вероятностей
f (x1 , x2 , . . . , xn ) = h
n
Y
k=1
δ(Xk − xk )i .
(9)
Запись функций распределения с помощью статистических средних
удобна для вывода многих важных свойств случайных величин. Найдем,
к примеру, как выражается с помощью плотности вероятностей среднее по ансамблю функции g(X1, X2 , . . . , Xn ). Согласно выкалывающему
свойству дельта-функции
g(X1 , X2 , . . . , Xn ) =
Z
···
Rn
Z
g(x1 , x2 , . . . , xn )
n
Y
k=1
6
δ(Xk − xk ) dn x .
Усреднив это равенство по ансамблю {X1 , X2 , . . . Xn } и поменяв местами
операции интегрирования и усреднения, будем иметь
Z
Z
···
Rn
Z
···
Rn
Z
hg(X1 , X2 , . . . , Xn )i =
g(x1 , x2 , . . . , xn ) h
n
Y
k=1
δ(Xk − xk )i dn x =
(10)
g(x1 , x2 , . . . , xn ) f (x1 , x2 , . . . , xn ) dn x .
В частности, среднее от функции двух случайных величин равно
hg(X, Y )i =
ZZ∞
g(x, y) f (x, y) dxdy .
(11)
−∞
1.1.4. Свойства совместных распределений
Укажем общие свойства функций распределения совокупности случайных величин. Прежде всего отметим, что как и любая вероятность,
F (x, y) подчиняется неравенствам 0 6 F (x, y) 6 1.
Заметим далее, что Y < ∞ есть достоверное событие. Поэтому, положив в (2) y = ∞, получим одномерную функцию распределения случайной величины X
F (x, y = ∞) ≡ P(X < x ∩ Ω) ≡ P(X < x) ≡ FX (x) .
Вследствие равноправия X и Y , справедливо аналогичное тождество
F (x = ∞, y) ≡ P(Y < y) ≡ FY (y) ,
выражающее, вместе с (12), свойство согласованности интегральных
функций распределения. Положив оба аргумента F (x, y) равными бесконечности, придем к еще одному общему свойству F (x, y):
F (x = ∞, y = ∞) ≡ P(Ω) ≡ 1
Наконец заметив, что (X < −∞) и (Y < −∞) невозможные события,
будем иметь F (−∞, −∞) ≡ P(∅) ≡ 0.
Перечислим общие свойства совместной плотности вероятностей f (x, y),
опираясь на статистическое среднее (11). Заметим, что среднее по ансамблю значений любой неотрицательной функции g(X, Y ) > 0 не может
быть меньше нуля. С другой стороны, как видно из (11), для этого надо,
чтобы была всюду неотрицательной совместная плотность вероятностей
f (x, y) > 0 .
7
Статистическое среднее функции одного аргумента g(X) равно
hg(X)i =
Z∞
g(x)fX (x) dx .
−∞
В то же время, согласно (11) это среднее равно
hg(X)i =
ZZ∞
g(x) f (x, y) dxdy .
−∞
Из последних двух равенств и произвольности g(x) следует, что
fX (x) =
Z∞
f (x, y) dy .
Z∞
f (x, y) dx
(12)
−∞
Это и аналогичное ему равенство
fY (y) =
−∞
выражают свойство согласованности совместных плотностей вероятностей. Наконец, подставив в (11) g(X, Y ) ≡ 1, придем к свойству нормировки совместной плотности вероятностей
h1i =
ZZ∞
−∞
f (x, y) dxdy ≡ 1 .
(13)
1.1.5. Условные функции распределения
Условная вероятность P(A|B) случайного события A равна
P(A|B) =
P(A ∩ B)
.
P(B)
(14)
Отсюда, как частный случай, получаем определение условных функций
распределения. В самом деле, возьмем условную вероятность
P(X < x| y 6 Y < y + ∆y)
того, что в данном испытании случайная величина X будет меньше x,
при условии что другая случайная величина Y в том же испытании попадет в интервал [y, y + ∆y). Согласно (14) имеем
P(X < x| y 6 Y < y + ∆y) =
P(X < x ∩ y 6 Y < y + ∆y)
.
P(y 6 Y < y + ∆y)
8
(15)
Знаменатель в правой части этой формулы выражается через интегральную функцию распределения случайной величины Y :
P(y 6 Y < y + ∆y) = FY (y + ∆y) − FY (y) .
Аналогично и числитель (15) равен разности
P(X < x ∩ y 6 Y < y + ∆y) = F (x, y + ∆y) − F (x, y) .
Подставив правые части последних двух равенств в (15), будем иметь
P(X < x| y 6 Y < y + ∆y) =
F (x, y + ∆y) − F (x, y)
.
FY (y + ∆y) − FY (y)
Предел этого выражения при ∆y → 0 дает условную функцию распределения случайной величины X при условии, что Y = y:
F (x, y + ∆y) − F (x, y)
.
∆y→0 FY (y + ∆y) − FY (y)
FX (x|y) = lim
Найдем предел, для чего поделим числитель и знаменатель на ∆y
FX (x|y) =
F (x,y+∆y)−F (x,y)
∆y
lim
∆y→0 FY (y+∆y)−FY (y)
∆y
.
Заметив, что предел частного равен частному пределов и что эти пределы равны производным интегральных функций распределения, придем
к окончательному выражению для условной интегральной функции распределения случайной величины X
FX (x| y) =
1 ∂F (x, y)
.
fY (y)
∂y
(16)
Найдем условную плотность вероятностей случайной величины X,
при условии, что Y равно y. Дифференцируя (16) по x и вспомнив выражение (6) для совместной плотности вероятностей, будем иметь
fX (x| y) =
f (x, y)
.
fY (y)
(17)
Подобно тому как условная вероятность (14) обладает всеми общими
свойствами обычной, безусловной, вероятности, условная плотность вероятностей (17) удовлетворяет всем свойствам обычных плотностей вероятностей. А именно, fX (x| y) неотрицательная функция, подчиняющаяся
9
условию нормировки по x. В последнем нетрудно убедиться, интегрируя
обе части равенства (17) по x и вспомнив свойство согласованности (12)
совместной плотности вероятностей
Z∞
fX (x| y) dx =
R∞
−∞
fX (x, y) dx
−∞
fY (y)
=
fY (y)
≡ 1.
fY (y)
Пример. Рассмотрим задачу о посредственном стрелке, который никогда не промахивается, стреляя по круглой мишени радиусом R, но
с равной возможностью попадает в любую точку мишени. Совместим
центр мишени с центром декартовой системы координат и найдем совместную плотность вероятностей координат (X, Y ) точки, куда попадает
посредственный стрелок. Равная возможность попадания в любую точку мишени означает, что совместная плотность вероятностей координат
(X, Y ) постоянна внутри круга радиуса R и равна нулю вне его. Причем
из условия нормировки (13) следует, что внутри круга f (x, y) обратно
пропорциональна его площади πR2 . Таким образом
f (x, y) =
1
χ(R2 − x2 − y 2 ) .
πR2
(18)
Найдем одномерные плотности вероятностей координат X и Y . В силу симметрии совместной плотности вероятностей (18) по X и Y , они
одинаковы. Поэтому ограничимся построением лишь плотности вероятностей fX (x) координаты X. Согласно (12), (18)
1
fX (x) =
πR2
√
R
Z2 −x2
√
− R2 −x2
dy =
2 √ 2
R − x2
πR2
(|x| 6 R) .
(19)
Таким образом, координата X (а вместе с ней и Y ), неравномерно распределена внутри интервала |x| < R.
Напротив, условная плотность вероятностей
(17) постоянна внутри
√ 2
2
интервала разрешенных значений |x| 6 R − y , а сам этот интервал
сужается с ростом параметра y:
fX (x| y) =
f (x, y)
χ(R2 − x2 − y 2)
√
=
.
fY (y)
2 R2 − y 2
(20)
1.1.6. Независимые случайные величины
Пусть теперь X и Y статистически независимы. По теореме умножения для вероятности независимых событий, их совместная интегральная
10
функция распределения распадается на произведение функций распределения независимых случайных величин:
F (x, y) = P(X < x ∩ Y < y) = P(X < x) P(Y < y) = FX (x) FY (y) .
Вслед за интегральной функцией, произведению одномерных плотностей
вероятностей равна и совместная плотность вероятностей независимых
случайных величин. Таким образом, если X и Y независимы, то
F (x, y) = FX (x) FY (y) ,
f (x, y) = fX (x) fY (y) .
(21)
В частности, как видно отсюда и из (17), если X и Y независимы, то их
одномерная и условная плотности вероятностей совпадают:
fX (x| y) = fX (x)
(для независимых X и Y ) .
(22)
Если статистическая независимость случайных величин заранее очевидна, по формуле (21) находят их совместные функции распределения.
Если же есть сомнения в независимости X и Y , то (22) используют как
тест на их независимость. Так рассмотренные выше координаты X и
Y точки попадания в мишень посредственным стрелком статистически
зависимы, поскольку их одномерная (19) и условная (20) плотности вероятностей различны. Примеры совместных плотностей вероятностей независимых случайных величин даны ниже.
Пример. Пусть X и Y – равномерно распределены в интервалах X ∈
[a, b] и Y ∈ [c, d], а значит их одномерные плотности вероятностей равны
1 [χ(x − a) − χ(x − b)] ,
fX (x) = b −
a
1
fY (y) =
[χ(x − c) − χ(x − d)] .
d−c
Если к тому же X и Y статистически независимы, то их совместная
плотность вероятностей равна произведению указанных одномерных вероятностей. Другими словами, f (x, y) постоянна внутри прямоугольника
(x ∈ [a, b], y ∈ [c, d]) и равна нулю вне его. ⋆
Пример. Пусть (Vx , Vy , Vz ) – проекции на оси (x, y, z) декартовой системы координат случайной скорости движения молекулы газа. Из физических соображений ясно, что в покоящемся газе указанные проекции
скорости статистически независимы и обладают одинаковой плотностью
11
вероятностей f (v). Значит совместная плотность вероятностей проекций
скорости (обозначим ее ϕ(vx , vy , vz )) равна
ϕ(vx , vy , vz ) = f (vx ) f (vy ) f (vz ) .
С другой стороны, в газе нет выделенных направлений и ϕ(vx , vy , vz )
должна быть инвариантной относительно поворотов,
q то есть должна зависеть лишь от величины скорости молекулы v = vx2 + vy2 + vz2 :
q
ϕ(vx , vy , vz ) = ϕ( vx2 + vy2 + vz2 ) .
Следовательно, совместная плотность вероятностей проекций скорости
молекулы обязана подчиняться функциональному уравнению
q
f (vx ) f (vy ) f (vz ) = ϕ( vx2 + vy2 + vz2 ) .
Легко проверить что решением данного уравнения является гауссова
плотность вероятностей
1
v2
f (v) = √
exp − 2
2σ
2πσ 2
!
(23a)
с произвольной дисперсией σ 2 . Из статистической физики известна средняя кинетическая энергия молекул газа
mhV 2 i
m 2
3
=
hVx i + hVy2 i + hVz2 i = kT .
2
2
2
(23b)
Здесь k – постоянная Больцмана, m – масса молекулы, а T – абсолютная
температура газа. Таким образом, входящая в (23a) дисперсия и стандарт проекций скорости молекул газа равны
kT
σ2 =
,
m
σ=
s
kT
.
m
(23c)
Следовательно, окончательное выражение для совместной плотности вероятностей проекций скорости молекул газа таково
ϕ(vx , vy , vz ) =
m
2πkT
3/2
exp −
m 2
(v + vy2 + vz2 ) .
2kT x
Оно известно в физике под названием распределения Максвелла. ⋆
12
(24)
Пример. Полезным для дальнейшего примером совместной плотности
вероятностей совокупности независимых случайных величин является
плотность вероятностей гауссовой совокупности {X1 . . . , Xn } с нулевыми
средними и одинаковыми дисперсиями σ 2
1
√
2πσ
f (x1 , . . . , xn ) =
!n
n
1 X
exp − 2
x2
2σ k=1 k
!
.
(25)
Как и трехмерное распределение Максвелла (24), оно инвариантно относительно поворотов декартовой системы координат {x1 , . . . , xn } в nмерном пространстве Rn . Чтобы подчеркнуть этот факт, перепишем (25)
в виде
ϕn (r) =
√
1
2πσ
!n
(26)
f (x1 , . . . , xn ) = ϕn (r) ,
exp −
r2
2σ 2
!
,
r=
q
x21 + · · · + x2n . ⋆
1.2. Функции совокупностей
В этом разделе мы установим связи статистических свойств функций
совокупностей случайных величин с вероятностными свойствами исходной совокупности.
1.2.1. Распределения функций совокупности
Часто в прикладных задачах интересуются не всей совокупностью
случайных величин, а лишь некоторой функцией совокупности
Z = g(X1 , X2 , . . . Xn ) .
(1)
К примеру, в статистической физике важны не столько совместные статистические свойства проекций скорости молекул газа (Vx , Vy , Vz ), сколько величина скорости
V =
q
Vx2 + Vy2 + Vz2 .
(2)
Покажем как найти интегральную функцию распределения функции
случайных величин на примере функции двух аргументов
Z = g(X, Y ) .
(3)
Интегральная функция распределения случайной величины Z (3) равна
F (z) = P(Z < z) = hχ(z − g(X, Y ))i .
13
(4)
Выразим статистическое среднее через совместную плотность вероятностей аргументов X и Y . Согласно (1.11), (4) имеем
F (z) =
ZZ
f (x, y) dxdy .
(5)
D(z)
Здесь D(z) зависящая от z область интегрирования в плоскости (x, y),
где выполнено неравенство D : g(x, y) < z.
Пример. Распределением Максвелла называют не только трехмерное
распределение (1.24) проекций скорости молекул вдоль осей декартовой
системы координат, но и одномерное распределение величины скорости
молекулы (2). Найдем его, опираясь на трехмерный аналог формулы (5).
Согласно ей, искомая интегральная функция распределения равна
F (v) =
ZZZ
ϕ(vx , vy , vz ) dvx dvy dvz
(6)
Sv
интегралу по внутренности шара Sv радиуса v, центр которого совпадает
с центром декартовой системы координат {vx , vy , vz }. Подставив сюда
совместную плотность вероятностей (1.24) и перейдя к интегрированию
по сферическим координатам, сведем интеграл к однократному
m
F (v) = 4π
πkT
3/2 Zv
0
exp −
m 2
v v 2 dv .
kT
Дифференцируя обе части равенства по v, найдем плотность вероятностей величины скорости молекул газа
f (u) =
s
2 2
u2
u exp −
π
2
!
.
(7)
Здесь, для удобства анализа, дана плотность вероятностей безразмерной
скорости, нормированной на стандартное отклонение (1.23c) проекции
скорости в произвольном направлении
U =V
s
2m
.
kT
(8)
График распределения Максвелла (7) безразмерной скорости (8) молекулы газа дан на рис. 1.2. Физики характеризуют распределение Максвелла (7) тремя величинами. Это, во-первых, средняя скорость
hUi =
s
∞
2Z 3
u2
u exp −
π
2
0
14
!
du =
s
8
≃ 1.596 .
π
Во-вторых, наиболее вероятная скорость (мода распределения)
√
umod = 2 ≃ 1.414 .
Наконец, распределение
(7) характеризуют среднеквадратичной скороq
√
2
стью U sq = hU i = 3 ≃ 1.732. ⋆
0.6
0.5
0.4
0.3
0.2
0.1
1
2
4
3
Рис. 1.2. Распределение Максвелла (7) безразмерной скорости (8)
молекул. Пунктирными линиями указаны (в порядке возрастания)
мода, средняя величина и среднеквадратичная скорость молекул
Пример. Найдем интегральную функцию распределения максимума
совокупности случайных величин {X1 , . . . , Xn }: Z = max{X1 , . . . , Xn }.
Событие Z < z эквивалентно тому, что в данном испытании все величины {X1 , . . . , Xn } оказываются меньше z. Следовательно, искомая интегральная функция распределения равна
Fmax (z) = P(X1 < z, . . . , Xn < z) = F (z, . . . , z ) ,
|
{z
n
}
где F (x1 , . . . , xn ) – совместная интегральная функция распределения случайных величин {X1 , . . . , Xn }. В частности, если они статистически независимы и равномерно распределены в интервале (0, 1), то
Fmax (z) = z n ,
fmax (z) = n z n−1
(0 < z < 1) ,
(9)
а среднее наибольшей величины hZi = n/(n+1) с ростом n приближается
к единице. ⋆
1.2.2. χ2 -распределение
Естественное обобщение формулы (5) на n-мерный случай имеет вид
F (z) =
Z
f (x1 , . . . , xn ) dn x .
D(z)
15
(10)
Знак интеграла здесь символизирует интегрирование по n-мерной области D(z), где выполнено неравенство
g(x1 , . . . , xn ) < z .
(11)
fn (y)
n=1
0.5
0.4
0.3
n=2
n=3
0.2
n=4
n=5
0.1
y
2
4
6
8
10
Рис. 1.3. Графики χ2 -распределения для разных степеней свободы n и при σ = 1
Применим формулу (10) для вычисления интегральной функции распределения и плотности вероятностей случайной величины
Y =
n
X
Xk2 ,
(12)
k=1
где {X1 , . . . , Xn } – независимые гауссовы величины, совместная плотность вероятностей которых задана равенством (1.26). Здесь D – внутренность n-мерного шара с центром в начале декартовой системы ко√
ординат {x1 , . . . , xn } и радиусом y. Пользуясь симметрией плотности
вероятностей (1.26), сведем интеграл (10) к однократному
√
Fn (y) =
Zy
ϕn (r) Sn (r) dr .
(13)
0
Здесь интегрирование ведется по концентрическим сферическим слоям,
элементарный объем которых равен dV = Sn (r) dr, где Sn – площадь
гиперповерхности n-мерной сферы радиуса r. Известно, что она равна
π n/2 n−1
Sn (r) = 2
r
.
Γ(n/2)
(14)
В частности, с учетом свойств гамма-функции отсюда следуют знакомые
формулы площади сферы в пространствах размерности 1,2,3:
S1 (r) = 2 ,
S2 (r) = 2πr ,
16
S3 (r) = 4πr 2 .
Продифференцировав обе части равенства (13) по y, найдем плотность вероятностей случайной величины Y (12)
1
√
√
fn (y) = √ ϕn ( y) Sn ( y) .
2 y
(15)
Подставив сюда явные выражения ϕn (r) (1.26) и Sn (r) (14), найдем
n
1
y
fn (y) = n/2
y 2 −1 exp − 2
n
2 Γ(n/2)σ
2σ
(y > 0) .
(16)
Это распределение используют в математической статистике, где оно
носит название χ2 -распределения с n степенями свободы. Оно является
частным случаем гамма-распределения. Графики плотности вероятностей (16) при σ = 1 и разных степеней свободы даны на рис. 1.3.
Частный случай плотности вероятностей (16) при n = 1
1
y
exp − 2
f1 (y) = √
2πy σ
2σ
(17)
можно трактовать как плотность вероятностей гауссова шума, пропущенного через квадратичный детектор (Y = X 2 ).
Замечание. Заметим, что с ростом n значения плотности вероятностей fn (y) все ближе к нулю в окрестности y = 0. Это связано со свойством геометрии n-мерного пространства: чем больше его размерность n,
тем быстрее уменьшается объем областей с уменьшением их линейных
размеров. Проиллюстрируем это свойство, изучив вопрос: в пространстве какой размерности выгоднее покупать апельсины. Пусть толщина
кожуры апельсина составляет одну десятую радиуса апельсина. Известно, что объем апельсина радиуса R в n-мерном пространстве равен
Vn (R) =
π n/2
Rn .
Γ (1 + n/2)
(18)
Найдем отношение объема мякоти к объему апельсина. Оно равно
Vn (9R/10)
9
Rn =
=
Vn (R)
10
n
и максимально в 1-мерном пространстве R1 = 0.9. В 3-мерном пространстве мякоти меньше: R3 = 0.729. В 10-мерном пространстве R10 = 0.348,
а значит отношение объема мякоти к объему апельсина практически в
2 раза меньше, чем в земных магазинах. Полезно запомнить, что в пространствах очень большой размерности почти весь объем апельсина приходится на кожуру. 17
1.2.3. Распределение суммы
Применим формулу (5) к нахождению функций распределения суммы случайных величин Z = X + Y . В данном случае область D лежит
ниже прямой z = X + Y . Соответственно, двойной интеграл (5) сводится
к повторному интегрированию
FZ (z) =
Z∞
−∞
 z−x

Z

f (x, y) dy  dx .
−∞
Дифференцируя обе части равенства по z, получим плотность вероятностей суммарной величины Z:
fZ (z) =
Z∞
−∞
f (x, z − x) dx .
(19)
В частности, для независимых слагаемых, совместная плотность вероятностей которых распадается на произведение, отсюда имеем
fZ (z) =
Z∞
−∞
fX (x) fY (z − x) dx .
(20)
Это знаменитый интеграл свертки. Операция свертки имеет много общего с умножением. Поэтому будем использовать форму записи свертки
плотностей вероятностей
fZ (z) = fX (z) ⊗ fY (z) ,
(20a)
где, сходный с символом умножения ×, знак ⊗ символизирует свертку.
Пример. Найдем по формуле (20) плотность вероятностей суммы Z =
X1 +X2 независимых и равномерно распределенных в интервале (−a/2, a/2)
величин. Их плотности вероятностей равны
f (x) =
(
1/a , |x| < 1/a ;
0 , |x| > 1/a .
Плотность вероятностей суммы имеет треугольную форму:
fZ (z) =
(
.
(a − |z|) a2 , |z| < a ;
0
|z| > a .
Ее иногда называют распределением Симпсона ⋆.
18
(21)
Пример. Вычислим, опираясь на формулы (20), плотность вероятностей суммы независимых, экспоненциально распределенных слагаемых
Tn =
n
X
τk ,
(22)
k=1
Обозначим fn (t) – плотность вероятностей суммы (22) n слагаемых. Очевидно, она подчиняется рекуррентному соотношению
f1 (t) = νe−νt
fn+1 (t) = fn (t) ⊗ f1 (t) ,
(t > 0) .
Ввиду неотрицательности случайных величин τk , свертка принимает вид
fn+1 (t) =
Z
t
fn (x)f1 (t − x) dx .
0
Подставив сюда экспоненциальное распределение f1 (t), будем иметь
−νt
fn+1 (t) = νe
Zt
fn (x)eνx dx .
0
Поочередно подставляя сюда n = 1, 2 . . . , получим окончательно
fn (t) =
(νt)n−1 −νt
e
(n − 1)!
(t > 0) .
(23)
1.2.4. Распределения и дельта-функции
При нахождении плотностей вероятностей функций случайных величин часто удобно пользоваться определением плотности вероятностей
как статистического среднего от дельта-функций, и свойствами дельтафункции. Например известной формулой
1
a
δ(kx − a) =
δ x−
|k|
k
.
(24)
Пример. Отыщем плотность вероятностей линейной комбинации
Z = aX + bY + c
случайных величин X и Y с плотностью вероятностей f (x, y). Она равна
fZ (z) = hδ(z − aX − bY − c)i =
ZZ∞
−∞
19
δ(z − ax − by − c)f (x, y) dxdy .
Избавимся с помощью дельта-функции от интеграла по y. Используя
равенство
z − ax − c
1
δ(z − ax − by − c) = δ y −
|b|
b
и выкалывающее свойство дельта-функции, получим окончательно
1
fZ (z) =
|b|
Z∞
f x,
−∞
z − ax − c
b
dx .
При a = b = 1, c = 0 имеем, как частный случай, формулу (20). ⋆
Найдем аналогичным способом плотность вероятностей произведения
случайных величин Z = X Y :
fZ (z) =
ZZ∞
−∞
δ(z − xy)f (x, y) dxdy =
ZZ∞
−∞
1
z
f (x, y) dxdy .
δ y−
|x|
x
Пользуясь выкалывающим свойством, получим окончательно
fZ (z) =
Z∞
−∞
1
z
f x,
|x|
x
dx .
(25)
fz(z)
1.2
1
0.8
0.6
0.4
0.2
-2
-1
1
z
2
Рис. 1.4. Плотность вероятностей произведения гауссовых величин с нулевым средним и единичной дисперсией
Пример. Найдем с помощью (25) плотность вероятностей произведения независимых гауссовых величин X и Y с нулевыми средними и одинаковой дисперсией σ 2 . В этом случае
1
x2 + y 2
f (x, y) =
exp
−
2πσ 2
2σ 2
20
!
,
а интеграл (25) принимает вид:
1
fZ (z) =
πσ 2
Z∞
0
"
1
z2
exp − 2 x2 + 2
2σ
x
!#
dx
.
x
Заглянув в справочник интегралов, получим
1
|z|
fZ (z) =
K0
2
πσ
σ2
!
.
(26)
Здесь K0 (z) – модифицированная функция Бесселя второго рода нулевого порядка. Для справки укажем ее асимптотики:
2
K0 (z) ∼ ln
z
(z → 0) ,
K0 (z) ∼
r
π −z
e
2z
(z → ∞) .
График плотности вероятностей fZ (z) при σ = 1 дан на рис. 1.4. ⋆
1.2.5. Распределение Стъюдента
Приведем, для полноты картины, плотность вероятностей частного
случайных величин Z = X/Y :
X
i = h|Y |δ(X − Y z)i .
fZ (z) = hδ z −
Y
Выразив последнее среднее через совместную плотность вероятностей
f (x, y) и используя выкалывающее свойство дельта-функции, получим
fZ (z) =
Z∞
−∞
|y| f (yz, y) dy .
(27)
В статистике большую роль играет распределение Стъюдента. Так
называют плотность вероятностей частного
Z=
где
U=
X0
,
U
(28)
v
u
n
u1 X
t
X2 ,
n k=1
k
(29)
а {X0 , X1 , . . . , Xn } – совокупность n + 1 независимых гауссовых величин
с нулевыми средними и одинаковыми дисперсиями σ 2 . Найдем искомую
21
плотность вероятностей по формуле (27). Имея ввиду, что числитель в
(28) распределен по Гауссу, а также, что U неотрицательна, получим
1
fn (z) = √
2πσ
Z
∞
0
u2 z 2
u exp − 2
2σ
!
fU (u) du .
(30)
Здесь fU (u) плотность вероятностей случайной величины U (29). Соответствующую интегральную функцию распределения
найдем, заменив
√
верхний предел интеграла справа в (13) на nu:
√
FU (u) =
Zn u
ϕn (r) Sn (r) dr .
0
Дифференцируя равенство по u, найдем плотность вероятностей
√
√
√
fU (u) = n ϕn ( n u) Sn ( n u) .
Подставив сюда ϕn (r) (1.26) и Sn (r) (14), получим окончательно
fU (u) =
2
n/2
n
2
σnΓ
n
2
u
n u2
exp − 2
2σ
n−1
!
(u > 0) .
(31)
Поместив правую часть (31) в (30), будем иметь
fn (z) =
s
n/2
n
2
2
π σ n+1 Γ n
2
Z∞
0
u2 (n + z 2 )
u exp −
2σ 2
n
!
du .
(32)
Зависимость fn (z) от аргумента z легко установить уже сейчас, не вычисляя q
интеграла в правой части равенства. Перейдем к интегрированию по
2
v = n+z
u. В итоге получим
2σ2
fn (z) = √
Γ
n+1
2
π n Γ (n/2)
z2
1+
n
!−(n+1).2
(33)
– это известное распределение Стъюдента с n степенями свободы.
Укажем характерные особенности распределения Стъюдента (33). Оно
универсально в том смысле, что не зависит от дисперсии σ 2 компонент
{X0 , X1 , . . . , Xn }, формирующих величину Z из (28).
При n = 1 распределение Стъюдента совпадает с распределением
Коши, а с ростом n стремится к гауссовой плотности вероятностей:
1
z2
√
lim fn (z) =
exp −
n→∞
2
2π
!
.
График распределения Стьюдента при n = 6 изображен на рис. 1.5.
22
(34)
f (z)
0.4
n=6
0.3
0.2
Gauss
0.1
-4
-2
2
4
z
Рис. 1.5. Распределение Стъюдента при n = 6 и предельное распределение Гаусса (34). Видно что графики очень близки
1.3. Отображения совокупностей
Выше обсуждены свойства одной случайной величины Z (2.1), равной
функции набора величин {X1 , . . . , Xn }. В приложениях бывает необходимо исследовать трансформацию статистических свойств совокупности
случайных величин при их отображении в другую совокупность. Некоторые возникающие при этом полезные соотношения обсуждаются ниже.
1.3.1. Взаимно однозначное отображение
Для удобства выкладок перейдем к векторным обозначениям
{X1 , . . . , Xn } = X ,
{Y1 , . . . , Yn } = Y .
(1)
Пусть дано отображение случайного вектора X в Y
Y = α(X) ,
(2)
заданное детерминированной векторной функцией
y = α(x) :
{y1 = α1 (x1 , . . . , xn ), . . . , yn = αn (x1 , . . . , xn )} .
(3)
Будем для определенности считать, что она всюду дифференцируема, а
равенство (2) осуществляет взаимно-однозначное отображение области
Ωx возможных значений X на область Ωy возможных значений Y , такое,
что существует обратное дифференцируемое отображение Ωy 7→ Ωx
X = β(Y ) .
23
(4)
Для этого необходимо и достаточно, чтобы всюду в Ωy был отличен от
нуля и ограничен якобиан отображения:
0 < |J(y)| < ∞ ,
где
J(y) =
det ∂β1
∂y1
..
.
∂βn
∂y1
...
..
.
...
(5)
∂β1
∂yn
..
.
∂βn
∂yn
.
(6)
Выясним как выражается совместная плотность вероятностей fY (y)
случайного вектора Y через совместную плотность вероятностей fX (x),
которую будем считать известной. Для этого найдем статистическое среднее от функции g(α(X)), где g(y) – произвольная функция векторного
аргумента y. Из формулы (1.10) имеем
hg(α(X))i = hg(Y )i =
Z
g(α(x))fX (x) dn x .
(7)
Ωx
Перейдя к новым переменным интегрирования
y = α(x)
⇐⇒
x = β(y)
и заметив, что элементарные объемы преобразуются по правилу
будем иметь
hg(Y )i =
dn x = |J(y)| dn y ,
(8)
Z
(9)
Ωy
g(y)fX (β(y)) |J(y)| dn y .
С другой стороны, это же среднее выражается через совместную плотность вероятностей fY (y) совокупности Y равенством
hg(Y )i =
Z
g(y)fY (y) dn y .
Ωy
Сравнивая его с предыдущим и учитывая произвольность g(y), приходим к искомой формуле, связывающей плотности вероятностей случайных векторов Y и X:
fY (y) = fX (β(y)) |J(y)| .
24
(10)
Пример. Поставим типичную для инженерных приложений статистическую задачу. Пусть Z = U + iV – комплексное число, реальная и мнимая части которого равны
U = X + a,
V =Y ,
(11)
где X и Y – независимые гауссовы величины с нулевыми средними и одинаковой дисперсией σ 2 , a – детерминированная величина. По различным
физическим или инженерным соображениям, обычно удобно представлять комплексное число в экспоненциальной форме Z = R eiΦ , где R –
модуль, а Φ – фаза числа Z. Требуется по известной статистике совокупности {X, Y } определить плотность вероятностей R и Φ.
В данном случае отображение плоскости (X, Y ) на область возможных значений {R ∈ (0, ∞), Φ ∈ (−π, π)} задается парой функций
x = r cos ϕ − a ,
y = r sin ϕ
(12)
с якобианом
J=
det ∂x
∂r
∂y
∂r
∂x
∂ϕ
∂y
∂ϕ
=
det cos ϕ −r sin ϕ
sin ϕ r cos ϕ
= r.
(13)
Пусть f (x, y) – совместная плотность вероятностей величин {X, Y }.
Обозначим плотность вероятностей совокупности {R, Φ} – w(r, ϕ). Из
(10), (12) и (13) следует, что они связаны равенством
w(r, ϕ) = r f (r cos ϕ − a, r sin ϕ) .
(14)
Подставив сюда плотность вероятностей гауссовых величин {X, Y }
1
x2 + y 2
f (x, y) =
exp
−
2πσ 2
2σ 2
!
,
получим окончательно
r
r 2 + a2 − 2ar cos ϕ
w(r, ϕ) =
exp −
2πσ 2
2σ 2
r ∈ (0, ∞) ,
ϕ ∈ (−π, π) .
!
,
(15)
Обсудим свойства найденного распределения. При a = 0 оно распадается на произведение рэлеевского распределения R
r
r2
wR (r) = 2 exp − 2
σ
2σ
25
!
,
r > 0,
(16)
и равномерной плотности вероятностей Φ:
1
,
ϕ ∈ (−π, π) .
(17)
2π
Таким образом, при a = 0 абсолютная величина и фаза комплексного
числа Z статистически независимы.
Если a 6= 0, то R и Φ оказываются зависимыми, а их плотности вероятностей существенно трансформируются. Покажем это, вычислив одномерные плотности вероятностей R и Φ при a 6= 0. Интегрируя совместную плотность вероятностей (15) по разрешенным значениям фазы
и пользуясь табличным интегралом
wΦ (ϕ) =
π
1 Z z cos ϕ
e
dϕ = I0 (z) ,
2π
(18)
−π
где I0 (z) – модифицированная функция Бесселя, будем иметь
!
r
r 2 + a2
ar
I
wR (r) = 2 exp −
0
σ
2σ 2
σ2
.
(19)
Эту плотность вероятностей называют обобщенным распределением Рэлея. Его форма зависит от параметра s = a/σ, который в инженерных
приложениях трактуют как отношение сигнала к шуму.
Проследим теперь, как меняется с ростом s плотность вероятностей
случайной фазы Φ. Интегрируя (15) по всем r > 0, получим
"
1 − s2
wΦ (ϕ) =
e 2 1+
2π
r
π
z2
ze 2
2
1 + erf
z
√
2
!!#
(z = s cos ϕ) .
Графики этого распределения приведены на рис. 1.6. ⋆.
w (j)
F
0.4
0.3
0.2
s=0
s=0.1
0.1
-3
-2
s=0.5
s=1
-1
1
2
3
j
Рис. 1.6. Плотность вероятностей фазы комплексного числа Z
для разных отношений сигнала к шуму s = a/σ. При s = 0 оно
равномерное, а с ростом |s| сосредотачивается в окрестности ϕ = 0
26
(20)
Пример. Во приложениях важно знать, как преобразуются плотности
вероятностей при линейных отображениях случайных величин
Yi =
n
X
αij Xj
j=1
или в векторно-матричных обозначениях
Y = AX
(A = kαij k) .
(21)
Если детерминант матрицы A не равен нулю, то имеется обратное отображение
X = BY ,
(22)
где B – обратная к A матрица. Поскольку детерминант обратного отображения (6) всюду одинаков и равен детерминанту матрицы B, тогда
формула (10) приобретает вид
fY (y) = fX (By) | det B| .
⋆
(23)
1.4. Корреляции случайных величин
Пусть X и Y – зависимые случайные величины. Типичный для приложений вопрос таков: можно ли по измеренной величине X предсказать,
какое значение в том же испытании примет Y , используя зависимость
между ними. Обычно между X и Y нет детерминированной связи. Зависимость между ними проявляется статистически и выражается тем,
что их совместная плотность вероятностей f (x, y) не равна произведению плотностей вероятностей каждой из величин. Тем не менее иногда
удается подобрать такую функцию ϕ(x), что вспомогательная случайная
величина Y ′ = ϕ(X) хорошо прогнозирует искомую величину Y . Выбор
ϕ(x) зависит от совместных статистических свойств совокупности (X, Y ).
Обсудим здесь лишь возможность линейного прогнозирования, когда искомую случайную величину Y аппроксимируют линейной функцией
Y ′ = aX + b ,
(1)
выбирая a и b так, чтобы минимизировать среднеквадратичную ошибку
ε2 = h(Y − Y ′ )2 i .
(2)
Возникающие при решении задачи линейного прогнозирования понятия
теории совокупностей случайных величин обсуждаются ниже.
27
1.4.1. Корреляция и ковариация
Подставим правую часть равенства (1) в (2) и раскроем среднее
ε2 = h(Y − aX − b)2 i =
= hY i + a hX 2 i + b2 − 2ahXY i − 2bhY i + 2abhXi .
2
2
(3)
Помимо уже известных первых двух моментов случайных величин X и
Y , сюда входит статистическое среднее
hXY i =
ZZ∞
xy f (x, y) dxdy
(4)
−∞
произведения X и Y . Его называют корреляцией случайных величин.
Минимальное значение среднеквадратичной ошибки (2) найдем, решив пару уравнений относительно a и b:
(
∂ε2
= 0,
∂a
∂ε2
=0
∂b
)
(
⇐⇒
ahX 2 i + bhXi = hXY i ,
ahXi + b = hY i .
Отсюда имеем:
a=
hXY i − hXihY i
,
σx2
b = hY i − ahXi .
(5)
Внимания заслуживает числитель выражения для a. Подобно дисперсии, он равен корреляции случайных компонент X и Y
fYe i .
Cov(X, Y ) = hXY i − hXihY i ≡ h(X − hXi)(Y − hY i)i ≡ hX
(6)
Его называют ковариацией случайных величин X и Y . Подставив (5) и
(6) в (3), найдем минимальное значение среднеквадратичной ошибки.
min ε2 = σx2 σy2 1 − ρ2 .
Сюда входит безразмерная величина
ρ=
f Ye i
Cov(X, Y )
hX
=q
,
σx σy
f2 ihYe 2 i
hX
(7)
(8)
называемая коэффициентом корреляции X и Y . Из неотрицательности
ε2 следует, что коэффициент корреляции лежит в пределах
−1 6 ρ 6 1 .
28
(9)
Из (7) видно, что чем больше модуль коэффициента корреляции, тем
меньше при заданных σx и σy , ошибка линейного прогнозирования (1).
Таким образом, коэффициент корреляции количественно выражает степень линейной зависимости величин X и Y . При ρ = 0 она пропадает,
а |ρ| = 1 означает детерминированную линейную зависимость X и Y .
Добавим еще, если ρ = 0, то величины X и Y называют некоррелированными. В противном случае они являются коррелированными величинами. Очевидно, статистически независимые случайные величины
заодно и некоррелированы. Обратное вообще говоря не верно.
Подставив (5) в (1) и учитывая определение коэффициента корреляции (8), запишем уравнение оптимального линейного прогнозирования в
окончательной форме, наглядно выражающей его суть:
Y ′ = hY i +
σy f
σy
ρ (X − hXi) = hY i +
ρX .
σx
σx
(10)
Первое слагаемое справа представляет собой “нулевую итерацию” линейного прогнозирования, согласно которой прогнозируемое значение Y ′
принивают среднему оцениваемой величины Y . Второй член корректиf и Ye . Прямую,
рует нулевую итерацию с учетом корреляции между X
заданную уравнением (10), называют линией регрессии Y на X.
Пример. Поставим характерную для приложений задачу линейного
прогнозирования. Пусть Y – случайный сигнал, который надо измерить.
В приемном тракте сигнал искажается, так что в действительности измеряют смесь X = Y + N сигнала и шума N. Требуется оценить значение
сигнала по измеренной величине X. Обычно источники сигнала и шума различны и их можно считать некоррелированными. Кроме того, не
ограничивая общности, примем средние сигнала и шума равными нулю.
Тогда уравнение оптимального линейного прогнозирования примет вид
σ2
X,
Y = 2
σ + ̺2
′
(11)
где σ 2 – дисперсия сигнала Y , ̺2 – дисперсия шума N. На рис. 1.7 кружками изображены точки на плоскости (X, Y ), полученные генерацией
ста гауссовых случайных чисел {Y, N} с нулевым средним и единичной
дисперсией. Проведена прямая линейного прогноза Y ′ = X/2. Соответствующая программа MATLAB такова:
>> y=randn(1,100);
>> n=randn(1,100);
>> plot(y+n,y,’o’)
29
>> hold on
>> y=linspace(-4,5);
>> plot(y,y/2)
⋆
Пример. Возьмем случайные величины
X = sin Φ ,
Y = cos Φ .
(12)
Они жестко связаны уравнением X 2 + Y 2 = A2 . Тем не менее
Z
A2 2π
hXY i =
sin ϕ cos ϕ dϕ = 0
=⇒
ρ = 0,
2π 0
а линейный прогноз, сводящийся здесь к равенству Y ′ = 0, неэффективен. Этот факт констатируют, говоря, что случайные величины (12)
статистически зависимы, но некоррелированы. ⋆
3
2
1
0
−1
−2
−3
−4
−3
−2
−1
0
1
2
3
4
5
Рис. 1.7. Сто пар реализаций (X, Y ) и график линии регрессии
(11) в случае равных дисперсий сигнала и шума
1.4.2. Ковариационная матрица
Мы придем к еще одному ключевому понятию теории вероятностей,
исследуя дисперсию линейной комбинации случайных величин
Y =
n
X
αi Xi .
(13)
i=1
Здесь и далее {α1 , . . . , αn } – набор детерминированных коэффициентов.
Дисперсия Y равна среднему квадрату линейной комбинации (13) случайных составляющих Xi :
D[Y ] =
*
n
X
i=1
30
αi
f
X
i
!2 +
.
(14)
Пользуясь тем, что среднее суммы равно сумме средних, а также определением ковариации (6), запишем (14) в виде двойной суммы
D[Y ] =
n X
n
X
Cov(Xi , Xj ) αi αj .
(15)
i=1 j=1
В итоге мы пришли к квадратичной форме коэффициентов {α1 , . . . , α2 }.
Ее называют положительно определенной, поскольку она неотрицательна для любых {α1 , . . . , α2 }. Коэффициенты квадратичной формы (15)
образуют ковариационную матрицу
fX
f
cij = Cov(Xi , Xj ) = hX
i ji .
C = cij ,
(16)
На ее диагонали расположены дисперсии величин {X1 , . . . , Xn }, а сама
матрица симметрична в силу очевидного свойства ее элементов
cij = cj i .
(17)
Вслед за квадратичной формой (15), ковариационную матрицу (16) также называют положительно определенной.
Заметим, если компоненты вектора X некоррелированы, т.е. все
Cov(Xi , Xj ) = 0
(i 6= j) ,
то дисперсия суммы оказывается равной
D[Y ] =
n
X
αi2 D[Xj ] .
i=1
Укажем важное для понимания дальнейшего следствие этого соотношения при всех αi ≡ 1. Дисперсия суммы некоррелированных случайных
величин равна сумме дисперсий слагаемых:
D
" n
X
i=1
#
Xi =
n
X
D[Xi ] .
(18)
i=1
Известно – среднее суммы равно сумме средних. Оказывается, этим свойством обладает и дисперсия суммы, но лишь независимых слагаемых.
1.5. Закон больших чисел
В предыдущем разделе мы выяснили, что дисперсия суммы независимых случайных величин равна сумме дисперсий слагаемых. Этот факт
и доказанное ниже неравенство Чебышева позволят дать более общую
формулировку закона больших чисел.
31
1.5.1. Неравенство Чебышева
Между дисперсией случайной величины и ее плотностью вероятностей имеется важная связь, выраженная неравенством Чебышева
hX 2 i
.
(1)
ε2
Докажем его, считая X непрерывной случайной величиной с интегрируемой в обычном смысле плотностью вероятностей f (x). Заметим однако,
что доказательство легко обобщить на произвольный случай, лишь бы
средний квадрат X был ограничен: hX 2i < ∞.
По определению, средний квадрат случайной величины равен
P(|X| > ε) 6
2
hX i =
Z∞
x2 f (x) dx .
−∞
Разобьем ось интегрирования на интервал |x| < ε и области, где |x| > ε:
Z
2
hX i =
2
x f (x) dx +
Zε
x2 f (x) dx .
−ε
|x|>ε
Из неотрицательности f (x) и x2 следует, что
Zε
x2 f (x) dx > 0 ,
−ε
значит
hX 2 i >
Z
x2 f (x) dx .
|x|>ε
В свою очередь оставшийся интеграл удовлетворяет неравенству
Z
x2 f (x) dx > ε2
Z
f (x) dx ,
|x|>ε
|x|>ε
поскольку при |x| > ε выполняется x2 > ε2 (см. рис. 1.8). Таким образом,
мы пришли к неравенству
2
hX i > ε
2
Z
f (x) dx .
|x|>ε
Обратим внимание на вероятностный смысл оставшегося интеграла:
Z
f (x) dx = P(|X| > ε) .
|x|>ε
32
Он равен вероятности, что модуль X больше или равен ε. Следовательно,
предыдущее неравенство эквивалентно неравенству Чебышева (1).
В теории вероятностей широко используют неравенство Чебышева в
f = X − hXi,
иной форме. От X переходят к случайной компоненте X
средний квадрат которой равен дисперсии X, а значит неравенство Чебышева можно переписать в виде
P (|X − hXi| > ε) 6
σx2
.
ε2
(2)
Следовательно: вероятность отклонения произвольной случайной величины X от ее среднего на величину, большую ε, не превышает ее
дисперсии, деленной на ε2 .
x2
H2
|x|>H
|x|>H
H
H
x
Рис. 1.8. Иллюстрация к доказательству неравенства Чебышева
1.5.2. Теорема Чебышева
Неравенство Чебышева позволяет дать простое и довольно универсальное доказательство закона больших чисел. Сформулируем закон больших чисел в форме теоремы, известной как теорема Чебышева:
Теорема: Если {X1 , . . . , Xn } последовательность независимых случайных величин с одинаковыми дисперсиями σx2 < ∞ и средними hXi,
то для любого ε > 0 справедливо предельное неравенство
lim P
n→∞
n
1 X
Xk
n
k=1
− hXi
!
< ε = 1.
(3)
Для доказательства введем вспомогательную величину
Y =
n
1X
Xk .
n k=1
(4)
Очевидно, ее статистическое среднее равно hXi. Дисперсия Y равна сумме дисперсий слагаемых
σy2 =
n
X
σx2
1
= σx2 .
2
n
k=1 n
33
(5)
Таким образом, согласно неравенству Чебышева применительно к случайной величине Y , имеем
σy2
σ2
P(|Y − hXi| > ε) 6 2 = x2 .
ε
nε
(6)
Напомним, что вероятность противоположного событию |Y − hXi| > ε
события |Y − hXi| < ε равна
P(|Y − hXi| < ε) = 1 − P(|Y − hXi| > ε) > 1 −
σx2
.
nε2
Заменив Y правой частью равенства (4), в пределе n → ∞ получим
lim P
n→∞
n
1 X
Xk
n
k=1
− hXi
!
< ε > 1.
Поскольку вероятность любого события не превышает единицы, отсюда
следует утверждение теоремы Чебышева (3).
1.5.3. Гистограммы
Закон больших чисел выражает фундаментальное свойство статистической устойчивости случайных явлений. Он обосновывает возможность
измерения статистических характеристик случайных величин по итогам
большой серии испытаний. Сама процедура измерения тех или иных статистических характеристик, а также оценка точности измерений, требует
разработки специфических методов. Проиллюстрируем сказанное описанием процедуры измерения плотности вероятностей случайных величин.
Пусть итогом n независимых измерений случайной величины Z стал
вектор Z = {Z1 , . . . , Zn } измеренных значений. Эмпирическая оценка
формы плотности вероятностей Z по вектору Z сводится к построению
гистограммы, так называют набор примыкающих столбиков одинаковой
ширины ∆. Их высота Nk равна числу измеренных значений случайной
величины Z, попавших в основание k-го столбика
[zmin + k∆ − ∆, zmin + k∆) .
(7)
В пакете MATLAB построение гистограммы выполняет команда
>> hist(z,m)
Здесь z – вектор измеренных значений, m – число столбиков гистограммы. В качестве zmin берется минимальное измеренное значение. Ширина
столбиков равна
zmax − zmin
,
∆=
m
34
где zmax – максимальное из измеренных значений. Команда
>> hist(z)
с опущенным необязательным аргументом m генерирует гистограмму из
десяти прямоугольников. Дадим несколько примеров гистограмм.
120
100
80
60
40
20
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Рис. 1.9. Гистограмма равномерно распределенной величины Z,
построенная по тысяче реализаций
Пример. Первой построим гистограмму равномерно распределенной в
интервале (0, 1) величины Z по тысяче ее значений:
>> z=rand(1,1000);
>> hist(z)
Первая строка формирует вектор из n=1000 реализаций Z, а вторая –
строит гистограмму. Результат изображен на рис. 1.9. ⋆
700
600
500
400
300
200
100
0
1
0.8
0.6
0.4
0.2
0
0.2
0.4
0.6
0.8
1
Рис. 1.10. Гистограмма распределения Симпсона, построенная по
10000 значениям, рассортированным по 30 столбикам
Построенная гистограмма может вызвать недовольство экспериментатора, поскольку высо́ты столбиков довольно сильно колеблются вокруг
35
истинного значения 100, равного умноженной на n=1000 вероятности попадания Z в интервал длиной ∆ = 0.1. Чтобы гистограмма была ближе
по форме к исследуемой плотности вероятностей, надо увеличивать число n. При измерении плотностей вероятностей f (z) неравномерно распределенных случайных величин, стараются улучшить “разрешающую
способность”. Последняя определяется числом m столбцов гистограммы.
Убедимся на примерах, что рост числа испытаний, в согласии с законом больших чисел, повышает точность измерения.
Пример. Построим гистограмму случайной величины, имеющей распределение Симпсона (2.21) при a = 1. Сформируем два вектора одинаковой длины из реализаций равномерно распределенных величин
>> x=rand(1,10000);
>> y=rand(1,10000);
а затем построим гистограмму центрированной суммы
>> z=x+y-1;
>> hist(z,30)
Здесь мы в 10 раз увеличили число реализаций, но взяли в 3 раза больше столбиков. Итоговая гистограмма дана на рис. 1.10. Она довольно
хорошо повторяет треугольную форму распределения Симпсона. ⋆
3000
2500
2000
1500
1000
500
0
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
Рис. 1.11. Гистограмма распределения максимума из трех равномерно распределенных величин
Пример. Построим гистограмму максимума U = max(X, Y, Z) из трех
независимых величин, равномерно распределенных в интервале (0, 1).
Гистограмма строится программой
>> x=rand(3,50000);
>> u=max(x);
>> hist(u,50)
36
Как и следовало ожидать, соответствующая гистограмма, построенная
на рис. 1.11, близка к параболической форме распределения U: f (u) =
3u2 (2.9). ⋆
Помимо плотности вероятностей, на практике может понадобиться
интегральная функция распределения исследуемых случайных величин.
Составим программу построения интегральной функции распределения
гауссовой величины. Создадим вектор из 5000 реализаций:
>> n=5000;
>> x=rand(n,1);
Затем построим гистограмму:
>> subplot(2.1.1)
>> hist(x,50)
350
300
250
200
150
100
50
0
4
3
2
1
0
1
2
3
4
3
2
1
0
1
2
3
4
1
0.8
0.6
0.4
0.2
0
4
Рис. 1.12. Гистограмма и эмпирическая интегральная функция
распределения гауссовой случайной величины X =randn, генерируемой датчиком случайных чисел программы MATLAB
Построим эмпирическую интегральную функцию распределения. Для
этого сформируем векторы высот столбиков и их центров:
>> [f,xc]=hist(x,50);
затем сформируем вектор эмпирической интегральной функции распределения и построим график
>> P=cumsum(f)/n;
>> subplot(2.1.2)
>> plot(xc,P)
После чего сравним ее с теоретической интегральной функцией распределения гауссовой величины N(0, 1):
37
>> F=(1+erf(xc/sqrt(2)))/2;
>> hold on
>> plot(xc,F)
1.6. Характеристическая функция
совокупности
Наиболее ценные качества характеристических функций, как инструмента теории вероятностей, проявляются при анализе совокупностей случайных величин. Этот раздел посвящен обсуждению свойств случайных
совокупностей с помощью характеристических функций.
1.6.1. Многомерные характеристические
функции
По определению, характеристической функцией совокупности случайных величин X = {X1 , . . . , Xn } называют функцию векторного аргумента u = {u1 , . . . , un }, равную
i(u·X)
Θ(u) = he
i=
*
exp i
n
X
u k Xk
k=1
!+
.
(1)
Как и в одномерном случае, n-мерная характеристическая функция (1)
обращается в единицу при u = 0. Если же положить равными нулю
лишь некоторые компоненты вектора u, то получим характеристическую
функцию меньшей совокупности случайных величин, для которых uk 6=
0.
Заметим, что как и в случае характеристической функции одной случайной величины, моментные функции компонент вектора X можно
вычислить дифференцированием совместной характеристической функции. Корреляцию случайных величин Xk и Xm находят по формуле
∂ 2 Θ(u) hXk Xm i = −
.
∂uk ∂um u=0
(2)
Зная n-мерную характеристическую функцию (1), легко найти характеристическую функцию любой линейной комбинации совокупности,
например характеристическую функцию суммы случайных величин
Y =
n
X
k=1
38
Xk .
(3)
Для этого надо лишь взять компоненты вектора u одинаковыми:
ΘY (u) = Θ(u, . . . , u ) =
|
{z
n
}
*
exp iu
n
X
Xk
k=1
!+
.
(4)
Если все компоненты вектора X = {X1 , . . . , Xn } статистически независимы, среднее в правой части (1), а вместе с ним и n-мерная характеристическая функция Θ(u), распадается на произведение одномерных
характеристических функций каждого из слагаемых
Θ(u) =
n
Y
Θk (uk ) ,
(5)
k=1
где Θk (u) – характеристическая функция случайной величины Xk . В
частности, характеристическая функция суммы (3) одинаково распределенных независимых случайных величин равна
ΘY (u) = Θn (u)
(6)
n-й степени характеристической функции слагаемых суммы.
Пример. Найдем с помощью (6) характеристическую функцию биномиального распределения. Напомним, биномиально распределенная величина K равна сумме независимых величин, принимающих значения 0
и 1. Характеристическая функция K равна n-й степени характеристической функции слагаемых ΘK (u) = (q + p eiu )n . ⋆
Пример. Получим характеристическую функцию плотности вероятностей (2.23) суммы (2.22) n экспоненциально распределенных независимых случайных величин. Для этого напомним, что характеристическая
функция каждого слагаемого равна
Θτ (u) =
Z∞
νe−νt+iut dt =
0
ν
.
ν − iu
Возведя Θτ (u) в n-ю степень, найдем характеристическую функцию суммы (2.22)
n
ν
ΘT (u) =
.
⋆
ν − iu
39
Пример. Найдем характеристическую функцию χ2 -распределения (2.16).
Напомним, оно является плотностью вероятностей суммы (2.12) квадратов независимых гауссовых случайных величин. Найдем характеристическую функцию отдельного слагаемого
iuX 2
Θ(u) = he
∞
1 Z
x2
i= √
exp − 2 + iux2
2σ
2π −∞
!
dx = √
1
.
1 − 2iuσ 2
n-я степень Θ(u) дает характеристическую функцию χ2 -распределения
ΘY (u) = 1 − 2iuσ 2
−n/2
.
⋆
1.6.2. Кумулянты
Мы знаем, что дисперсия суммы независимых величин равна сумме
дисперсий слагаемых. Характеристическая функция позволяет указать
бесконечное множество других статистических характеристик, обладающих подобным свойством аддитивности. Покажем это, записав характеристическую функцию Θ(u) случайной величины X в виде
Θ(u) = eΨ(u) ,
(7)
Ψ(u) = ln Θ(u) .
(8)
где
Разложим вспомогательную функцию Ψ(u) в ряд по степеням u
Ψ(u) =
∞
X
κm
(iu)m .
m!
m=1
Коэффициенты κm этого разложения называют кумулянтами (или семиинвариантами) случайной величины X. С их помощью характеристическая функция записывается в форме
∞
X
κm
Θ(u) = exp
(iu)m
m!
m=1
!
.
(9)
Из свойства (5) характеристических функций совокупностей независимых величин следует, что m-й кумулянт суммы равен сумме кумулянтов
слагаемых. В частности, подставив (9) в (6), получим
∞
X
nκm
ΘY (u) = exp
(iu)m
m!
m=1
40
!
.
(10)
Отсюда видно, что кумулянты суммы независимых и одинаково распределенных случайных величин равны кумулянтам слагаемых, умноженным на их число n.
Дифференцируя равенство (10) по iu n раз, положив u = 0 и приравняв результат к µn , нетрудно получить соотношения, связывающие
кумулянты с моментами. Так для первых четырех кумулянтов имеем
κ1
κ2
κ3
κ4
= µ1 ,
= µ2 − µ21 = σx2 ,
= µ3 − 3µ21 µ2 + 2µ31 ,
= µ4 − 3µ22 − 4µ1 µ3 + 12µ21µ2 − 6µ41 .
Обратим внимание: первые два кумулянта равны среднему и дисперсии
X, остальные характеризуют форму плотности вероятностей f (x). Поскольку форма f (x) более тесно связана не с моментами, а центральными
моментами случайной величины, дадим формулы связи высших (k > 2)
кумулянтов с центральными моментами. Для этого надо в приведенных
формулах положить µ1 = 0 и остальные моменты заменить центральными моментами. В итоге получим
κ4 = ν4 − 3ν22 = ν4 − 3σx4 .
κ3 = ν3 ,
(11)
Обсудим связь кумулянтов с формой плотности вероятностей. Если
у случайной величины X не равен нулю лишь первый кумулянт κ1 , то
ее характеристическая функция и плотность вероятностей таковы
Θ(u) = eiκu
⇔
f (x) = δ(x − κ1 ) .
Иными словами, величина X, у которой отличен от нуля лишь первый
кумулянт, детерминирована, а ее значение равно X = κ1 . Подчеркнем,
как и в данной вырожденной ситуации, первый кумулянт ответственен,
в общем случае, за смещение плотности вероятностей f (x) вдоль оси x,
и не влияет на форму f (x).
Пусть отличны от нуля первые два кумулянта κ1 6= 0 и κ2 6= 0, а
остальные равны нулю. Тогда плотность вероятностей будет гауссовой:
κ2 2
Θ(u) = exp iκ1 u −
u
2
1
(x − κ1 )2
⇔ f (x) = √
exp −
2κ2
2πκ 2
!
. (12)
Причем, если первый кумулянт учитывает смещение плотности вероятностей, то второй определяет ее эффективную ширину. Точнее, эффективная ширина определяется стандартом, равным корню 2-го кумулянта:
√
σ = κ2 . Этот же смысл второго кумулянта, как квадрата эффективной
41
ширины плотности вероятностей, сохраняется за ним и в общем случае.
Поэтому, анализируя свойства плотностей вероятностей, не зависящие от
их ширины, переходят, как правило, от исходной случайной величины X
к вспомогательной безразмерной величине
X̂ =
X
X
=√ .
σ
κ2
(13)
Она нормирована в том смысле, что дисперсия X̂ равна единице.
У безразмерной нормированной случайной величины X̂ все кумулянты безразмерны и равны
κm =
κm
κm
=
m/2
σm
κ2
(m = 3, 4, . . . ) .
(14)
Их называют кумулянтными коэффициентами случайной величины X.
Напомним, что характеристическая функция, все кумулянты которой, кроме первых двух, равны нулю, отвечает гауссовой плотности вероятностей. Оказывается, функция Θ(u) с любым другим конечным набором не равных нулю кумулянтов теряет свойство положительной определенности. Следовательно, истинная характеристическая функция может
иметь или первые два, или бесконечное число не равных нулю кумулянтов. Все же чем меньше кумулянтные коэффициенты (14), тем ближе
плотность вероятностей случайной величины к гауссовой. Поэтому кумулянтные коэффициенты (14) используют как количественную меру
близости формы плотности вероятностей к гауссовой. На практике для
этой цели привлекают лишь два первых кумулянтных коэффициента,
имеющие специальные названия: асимметрия
κ3 =
ν3
κ3
=
σ3
σ3
(15a)
κ4 =
κ4
κ4
= 2.
4
σ
κ2
(15b)
и эксцесс
Названия отражают смысл этих величин. Асимметрия ответственна за
отклонение формы распределения f (x) от симметричной, а эксцесс указывает степень отклонения формы плотности вероятностей от гауссовой.
Хотя это не всегда так, при объяснении смысла эксцесса обычно говорят,
что при κ4 > 0 вершина плотности вероятностей f (x) более острая, чем
у гауссова распределения с той же дисперсией, при κ4 < 0 вершина более плоская. Дадим несколько примеров плотностей вероятностей и их
кумулянтных коэффициентов.
42
Пример. Пусть X равномерно распределена в интервале (a, b). Кумулянты удобно находить из разложения в ряд Тейлора логарифма харакf
теристической функции случайной компоненты X:
sin uℓ
e
e
Ψ(u)
= ln Θ(u)
= ln
uℓ
!
,
здесь ℓ = (b−a)/2. Нетрудно найти первые слагаемые разложения функe
ции Ψ(u)
в ряд по степеням u:
e
Ψ(u)
=−
ℓ4 4
ℓ6 6
ℓ2 2
u −
u −
u + O(u8 ) .
6
180
2835
Нечетные кумулянты случайной компоненты равномерно распределенной величины равны нулю, а первые три четных кумулянта равны:
1
κ2 = σ 2 = ℓ2 ,
3
κ4 = −
2 4
ℓ ,
15
κ6 =
16 6
ℓ .
63
Поделив четвертый кумулянт на квадрат второго, найдем эксцесс рав⋆
номерной плотности вероятностей κ4 = − 56 .
Пример. Найдем кумулянты экспоненциального распределения
f (t) = νe−νt
⇐⇒
Θ(u) =
ν
.
ν − iu
Разложение характеристической функции в ряд по степеням u имеет вид
∞
X
(iu)m
ν
=
ln
.
m
ν − iu
m=1 m ν
Отсюда следует, что кумулянты экспоненциального распределения, в том
числе его асимметрия и эксцесс, равны
κm =
(m − 1)!
,
νm
κ3 = 2 ,
κ4 = 6 .
⋆
1.6.3. Центральная предельная теорема
Аппарат характеристических функций и аддитивное свойство кумулянтов суммы независимых величин позволяет убедиться в справедливости главной теоремы теории вероятностей, так называемой центральной предельной теоремы (ЦПТ), находящей многочисленные применения практически всюду, где наблюдаются случайные явления.
43
Центральная предельная теорема оперирует суммами большого числа
случайных величин
X1 + X2 + · · · + Xn
(n ≫ 1) .
(16)
Будем считать {X1 , X2 , . . . , Xn } независимыми и одинаково распределенными. Кроме того, положим для простоты, что ограничены все моменты,
а вместе с ними и кумулянты слагаемых.
Прежде чем формулировать центральную предельную теорему, укажем ее отношение к другому универсальному закону теории вероятностей – закону больших чисел, который утверждает, что арифметическое
среднее суммы независимых случайных величин
1
(X1 + X2 + · · · + Xn )
(17)
n
становится с ростом n все менее случайным. В самом деле, если дисперсии слагаемых в (17) равны σx2 , то стандарт суммы (17), характеризующий отклонение от статистического среднего, стремится к нулю как
σx
σn = √ .
n
Xn =
Для многих приложений, однако, отклонения арифметического от статистического среднего принципиальны, и важно знать их вероятностные
свойства. Грубый закон больших чисел не дает ответа на этот вопрос.
Зато на него отвечает более тонкая центральная предельная теорема.
Поскольку ЦПТ описывает отклонения от среднего, исключим из
суммы (16) статистические средние слагаемых и будем интересоваться
плотностью вероятностей суммы случайных компонент:
n
1 X
f .
X
X (n) = √
k
n k=1
(18)
√
Она нормирована на n, чтобы дисперсия X (n) не менялась с ростом n,
а оставалась равной дисперсии слагаемых D[X (n) ] = σx2 . Обсудим характеристическую функцию случайной величины X (n) :
Θn (u) =
*
n
u X
exp i √
X̃k
n k=1
!+
=Θ
n
u
√
n
!
,
(19)
f . Выразим ее
здесь Θ(u) – характеристическая функция слагаемых X
k
f
через кумулянты Xk и подставим в (19). В итоге получим
"
∞
X
κm
Θn (u) = exp n
m=2 m!
44
iu
√
n
!m #
.
Суммирование здесь начинается с m = 2, поскольку заранее исключили
f.
первый кумулянт, перейдя к суммированию случайных компонент X
k
Перепишем Θn (u), выделив первый сомножитель,
κ3
κ4 4
κ2
Θn (u) = exp − u2 exp −i √ u3 +
u + ...
2
6 n
24 n
!
.
(20)
Видно, что при любом заданном
|u| < ∞ предел характеристической
√
функции, нормированной на n, суммы случайных компонент (18) равен
lim Θn (u) = Θ∞ (u) = exp −
n→∞
κ2 2
u
2
(21)
характеристической функции гауссовой случайной величины. Значит и
плотность вероятностей суммы (18) сходится при n → ∞ к гауссовой
плотности вероятностей
1
x2
f∞ (x) = √
exp − 2
2σx
2πσx
!
.
(22)
Это утверждение и составляет содержание центральной предельной теоремы. Дадим несколько примеров сумм случайных величин, и проследим
эволюцию их плотностей вероятностей с ростом n.
f(x)
0.7
0.6
0.5
0.4
n=8
Gauss
0.3
0.2
0.1
0.25
0.5
0.75
1
1.25
1.5
x
Рис. 1.13. Графики распределения суммы n равномерно распределенных величин при n = 1 (прямоугольник), n = 2 (треугольник) и n = 8. Последняя плотность вероятностей почти повторяет
график изображенного здесь же гауссова распределения (24)
Пример. Возьмем сумму равномерно распределенных в (−1, 1) величин. Характеристическая функция нормированной суммы (18) равна
"√
√ #n
n sin (u/ n)
Θz (u) =
.
(23)
u
45
На рис. 1.13 изображена плотность вероятностей при n = 8 и предельное
гауссово распределение
f∞ (x) =
s
3
3x2
exp −
2π
2
!
.
(24)
Видно, что гауссово распределение и плотности вероятностей суммы восьми равномерно распределенных слагаемых практически совпадают. ⋆
Замечание. Оценим число слагаемых n, при котором плотность вероятностей суммы (18) – практически гауссова. Заметим, что “тело” плотности вероятностей суммы (18) фактически определяется первым сомножителем в правой части (20). Оно существенно не равно нулю при
√
|u| . 1/ κ2 . Если на границах этого интервала оставшийся сомножитель
κ3
κ4 4
exp −i √ u3 +
u + ...
6 n
24 n
!
√
u=1/ κ2
≃ 1,
(23)
то можно ожидать, что распределение суммы близко к гауссову. Как видно из (20), для этого необходимо, чтобы асимметрия и эксцесс слагаемых
подчинялись неравенствам
√
|κ3 | ≪ 6 n ,
|κ4 | ≪ 24 n .
(24)
В приведенных примерах они заведомо выполняются при n ∼ 10. Замечание. Мы доказали центральную предельную теорему для суммы одинаково распределенных независимых величин. Можно показать,
что она справедлива при гораздо более общих предположениях. Грубо
говоря, она “работает”, пока дисперсии слагаемых ограничены и не сильно отличаются друг от друга, а статистическая зависимость слагаемых
Xm и Xl суммы (16) довольно быстро пропадает с ростом |m − l|. 1.7. Гауссовы совокупности
Центральная предельная теорема определяет ключевое место распределенных по Гауссу случайных величин как в самой теории вероятностей,
так и в прикладных статистических задачах. Еще большую роль в теории и приложениях играют гауссовы совокупности.
1.7.1. Определение гауссовой совокупности
Прежде чем дать определение гауссовой совокупности, сделаем важное замечание: возьмем две последовательности независимых величин
46
{X1 , . . . , Xn } и {Y1 , . . . , Yn }. Из ЦПТ следует, что если суммы
n
X
k=1
n
X
Xk n→∞
−→ X ,
k=1
Yk n→∞
−→ Y ,
сходятся к гауссовым величинам X и Y , то и сумма
n
X
Zk
(Zk = aXk + bYk )
k=1
при n → ∞ сходится к гауссовой величине Z = aX +bY . Иными словами,
вместе с элементами совокупности {X, Y }, гауссовой будет любая их линейная комбинация. Это, следующее из ЦПТ, свойство инвариантности
относительно линейных преобразований берут за определение гауссовых
совокупностей: набор случайных величин {Z1 , . . . , Zn } называют гауссовой совокупностью, если любая их линейная комбинация
n
X
αk Zk
(1)
k=1
имеет гауссово распределение.
1.7.2. Элементы теории теории матриц
Изучение гауссовых совокупностей требует знания основ теории матриц, напомним их. Набор величин x = {x1 , . . . , xn } называют вектором,
а прямоугольную таблицу A = kaij k – матрицей, где i – номер строки,
а j столбца. Обсудим лишь квадратные матрицы размером n × n. Их
примером служит ковариационная матрица C (4.16). Поменяв местами
строки и столбцы, получим транспонированную матрицу
A = aij AT = kaj i k .
=⇒
(2)
Напомним, ковариационная матрица симметрична, и значит C ≡ C T .
Умножение вектора на матрицу определяют равенством
y = Ax
⇐⇒
yi =
n
X
aij xj .
(3)
j=1
Аналогично вводят скалярное произведение
(y · x) =
n
X
j=1
47
yj xj
(4)
и операцию умножения матриц
D = AB
⇐⇒
dij =
n
X
aim bmj .
(5)
m=1
Применяя умножение несколько раз, находят произведение любого числа
матриц. Легко доказать, что умножение матриц ассоциативно. Для трех
матриц это значит
D E F = (D E) F = D (E F ) .
(6)
Если произведение матриц равно единичной матрице A B = I = δij то B называют обратной к матрице A и пользуются обозначением B =
A−1 . При этом выполняются соотношения
B = A−1
⇐⇒
B−1 = A ,
(A B)−1 = B−1 A−1 .
(7)
Отсюда и из (6) следует, в частности, что
(D E F )−1 = F −1 E −1 D −1 .
(8)
Квадратной матрице ставят в соответствие число, так называемый
детерминант, обладающий свойствами:
det (A B) = det A det B ,
det(AT ) = det A .
(9)
Подробнее обсудим свойства ковариационной матрицы C (4.16). Как
и любая положительно определенная матрица, она имеет n ортонормированных собственных векторов
{γ 1 , γ 2 , . . . γ n } ,
(γ m · γ l ) = δml ,
(10)
удовлетворяющих уравнениям
C γ m = ̺2m γ m ,
(11)
где ̺2m > 0 – собственные числа матрицы C. Ниже будем считать, что
det C > 0. Тогда собственные числа строго положительны: ̺2m > 0.
Возьмем матрицу
G = γ 1 , . . . , γ n ,
(12)
столбцами которой служат собственные векторы (10). Из их ортогональности следует, что G T обратна к матрице G:
G T G = k(γi · γj )k = kδij k
48
=⇒
G T = G −1 .
(13)
Матрицу G, для которой справедливы соотношения (13), называют ортогональной. Вместе с G ортогональна и матрица G T , так что
G G T = kδij k .
(13′)
Известно, что произведение трех матриц
G T C G = L = ̺2i δij (14)
C = G L GT .
(14′)
дает диагональную матрицу L. Ее боковые элементы равны нулю, а диагональные совпадают с собственными числами ковариационной матрицы. Умножив (14) слева на G, а справа на G T и учитывая свойства ортогональных матриц (13) и (13′), придем к представлению ковариационной
матрицы в виде произведения диагональной и ортогональных матриц
Из (14), (9) и ортогональности матриц G и G T следует, что детерминант матрицы L равен детерминанту ковариационной матрицы
det C = det L =
n
Y
̺2k .
(15)
k=1
Кроме того из (14) и (8) имеем
L−1 =
δ ij 2
̺i = G T C −1 G
C −1 = G L−1 G T .
⇐⇒
(16)
Рассмотрим произвольную квадратичную форму
n
X
k=1
qij xi xj = (x · Q x) .
(18)
Из определения скалярного произведения (4) и умножения вектора на
матрицу (3) следует справедливость равенства
(x · Q x) = QT x · x .
(19)
Пример. Проверим приведенные формулы на примере матрицы
C=
5
3
1
3 1
4 2 .
2 3
49
(20)
Найдем ортогональную матрицу G c помощью программы MATLAB.
Для этого сформируем ковариационную матрицу
>> C=[5 3 1; 3 4 2; 1 2 3];
Затем выполним команду, генерирующую ортогональную матрицу и собственные числа ковариационной матрицы
>> [G,L]=eig(C)
В итоге получим
G=
0.4226
−0.7461
0.5145
−0.5999 0.6793
0.1953 0.6366 ,
0.7759 0.3651
L=
0.9213
0
0
0
0 2.7302
0 .
0
8.3485
Команды
>> G*G’
и
>> G’*G
иллюстрируют свойства ортогональности (13) и (13′). Команда
>> G’*C*G
убеждает в справедливости соотношения (14), а команда
>> G*L*G’
возвращает к матрице (20). Аналогично, выполнив команду
>> G’*inv(C)*G
получим, в соответствии с равенством (16), матрицу
L−1 =
1.0854
0
0
0
0 0.3663
0 .
0
0.1198
(⋆)
1.7.3. Распределение гауссовой совокупности
f с нулевыНайдем плотность вероятностей гауссовой совокупности Y
ми средними и заданной ковариационной матрицей C. Для этого предf в виде линейной комбинации
ставим Y
f = AX
Y
(A = G)
(21)
статистически независимых гауссовых случайных величин
X = {X1 , . . . , Xn } ,
hXm Xl i = ̺2m δml
(m, l = 1, 2, . . . , n) ,
(22)
ковариационная матрица которых равна диагональной матрице L (14).
50
f (21) действительно
Убедимся вначале, что гауссова совокупность Y
обладает требуемой ковариационной матрицей. Для этого необходимо и
достаточно, чтобы выполнялись равенства
hYe Ye
i ji
=
n X
n
X
m=1 l=1
aim ajl hXm Xl i = cij .
Последние, в силу независимости компонент X, принимают вид
cij =
n
X
aim ajm ̺2m .
m=1
На матричном языке это значит, что выполнено равенство
C = A L AT .
(23)
f –
Подставив A = G, и вспомнив соотношение (14′ ), убедимся, что Y
гауссова совокупность с требуемой ковариационной матрицей.
Приступим к отысканию плотности вероятностей fYe (y) гауссовой соf (21). Согласно (3.23)
вокупности Y
fYe (y) = fX (By) | det B| .
(24)
где B = G T – матрица, обратная к A из (21). В (24) входит плотность
вероятностей независимых величин X:
n
1X
x2k
fX (x) = √ n √
exp −
2 k=1 ̺2k
2π
det C
1
!
.
(25)
Здесь учтено равенство (15), выражающее произведение дисперсий случайных компонент X через детерминант ковариационной матрицы. Запишем показатель экспоненты в (25) на языке скалярных произведений
x2k −1
=
x
·
L
x
.
2
k=1 ̺k
n
X
Кроме того, в силу ортогональности матрицы G T , имеем | det B| = 1.
Следовательно,
fYe (y) = fX (By) = fX G T y =
1
√ n √
exp − G T y · L−1 G T y .
2
2π
det C
1
51
Преобразуем входящее сюда скалярное произведение с помощью (19) и
второго равенства (16):
G T y · L−1 G T y = y · G L−1 G T y = y · C −1 y .
Таким образом
fYe (y) = √
1
2π
n √
det C
exp −
1
y · C −1 y .
2
(26)
f вида (21)
До сих пор мы считали, что средние значения компонент Y
равны нулю. Возьмем теперь самый общий случай гауссовой совокупf + µ, где µ = hY i – вектор средних значений. Из (26) и
ности Y = Y
очевидного равенства fY (y) = fYe (y − µ) имеем окончательно
1
exp − (y − µ) · C −1 (y − µ) .
fY (y) = √ n √
2
2π
det C
1
(27)
1.7.4. Эллипсоиды рассеяния
Выясним геометрическую структуру плотности вероятностей (27), исследовав поверхности равного уровня, где fY (y) – имеет одинаковые значения. Из (27) видно, что их уравнение имеет вид
(y − µ) · C −1 (y − µ) = κ2 .
На них fY (y) одинакова и равна
(28)
!
κ2
fY (y) = √ n √
exp −
.
2
2π
det C
1
(29)
Уравнение (28) записано в декартовой системе координат y с расположенными вдоль осей базисными векторами
{b1 , . . . , bn } ,
bk = {0, . . . , 0, 1, 0, . . . , 0} .
|
{z
k−1
}
|
{z
n−k
}
Введем новые декартовы координаты. Поместим их центр в точку µ, а затем повернем жестко скрепленные базисные векторы {b1 . . . , bn }. В итоге
получим новый базис {a1 . . . , an }. Связь между старыми {y1 , . . . , yn } и
новыми {x1 , . . . , xn } координатами описывается равенствами
y = Rx + µ
⇐⇒
52
x = RT (y − µ) ,
(30)
где R – ортогональная матрица, столбцами которой служат векторы нового базиса {a1 , . . . , an }, разложенные по старому базису {b1 , . . . , bn }:
rij = (bi · aj ). Подставив (30) в (28), запишем уравнение поверхности
равного уровня в новой системе координат
Rx · C −1 R x = κ2
=⇒
x · RT C −1 R x = κ2 .
(31)
Пример. Проиллюстрируем переход от старых к новым координатам
в наглядном случае плоскости (n = 2). Старая y и повернутая относительно нее на угол θ новая система координат x, вместе с базисными
векторами, изображены на рис. 1.14. Ортогональная матрица перехода
от старых координат к новым полностью определяется единственным в
данном случае углом поворота θ и равна
R(θ) = ka1 , a2 k =
(b
1
(b2
· a1 ) (b1 · a2 ) cos θ − sin θ
=
.
· a1 ) (b2 · a2 ) sin θ cos θ (32)
Легко проверить геометрически очевидное свойство матрицы R(θ)
R(θ1 ) R(θ2 ) = R(θ1 + θ2 ) ,
а также справедливость общих свойств ортогональных матриц, в двумерном случае сводящихся к равенствам
R−1 (θ) = R(−θ) = RT (θ) .
y2
⋆
x2
x1
b2
a2
T
a1
P
b1
b2
y1
b1
Рис. 1.14. Переход от старой {y1 , y2 } к новой {x1 , x2 } декартовой
системе координат, повернутой на угол θ
Положив R = G, где G – ортогональная матрица (12), составленная
из собственных векторов ковариационной матрицы, и использовав первое
53
соотношение (16), преобразуем уравнение (31) к виду
x · L−1 x =
x21 x22
x2n
+
+
·
·
·
+
= κ2 .
̺21
̺22
̺2n
(32)
Если, как мы условились, все ̺2i > 0, то поверхности равного уровня
имеют вид вложенных друг в друга подобных эллипсоидов с длинами
полуосей κ̺i . Их называют эллипсоидами рассеяния.
Замечание. Приведенные построения раскрывают геометрический
смысл ортогональной матрицы G (12): Она поворачивает декартову систему координат y 7→ x так, что новые оси совпадают с осями симметрии эллипсоидов рассеяния (32). Очевиден геометрический смысл
собственных чисел ковариационной матрицы {̺1 , . . . , ̺n }. Они определяют эффективную ширину плотности вероятностей fY (y) в направлениях осей симметрии эллипсоидов рассеяния. В связи с этим эллипсоид
симметрии при κ = 1 иногда называют главным эллипсоидом рассеяния.
Полезно также иметь ввиду статистическую интерпретацию собственных
чисел ковариационной матрицы: ортогональное преобразование
Y =GX +µ
(33)
выражает произвольную гауссову совокупность Y через независимые
гауссовы величины X с дисперсиями {̺21 , . . . , ̺2n }. Поэтому {̺1 , . . . , ̺n }
называют еще главными среднеквадратичными отклонениями плотности вероятностей fY (y). При анализе одной гауссовой величины часто интересуются вероятностью ее попадания в симметрично расположенный относительно среднего µ интервал (µ − s, µ + s). В частности, при s = 3σ приходят к знаменитому правилу трех σ. Внутренность эллипсоидов рассеяния служит
естественным обобщением упомянутых интервалов на случай n-мерных
гауссовых совокупностей. Найдем вероятность попадания внутрь эллипсоида рассеяния с заданной κ. Заметим, что правая часть выражения
(25) есть исследуемая плотность вероятностей fy (y), записанная в системе координат, оси которой совпадают с осями симметрии эллипсоида
рассеяния. Следовательно, искомая вероятность равна
P(κ) = √
1
2π
n Q
n
k=1
̺k
Z
Eκ
#
"
n
1X
x2k
exp −
dxn ,
2
2 k=1 ̺k
здесь Ek – внутренность эллипсоида. Сделав замену переменных
z1 =
x1
,
̺1
...
54
zn =
x1
̺n
перейдем к интегрированию по внутренности сферы
z12 + z22 + · · · + zn2 6 κ2
Sκ :
в n-мерном пространстве с декартовыми координатами {z1 , . . . , zn }:
P(κ) = √
1
2π
n
Z
Sκ
"
#
1
exp − (z12 + · · · + zn2 ) dz n .
2
В силу сферической симметрии подынтегральной функции, последний
интеграл сводится к однократному
P(κ) = √
1
2π
n
Zκ
0
!
r2
exp −
Sn (r) dr ,
2
где Sn (r) – площадь n-мерной сферы радиуса r, заданная равенством
(2.14). Подставив ее в последнее выражение, получим окончательно
2(2−n)/2
P(κ) =
Γ(n/2)
Zκ
0
r2
exp −
2
!
r n−1 dr .
(34)
f (k)
0.8
n=1
0.7
0.6
n=10
n=100
n=400
0.5
0.4
0.3
0.2
0.1
5
10
15
k
20
Рис. 1.15. Графики распределения f (κ) при разных n
Замечание. Параметр κ в (34) задает линейные размеры эллипсоида
рассеяния. Дифференцируя (34) по κ, получим функцию
2(2−n)/2 n−1
κ2
f (κ) =
κ
exp −
Γ(n/2)
2
!
.
Ее трактуют как распределение вероятностной массы гауссовой совокупности Y вдоль оси линейных размеров эллипсоидов рассеяния. В самом
55
деле, f (κ) dκ равно вероятностной массе, заключенной между эллипсоидами с размерами κ и κ+dκ. На рис. 1.15 даны графики f (κ) для разных
n. Видно, что при n ≫ 1 вероятностная
масса сосредоточена в окрест√
ности эллипсоида размером κn ≈ n. Этот факт широко используют
в статистической физике, где n – очень велико (пропорционально числу молекул газа). При этом, как правило, пренебрегают шириной f (κ)
и заменяют ее дельта-функцией f (κ) ≈ δ(κ − κn ). Концентрация вероятностной массы в малой окрестности некоторого эллипсоида возникает
за счет конкуренции, описанного в 2.3, “эффекта кожуры апельсина” и
экспоненциального спадания к нулю гауссовых распределений. 1.7.5. Двумерное гауссово распределение
Из всех многомерных гауссовых плотностей вероятностей в приложениях наиболее употребительна двумерная плотность вероятностей. Пусть
{X, Y } – гауссова совокупность, статистические свойства которой полностью определены пятью моментами
f2 i = σ 2 , hYe 2 i = σ 2 , hX
fYe i = σ σ ρ .
hXi = µx , hY i = µy , hX
x y
x
y
(35)
Последние три составляют элементы ковариационной матрицы
C=
σ2
x
σx σy ρ
σx σy ρ
σy2 det C = σx2 σy2 (1 − ρ2 ) .
=⇒
(36)
Соответственно обратная матрица запишется в виде
C −1 =
1
2
σx (1 − ρ2 )
−ρ
σx σy (1 − ρ2 )
−ρ
2
σx σy (1 − ρ ) .
1
σx2 (1 − ρ2 ) Подставив ее в двумерный вариант выражения (27), будем иметь:
f (x, y) =
1
√
×
2πσx σy 1 − ρ2
"
!#
1
(x − µx )2 2ρ(x − µx )(y − µy ) (y − µy )2
exp −
−
+
.
2(1 − ρ2 )
σx2
σx σy
σy2
(37)
Если коэффициент корреляции ρ равен нулю, то совместная плотность вероятностей (32) распадается на произведение плотностей вероятностей величин X и Y
"
#
"
#
1
(x − µx )2
1
(y − µy )2
√
f (x, y) = √
exp −
×
exp
−
.
2σx2
2σy2
2πσx
2πσy
56
Мы установили замечательный факт, облегчающий анализ свойств гауссовых совокупностей: некоррелированность компонент гауссовой совокупности равносильна их статистической независимости.
Дальнейший анализ статистических свойств двумерной гауссовой совокупности проведем, положив средние ее компонент равными нулю:
µx = µy = 0. Это допущение сильно облегчит выкладки. С другой стороны, при необходимости, легко восстановить µx и µy , заменив в совместной
плотности вероятностей
f (x, y) =
2πσx σy
1
√
"
x2 2ρ xy y 2
1
−
+ 2
exp
−
2(1 − ρ2 ) σx2
σx σy
σy
1 − ρ2
!#
(38)
и других подобных соотношениях x на x − µx и y на y − µy .
Найдем ориентацию эллипсов рассеяния плотности вероятностей (38).
Иначе говоря, определим угол θ, под которым одна из осей симметрии
наклонена к оси x. Отыщем θ, пользуясь геометрически наглядными построениями. Введем квадратичную форму
!
1
x2 2ρ xy y 2
ϕ(x, y) =
−
+ 2 ,
(1 − ρ2 ) σx2
σx σy
σy
(39)
принимающую на эллипсах рассеяния значения κ2 , и изучим ее поведение вдоль единичной окружности (x = cos θ, y = sin θ). Из рис. 1.16
видно, что минимальное κ2min и максимальное κ2max значения ϕ(x, y) достигаются при углах θ наклона к оси x осей симметрии эллипсов рассеяния. Геометрические соображения подсказывают, что
.
.
κ2min = 1 ̺2max ,
κ2max = 1 ̺2min .
(40)
Найдем угол θ наклона осей симметрии, исследовав функцию
ψ(θ) = (1 − ρ2 ) ϕ(cos θ, sin θ)
на экстремум по θ. Запишем ψ(θ) в явном виде:
ψ(θ) =
1
1
+ 2
2
σx σy
!
!
1
1
ρ
+
− 2 cos 2θ −
sin 2θ .
2
σx σy
σx σy
Дифференцируя по θ и приравняв производную нулю, получим уравнение углов θ наклона осей симметрии эллипсов рассеяния
tan 2θ =
2ρσx σy
.
σx2 − σy2
57
(41)
Подробнее обсудим случай равных дисперсий: σx = σy = σ. Тогда
правая часть равенства (41) обращается в бесконечность. Это значит,
что оси симметрии повернуты под углом в 45◦ к осям x и y. Найдем
собственные числа ковариационной матрицы. Подставив в (39)
n
o
{x, y} = ± √12 , √12 ,
σx = σy = σ ,
и учитывая соотношения (40), будем иметь
̺2min = σ 2 (1 − ρ) ,
̺2max = σ 2 (1 + ρ) .
(42)
Как и следовало ожидать, с ростом модуля коэффициента корреляции
|ρ| эллипсы рассеяния становятся все более сплюснутыми.
y
M Nmax
T
x
M Nmin
Рис. 1.16. Иллюстрация к определению ориентации эллипса рассеяния. Квадратичная форма ϕ вида (39) имеет на окружности
те же значения κ2 , что и пересекающие окружность эллипсы. Минимум достигается в точках касания окружности и внутреннего
эллипса, а максимум – внешнего эллипса
Напомним, главным эллипсом рассеяния называют эллипс с полуосями (̺min , ̺max ). Наряду с ним вводят понятие полного эллипса рассеяния, внутрь которого попадают практически все точки с координатами
(X, Y ). Укажем эллипс, достойный звания полного эллипса рассеяния,
заметив, что в силу (34) вероятность попадания в эллипс с полуосями
(κ̺min , κ̺max ) равна
κ2
P(κ) = 1 − exp −
2
!
(n = 2) .
(43)
Положив здесь κ = 3, получим вероятность
P(3) ≃ 0.9889 .
58
(44)
Она близка к единице, а значит на двумерный случай уместно распространить правило трех σ: почти всегда точки (X, Y ) попадают внутрь
полного эллипса рассеяния с полуосями (3̺min, 3̺max ).
Замечание. Мы обосновали правило 3-х σ для пары случайных величин тем, что вероятность (44) попадания в полный эллипс близка к
единице, как и вероятность P ≃ 0.9973 гауссовой величине отклониться
от среднего меньше чем на 3σ. Все же 2-мерное правило 3-х σ обладает
меньшим “запасом прочности”. В самом деле, противоположная вероятность при n = 2 примерно в 4 раза больше аналогичной вероятности для
стандартного правила 3-х σ. Это значит, что экспериментатор, измеряющий гауссову совокупность {X, Y }, в четыре раза чаще столкнется с
нарушением правила 3-х σ, чем измеряющий одну гауссову величину. 4
3
2
1
0
1
2
3
4
4
3
2
1
0
1
2
3
4
5
Рис. 1.17. Тысяча реализаций гауссовых величин X, Y с ρ = 3/4.
Показан полный эллипс рассеяния. Вне его лежит 13 точек, что
согласуется с вероятностью Q ≃ 0.011 не попасть в этот эллипс
Пример. Смоделируем тысячу пар X, Y значений гауссовой совокупности с нулевым средним, единичной дисперсией и ρ = 3/4:
>> r=3/4;
>> g=1/sqrt(2); a=sqrt(1+r); b=sqrt(1-r);
Затем сформируем реализации независимых гауссовых величин
>> u=a*randn(1,1000); v=b*randn(1,1000);
и образуем из них реализации исследуемых величин {X, Y }
>> x=g*(u+v); y=g*(u-v);
Изобразим результат графически
>> plot(x,y,’o’)
Нанесем на тот же график полный эллипс рассеяния:
>> hold on
>> t=linspace(0,2*pi);
59
>> c=a*cos(t); s=b*sin(t);
>> x=g*(c+s); y=g*(c-s);
>> plot(3*x,3*y)
Результат моделирования представлен на рис. 1.17. ⋆
1.7.6. Условные гауссовы распределения
Помимо обычных плотностей вероятностей, в приложениях важно
знать условные плотности вероятностей. Например fX (x| y) – плотность
вероятностей X при условии, что величина Y примет в испытании значение y. Способ нахождения условных плотностей вероятностей опирается на общую формулу (1.17). В случае гауссовых совокупностей, однако, удобно находить их, пользуясь эквивалентностью независимости и
некоррелированности компонент гауссовых совокупностей. Покажем это
на примере гауссовой совокупности {X, Y }. Для наглядности выкладок
положим их средние равными нулю. Представим X и Y в форме
X = aU + bV ,
Y = cV ,
(45)
где U и V – независимые гауссовы величины с нулевыми средними и
единичными дисперсиями. Коэффициенты (a, b, c) в (45) определим из
условия, что {X, Y } обладает ковариационной матрицей (36). Для этого
должны выполняться равенства
σx2 = a2 + b2 ,
σy2 = c2 ,
σx σy ρ = bc .
Отсюда имеем
c = σy ,
b = σx ρ ,
q
a = σx 1 − ρ2 .
(46)
Найдем статистические свойства X при условии, что Y = y. Из второго равенства (45) и из (46) видно, что оно эквивалентно условию V =
y/σy . Подставив правую часть этого равенства и коэффициенты a, b из
(46) в первое равенство (45), будем иметь
q
X|y = σx 1 − ρ2 U +
σx
ρy.
σy
Индекс ‘| y’ означает, что выражение справа описывает свойства X при
условии Y = y ⇐⇒ V = y/c. Из независимости U и V следует, что
U, как и прежде, гауссова с нулевым средним и единичной дисперсией.
Поэтому X|y также гауссова со средним и дисперсией
hXi|y = µx|y =
σx
ρy,
σy
60
2
σx|y
= σx2 (1 − ρ2 ) .
(47)
Их называют условным средним и условной дисперсией случайной величины X. Подставив (47) в гауссово распределение, найдем искомую
условную плотность вероятностей

1
σx
fX (x|y) = q
exp −
x
−
ρy
2(1 − ρ2 )
σy
2π(1 − ρ2 )σx
1
!2 

.
(48)
Пусть теперь X и Y имеют ненулевые средние µx и µy . Чтобы получить выражение для условной вероятности в этом общем случае, достаточно заменить в (48) (x, y) на (x − µx , y − µy ). В итоге имеем

1
fX (x|y) = q
×
2π(1 − ρ2 )σx
σx
1
exp −
x
−
µ
−
ρ (y − µy )
x
2(1 − ρ2 )σx
σy
!2 

(49)
.
Поменяв x на y, придем к условной плотности вероятностей
1
fY (y|x) = q
×
2 )σ
2π(1
−
ρ
y
"
2 #
σy
1
y − µy −
ρ (x − µx )
exp −
.
2(1 − ρ2 )σy
σx
(50)
Замечание. Из (50) видно, что условное среднее случайной величины
Y , при условии, что X = x, равно
µy|x = µy +
σy
ρ (x − µx ) .
σx
С точностью до замены µy|x на Y ′ и x на X, это равенство совпадает
с уравнением линии регрессии (4.10). Таким образом, мы обнаружили
еще одно свойство линии регрессии: для гауссовых совокупностей она
повторяет условное среднее. При ρ = 0 условные плотности вероятностей (49) и (50) вырождаются
в одномерные плотности вероятностей гауссовых величин X и Y , а с
ростом |ρ| они все более концентрируются вокруг условных средних. Это
свойство условных плотностей вероятностей иллюстрирует рис. 1.18.
При |ρ| → 1 условные плотности вероятностей слабо сходятся к дельтафункции. К примеру
σy
lim fY (y|x) = δ y − µy −
(x − µx ) .
ρ→1
σx
61
Помножив обе части равенства на fX (x), найдем предельное сингулярное
выражение для совместной плотности вероятностей
1
(x − µx )2
lim f (x, y) = √
exp −
ρ→1
2σx2
2πσx
!
σy
δ y − µy −
(x − µx ) .
σx
Пользуясь свойством дельта-функции (2.24), его можно переписать в
другой эквивалентной форме
(y − µy )2
1
exp −
lim f (x, y) = √
ρ→1
2σy2
2πσy
!
!
σx
δ x − µx −
(y − µy ) .
σy
fX (x|y)
r=0.9
r=-0.9
0.8
0.6
r=-0.7
r=0.7
r=0
0.4
0.2
-3
-2
-1
1
2
3
4
x
Рис. 1.18. Условные плотности вероятностей (48) при разных значениях коэффициента корреляции и σx = σy = 1, y = 2
Замечание. Равенства (45) и (46) представляют собой частный случай применения так называемого разложения Холецкого
C = TTT
(51)
на верхнюю T и нижнюю T T треугольные матрицы. Для положительно
определенной матрицы C существует единственное разложение вида (51).
Рассмотрим равенство
Y = T TU +µ,
(52)
где µ – вектор средних значений гауссовой совокупности Y , а U независимые гауссовы величины с единичными дисперсиями. При этом элементы ковариационной матрицы совокупности Y равны:
hYei Yej i =
n X
n
X
m l=1
τmi τlj hUm Ul i =
62
n
X
m=1
τmi τmj .
На матричном языке это равенство означает, что ковариационная матрица совокупности Y равна правой части равенства (51), то есть заданной
ковариационной матрице. Таким образом, (52) есть еще одно, альтернативное к (6.33), представление гауссовой совокупности в виде линейной
комбинации независимых гауссовых величин. Пример. В программе MATLAB предусмотрена операция вычисления треугольной матрицы T по заданной матрице C. Пользуясь MATLAB,
найдем разложение Холецкого ковариационной матрицы (20).
>> C=[5 3 1; 3 4 2; 1 2 3];
>> T=chol(C)
В итоге получим
T =
2.2361
0
0
1.3416 0.4472
1.4832 0.9439 .
0
1.3817
1.7.7. Характеристическая функция
гауссовой совокупности
Найдем характеристическую функцию n-мерной гауссовой совокупности Y с заданными средними hY i = µ и ковариационной матрицей C.
Введем вспомогательную гауссову величину Z = (u · Y ), где u – произвольный n-мерный вектор. Искомая характеристическая функция равна
ΘY (u) = hei(u·Y ) i = heiZ i. С другой стороны, в силу гауссовости Z, имеем
iZ
i(u·µ)
he i = e
1
exp − D[Z] .
2
Подставив сюда матричный аналог равенства (4.15) D[Z] = (u · C u),
получим окончательно
1
ΘY (u) = he i = exp i(µ · u) − (u · C u) .
2
iZ
(53)
В частности, двумерная характеристическая функция
Θ(u, v) = heiuX+ivY i
(54)
гауссовой совокупности {X, Y } со средними hXi = µx , hY i = µy и ковариационной матрицей (36) равна
1 2 2
Θ(u, v) = exp iµx u + iµy v −
σx u + σy2 v 2 + 2σx σy ρ uv .
2
63
(55)
В типичном для приложений случае нулевых средних и одинаковых дисперсий, (55) принимает особенно простой вид
"
#
σ2
Θ(u, v) = exp − (u2 + v 2 + 2ρ uv) .
2
(56)
Характеристические функции служат удобным инструментом анализа свойств случайных величин. Рассмотрим пример, демонстрирующий
возможности аппарата характеристических функций.
Пример. Пусть {X, Y } – гауссова совокупность с нулевыми средними
и одинаковыми дисперсиями σ 2 . Найдем плотность вероятностей разности Z = X − Y . При этом нет необходимости вычислять интегралы типа
(2.19), а достаточно положить в (56) v = −u. В итоге получим характеристическую функцию гауссовой величины ΘZ (u) = exp [−σ 2 (1 − ρ)u2 ] с
плотностью вероятностей
"
#
z2
.
fZ (z) = q
exp − 2
4σ (1 − ρ)
2 πσ 2 (1 − ρ)
1
При ρ → 1 она слабо сходится к дельта-функции
δ(z), а при ρ = −1
√ 2
2
имеет максимальную дисперсию σz = 2 2σ . Это означает, что разность
антикоррелированных величин увеличивает случайный разброс. ⋆
Пример. В разделе 2.4 найдена плотность вероятностей (2.26) произведения Z = XY гауссовых величин. Аппарат характеристических функций позволяет сравнительно легко решать подобные задачи. Возьмем, к
примеру, случайную величину
Z = XU + Y V ,
(58)
где X, Y, U, V – гауссовы независимые величины с нулевыми средними
и одинаковой дисперсией σ 2 . Найдем вначале условную характеристическую функцию Z, полагая X и Y заданными. При этом Z|XY оказывается
линейной комбинацией остальных случайных величин {U, V } с гауссовой
характеристической функцией
#
"
σ 2 u2 2
ΘZ|X,Y (u) = heiuZ|XY i = exp −
X +Y2 .
2
Усредним ее по X и Y . В силу независимости X и Y среднее распадается
на произведение средних. Вычислим одно из них
*
σ 2 u2 2
exp −
X
2
!+
Z∞
1
1
1
=√
exp − σ 2 u2 + 2 x2 .
2
σ
2πσ −∞
64
Последний интеграл равен
*
σ 2 u2 2
exp −
X
2
!+
=
s
1
.
1 + σ 4 u2
(59)
Возведя правую часть равенства в квадрат, найдем искомую характеристическую функцию случайной величины Z (58):
ΘZ (u) =
1
.
1 + σ 4 u2
Отсюда, с помощью обратного преобразования Фурье имеем
1
|z|
fZ (z) = 2 exp − 2
2σ
σ
!
(60)
– известное распределение Лапласа. Построим его гистограмму, численно
смоделировав 50000 реализаций случайной величины Z:
>> XU=prod(randn(2,50000)); YV=prod(randn(2,50000));
>> Z=XU+YV;
Построим гистограмму массива реализаций Z:
>> z=linspace(-7,7);
>> hist(Z,z)
Полученная гистограмма изображена на рис. 1.19. ⋆
3500
f (z)
Z
3000
2500
2000
1500
1000
500
0
8
6
4
2
0
2
4
6
8
z
Рис. 1.19. Гистограмма распределения Лапласа, построенная численным моделированием случайной величины Z (58)
65
Глава 4
Основы теории диффузии
В данной главе изложены элементы теории линейной и аномальной
диффузии. Это важная область теории вероятностей, лежащая в основе решения многих прикладных статистических задач. Математическое
описание диффузионных процессов сводится к уравнениям в частных,
в том числе дробных, производных. Такие уравнения возникают и при
исследовании волн в диспергирующих средах. Поэтому анализ подобных, дробно-диффузионных, уравнений представляет самостоятельный
интерес и составляет новый раздел математической физики.
2.1. Безгранично-делимые
распределения
Свойства диффузионных процессов, и в их числе процессов аномальной диффузии, естественнее всего изучать, опираясь на безграничноделимые распределения, обсуждению которых посвящен данный раздел.
2.1.1. Определение и примеры
Пусть f (x) – плотность вероятностей случайной величины X, а Θ(u)
– ее характеристическая функция. Если при любом ̺ > 0 функция
Θ(u; ̺) = Θ̺ (u)
(̺ > 0)
(1)
также является характеристической функцией некоторой случайной величины X (̺) с плотностью вероятностей f (x; ̺), то плотность вероятностей f (x) называют безгранично-делимым распределением. Главное
свойство безгранично-делимого распределения состоит в том, что оно
может быть получено сверткой сколь угодно большого числа n распределений f (x; 1/n). На языке характеристических функций указанное свойство выражается очевидным равенством
h
Θ(u) = Θn (u; 1/n) = Θ1/n (u)
in
.
(2)
Оно означает, что величину X с безгранично-делимым распределением
f (x) можно представить в виде суммы любого числа n независимых слагаемых
(1/n)
(1/n)
X = X1
+ X2
+ · · · + Xn(1/n) ,
(3)
каждое из которых имеет распределение f (x; 1/n).
66
Пример. Наиболее известным безгранично-делимым распределением
является гауссово распределение
1
(x − µ)2
f (x) = √
exp −
2σ 2
2πσ
!
σ2
Θ(u) = exp iµ u − u2
2
⇒
!
.
(4)
Действительно, из вида характеристической функции (4) гауссова распределения следует, что случайная величина X имеет гауссово распре(1/n)
деление (4), если независимые слагаемые Xk
— также гауссовы с характеристической функцией
µ
σ2 2
Θ(u; 1/n) = exp i u −
u
n
2n
!
.
Пример. Другим знаменитым примером безгранично-делимых распределений является распределение Пуассона для случайного числа K редких событий, обладающее характеристической функцией
h
i
Θ(u) = exp λ(eiu − 1) .
(5)
Число K также представимо в виде суммы, аналогичной (2),
(λ/n)
K = K1
(λ/n)
+ K2
+ · · · + Kn(λ/n) ,
где K (λ/n) – случайное число редких событий с интенсивностью λ/n.
2.1.2. Лаплас-образ распределения
Рассмотренная выше пуассоновская величина K имеет правостороннее распределение. Назовем так распределения f (x), равные нулю при
x < 0. При изучении их свойств удобно пользоваться лаплас-образами
распределений. Пусть f (t) – распределение случайного интервала времени. Его лаплас-образ равен
fˆ(s) = he−sT i =
Z
0
∞
e−st f (t) dt .
(6)
Он обладает свойствами, близкими к свойствам характеристических функций. Так лаплас-образ распределения суммы независимых величин равен
произведению лаплас-образов:
fˆT +T (s) = he−s(T1 +T2 ) i = fˆT (s) fˆT (s) .
(7)
1
2
1
2
Чтобы перейти от характеристической функции неотрицательной величины к ее лаплас-образу, достаточно положить u = is. Такая подстановка в (5) дает лаплас-образ распределения пуассоновской величины
h
i
fˆ(s) = exp λ(e−s − 1) .
67
(8)
Пример. Односторонним является гамма-распределение
f (t; ̺) = ν
(νt)̺−1 e−νt
Γ(̺)
(t > 0 ,
̺ > 0) .
(9)
Оно также безгранично-делимо. В этом легко убедиться, вычислив его
лаплас-образ:
ν̺
fˆ(s; ̺) =
Γ(̺)
Z
∞
0
t̺−1 exp(−(ν + s)t) dt =
1
.
(ν + s)̺
(10)
Возводя его в любую степень δ > 0, получим лаплас-образ гамма-распределения с параметром ̺ δ.
2.1.3. Обобщенные распределения Пуассона
Закон Пуассона, помимо его неоспоримой ценности для приложений,
служит важным инструментом собственно теории вероятностей. Сконструируем с его помощью безгранично-делимые распределения, играющие ключевую роль в исследовании процессов диффузии. Возьмем слуP
чайную величину X = m am Km , где {Km } – совокупность независимых
случайных чисел, распределенных по закону Пуассона с интенсивностями {λm }, {am } – детерминированные коэффициенты. Характеристическая функция X равна произведению характеристических функций слагаемых
Θ(u) =
Y
h
iuam
exp λm (e
m
i
− 1) = exp
"
X
m
iuam
λm e
−1
#
.
Положим am = m ∆, λm = ψ(m∆) ∆ и устремим ∆ → 0. При этом сумма
в показателе экспоненты превратится в интеграл, а характеристическая
функция примет вид
Θ(u) = eΨ(u) ,
Ψ(u) =
Z
∞
−∞
ψ(z)(eiuz − 1) dz .
(11)
Для всех неотрицательных функций ψ(z), для которых существует Ψ(u),
функция Θ(u) является характеристической функцией некоторой предельной случайной величины
X = lim ∆
∆→0
X
m Km .
(12)
m
Назовем X с характеристической функцией (11) обобщенной пуассоновской величиной, функцию ψ(z) – ее распределением интенсивности.
Лаплас-образ обобщенной пуассоновской величины T > 0 равен
fˆ(s) = eΦ(s) ,
Φ(s) = Ψ(is) =
68
Z
0
∞
ψ(z)(e−s − 1) dz .
(13)
4u
f(x)
1
0.3
0.8
0.2
0.6
fc(x)
0.4
0.1
0.2
-4
-2
2
4
u
-4
-2
2
4
x
Рис. 2.1. Характеристическая функция (14) (слева) и плотность
вероятностей (15) (справа) при ℓ = γ = 1. Жирная стрелка на
графике справа символизирует дельта-функцию
Пример. Пусть распределение интенсивности равно
|z|
γ
exp −
ψ(z) =
2ℓ
ℓ
!
.
Тогда характеристическая функция (11) примет вид
(ℓu)2
Θ(u) = exp −γ
1 + (ℓu)2
!
,
(14)
ее график приведен на рис. 2.1 слева. Видно, что предел Θ(u) при u → ∞
больше нуля: limu→∞ Θ(u) = e−γ > 0. Следовательно, соответствующая
плотность вероятностей имеет сингулярную составляющую
f (x) = e−γ δ(x) + fc (x) .
(15)
Здесь fc (x) – непрерывная часть плотности вероятностей. График плотности вероятностей f (x) (15) приведен на рис. 2.1 справа.
В общем случае, если интеграл от ψ(z) ограничен:
Z
∞
−∞
ψ(z) dz = γ < ∞ ,
(16)
обобщенная пуассоновская величина (12) не будет непрерывной. В самом
деле, в этом случае существует отличный от нуля предел
lim Θ(u) = e−γ > 0 ,
u→∞
а плотность вероятностей X имеет структуру, подобную правой части равенства (15). Чтобы случайная величина с характеристической функций
(11) была непрерывной, надо взять такое распределение интенсивности
ψ(z), чтобы интеграл Ψ(u) (11) стремился к бесконечности при u → ∞.
Дадим примеры непрерывных обобщенных пуассоновских величин.
69
Пример. Рассмотрим правостороннюю обобщенную пуассоновскую величину с распределением интенсивности
ψ(z) =
β
z −β−1 e−δz χ(z) .
Γ(1 − β)
(17)
Интеграл (13) в этом случае существует при 0 < β < 1. Следовательно, имеется класс непрерывных обобщенных пуассоновских величин с
лаплас-образами плотностей вероятностей:
fˆβ (s; δ) = exp δ β − (s + δ)β
(0 < β < 1) . ⋆
(18)
При выводе формулы (18) использовался табличный интеграл
Z
∞
0
e−az − e−bz
dz = Γ(−γ) (aγ − bγ )
z γ+1
(γ < 1) .
(19)
2.2. Устойчивые распределения
В предыдущей главе было показано, что если слагаемые суммы
Sn =
n
X
Xk
(1)
k=1
имеют ограниченную дисперсию, то справедливы закон больших чисел и
центральная предельная теорема. Согласно последней плотность вероятностей суммы (1) независимых величин сходится к гауссову распределению. Иногда встречаются суммы слагаемых, не имеющих ограниченной
дисперсии, и центральная предельная теорема неприменима. Все же такие суммы могут сходится к некоторым универсальным, так называемым
устойчивым распределениям, которые изучаются ниже.
2.2.1. Определение устойчивых распределений
Дадим определение (строго) устойчивых распределений. Распределение f (x) называют устойчивым, если плотность вероятностей суммы
(1) независимых величин с одинаковым распределением f (x) равна
fn (x) =
1
x
f
cn
cn
,
где cn – некоторые константы. Иначе говоря, распределение суммы имеет ту же форму, что и распределение одного слагаемого.
70
Определение устойчивых распределений записывается проще на языке их характеристических функций и лаплас-образов:
Θn (u) = Θ(cn u) ,
fˆn (s) = fˆ(cn s) .
(2)
Соотношению (2) удовлетворяет, очевидно, гауссова характеристическая функция
σ 2 u2
Θ(u) = exp −
2
!
⇒
cn =
√
n.
Пример правостороннего устойчивого распределения получим, положив в (1.18) δ = 0. В итоге находим лаплас-образ
β
fˆβ (s) = e−s
(3)
устойчивого распределения fβ (t), в чем легко убедиться, заметив, что
выполняется равенство (2):
fˆβn (s) = exp −n sβ
cn = n1/β .
⇒
(4)
2.2.2. Односторонние устойчивые распределения
Обсудим вероятностные свойства неотрицательных величин T , лапласобраз распределений которых задан равенством (3). Свойство устойчивости роднит их с гауссовыми величинами. Есть, однако, качественные
различия. Помимо того, что величина T неотрицательна, она еще не имеет среднего. Поэтому естественней записывать соответствующие асимптотические формулы для плотности вероятностей и ее лаплас-образа.
fˆβ (s) ∼ 1 − sβ
(s → 0)
⇔
fβ (t) ∼
(0 < β < 1) .
β
t−β−1
Γ(1 − β)
(t → ∞)
(5)
Отсюда видно, что распределение fβ (t) спадает к нулю при t → ∞ настолько медленно, что его среднее оказывается бесконечным:
Z
0
∞
t fβ (t) dt = ∞ .
Найдем интегральное представление правосторонних устойчивых распределений с помощью обратного преобразования Лапласа. В данном
случае оно сводится к интегралу Фурье
Z
1
fβ (t) =
exp −(−iu)β − iut du .
(6)
2π
Поскольку модуль подынтегрального выражения (6) экспоненциально
стремится к нулю при |u| → ∞, то, что легко показать, fβ (t) – гладкая бесконечно-дифференцируемая функция.
71
f (t)
β
1.2
1
0.8
0.6
β=0.8
β=0.6
0.4
β=0.4
0.2
0.2
0.4
0.6
0.8
1
1.2
1.4
t
Рис. 2.2. Правосторонние устойчивые распределения при разных
значениях β
Запишем интеграл (6) в форме, более приспособленной для численного интегрирования. Переходя в (6) к интегрированию по интервалу
u ∈ (0, ∞), получим окончательно:
"
!
#
"
!#
1Z∞
πβ
πβ
β
β
fβ (t) =
exp − cos
u cos ut − u sin
du .
π 0
2
2
(7)
Графики правостороннего устойчивого распределения fβ (t) для разных
β приведены на рис. 2.2. Ниже будет доказано, что при β = 1/2 и β = 1/3
имеются явные аналитические выражения fβ (t). Здесь просто укажем их:
1
1
f1/2 (t) = √ exp −
4t
2t πt
,
f1/3 (t) =
1
√
t3 3t
Ai
1
√
3
3t
!
.
(8)
2.2.3. Симметричные распределения
Кроме односторонних устойчивых распределений имеются устойчивые распределения, не равные нулю как при положительных, так и отрицательных значениях аргумента. Мы не ставим здесь целью описать весь
класс устойчивых распределений. Рассмотрим наиболее часто встречающиеся в приложениях симметричные устойчивые распределения. Придем к ним, положив
ψ(z) = −
|z|−α−1
2Γ(−α) cos
πα
2
.
(9)
Подставим это выражение в интеграл (1.11), существующий при 0 < α <
2. Вычислив его, найдем характеристическую функцию симметричных
72
устойчивых распределений
Θα (u) = e−|u|
α
(0 < α 6 2) .
(10)
Здесь учтено, что α = 2 соответствует гауссову распределению. Отвечающее (10) распределение находят обратным преобразованием Фурье
fα (x) =
1 Z ∞ −uα
e
cos(ux) dx .
π 0
(11)
При α = 1 из (11) получаем распределение Коши
1 1
,
π 1 + x2
f1 (x) =
а при α = 2 имеем гауссово распределение
1
x2
√
f2 (x) =
exp −
2 π
4
!
.
f (x)
D
0.6
0.5
D 0.4
D 0.3
0.2
D 0.1
x
1
2
3
4
Рис. 2.3. Графики устойчивых симметричных распределений α
Как и в случае односторонних устойчивых распределений, степенная
асимптотика характеристической функции (10) при u → 0
Θα (u) ∼ 1 − |u|α
u→0
(12)
порождает при 0 < α < 2 степенной закон убывания fα (x):
1
πα
fα (x) ∼ Γ(α + 1) sin
|x|−α−1
π
2
|x| → ∞ .
(13)
За счет этого дисперсия симметричного устойчивого распределения равна бесконечности:
2
σ =
Z
∞
−∞
x2 fα (x) dx = ∞
73
(0 < α < 2) .
С другой стороны, экспоненциальное убывание характеристической функции (10) при u → ∞ делает симметричное устойчивое распределение
бесконечно дифференцируемым, разложимым в ряд Тейлора
fα (x) =
1
πα
∞
X
(−1)2n
Γ
2n+1
α
(2n)!
n=0
В частности
x2n .
(14)
α+1
1
Γ
.
(15)
π
α
Графики симметричных устойчивых распределений при разных α изображены на рис. 2.3.
Хотя дисперсия симметричных устойчивых распределений равна бесконечности, могут существовать моменты меньшей (не обязательно целой) степени. Определим их равенством
fα (x = 0) =
Z
h|X|κ iα =
∞
−∞
|x|κ fα (x) dx .
Вычислим моменты симметричных устойчивых распределений, опираясь
на известное из теории преобразований Фурье равенство Парсеваля
h g(X)iα =
Z
∞
−∞
g(x)fα (x) dx =
g̃(u) =
Z
∞
−∞
1
2π
Z
∞
−∞
α
g̃(u) e−|u| du ,
(16)
g(x) eiux dx .
Положим g(x) = |x|κ . Тогда g̃(u) есть обобщенный фурье-образ этой
функции. Тем не менее его значения при u 6= 0 известны. Вычислив
g̃(u) при u 6= 0 суммированием расходящегося интеграла Фурье методом
Абеля, получим
2Γ(1 + κ)
πκ
g̃(u) = −
sin
|u|κ
2
(u 6= 0) .
Подставив правую часть этого равенства в (16), получим расходящийся
интеграл
Z
|x|κ f (x) dx = −
2Γ(1 + κ)
πκ
sin
π
2
Z
0
∞
α
e−u
du .
uκ+1
Регуляризируем его нехитрым приемом, заметив, что
Z
|x|κ f (x) dx =
Z
|x|κ [f (x) − δ(x)] dx
74
(κ > 0) .
(17)
Следовательно, правую часть равенства (17) можно заменить регуляризованным интегралом
Z
2Γ(1 + κ)
πκ
|x| f (x) dx = −
sin
π
2
κ
Z
∞
0
α
e−u − 1
du .
uκ+1
(18)
Используя табличную формулу (1.19), имеем окончательно
κ
πκ
2
h|X| iα = Γ(κ) Γ 1 −
sin
π
α
2
κ
0.3
(κ < α) .
(19)
f (x)
3
0.2
0.1
x
2
4
6
8
Рис. 2.4. График функции, полученной обратным преобразованием Фурье от Θα (u) (10) при α = 3, f3 (x) < 0 свидетельствует о
нарушении Θ3 (u) свойства положительной определенности
2.2.4. Случай α > 2
Доказательство существования распределений с характеристической
функцией (10) при 0 < α < 2 конструктивно, оно опирается на построение Θα (u) как характеристической функции обобщенной пуассоновской
величины (1.12). Однако остается открытым вопрос, не будет ли Θα (u)
характеристической функцией и при α > 2? Ответим на него, выписав
вторую производную Θα (u):
d2 −uα
α
− 2e
= α uα−2 [α − 1 − α uα ] e−u
du
(u > 0) .
(20)
Известно, что взятое с минусом значение второй производной характеристической функции при u = 0 равно среднему квадрату соответствующей случайной величины X. Он всегда больше нуля, за исключением
тривиального случая X ≡ 0 ⇐⇒ f (x) = δ(x). Поэтому предел правой
части равенства (20) при u → 0 позволяет судить: может ли быть Θα (u)
характеристической функцией или нет.
75
Если 0 < α < 2, то предел правой части равенства (20) при u → 0
равен бесконечности. Это ничему не противоречит, так как дисперсия
устойчивого распределения при не существует. При α > 2 и u = 0 правая часть (20) равна нулю. Следовательно, Θα (u) не может быть характеристической функцией. В этом легко убедиться, построив графики
обратного преобразования Фурье от Θα (u) при α > 2 (см. рис. 2.4).
2.2.5. Притягивающее свойство
Устойчивые распределения, подобно распределению Гаусса, обладают
притягивающим свойством. Это значит, что при определенных условиях
на слагаемые нормированной суммы независимых величин
n
1 X
X (n) =
n1/α
Xk ,
(21)
k=1
ее плотность вероятностей сходится устойчивому распределению fα (x).
Сформулируем упомянутые условия для симметричных величин. Представим их характеристическую функцию в виде Θ(u) = eΨ(|u|) . Пусть
Ψ(|u|) разложима в степенной ряд в окрестности u = 0:
α
Ψ(|u|) = −κ|u| +
∞
X
m=1
κm |u|αm
(κ > 0) ,
(22)
где показатели степеней образуют возрастающую последовательность
0 < α < α1 < α2 < · · · < αm < . . .
Найдем характеристическую функцию суммы (21), равную n-й степени характеристической функции одного из слагаемых:
α
Θn (u) = exp −κ|u| +
∞
X
m=1
κm |u|
αm
1−αm /α
n
!
.
(23)
Так как члены суммы в (23) содержат убывающие с ростом n множители
n1−αm /α
(1 − αm /α < 0) ,
то при любом заданном u характеристическая функция (23) суммы (21)
сходится к характеристической функции (10). Следовательно, плотность
вероятностей суммы сходится к устойчивому распределению fα (x).
76
Пример. Пусть X имеет характеристическую функцию
√
2
Θ(u) = e− |u|−u ,
(24)
равную характеристической функции суммы независимых величин X =
Y + Z, где Y имеет устойчивое распределение с α = 1/2, а Z гауссова
величина. Образно говоря, это характеристическая функция величины
Y , спрятанной в гауссовом шуме. Образуем нормированную сумму
X
(n)
n
1 X
= 2
Xk
n k=1
независимых слагаемых с характеристической функцией (24). Характеристическая функция суммы равна
q
u2
Θn (u) = exp − |u| − 3
n
!
.
Графики соответствующих плотностей вероятностей, демонстрирующие
сходимость к устойчивому распределению f1/2 (x), даны на рис. 2.5. ⋆
Замечание. В данном примере “конкурировали” два устойчивых распределения: гауссово и с индексом α = 1/2. Поскольку последнее определяет форму предельного распределения, на первый взгляд кажется
странным преобладание центральной предельной теоремы над сходимостью к другим устойчивым распределениям. Объяснение в том, что
негауссовы устойчивые распределения редко встречаются в природе: почти все случайные величины имеют ограниченную дисперсию. f(x)
n=8
n=4
n=2
n=1
x
Рис. 2.5. Графики плотностей вероятностей суммы (21) независимых величин, иллюстрирующие сходимость к распределению
f1/2 (x). Плотность вероятностей при n = 8 почти совпадает с притягивающим распределением
77
Все же встречаются распределения, близкие к устойчивым негауссовым распределениям, и в то же время имеющие ограниченную дисперсию. Обсудим одно из них.
Пример. Сконструируем обобщенную пуассоновскую величину (1.12),
плотность вероятностей которой обладает почти всеми свойствами устойчивого симметричного распределения с α = 1/2, имея при этом ограниченную дисперсию. Подставив в (1.11) распределение интенсивности
e−δ|z|
q
ψ(z) = √
,
2 2π|z| |z|
(25)
получим логарифм характеристической функции
q
√
√
ln Θ(u) = Ψ(u) = 2δ − δ + δ 2 + u2 .
(26)
Его главная асимптотика при u → 0 имеет вид
1
Ψ(u) ∼ − √ 3/2 u2
4 2δ
(u → 0) .
Следовательно, дисперсия соответствующей обобщенной пуассоновской
величины X равна
1
σx2 = √ a−3/2 ≃ 0.354 δ −3/2 .
8
(27)
С другой стороны, асимптотика Ψ(u) (26) при u → ∞
q
Ψ(u) ∼ − |u|
(u → ∞) ,
соответствует устойчивому распределению с индексом α = 1/2.
0.01
f (x)
0.001
0.0001
0.00001
50
100
200
500
x *=1000
x
Рис. 2.6. Распределение с характеристической функцией (28).
Пунктир – асимптотика (29) устойчивого распределения f1/2 (x)
78
График распределения f (x) с характеристической функцией
Θ(u) = exp
√
2δ −
q
δ+
√
δ2
+
u2
(28)
при δ = 10−3, изображен на рис. 2.6. Верхняя прямая построена по асимптотической формуле (13)
1
f1/2 (x) ∼ √ |x|−3/2
2 2π
(|x| → ∞) .
(29)
Видно, что практически до x∗ ≈ 1/δ плотность вероятностей f (x) близка
к асимптотике устойчивого распределения, а затем быстрее стремится к
нулю, обеспечивая существование дисперсии (27). ⋆
2.3. Безгранично-делимые процессы
Безграничная делимость распределений позволяет сконструировать
случайные процессы, зависящие от непрерывного времени. Ниже обсуждаются некоторые свойства подобных безгранично-делимых процессов.
2.3.1. Однородные марковские процессы
Пусть Θ(u) – характеристическая функция безгранично-делимого распределения. Назовем ее материнской характеристической функцией и
определим на ее основе случайный процесс
X(t) = x0 + lim
∆t→0
⌊t/∆t⌋
X
(γ ∆t)
Xk
,
(1)
k=1
(γ∆t)
где слагаемые Xk
статистически независимы и имеют одинаковое распределение с характеристической функцией Θγ∆t (u). Тогда сам процесс
X(t) обладает характеристической функцией
Θ(u; t) = eiux0 Θγt (u) .
(2)
Из определения следует, что безгранично-делимые процессы обладают свойством отсутствия последействия. Поясним его. Пусть известны
значения X(t) в предшествующие моменты времени
X(t1 ) = x1 ,
X(t2 ) = x2 ,
X(t = 0) = x0 ,
(t2 > t1 > 0) .
В общем случае условная плотность вероятностей процесса X(t) при t >
t2 зависит от всех известных значений:
f (x; t) = f (x; t|x2 ; t2 ; x1 ; t1 ; x0 ; t = 0) .
79
Однако для процессов с отсутствием последействия плотность вероятностей не зависит от предыстории процесса до момента t2 :
f (x; t|x2 ; t2 ; x1 ; t1 ; x0 ; t = 0) = f (x; t|x2 ; t2 ) .
(3)
Подобные процессы называют марковскими, а условные плотности вероятностей (3) – переходными плотностями вероятностей (из последнего
известного состояния x2 в текущее состояние x).
Из-за отсутствия последействия, их условные плотности вероятностей (3) подчиняются уравнению Колмогорова-Чепмена1
f (x; t|x1 ; t1 ) =
Z
f (x; t|x2 ; t2 )f (x2 ; t2 |x1 ; t1 ) dx2
(t > t2 > t1 ) .
(4)
Марковские процессы с характеристической функцией (2) однородны
в пространстве и времени. Это значит, что переходная плотность вероятностей, фигурирующая в правой части равенства (3), зависит лишь от
разностей x − x2 , t − t2 :
f (x; t|x2 ; t2 ) = f (x − x2 ; t − t2 ) .
(5)
2.3.2. Частные дробные производные
Проведем подготовительную работу, необходимую для вывода уравнений, которым подчиняются плотности вероятностей безгранично-делимых процессов. Представим их характеристическую функцию в виде
Θ(u; t) = exp(iux0 + γ t Ψ(u)) ,
(6)
где Ψ(u) – логарифм материнской характеристической функции. Применив преобразование Лапласа, придем к выражению
Θ̂(u; s) =
eiux0
s − γΨ(u)
(7)
для лаплас-фурье-образа искомой плотности вероятностей f (x; t):
Θ̂(u; s) =
Z
∞
0
Θ(u; t)e−st dt =
Z
0
∞
dt e−st
Z
∞
−∞
dx eiut f (x; t) .
Равенство (7) несет всю информацию о плотности вероятностей f (x; t)
безгранично-делимого процесса X(t). Однако чтобы извлечь ее, необходимо выполнить обратное преобразование Фурье и Лапласа. В общем
1
Физики называют это уравнение уравнением Смолуховского
80
случае это трудоемкая задача. Поэтому предпочитают переходить от (7)
к уравнениям непосредственно для плотности вероятностей f (x; t), с этой
целью перепишем равенство (7) в виде
sΘ̂ − γΨ(u)Θ̂ = eiux0 .
(8)
f (x; t = 0) ≡ 0 .
(9)
Будем считать, что
Тогда обратное лаплас-Фурье преобразование первого слагаемого левой
части равенства (8) дает
s Θ̂(u; s)
7→
∂f (x; t)
.
∂t
Иначе говоря, умножение Θ̂(u; s) на s эквивалентно дифференцированию
плотности вероятностей по t:
s
7→
∂
.
∂t
В дальнейшем будут встречаться комбинации типа sβ Θ̂. Им отвечают
дробные производные по времени (см. приложение). Иными словами,
справедливо отображение операторов2
sβ
7→
∂β
.
∂tβ
(10)
Аналогичные отображения имеются и для операторов умножения Ψ(u),
продемонстрируем их.
Пример. Для гауссовой материнской характеристической функции безгранично-делимого процесса
σ2 2
Θ(u) = exp iµu −
u
2
!
⇒
2
Ψ(u) = iµu −
σ2 2
u . ⋆
2
(11)
Здесь и ниже для дробных производных применяются стандартные обозначения с
помощью дифференциалов. Надо иметь ввиду, однако, что для дробных производных
дифференциальные обозначения используются чисто символически.
81
Пример. Пусть Θ(u) – характеристическая функция симметричной
устойчивой случайной величины. Тогда
Θ(u) = exp (−σ α |u|α)
Ψ(u) = −σ α |u|α . ⋆
⇒
(12)
В обоих приведенных примерах функция Ψ(u) содержит степени от
iu. Назовем интегральные операторы, соответствующие дробным степеням −iu, правыми дробными производными:
(−iu)α
∂α
.
∂xα
7→
(13)
При целых α они переходят в обычные производные. Аналогично, отображения дробных степеней iu назовем левыми дробными производными:
(iu)α
∂α
.
∂(−x)α
7→
(14)
Логарифм материнской характеристической функции в (12) равен
степени от модуля u. Назовем соответствующие интегральные операторы
симметричными дробными производными
|u|α
7→
−
∂α
.
∂|x|α
(15)
Связь между правыми, левыми и симметричными дробными производными легко установить, опираясь на алгебраические соотношения между
степенями iu:3
πα
u
πα
α
α
α
± i s |u| sin
,
s=
.
(±iu) = |u| cos
2
2
|u|
Отсюда имеем
|u|α =
(−iu)α + (iu)α
.
2 cos (πα/2)
Следовательно,
"
#
∂α
−1
∂α
∂α
=
+
.
∂|x|α
2 cos (πα/2) ∂xα ∂(−x)α
3
(16)
Всюду, где встречаются функции с дробными степенями, подразумевается, что
они принимают главные значения. Например
πβ
πβ
β
(±i) = cos
± i sin
.
2
2
82
2.3.3. Гауссов безгранично-делимый процесс
Подробней обсудим безгранично-делимый процесс X(t) (1) в случае
гауссовой материнской характеристической функции (11). Для лапласфурье-образа плотности вероятностей такого процесса из (8) и (11) следует равенство
D
s Θ̂ − iuV Θ̂ + u2 Θ̂ = eiu x0 ,
(17)
2
здесь использованы общепринятые обозначения
D = γ σ2 ,
V = γµ,
(18)
для скорости сноса V и коэффициента диффузии D. Применим к обеим
частям равенства (17) обратное лаплас-Фурье преобразование. При этом
правая часть равенства перейдет в
eiu x0
7→
δ(x − x0 ) δ(t − 0+ ) .
Замечание. В аргументе последней дельта-функции присутствует 0+ ,
чтобы подчеркнуть, что она полностью вмещается в интервал интегрирования t ∈ (0, ∞) при Лаплас преобразовании. В дальнейшем, где это
не вызовет разночтений, будем обозначать δ(t − 0+ ) обычным символом
дельта-функции δ(t). Учитывая соотношения между степенями s и u и производными по t
и x, перейдем от (17) к уравнению
∂f
D ∂2f
∂f
+V
=
+ δ(x − x0 ) δ(t) .
∂t
∂x
2 ∂x2
(19)
В силу правосторонности преобразования Лапласа (1.6), естественно трактовать плотность вероятностей f (x; t) как вынужденное, удовлетворяющее условию причинности, решение последнего уравнения, тождественно
равное нулю при t < 0. Как правило, от неоднородности уравнения избавляются, интегрируя его в бесконечно малой окрестности начального
момента времени t = 0. В итоге приходят к задаче Коши для однородного
уравнения диффузии
∂f
∂f
D ∂2f
+V
=
,
∂t
∂x
2 ∂x2
f (x; t = 0) = δ(x − x0 ) .
(20)
Ее решение хорошо известно:
(x − V t − x0 )2
1
f (x; t|x0 ) = √
exp −
2Dt
2πDt
83
!
.
(21)
2.3.4. Винеровский процесс
Винеровским процессом4 W (t) называют частный случай рассмотренного процесса X(t) в отсутствии сноса (V = 0) и начального смещения
x0 . Кроме того, для удобства выкладок, положим D = 2. Распределение
винеровского процесса удовлетворяет обычному уравнению диффузии
∂2f
∂f
=
,
f (x; t = 0) = δ(x) .
∂t
∂x2
Все свойства винеровского процесса определяются его решением
1
x
f (x; t) = √ f2 √
t
t
!
z2
1
f2 (z) = √ exp −
2 π
4
,
!
.
(22)
(23)
В частности, отсюда следует закон линейной или нормальной диффузии
hW 2 (t)i = 2t ,
(24)
согласно которому средний квадрат винеровского процесса растет линейно (как первая степень t).
Замечание. Закон линейной диффузии относится к универсальным
законам природы. Он является следствием свойства аддитивности дисперсии, согласно которому дисперсия суммы независимых слагаемых
равна сумме их дисперсий. Применительно к винеровскому процессу
роль независимых слагаемых выполняют приращения процесса на неперекрывающихся интервалах времени. Укажем еще одно важное свойство винеровского процесса W (t). Введем вспомогательный процесс
V (t) = a W
t
b
Это винеровский процесс W (t), растянутый вдоль оси времени в b раз
(b > 0) и вдоль вертикальной оси в a раз. Его средний квадрат равен
a2
t,
b
и совпадает √
со средним квадратом винеровского процесса W (t), если выбрать |a| = b. Можно доказать, что в этом случае все! статистические
свойства указанных ниже процессов идентичны:
hV 2 (t)i = 2
aW
t
a2
≡ W (t) ,
4
(25)
Физики предпочитают называть его процессом броуновского движения, или просто – броуновским движением, по имени физика, впервые наблюдавшего хаотическое
движение мельчайших частиц в неподвижной воде.
84
здесь знак ≡ использован для выражения эквивалентности в статистическом смысле. Это значит также, что и реализации винеровского процесса
инвариантны по отношению к растяжениям (25).
2.3.5. Белый шум
Исследуем процесс, равный приращению винеровского процесса
∆W (t) = W (t) − W (t − ∆t)
(26)
на интервале ∆t. В отличие от винеровского процесса, процесс ∆W (t)
стационарен. Процесс X(t) называют стационарным, если взаимные статистические свойства его значений в разные моменты времени
X1 = X(t1 ) , . . . , Xn = X(tn ) , . . .
не меняются при сдвиге всех времен {t1 , . . . , tn , . . . } на произвольное τ .
Приведем пару статистических характеристик процесса ∆W (t), иллюстрирующие его стационарность. Его средний квадрат равен
h∆W 2 (t)i = h[W (t) − W (t − ∆t)]2 i = D ∆t .
(27)
Отсюда видно, что при ∆t → 0 средний квадрат приращений винеровского процесса стремится к нулю. Это значит, что реализации винеровского
процесса W (t) являются непрерывными функциями времени. График реализаций винеровского процесса приведен на рис. 2.7.
Оценим гладкость реализаций винеровского процесса, найдя корреляционную функцию его приращений ∆W (t). Напомним, корреляционной
функцией любого случайного процесса X(t) называют среднее от произведения его значений в разные моменты времени:
KX (t, t + τ ) = hX(t)X(t + τ )i .
Подставив сюда, вместо X(t), функцию приращений (26), и учитывая,
что вследствие отсутствия у винеровского процесса последействия, корреляция его приращений равна среднему квадрату приращения на перекрывающемся интервале, будем иметь
h∆W (t)∆W (t + τ )i =

D(∆t − |τ |) ,
0 ,
|τ | < ∆t ,
|τ | > ∆t .
(28)
Попытаемся вычислить дисперсию производной винеровского процесса. Для этого сосчитаем средний квадрат отношения его приращения к
приращению времени. Согласно (27)
*
∆W (t)
∆t
!2 +
85
=
D
.
∆t
При ∆t → 0 выражение в круглых скобках должно сходиться к производной винеровского процесса, правая часть равенства – к среднему
квадрату производной. Дробь стремится, при ∆t → 0, к бесконечности, а
значит производная у винеровского процесса отсутствует (см. рис. 2.7).
200
150
100
50
0
50
100
150
200
0
1000
2000
3000
4000
5000
6000
7000
8000
9000 10000
Рис. 2.7. Три реализации винеровского процесса, построенные
суммированием 10000 независимых гауссовых величин
Тем не менее иногда говорят, что производная винеровского процесса
существует в обобщенном смысле, поскольку существует слабый предел
корреляционной функции отношения приращений винеровского процесса к приращениям времени. Вычислим этот предел, для чего запишем
соответствующую корреляционную функцию. Согласно (28) она равна
*
∆W (t) ∆W (t + τ )
∆t
∆t
+
!
D
|τ |
=
1−
χ(∆t − |τ |) .
∆t
∆t
(29)
Это треугольник, вершина которого при ∆t → 0 стремится к бесконечности, а длина основания с той же скоростью стремится к нулю. Площадь
треугольника от ∆t не зависит и равна коэффициенту диффузии
Z *
+
∆W (t) ∆W (t + τ )
dτ = D .
∆t
∆t
Следовательно, выражение (29) слабо сходится к Dδ(t). Поэтому говорят,
что производная винеровского процесса
dW (t)
dt
есть гауссов стационарный процесс с корреляционной функцией
ξ(t) =
Kξ (τ ) = hξ(t) ξ(t + τ )i = D δ(τ ) ,
86
(30)
(31)
такой процесс называют белым шумом.
Замечание. Подобно дельта-функции, белый шум упрощает многие
выкладки со случайными процессами. С другой стороны, как и дельтафункции, белый шум обычно не появляется в окончательных формулах.
В них возникают линейные функционалы, содержащие белый шум. К
примеру, случайные процессы
X(t) =
Z
t
−∞
′
′
′′
ϕ(t − t ) ξ(t ) dt ,
Y =
Z
t
−∞
ψ(t − t′ ) ξ(t′) dt ,
где роль пробных функций ϕ(t) и ψ(t) могут играть импульсные передаточные характеристики электронных устройств. При этом X(t) и Y (t) –
гауссовы процессы с нулевыми средними, ограниченными дисперсиями
и взаимной корреляционной функцией, вычисляемой по правилам обращения со средними и дельта-функциями:
ZZ
KXY (τ ) = hX(t)Y (t + τ )i =
′
′′
′
′′
′
′′
ϕ(t − t ) ψ(t + τ − t )hξ(t ) ξ(t )i dt dt = D
Z
ϕ(t) ψ(t + τ ) dt .
Сам винеровский процесс, а также рассмотренный в предыдущем разделе безгранично-делимый процесс X(t) иногда записывают в виде интеграла от белого шума
X(t) = x0 + V t +
Z
0
t
ξ(t′ ) dt′
(32)
и трактуют его как решение дифференциального уравнения
dX
= V + ξ(t) ,
dt
X(t = 0) = x0 .
(33)
Такие дифференциальные уравнения, содержащие в правой части случайные процессы и поля, называют стохастическими уравнениями. 2.3.6. Время достижения уровня
Вывод диффузионных уравнений в частных производных по x и по t,
вроде уравнений (20) и (23), кажется излишним, поскольку известен явный вид характеристической функции (6) любого безгранично-делимого
процесса X(t), по которой можно восстановить его статистические свойства. На деле, анализ в пространстве (x, t), вместо абстрактного пространства (u, s), облегчает поиски возможных обобщений как решений,
так и самих уравнений. В частности, преимущества подобных уравнений проявляются, когда приходится исследовать статистические свойства процессов, диктуемые геометрией поставленной задачи.
87
Пусть к примеру, переходная плотность вероятностей процесса X(t)
удовлетворяет уравнению (20), требуется найти плотность вероятностей
первого достижения процессом X(t) некоторого уровня. Для определенности примем x0 > 0 и будем интересоваться статистикой времени достижения нулевого уровня x = 0. Поставим на нем “поглощающий” барьер,
исключающий реализации X(t), достигшие барьера. Наличие барьера
учитывают нулевым граничным условием f (x = 0; t|x0 ) = 0.5 В итоге
приходят к краевой задаче
∂f
D ∂2f
∂f
+V
=
,
∂t
∂x
2 ∂x2
f (x; t = 0|x0 ) = δ(x − x0 ) ,
f (x = 0; t|x0 ) = 0 .
(x > 0 ,
x0 > 0 ,
(34)
t > 0)
Заметим, что решение краевой задачи (34) не удовлетворяет условию
нормировки: интеграл
Z
0
∞
f (x; t|x0 ) < 1
(t > 0)
меньше единицы при любом t > 0, и равен относительному числу реализаций процесса X(t), ни разу не коснувшихся к моменту времени t > 0
границы x = 0. Введем случайную величину T , равную времени первого
достижения процессом X(t) барьера x = 0. Очевидно вероятность того, что время T первого достижения процессом X(t) указанного барьера
будет больше t, выражается равенством
P(T > t) = 1 − F (t; x0 ) =
Z
0
∞
f (x; t|x0 ) dx ,
(35)
здесь F (t; x0 ) – интегральная функция распределения первого времени
достижения T . Плотность вероятностей случайного времени T равна
∂ Z∞
f (x; t|x0 ) dx .
(36)
∂t 0
Поменяв местами операции интегрирования и дифференцирования, и
учитывая, что f (x; t|x0 ) удовлетворяет краевой задаче (34), получим
f (t; x0 ) = −
5
D ∂f (x; t|x0 ) f (t; x0 ) =
.
2
∂x
x=0
Кто купался в море и ощущал удивительную чистоту воздуха над его поверхностью, согласятся со справедливостью этого граничного условия. Дело в том, что
микроскопические частицы пыли, оседая со средней скоростью V < 0, совершают
еще и хаотическое движение, наподобие Броуновского, моделируемого винеровским
процессом. Пыль образует ансамбль броуновских частиц, а поведение ее плотности,
равной нулю вблизи морской поверхности, описывается краевой задачей (34).
88
Решение краевой задачи (34) методом отражения дает
2V x0
f (x; t|x0 ) = f (x − V t − x0 ; t) − exp −
f (x − V t − x0 ; t) ,
D
где
(37)
!
x2
1
exp −
.
f (x; t) = √
2Dt
2πDt
Подставив это выражение в предыдущее равенство, будем иметь
(γτ − 1)2
f (τ ; γ) =
exp −
2τ πτ
4τ
1
√
!
.
(38)
Здесь использованы безразмерные параметs τ = Dt/2x20 , γ = 2x0 V /D.
Обратим внимание, что без регулярного сноса (γ = 0) f (τ ; γ) превращается в устойчивое распределение (2.8) с индексом β = 1/2. Таким
образом, мы нашли еще одно приложение данного распределения. Оно
описывает статистику времени первого достижения границы броуновской частицей.
Заметим еще, что интеграл от плотности вероятностей f (t; x0 ) в (36)
по всем t ∈ (0, ∞) в общем случае не равен единице, а равен вероятности,
что процесс X(t) рано или поздно достигнет нулевого уровня:
P(T < ∞) =
Z
∞
0
f (τ ; γ) dt =
Z
∞
0
f (t; x0 ) dt .
Согласно (35) эта вероятность равна
P(T < ∞) = 1 − lim
Z
t→∞ 0
∞
f (x; t|x0 ) dx ,
(39)
где f (x; t|x0 ) – описывается формулой (37). Вероятность противоположного события (X(t) всегда больше нуля) очевидно равна
P{X(t) > 0; t ∈ (0, ∞)} = 1 − P(T < ∞) = lim
t→∞
Z∞
f (x; t|x0 ) dx .
(40)
0
Предел справа качественно различен при V > 0 и V < 0. При V < 0,
когда оба слагаемых в правой части (37) “сползают” под нулевой уровень
x = 0, предел в (39) равен нулю, а значит значит все реализации процесса X(t) в конце концов достигнут нулевого уровня. Если V > 0, оба
слагаемых в правой части равенства (37) с течением времени смещаются
вверх, вероятность (40) оказывается равной
2x0 V
P{X(t) > 0; t ∈ (0, ∞)} = 1 − exp −
D
89
(V > 0 , x0 > 0) .
(41)
2.3.7. Полеты Леви
Пусть материнская характеристическая функция слагаемых безгранично-делимого процесса (1) равна (12). Тогда уравнение для функции
Θ̂(u; t) примет вид:
s Θ̂ + γ σ α |u|α Θ̂ = 1 .
Применив к обеим частям равенства обратные преобразования Лапласа
и Фурье, придем к уравнению в дробных частных производных
∂f
∂αf
= γ σα
+ δ(x) δ(t) .
∂t
∂|x|α
(42)
Искомое решение данного уравнения найдем обратным преобразованием
Фурье соответствующей характеристической функции
Θ(u; t) = exp (−γ σ α |u|α t) .
В итоге получим переходную плотность вероятностей
fα (x; τ ) =
x
1
fα
1/α
στ
στ 1/α
,
τ = γ t.
(43)
Процесс с такой переходной плотностью вероятности называют полеты
Леви. В отличие от винеровского процесса, средний квадрат полетов Леви равен бесконечности. Однако ограничены моменты меньшей степени:
h|X(τ )|κ i = h|X|κi τ κ/α
(−1 < κ < α) ,
(44)
где h|X|κ i – задается (2.19). Моменты винеровского процесса получаются
подстановкой α = 2, более быстрый рост моментов (44) при 0 < α < 2
отражает более изрезанный характер траекторий полетов Леви.
Дополнив уравнение (42) граничными условиями, можно исследовать
разные свойства реализаций полетов Леви. Пусть к примеру, надо знать
плотность вероятностей f (t; x) момента T достижения процессом X(t)
уровня x0 > 0. Найдем ее, дополнив уравнение (42) граничным условием
f (x = x0 ; t|x0 ) = 0 .
(45)
Решение краевой задачи (42), (45) методом отражения, имеет вид
f (x; τ |x0 ) = f (x; τ ) − f (x − 2x0 ; τ ) ,
(46)
где f (x; τ ) – описывается выражением (43). Подставив (46) в (36) и используя автомодельный характер функции (42), получим плотность вероятностей момента первого достижения нулевого уровня
2y0 −1− 1
y0
αf
f (τ ; x0 ) =
τ
α
α
τ 1/α
90
,
y0 =
x0
.
σ
(47)
2.3.8. Квази-полеты Леви
По мнению физиков, недостатком модели полетов Леви применительно к случайным блужданиям материальных частиц является бесконечность дисперсии. Возражения сводятся к тому, что для частиц, имеющих
массу, подобные перемещения за конечное время невозможны. Можно
было бы удивиться непоследовательности физиков, применяющих, в теории броуновского движения, винеровский процесс, плотность вероятности которого не обращается в нуль при сколь угодно больших значениях
аргумента. Мы же заметим, что полеты Леви могут описывать промежуточную асимптотику поведения случайных процессов с ограниченной
дисперсией. Ниже дан пример подобного рода квази-полетов Леви.
Возьмем распределение интенсивности, формирующее свойства обобщенной пуассоновской величины (1.12), равное
ψ(z) = −
|z|−α−1
e−δ|z| .
2Γ(−α) cos (πα/2)
(48)
Подставив ее в (1.11), найдем логарифм характеристической функции
соответствующего безгранично-делимого распределения
"
1
|u|
Ψ(u, α, δ) =
δ α − (δ 2 + u2 )α/2 cos α arctan
cos (πα/2)
δ
!!#
.
(49)
В частности при α = 1 отсюда имеем
2
|u|
Ψ(u, α = 1, δ) = − arctan
π
δ
!
δ
u2
|u| + ln 1 + 2
π
δ
!
,
а для α = 1/2 приходим к выражению (2.26).
_XW_!
aW
aW
W
Рис. 2.8. Зависимость от τ момента h|X(τ )|1/4 i квази-полетов Ле-
ви, при α = 1/2. Пунктиры соответствуют степенному закону τ 1/2 ,
присущему полетам Леви, и τ 1/8 – винеровскому процессу. Видно,
что вначале момент растет по закону полетов Леви
91
(50)
Главная асимптотика Ψ(u, α, δ) при u → 0 такова
Ψ(u, α, δ) ∼ −
α(1 − α)
2 cos
πα
2
δ 2−α
u2
(u → 0) .
(51)
Это значит, что процесс с характеристической функцией
Θ(u; τ ; , α; δ) = exp (τ Ψ(u, α, δ))
(52)
имеет средний квадрат, растущий по стандартному линейному, закону
hX(τ )i =
α(1 − α)
τ
cos (πα/2) δ 2−α
(53)
при любом τ > 0 и сколь угодно малом δ > 0. С другой стороны, для
плотности вероятностей X(t) характерна степенная асимптотика (1.3)
его хвостов, приводящая к тому, что моменты меньших степеней h|X(τ )|κ i
(κ < α) имеют зависимость от времени, характерную для полетов Леви.
Это хорошо видно на рис. 2.8, где изображена зависимость от времени
момента h|X(τ )|1/4 i, полученная численным интегрированием по аналогичной (2.18) формуле
2κΓ(κ)
πκ
h|X(τ )| i = −
sin
π
2
κ
Z
∞
0
Θ(u; τ ; α; δ) − 1
du .
uκ+1
(54)
2.4. Время и события
Исследуем еще один класс безгранично-делимых функций X(̺). Их
принципиальное отличие от безгранично-делимых процессов X(t) состоит в том, что аргументом X(̺) служит не время t, а непрерывный аналог ̺ числа элементарных событий. Функции подобных аргументов, и в
частности случайное время t(̺), за которое произошло ̺ элементарных
событий, играют большую роль в приложениях. В самом деле, владельцам супермаркета доподлинно известно, что выручка зависит не от того,
сколько часов в день открыт магазин, а от числа покупок. Аналогично, время жизни электрической лампочки напрямую зависит от частоты
включений и выключений. Начнем изучение функций числа событий с
обсуждения свойств безгранично-делимого времени.
2.4.1. Безгранично-делимое время
Сконструируем безгранично-делимое время
t(̺) = lim
n→∞
⌊̺ n⌋
X
k=1
92
(1/n)
Tk
,
(1)
(1/n)
где Tk
– независимые безгранично-делимые неотрицательные величины, лаплас-образ плотности вероятностей которых равен fˆ1/n (s). Здесь
fˆ(s) материнский лаплас-образ.
Из (1) видно, что t(̺) – монотонно растущая функция. Поэтому можно определить однозначную монотонную функцию ̺(t), обратную t(̺).
Пусть известно распределение f (t; ̺) значений функции t(̺), требуется
определить плотность вероятностей Q(̺; t) значений обратной функции
̺(t). Найдем между ними связь, опираясь на эквивалентность неравенств
t(̺) < t
⇐⇒
̺(t) > ̺ .
(2)
Z
(3)
На вероятностном языке это означает, что
F (t; ̺) = P(t(̺) < t) = P(̺(t) > ̺) =
̺
∞
Q(̺′ ; t) d̺′ .
Дифференцируя это равенство по ̺, получим требуемое соотношение
между плотностями вероятностей случайных функций t(̺) и ̺(t):
Q(̺; t) = −
∂ F (t; ̺)
∂
=−
∂̺
∂̺
Z
t
−∞
f (t′ ; ̺) dt′ .
(4)
Пример. Пусть f (t; ̺) – гамма-распределение (1.9). Обсудим свойства
обратной функции ̺(t). Выражение для ее плотности вероятностей Q(̺; t),
полученное подстановкой гамма-распределения в формулу (4), очень громоздко. Тем не менее интеграл в (4) легко вычислить численно и построить (рис. 2.9 слева) графики Q(̺; t) для разных значений νt.
Исследуем асимптотику Q(̺; t) при νt → ∞. Заметим, что при любом целом ̺ распределение f (t; ̺) есть плотность вероятностей суммы ̺
независимых экспоненциально распределенных величин со средним 1/ν
и дисперсией 1/ν 2 . Следовательно, при ̺ ≫ 1 справедлива ЦПТ, согласно
которой f (t; ̺) асимптотически стремится к гауссову распределению
(νt − ̺)2
ν
f (t; ̺) ≃ √
exp −
2π̺
2̺
!
(νt ≫ 1) .
(5)
Легко обобщить эту асимптотическую формулу на дробные ̺.
Найдем соответствующую асимптотику Q(̺; t), обратив внимание, что
правая часть в (5) удовлетворяет диффузионному уравнению
∂f
1 ∂f
1 ∂2f
+
= 2 2 .
∂̺ ν ∂t
ν ∂t
93
(6)
Интегрируя его почленно по t, придем к формуле
Q(̺; t) ≃
1 ∂f (t; ̺)
1
f (t; ̺) − 2
.
ν
ν
∂t
Подставив сюда правую часть соотношения (5), найдем
νt
(νt − ̺)2
Q(̺; t) ≃ √
exp −
̺ 2π̺
2̺
!
.
(7)
График Q(̺; t) и ее асимптотики (7) при νt = 30 даны на рис. 2.9 справа.
Ниже нам понадобится еще лаплас-образ распределения (7):
h
i
√
Q̂(s; t) ≃ exp νt(1 − 1 + 2s)
(νt ≫ 1) .
⋆
(8)
QUt
Qt QUt
0.08
0.6
Qt 0.06
0.4
Qt Qt 0.04
Qt 0.2
2
4
6
8
0.02
10
12
U
10
20
30
40
50
U
Рис. 2.9. Графики плотности вероятностей Q(̺; t) в случае гаммараспределения f (t; ̺)
2.4.2. Устойчивое время
При изучении аномальной диффузии, ключевую роль играет β-устойчивое время. Назовем так безгранично-делимую функцию t(̺) с правосторонним устойчивым распределением. В силу его устойчивости, плотность вероятностей t(̺) равна
fβ (t; ̺) =
1
̺1/β
t
fβ
̺1/β
!
.
(9)
Подставив ее в (4), найдем распределение обратной функции ̺(t)
1
̺
Qβ (̺; t) = β Qβ β
t
t
,
1
1
!
здесь обозначено
Qβ (̺) =
β̺1+1/β
94
fβ
̺1/β
(10)
.
(11)
Анализу функции Qβ (τ ) отведен специальный раздел, здесь же проведем
предварительное исследование ее свойств.
Из определения функции Qβ (̺) и вида лаплас-образа (2.3) устойчивого распределения fβ (t) следует, что справедливо равенство
β
exp(−̺ s ) = β
Z
∞
0
−st
e
̺
tβ+1
Qβ
̺
tβ
dt .
(12)
Пусть плотность вероятностей случайной величины R равна Qβ (̺). Найдем моменты R, для этого умножим обе части равенства (12) на ̺ν−1 и
проинтегрируем их по ̺ от 0 до ∞. В итоге получим
Γ(ν)
= βhR ν i
sνβ
Z
∞
0
e−st tνβ−1 dt = βhR ν i
Γ(νβ)
.
sνβ
Отсюда имеем окончательно
ν
hR i =
Z
∞
0
̺ν Qβ (̺) d̺ =
Γ(ν)
Γ(ν + 1)
=
.
βΓ(νβ)
Γ(νβ + 1)
(13)
Из определения преобразования Лапласа следует, что коэффициентами разложения в ряд Тейлора по s лаплас-образа правостороннего распределения Qβ (τ ) служат моменты этого распределения:
Q̂β (s) =
∞
X
(−1)n n n
hR i s .
n!
n=0
Подставив сюда явные выражения для моментов (13), будем иметь
Q̂β (s) =
∞
X
(−1)n
sn = Eβ (−s) .
n=0 Γ(nβ + 1)
(14)
Сюда вошла функция Миттаг-Леффлера, по определению равная
Eβ (z) =
∞
X
zn
.
n=0 Γ(nβ + 1)
(15)
Рассмотрим среднее
Q̂β (γ; t) = he−γ ̺(t) i ,
(16)
где ̺(t) имеет плотность вероятностей Qβ (̺; t) (10). Из (10), (14) и в силу
автомодельности Qβ (̺; t) получаем
Q̂β (γ; t) = Eβ (−γ tβ ) .
95
(17)
Из вида ряда Тейлора (15) для функции Миттаг-Леффлера, а также из
формулы (5) приложения, следует, что Q̂β (γ; t) является вынужденным,
удовлетворяющим условию причинности, решением дифференциального
уравнения в дробных производных
dβ Q̂β (γ; t)
t−β
+
γ
Q̂
(γ;
t)
=
χ(t) .
β
dtβ
Γ(1 − β)
(18)
2.4.3. Функция Миттаг-Леффлера
Поскольку функция Миттаг-Леффлера (15) не раз встретится ниже,
обсудим ее свойства. Прежде всего заметим, что она является естественным обобщением экспоненциальной функции, в которую переходит при
β = 1: E1 (z) = ez . Найдем интегральное представление Eβ (z), пользуясь
известной формулой теории функций комплексного переменного:
1 Z y −ν
1
=
e y dy ,
Γ(ν)
2πi
(19)
H
где интегрирование ведется по контуру Ганкеля, изображенному на рис. 2.10
и охватывающему отрицательную часть вещественной оси.
Im
Re
H
Рис. 2.10. Контур Ганкеля, по которому производится интегрирование в (20)
Im
H
Re
Рис. 2.11. Контур Ганкеля, прижатый к отрицательной вещественной полуоси
Преобразовав с помощью (19) слагаемые ряда (15), получим
Eβ (z) =
1
2πi
Z
H
96
ey y β−1
dy .
yβ − z
(20)
Контур Ганкеля надо выбрать так, чтобы внутри него оказались все особые точки подынтегрального выражения. Если z = −s – отрицательно,
то контур Ганкеля может вплотную прилегать к отрицательной полуоси
(см. рис. 2.11), а интеграл в (20) сводится к определенному интегралу
s
Eβ (−s) = sin(πβ)
π
(s > 0,
Z
0
∞
xβ−1 e−x dx
x2β + s2 + 2sxβ cos(πβ)
0 < β < 1) .
(21)
При s → ∞ всеми слагаемыми, кроме s2 , в знаменателе под знаком интеграла можно пренебречь. В итоге получаем асимптотическую формулу
Eβ (−s) ∼
1
sΓ(1 − β)
(s → ∞) .
(22)
При β = 1/2 интеграл (21) выражается через специальную функцию:
2 Z ∞ −z 2
√
e dz .
(23)
E1/2 (−s) = exp(s ) erfc (s) :
erfc (z) =
π z
√
Графики E1/2 (−s) и ее асимптотики ∼ 1/ πs даны на рис. 2.12.
2
E1/2(-s)
1
0.8
0.6
0.4
0.2
2
4
6
8
10
s
Рис. 2.12 Функция Миттаг-Леффлера E1/2 (−s) (сплошная линия)
√
и ее асимптотика E1/2 (−s) ∼ 1/ πs (пунктирная линия)
2.4.4. Сведения о функции Qβ (τ )
Ниже нам понадобятся детальные сведения о функции Qβ (τ ). Поэтому дадим без доказательства краткую сводку ее свойств. Напомним,
Qβ (τ ) есть плотность вероятностей величины T = T −β , где T – обладает
устойчивым распределением fβ (t). В частности из (2.5) (11) следует, что
Qβ (τ = 0) =
97
1
.
Γ(1 − β)
(24)
Согласно (14) и (15), характеристическая функция распределения Qβ (τ )
равна
Θβ (u) = Q̂β (s = −iu) = Eβ (iu) .
Соответственно, сама Qβ (τ ) равна обратному преобразованию Фурье
1
Qβ (τ ) =
2π
Z
Eβ (iu) e−iuτ dτ .
(25)
Используя это равенство и интегральное представление (20) функции
Миттаг-Леффлера, легко показать, что имеют место удобные для аналитических и численных расчетов интегральные представления Qβ (τ ):
Qβ (τ ) =
и
Z
∞
1
Im eiπβ
exp −x1/β − xτ eiπβ dx
πβ
0
(0 < β 6 1/2)
1
Re
Qβ (τ ) =
πβ
Z
∞
0
(26)
exp ixτ + x1/β e−iπ/2β dx
(1/2 6 β 6 1) .
(27)
Построенные с их помощью графики Qβ (τ ) при разных β даны на рис. 2.13.
E Q(W)
E
3
E Q(W)
E
0.8
2
0.6
0.4
1
0.2
1
2
3
1
2
3
Рис. 2.13. Графики плотности вероятностей Qβ (τ ). В отличие от
fβ (t) на Рис. 2.2, они экспоненциально быстро спадают с ростом τ ,
обеспечивая ограниченность моментов (13)
При β = 1/n (n = N) интеграл (26) допускает аналитическое исследование. Проведем его, введя вспомогательную комплексную функцию
1 iπβ Z ∞
Wβ (τ ) =
e
exp −x1/β − xτ eiπβ dx ,
πβ
0
такую, что
Im Wβ (τ ) = Qβ (τ )
98
(0 < β 6 1/2) .
Пусть β = 1/n. Дифференцируя W1/n по τ n − 1 раз, получим
Z ∞
dn−1 W1/n (τ )
n n
n−1
n
iπ/n
=
(−1)
x
exp
−x
−
xτ
e
dx .
dτ n−1
π 0
Заметив далее, что
d −xn
e
dx
и применяя к последнему интегралу интегрирование по частям, придем
к уравнению
n
n xn−1 e−x = −
dn−1 W1/n (τ ) (−1)n
(−1)n
+
τ
W
(τ
)
=
1/n
dτ n−1
n
π
(τ > 0) .
Отделив его мнимую часть, найдем уравнение для функции Q1/n (τ ):
dn−1 Q1/n (τ ) (−1)n
+
τ Q1/n (τ ) = 0 .
dτ n−1
n
√
Заменой z = τ / n n оно сводится к обобщенному уравнению Эйри
Q(n−1) + (−1)n z Q = 0 .
Начальные условия этих уравнений легко получить, вычисляя интеграл
(26) и его производные по τ при τ = 0. Решая данные уравнения с подходящими начальными условиями, для n = 2 и n = 3 получаем:
1
τ2
Q1/2 (τ ) = √ exp −
π
4
!
,
Q1/3 (τ ) =
√
3
9 Ai
z
√
3
3
!
.
(28)
Отсюда, с учетом связи (11) между Qβ (τ ) и fβ (t), приходим к уже известным выражениям (2.8).
Заметим в заключение, что имеет место предельное равенство
lim Qβ (τ ) = δ(τ − 1) .
β→1
(29)
Характер слабой сходимости Qβ (τ ) к дельта-функции при β → 1 иллюстрирует правый рис. 2.13.
2.5. Аномальная диффузия
Мы уже располагаем необходимыми инструментами, чтобы сконструировать и изучить аномально диффузионные процессы. Начнем с безгранично-делимых процессов безгранично-делимого времени.
99
2.5.1. Непрерывное число событий
Изучим статистические свойства функции X(̺), аргумент которой
сам является случайной функцией времени ̺ = ̺(t). Пусть X(̺) и ̺ =
̺(t) статистически независимы. Кроме того плотность вероятностей функции X(̺) равна w(x; ̺), ̺ = ̺(t) обладает плотностью вероятностей
Q(̺; t). Тогда плотность вероятностей f (x; t) процесса X (t), равного функции сложного аргумента
X (t) = X(̺(t)) ,
(1)
находится с помощью формулы полной вероятности
f (x; t) =
Z
∞
0
w(x; ̺) Q(̺; t) d̺ .
(2)
В частности отсюда имеем, что средний квадрат процесса X (t) равен
hX 2 (t)i =
Z
∞
0
hX 2 (̺)iQ(̺; t) d̺ .
(3)
Более удобен в последующем анализе аналог формулы (2) для характеристической функции процесса X (t):
Θ(u; t) =
Z
0
∞
w̃(u; ̺)Q(̺; t) d̺ ,
(4)
где w̃(u; ̺) – характеристическая функция случайной функции X(̺).
Пусть X(̺) – безгранично-делимый процесс своего аргумента ̺ с характеристической функцией (3.6). Подставив ее в (4) (и положив для
удобства выкладок x0 = 0), будем иметь
Θ(u; t) = Q̂(−γ Ψ(u); t) .
(5)
Пример. Пусть ̺(t) – случайная функция, обратная гамма-времени
t(̺). Исследуем поведение характеристической функции и плотности вероятностей процесса X (t) в случае νt ≫ 1. В качестве лаплас-образа
плотности вероятностей Q(̺; t) можно взять (4.8). В итоге получим
Θ(u; t) ≃ exp νt 1 −
q
1 − 2γΨ(u)
.
(6)
При νt ≫ 1 достаточно оставить в показателе экспоненты первый член
разложения в ряд Тейлора по степеням γΨ. Это дает
Θ(u; t) ≃ eτ Ψ(u) ,
100
τ = νγt .
В частности, если Ψ(u) = −u2 , приходим к характеристической функции
винеровского процесса, при Ψ(u) = −|u|α получаем характеристическую
функцию полетов Леви. ⋆
2.5.2. Аномальные блуждания
Пусть t(̺) есть β-устойчивое время такое, что обратная функция ̺(t)
имеет распределение Qβ (̺; t) (4.10). Тогда с учетом (4.17), из (5) имеем
Θ(u; t) = Eβ (γtβ Ψ(u)) .
(7)
В свою очередь, из (4.18) следует, что характеристическая функция случайного процесса X (t) является вынужденным решением дробного дифференциального уравнения
dβ Θ(u; t)
t−β
=
γΨ(u)
Θ
(u;
t)
+
χ(t) .
β
dtβ
Γ(1 − β)
(8)
В частности, положив здесь Ψ(u) = −σ α |u|α и выполнив почленно обратное преобразование Фурье, придем к дробному диффузионному уравнению для распределения f (x; t) случайного процесса X (t):
α
τ −β
∂β f
α ∂ f
=
σ
+
χ(τ ) δ(x) ,
∂τ β
∂|x|α Γ(1 − β)
τ = γ 1/β t .
(9)
Решение этого уравнения получим, подставив в (2) в качестве w(x; ̺)
автомодельное распределение fα (x; ̺) (3.43), а вместо Qβ (̺; t) распределение Qβ (̺; t) (4.10). В итоге обнаружим, что решение уравнения (9)
также автомодельно:
f (x; t) =
Здесь
Z
1
x
f
α,
β
στ µ
στ µ
.
(10)
dz
β
,
µ= .
(11)
1/α
z
α
0
Найдем моменты плотности вероятностей (10). Из автомодельности
f (x; t) и из (11) следует, что
fα, β (y) =
∞
Qβ (z) fα
y
z 1/α
h|X (t)|κi = h|X|κ iα hRκ/α iβ σ κ τ κ β/α ,
(12)
где индексы означают усреднение, соответственно, по симметричному
устойчивому распределению fα (x) и распределению Qβ (τ ). Согласно (2.19)
и (4.13), имеем
2
κ
πκ
h|X|κ iα = Γ(κ)Γ 1 −
sin
π
α
2
101
,
hRκ/α iβ =
κ
+1
α
Γ κβ
+
1
α
Γ
.
Подставив эти выражения в (12) и используя известную формулу
Γ(z)Γ(1 − z) =
π
sin πz
теории гамма-функций, получим окончательно
h|X (t)|κ i =
2 sin (πκ/2) Γ (κ)
σ κ τ κ β/α
β sin (πκ/α) Γ (κβ/α)
(κ < α) .
(13)
Точно также легко получить значение f (x; t) (10) при x = 0:
τ −µ
1
−1/α
σ f (0; t) = µ fα (0) hR
iβ =
τ
αΓ (1 − β/α) sin (π/α)
и асимптотику при x/στ µ → ∞:
1 τ β Γ(1 + α)
πα
σ f (x; t) ∼
sin
α+1
π |x|
Γ(1 + β)
2
(α > 1) , (14)
|x| ≫ στ µ .
,
(15)
Обратим внимание, что при 0 < β < 1 и α → 1+ значение в нуле плотности вероятностей f (x; t) стремится к бесконечности. Наличие
сингулярности исследуемой плотности вероятностей f (x; t) при α < 1
связано с аномально большим вкладом в статистику X (t) значений случайной величины X(̺) при ̺ ≃ 0.
2.5.3. Решения уравнения дробной диффузии
При некоторых значениях α и β есть явные решения уравнения (9).
Дадим их без вывода. Решение уравнения (9) при α = β имеет вид:
sin πβ
1
2
f (x; t) =
π|y|τ |y|β + |y|−β + 2 cos πβ
2
y=
x
στ
.
(16)
При β → 1 оно сходится к распределению Коши
f (x; t) =
1
τ
.
2
π x + τ2
(17)
При α = 1, β = 1/2 плотность вероятностей f (x; t) удается выразить
через известную специальную функцию. Для краткости приведем здесь
лишь соответствующую формулу для функции fα,β (y):
1
y2
fα,β (y) = − √ exp
2π π
4
102
!
y2
Ei −
4
!
,
(18)
где
Ei (z) = −
Z
∞
z
e−x dx
x
– интегральная экспонента.
До сих пор мы обсуждали симметричные аномальную диффузию и
полеты Леви. Поэтому, уравнение (9) содержало лишь симметричные
дробные производные по x. Однако возможен и процесс накопления,
когда X(̺) – односторонняя случайная функция. Распределение f (x; t)
процесса X (t) в этом случае удовлетворяет уравнению в дробных производных (9), где вместо симметричной производной по x стоит левая или
правая дробная производная. Так может возникнуть уравнение
√
√
1
∂f
∂f
√ = √ + √ χ(τ )δ(x) .
(19)
∂ τ
∂ x
πτ
Его решение также описывается формулами (10) и (11). Подставив в (11)
выражения для fα=1/2 (x) (2.8) и Qβ=1/2 (τ ) (4.28), получим
1
f (x; t) =
π
s
t χ(x)
.
x x+t
(20)
2.5.4. Дробный снос
Обсудим статистические свойства процесса дробного сноса. Назовем
так простейший случайный процесс X (t):
X (t) = γ ̺(t) ,
(21)
пропорциональный (непрерывному) числу элементарных событий, произошедших к текущему моменту времени t. Здесь Ψ(u) = iu, а уравнение
(8) приобретает вид:
∂β Θ
τ −β
=
iuΘ
+
χ(τ ) ,
∂τ β
Γ(1 − β)
τ = γ 1/β t .
(22)
Применив к нему обратное преобразование Фурье по u, придем к уравнению для плотности вероятностей f (x; t):
∂β f
∂f
τ −β
=
+
χ(τ ) δ(x) .
∂τ β
∂x Γ(1 − β)
(23)
Подставив Ψ(u) = iu в (7), применив обратное преобразование Фурье и
вспомнив формулу (4.25), получим решение уравнения (23)
1
x
f (x; t) = β Qβ β
t
t
103
.
(24)
Форма f (x; t), как функции x, при разных β, повторяет форму графиков
Qβ (τ ), изображенных на рис. 2.13. При β → 1 плотность вероятностей
(24) слабо сходится к дельта-функции
lim f (x; t) = δ(x − t) ,
β→1−
что означает асимптотическую справедливость при β → 1 закона больших чисел.
1
0.8
0.6
0.4
0.2
0.2
0.4
0.6
0.8
1
E
Рис. 2.14. График относительной дисперсии дробного сноса в зависимости от порядка дробной производной β
Из свойств функции Qβ (τ ) следует, что моменты процесса дробного
сноса (21) растут по закону
hX n (t)i = hRn i tnβ ,
hRn i =
n!
.
Γ(nβ + 1)
В частности, относительная дисперсия процесса дробного сноса
σX2 (t)
Γ2 (β + 1)
=
2
−1
hX (t)i2
Γ(2β + 1)
(25)
при β → 1− стремится к нулю. График относительной дисперсии (25)
как функции β изображен на рис. 2.14.
2.5.5. Субдиффузия
Пусть X(̺) – винеровский процесс случайного числа событий ̺, t(̺) –
β-устойчивое время с плотностью вероятностей (4.9). Случайный процесс
X (t) =
√
γ W (̺(t))
104
(26)
называют субдиффузионным процессом. Найдем уравнение, которому подчиняется его плотность вероятностей. Выпишем уравнение для характеристической функции субдиффузионного процесса. Для этого достаточно подставить в уравнение (8) Ψ(u) = −u2 :
τ −β
dβ Θ
2
+
u
Θ
=
χ(τ ) .
dτ β
Γ(1 − β)
(27)
Применив к уравнению обратное преобразование Фурье по u, придем к
субдиффузионному уравнению распределения f (x; t) процесса (26):
∂β f
∂2f
τ −β
=
+
χ(τ ) δ(x) .
∂τ β
∂x2 Γ(1 − β)
(28)
Решить это уравнение поможет найденное выше решение (24) уравнения
дробного сноса (23). Разобьем характеристическую функцию дробного
сноса на четную и нечетную составляющие
Θ = Θeven + Θodd
и подставим правую часть последнего равенства в уравнение (22). В итоге получим два уравнения
τ −β
∂ β Θeven
=
iuΘ
+
χ(τ ) ,
odd
∂τ β
Γ(1 − β)
∂ β Θodd
= iuΘeven .
∂τ β
Подействовав на первое уравнение оператором дробного дифференцирования по τ порядка β, используя формулу (5) приложения
∂ β τ δ χ(τ )
Γ(δ + 1)
=
τ δ−β χ(τ ) ,
β
∂τ
Γ(1 + δ − β)
(29)
и исключив нечетную компоненту Θodd , придем к замкнутому уравнению
относительно Θeven (u; t):
d2β Θeven
τ −2β
2
+
u
Θ
=
χ(τ ) .
even
dτ 2β
Γ(1 − 2β)
(30)
Соответственно, четная компонента
feven (x; t) =
1
1
[f (x; t) + f (−x; t)] = f (|x|; t)
2
2
(31)
правосторонней плотности вероятностей f (x; t) дробного сноса подчиняется уравнению
∂ 2β f
∂2f
τ −2β
=
+
χ(τ ) δ(x) .
∂τ 2β
∂x2 Γ(1 − 2β)
105
Заменой β 7→ β/2 последнее уравнение сводится к уравнению (28). Следовательно, искомое вынужденное решение субдиффузионного уравнения (28) получается из (31) и (24), заменой β на β/2:
|x|
1
f (x; t) =
Qβ/2
β/2
2τ
τ β/2
!
.
(32)
Положив β = 2/3 и вспомнив вторую формулу (4.28), получим
1
f (x; t) =
2
s
3
|x|
9
Ai √
3
τ
3τ
!
,
β=
2
.
3
(33)
График этого решения при τ = 1 дан на рис. 2.15.
0.4
f
W E 0.3
0.2
0.1
x
-4
-2
2
4
Рис. 2.15. Решение уравнения (28) при β = 2/3
При β = 1, как и следовало ожидать, решение (32) уравнения (28)
переходит в решение (3.23) стандартного уравнения диффузии (3.22).
Закон аномальной диффузии получим, подставив в общую формулу
(13) α = 2 и совершив предельный переход κ → 2− :
hX 2 (t)i =
2
τβ .
Γ(β + 1)
(34)
2.5.6. Многомерная субдиффузия
Полученные соотношения нетрудно обобщить на многомерный случай. Рассмотрим векторный процесс в n-мерном пространстве
X (t) = {X1 (t), X2 (t), . . . , Xn (t)} ,
(35)
компонентами которого являются взаимно-независимые винеровские про√
цессы случайного аргумента ̺(t): Xk (t) = γ Wk (̺(t)), k = 1, 2, . . . , n.
106
Характеристическая функция вектора X (t) представляет собой многомерный аналог характеристической функции (4):
Θn (u; t) = hei(u·X(t)) i =
Z
∞
0
w̃n (u; ̺) Q(̺; t) d̺ .
(36)
Сюда входит n-мерная характеристическая функция векторного процес√
са γ W (̺)
w̃n (u; ̺) = e−γ(u·u) ̺ .
(37)
Если t(̺) есть β-устойчивое время, то интеграл (36) равен функции МиттагЛеффлера
Θn (u; t) = Eβ (−τ β (u · u)) ,
а сама характеристическая функция подчиняется многомерному дробнодифференциальному уравнению
d β Θn
τ −β
+
(u
·
u)
Θ
=
χ(τ ) .
n
dτ β
Γ(1 − β)
(38)
∂ β fn
τ −β
= ∆ fn +
χ(τ ) δ(x) .
∂τ β
Γ(1 − β)
(39)
Оно, в свою очередь, эквивалентно многомерному субдиффузионному
уравнению для распределения fn (x; t) случайного вектора X (t) (35)
Решение этого уравнения получается подстановкой в (2) плотности ве√
роятностей случайного процесса γ W (̺)
wn (x; ̺) =
1
2π̺
!n/2
r2
exp −
4̺
!
,
r=
q
x21 + · · · + x2n ,
и плотности вероятностей Qβ (̺; t) (4.10). После подстановки получаем
автомодельное решение
1
r
(40)
fn (x; t) = nβ/2 gn β/2 ,
τ
τ
где
!
Z ∞
1
y2
dz
gn (y) =
Qβ (z) exp −
.
(41)
n/2
(4π)
4z z n/2
0
В одномерном случае, как следует из сравнения (40) и (32),
g1 (z) =
1
Qβ/2 (z) ,
2
а в трехмерном пространстве
g3 (y) = −
1 d Qβ/2 (y)
.
4π y
dy
107
(42)
Глава 5
Случайные потоки событий
3.1. Элементы теории восстановления
Статистика аномально диффузионных процессов исследовалась выше в предельном случае непрерывного числа элементарных событий ̺.
Рассмотрим более естественный случай, когда число событий принимает
только целые значения. Для этого необходимо освоить основы теории
восстановления. Она имеет дело со статистикой случайных моментов
времени (к примеру, моментов отказа электронных приборов). Теория
восстановления абстрагируется от сути событий, происходящих в случайные моменты времени, и сосредотачивается на изучении вероятностных закономерностей случайных моментов.
3.1.1. Классификация интервалов
Теория восстановления изучает вероятностные свойства последовательностей случайных моментов
. . . t−2 < t−1 < t0 < t1 , · · · < tn . . .
(1)
со статистически независимыми интервалами между последующими моментами
τ (n) = tn − tn−1 .
(2)
Будем трактовать моменты (1) как моменты наступления некоторых событий, а саму последовательность (1) назовем потоком событий. Кроме
того будем считать, что нам известна интегральная функция распределения интервалов между событиями
F (n) (τ ) = P(τ (n) < τ ) = hχ(τ − τ (n) )i ,
а также плотность вероятностей случайных длительностей интервалов
f (n) (τ ) =
d (n)
F (τ ) = hδ(τ (n) − τ )i .
dτ
Рассмотрим некоторые идеи теории восстановления на примере стационарного потока событий, когда указанная плотность вероятностей не
зависит от номера интервала n: f (n) (τ ) = f (τ ).
Заметим, что даже зная f (τ ), мы пока не можем ответить на важные для приложений вопросы. К примеру, потребителям теории не так
108
важна статистика интервала с заданным номером n, как интервала от
текущего момента времени t до очередного момента tn : даже ребенку
интересно, скоро ли вернется папа с работы. Укажем интервалы, статистика которых наиболее интересна потребителю теории восстановления
(см. рис. 2.16)
τ (t) = tn − tn−1 ,
τ + (t) = tn − t .
(3)
Если прежде номер интервала n считался заданным, то в (3) он случаен,
а задан момент t.
W (n+1)
W(t)
t
t n-1
W(t)
tn
t n+1
Рис. 3.1. Интервалы времени, в знании статистики которых обычно нуждаются потребители теории восстановления
Очевидно, вероятностные свойства интервалов (3) отличны от свойств
интервалов (2) с заданным номером n. Поэтому обозначим плотности
вероятностей интервалов (3) другими буквами. Так плотность вероятностей и интегральную функцию распределения полной длительности
τ (t) интервала, куда попал текущий момент времени t, обозначим h(τ ) и
H(τ ), плотность вероятностей и интегральную функцию распределения
интервала τ + (t) обозначим, соответственно, h+ (τ ) и H + (τ ).
Замечание. Ниже убедимся, что распределения f (τ ) и h(τ ) – длительности τ (n) интервала с фиксированным номером n, и длительности
τ (t) интервала, куда попадает текущий момент времени t, в общем случае значительно отличаются друг от друга. Возникает вопрос – какова
статистика длительности интервала τ (n+1) на рис. 3.1, примыкающего к
интервалу, содержащему текущий момент t. Несложно показать, что его
распределение совпадает с f (τ ). 3.1.2. Статистика интервала τ (t)
Найдем плотность вероятностей h(τ ) длины τ (t) интервала, внутрь
которого попал наугад выбранный (текущий) момент t. С этой целью
введем вспомогательный процесс τ (t), равный длине интервала, внутри которого находится текущий момент времени t. График типичной
реализации процесса τ (t), составленной из примыкающих друг к другу
квадратов стороной τ (n) , изображен на рис. 3.2.
Рассмотрим статистическое среднее произвольной функции ϕ(τ (t))
Z
0
∞
ϕ(τ ) h(τ ) dτ = hϕ(τ (t))i .
109
(4)
Подействуем на обе части равенства операцией усреднения по времени
Z
1 T
... =
. . . dt .
(5)
T 0
На первый взгляд усреднение по времени оставляет равенство (4) без изменения, поскольку исследуемое среднее не зависит от текущего времени
t. Тем не менее свойство коммутируемости статистического усреднения
и линейных операторов, в данном случае оператора усреднения по времени (5), в совокупности с законом больших чисел, позволит установить
связь между h(τ ) и распределением f (τ ).
T
W(t)
t
t1
t2
t3
t4
t5
t6
Рис. 3.2. Типичная реализация кусочно постоянной функции τ (t),
равной длине интервала времени между случайными моментами
(1), внутрь которого попало текущее время t
Подействовав оператором (5) на обе части равенства (4) и поменяв
местами операции усреднения по ансамблю и по времени, будем иметь
Z
0
∞
ϕ(τ ) h(τ ) dτ =
1
T
Z
0
T
ϕ(τ (t)) dt .
(6)
Поскольку между моментами {tn } подынтегральная функция в правой
части последнего равенства постоянна, то
Z
tn
tn−1
ϕ(τ (t)) dt = τ (n) ϕ(τ (n) ) ,
и правая часть равенства (6) превращается в сумму. Пренебрегая несущественными при T → ∞ краевыми эффектами, перепишем ее в виде
Z
0
∞
ϕ(τ ) h(τ ) dτ ∼
*
+
N (T )
N(T ) 1 X (n)
τ ϕ(τ (n) ) ,
T N(T ) n=1
T → ∞,
(7)
здесь N(T ) – число интервалов τ (n) внутри интервала усреднения T . Заметим далее, что в силу закона больших чисел, который мы считаем
здесь справедливым, выполнено равенство
N(T ) ∼ hN(T )i = ν T .
110
Возникший здесь коэффициент ν имеет прозрачный смысл. Это средняя
частота моментов {tn }. С учетом последнего равенства соотношение (7)
перепишется в виде
Z
hN (T )i
X
1
ϕ(τ ) h(τ ) dτ ∼ ν
hτ (n) ϕ(τ (n) )i ,
hN(T )i n=1
T → ∞.
Поскольку статистические средние под знаком суммы одинаковы, имеем
Z
∞
0
ϕ(τ ) h(τ ) dτ = νhτ (n) ϕ(τ (n) )i ,
здесь угловые скобки означают усреднение по статистике интервалов τ (n)
с заданным номером. Выразив последнее среднее с помощью плотности
вероятностей f (τ ), получаем
Z
∞
0
ϕ(τ ) h(τ ) dτ = ν
Z∞
τ ϕ(τ )f (τ ) dτ .
(8)
0
Отсюда и из произвольности функции ϕ(τ ) следует, что h(τ ) и f (τ ) связаны равенством
h(τ ) = ν τ f (τ ) .
(9)
Найдем связь средней частоты ν событий со статистикой длин интервалов между ними. Для этого положим в (8) ϕ(τ ) ≡ 1. В итоге получим
ν hτ i ≡ 1
⇒
ν≡
1
,
hτ i
(10)
здесь и ниже используется сокращенное обозначение
hτ i ≡ hτ (n) i =
Z
0
∞
τ f (τ ) dτ .
Подставив (10) в (9), придем к окончательной формуле
h(τ ) =
τ
f (τ ) ,
hτ i
(11)
связывающей распределение h(τ ) длительности интервала τ (t), куда попадает произвольный момент времени t, и распределение f (τ ) длительности интервала τ (n) с заданным номером n.
Чтобы понять смысл полученного соотношения, обсудим среднюю
длительность интервала τ (t). Согласно (11) она равна
∞
1 Z 2
hτ 2 i
τ f (τ ) dτ =
.
hτ (t)i =
hτ i
hτ i
0
111
Поскольку дисперсия случайных интервалов τ (n) больше нуля:
D[τ (n) ] = hτ 2 i − hτ i2 > 0
⇒
то справедливо фундаментальное неравенство
hτ 2 i > hτ i2 ,
hτ (t)i > hτ i .
(12)
Напомним, здесь hτ i – статистическое среднее длительности τ (n) интервала с заданным номером n.
Замечание. Чтобы понять суть неравенства (12), попробуйте наугад
колоть иглой глобус. Окажется, что проще попасть в США или Россию,
чем в Бельгию или Израиль. Аналогично, чем дольше интервал τ (n) ,
тем вероятнее попадание в него произвольного момента времени t. Это
учитывает в (11) множитель τ /hτ i. 0.6
f(W)
h
h(W)
0.5
0.4
0.3
0.2
0.1
1
2
4
3
W
Рис. 3.3. Графики распределения длительностей интервалов τ (n) ,
τ (t) и τ + (t) в случае рэлеевского распределения (13) и µ = 1
Пример. Пусть интервал τ (n) имеет распределение Рэлея
τ
τ2
f (τ ) = exp − 2
µ
2µ
!
=⇒
hτ i =
r
π
µ.
2
(13)
Согласно (9) и (11), распределение и среднее интервала τ (t) равны
h(τ ) =
s
2 τ2
τ2
exp
−
π µ2
2µ2
!
=⇒
hτ (t)i = 2
s
2
µ.
π
(14)
Таким образом, среднее hτ (t)i в
4
≃ 1.273
π
раз больше среднего hτ (n) i. Графики плотностей вероятностей f (τ ) (13)
и h(τ ) (14) даны на рис. 3.3. ⋆
Рассмотрим еще один классический пример, важный для понимания
статистики интервалов между событиями.
112
Пример. Пусть длительности интервалов τ (n) имеют экспоненциальное распределение
f (τ ) = ν e−ντ
(τ > 0) .
(15)
Тогда плотность вероятностей случайного интервала τ (t) такова:
h(τ ) = ν 2 τ e−ντ
(τ > 0) ,
а среднее hτ (t)i в два (!) раза больше среднего hτ i. ⋆
3.1.3. Распределение времени ожидания
Мы обсудили распределение h(τ ) полной длины τ (t) интервала, куда
попадает текущий момент времени t. В прикладных задачах чаще интересуются не τ (t), а временем, оставшимся до ожидаемого события, в
нашей терминологии, статистикой интервала τ + (t) = tn − t. Найдем его
плотность вероятностей, полагая, что t с равной возможностью попадает
в любую точку интервалов между событиями.
Выпишем вначале искомую плотность вероятностей при условии, что
длина интервала, включающего момент t, равна λ. Тогда, из равновозможности попадания в любую точку интервала, имеем

1 , 0 < τ < λ ;
1
+
h (τ |λ) = χ(λ − τ ) = λ
0 , τ > λ .
λ
Усреднив обе части данного равенства по случайному параметру λ с помощью плотности вероятностей (11), найдем, что
1
h (τ ) =
hτ i
+
Z∞
0
1
χ(λ − τ )f (λ) dλ =
hτ i
Z∞
f (λ) dλ .
τ
Выразив оставшийся интеграл через интегральную функцию распределения F (τ ) случайной длительности интервала τ (n) с фиксированным
номером, получим окончательно
h+ (τ ) =
1 − F (τ )
.
hτ i
(16)
Пример. В случае рэлеевского распределения (13) интервалов τ (n) ,
плотность вероятностей интервала τ + (t) совпадает с правосторонним
гауссовым распределением
h+ (τ ) =
s
2 1
τ2
exp − 2
π µ
2µ
!
=⇒
113
1
hτ + i = hτ (t)i =
2
s
2
.
π
Его график также приведен на рис. 3.3. ⋆
Иногда проще сосчитать вероятность P(τ ), что в течение интервала
времени [t, t + τ ] длительностью τ , начиная с текущего момента t, интересующее событие не произойдет. Требуется найти распределение f (τ )
интервалов с фиксированным номером n. Найдем формулу, выражающую f (τ ) через упомянутую вероятность P(τ ). Заметим, что последняя
связана с плотностью вероятностей h+ (τ ) очевидным равенством:
P(τ ) =
Z
τ
∞
h+ (τ ′ )dτ ′
h+ (τ ) = −
⇐⇒
dP(τ )
.
dτ
С другой стороны, из (16) следует, что
dh+ (τ )
f (τ ) = −hτ i
.
dτ
Подставив предпоследнее равенство в последнее, найдем
f (τ ) = hτ i
d2 P(τ )
.
dτ 2
Иногда, учитывая соотношение (10), связывающее среднюю длительность hτ i интервалов между событиями и среднюю частоту ν появления
событий, переписывают последнее равенство в виде
f (τ ) =
1 d2 P(τ )
.
ν dτ 2
1
0.8
f(W)
0.6
0.4
h(W)
0.2
1
2
3
4
5
6
W
Рис. 3.4. распределения f (τ ) и h(τ ) интервалов между событиями
для экспоненциального распределения f (τ ) (15) и ν = 1
3.1.4. Парадокс теории восстановления
Проведенное выше тестирование общих формул (9) и (16) на примере
распределения Рэлея (13) дало результаты, не противоречащие здравому смыслу. К примеру, поскольку τ + (t) составляет лишь часть полного
114
интервала между событиями, то вполне естественно, справедливое для
рэлеевского распределения, неравенство
hτ + (t)i < hτ i .
(17)
Тем не менее имеются распределения f (τ ), для которых средние hτ + (t)i
и hτ i равны, или даже выполнено обратное к (17) неравенство. Подробно
обсудим наиболее известный пример такого рода.
Пример. Вернемся к экспоненциальному распределению (15). Найдем
отвечающую ему плотность вероятностей (16) длительности интервала
τ + (t). Для этого выпишем интегральную функцию распределения величины τ (n) , она равна F (τ ) = 1 − e−ντ . Подставив ее в (16), будем иметь
h+ (τ ) = ν e−ντ ≡ f (τ ) .
(18)
Таким образом h+ (τ ) совпадает с распределением длительности полного
интервала времени τ (n) , а средние интервалов τ + (t) и τ (n) одинаковы:
hτ + (t)i = hτ i .
(19)
В свое время этот факт вызвал шок у ведущих специалистов по теории вероятностей, поскольку противоречил “здравому смыслу”: интервал τ + (t) –лишь часть интервала между последующими событиями, а
потому его среднее должно подчиняться неравенству (17).
Объяснение парадокса опирается на одно из ключевых понятий теории случайных процессов: свойство отсутствия последействия. Применительно к последовательности (1) это значит, что моменты tn появления событий, после любого наперед заданного момента t, не зависят от
истории событий до данного момента времени. Для стационарных последовательностей (1) отсутствие последействия означает, на языке распределений, что должно выполняться тождество h+ (τ ) ≡ f (τ ). Таким образом, потоки (1) с экспоненциальным распределением (15) длительностей
интервалов между последовательными событиями, обладают свойством
отсутствия последействия. Подобные потоки событий называют пуассоновскими потоками. ⋆
3.1.5. Разреженные потоки событий
Многие приборы и механизмы имеют запас прочности: До выхода их
из строя должно произойти несколько мелких поломок. Возьмем простейшую модель отказа прибора. Пусть моменты его мелких поломок
115
образуют поток (1), а прибор выходит из строя после m таких поломок.
В момент отказа прибор сразу заменяют на новый. Моменты замен прибора составляют последовательность
. . . tn−m , tn , tn+m , tn+2m , . . .
(20)
Статистика времени работы прибора до выхода из строя описывается
плотностью вероятностей
f (t; m) = hδ(t(m) − t)i
(21)
t(m) = tn − tn−m = τ (n) + τ (n−1) + · · · + τ (n−m+1) .
(22)
длительности интервала
Поскольку интервалы τ (k) статистически независимы, плотность вероятностей суммы (22) равна (m − 1)-кратной свертке
f (t; m) = f (t) ∗
· · ∗} f (t) .
| ·{z
(23)
F (t; m) = F (t) ∗
· · ∗} f (t) .
| ·{z
(24)
m−1
Проинтегрировав это равенство в интервале (0, t), и имея ввиду, что
свертка коммутирует с операцией интегрирования, придем к выражению
для интегральной функции распределения интервалов t(m):
m−1
W W t
W W W t
T4
Рис. 3.5. Структура случайного интервала Tm от текущего момента t до m-го события после него
Ниже понадобится статистика интервала от текущего момента t до
m-го следующего момента (см. рис. 3.5). Его длительность равна
Tm = τ + (t) + τ (2) + · · · + τ (m) ,
(25)
а плотность вероятностей hm (τ ), и интегральная функция распределения
Hm (τ ) описываются соотношениями, аналогичными (23), (24):
hm (τ ) = h+ (τ ) ∗| ·{z· · ∗} f (τ ) ,
m−1
Hm (τ ) = H + (τ ) ∗
· · ∗} f (τ ) .
| ·{z
m−1
116
(26)
f(t,m)
0.4
m=1
m=2
0.3
m=3
0.2
m=4
0.1
t
4
2
6
8
10
Рис. 3.6. Распределения f (t; m) суммы m экспоненциально распределенных независимых величин (при ν = 1). Они равны вероятностям, что за время t в счетчик попадет m α-частиц. Рисунок
похож на магический квадрат: Сумма значений f (t; m) при любом
t равна площади под любой кривой
Разреженные пуассоновские потоки (20) называют потоками Эрланга порядка m. Вычислим плотность вероятностей f (τ ; m) длительностей
интервалов потока Эрланга, опираясь на рекуррентное соотношение
f (t; 1) = ν e−νt ,
f (t; m + 1) = f (t; m) ∗ f (t; 1) ,
t > 0.
Ввиду односторонности рассматриваемых распределений, интеграл свертки принимает вид
f (t; m + 1) =
Z
0
τ
f (x; m) f1 (t − x) dx .
Подставив сюда экспоненциальное распределение f (x; 1), будем иметь
f (t; m + 1) = ν e−νt
Z
0
τ
f (x; m) eνx dx .
Поочередно выбирая m = 1, 2, . . . и вычисляя табличные интегралы,
получим окончательно
f (t; m) = ν
(ν t)m−1 −ν t
e
,
(m − 1)!
t > 0.
(27)
Графики этих плотностей вероятностей даны на рис. 3.6. Отметим, что
вследствие отсутствия последействия у пуассоновского потока, эти плотности вероятностей совпадают с hm (τ ) вида (26).
117
В отличие от стандартного пуассоновского потока, потоки Эрланга
(20) уже обладают последействием. В этом нетрудно убедиться, сравнив плотность вероятностей f (τ ; m) (m > 1) с плотностью вероятностей
h+
m (τ ). Сделаем это в случае m = 2:
0.5
+
h2(W)
0.4
0.3
f(W;2)
0.2
0.1
1
2
3
4
5
6
W
Рис. 3.7. Распределения длительности полного интервала между
заменами прибора f (τ ; 2) и интервала от текущего момента t до
последующей замены h+
2 (τ ), они не равны, а значит поток Эрланга
порядка m = 2 обладает последействием
Пример. Согласно (27)и (16), плотности вероятностей длительностей
+
интервалов t(m) и τm
(t) потока Эрланга порядка m = 2 равны
f (τ ; 2) = ν 2 τ e−ντ
=⇒
h+
2 (τ ) =
ν
(1 + ντ )a−ντ .
2
Графики этих распределений изображены на рис. 3.7. ⋆
3.1.6. Интервалы с устойчивым распределением
Напомним, равенство (19), справедливое для потоков {tn } без последействия, казалось в свое время парадоксальным. Оказывается, наличие
последействия может приводить к еще более поразительным явлениям.
Рассмотрим иллюстрирующий это пример.
Пример. Пусть плотность вероятностей интервалов τ (n) равна правостороннему устойчивому распределению: f (τ ) = fβ (τ ). Найдем плотность вероятностей h+ (τ ) интервала τ + (t) от текущего момента времени
t до следующего события (см. рис. 3.7). На первый взгляд это рутинная
задача, поскольку формула связи (16) между указанными плотностями
118
вероятностей известна. Перепишем ее в виде
h+
β (τ ) =
Z
∞
τ
fβ (t) dt
hτ (n) i
.
(28)
С числителем правой части равенства проблем нет. В частности, используя соотношение (2.1.19), найдем асимптотику интеграла
P(τ
(n)
> τ) =
Z
∞
τ
fβ (t) dt ∼
τ −β
Γ(1 − β)
(τ → ∞) .
(29)
Проблемы рождает знаменатель формулы (28), равный бесконечности
для устойчивых односторонних распределений. Поэтому правая часть
выражения (28) равна нулю, а вероятность, что время ожидания превышает любое сколь угодно больше время τ , равна единице:
+
P(τ (t) < τ ) =
Z
0
τ
h+ (z) dz ≡ 0
⇒
P(τ + (t) > τ ) ≡ 1 .
Иначе говоря, следующее после произвольно выбранного момента t событие никогда не наступит. Напротив, если взять началом ожидания
t один из моментов (1), например t = t1 , то следующее событие обязательно наступит. Вероятность, что ожидание следующего момента t2
превысит заданное τ , стремится к нулю по закону (29). ⋆
Из примера следует вывод: чтобы дождаться наступления событий
после текущего момента времени t, распределение интервалов между моментами f (τ ) должно иметь ограниченное среднее. При этом, как видно
из следующего примера, f (τ ) может быть близко по свойствам к устойчивому распределению fβ (τ ).
Пример. Пусть лаплас-образ распределения случайной величины T
задан равенством (2.1.18):
fˆβ (s; δ) = exp δ β − (δ + s)β .
При s ≫ δ он асимптотически стремится к лаплас-образу односторонних
устойчивых распределений (2.2.3), а при |s| ≪ δ имеет асимптотику
ˆ ∼ exp −β δ β−1 s + 1 δ β−2 β(1 − β) s2 .
f(s)
2
Отсюда следует, в частности, что среднее и дисперсия T ограничены:
hT i = β δ β−1 ,
σT2 = δ β−2 β(1 − β) .
119
⋆
(30)
3.1.7. Дробное экспоненциальное распределение
Помимо устойчивых распределений fβ (τ ), есть другие правосторонние распределения, среднее которых бесконечно. Обсудим одно из них,
играющее важную роль в теории аномальной диффузии.
Характеристические функции симметричных устойчивых распределений иногда трактуют как обобщение на дробные α характеристических функций распределений Гаусса (α = 2) и Коши (α = 1). Подобное
обобщение возможно и в случае экспоненциального распределения:
ϕ(τ ) = e−τ χ(τ )
⇔
ϕ̂(s) =
1
.
1+s
Назовем плотность вероятностей ϕβ (τ ) дробным экспоненциальным распределением, если она обладает лаплас-образом
ϕ̂(s) =
1
1 + sβ
(0 < β < 1) .
(31)
Изучим его, для этого заметим, что равенство (sβ +1)ϕ̂ = 1 эквивалентно
уравнению в дробных производных
dβ ϕ
+ ϕ = δ(t) ,
dtβ
а искомое дробное экспоненциальное распределение является вынужденным, удовлетворяющим условию причинности, решением этого уравнения. Искомое решение можно найти, взяв обратное преобразование Лапласа от правой части равенства (31). Это дает
1
ϕβ (τ ) = − D(−τ β ) χ(τ ) .
τ
Сюда вошла функция
Dβ (z) =
∞
X
zm
dEβ (z)
=βz
,
dz
m=1 Γ(mβ)
Нетрудно показать, что Dβ (z) выражается контурным интегралом
Dβ (z) =
z
2πi
Z
H
ey dy
,
yβ − z
где интегрирование ведется по контуру Ганкеля (см. рис. 2.10). При отрицательных значениях аргумента функции D(z) нетрудно получить интегральное представление дробного экспоненциального распределения
ϕβ (τ ) =
sin(πβ) β−1 Z ∞
xβ e−x dx
t
.
π
x2β + τ 2β + 2xβ τ β cos(πβ)
0
120
(32)
Оно обладает свойствами плотности вероятности. Действительно, из лапласобраза (31) следует, что она удовлетворяет условию нормировки, а из (32)
видно, что это неотрицательная функция, имеющая асимптотики
ϕβ (τ ) ∼
τ β−1
Γ(β)
(τ → 0) ;
ϕβ (τ ) ∼
τ −β−1
Γ(1 − β)
(τ → ∞) .
(33)
Дробное экспоненциальное распределение иногда записывают в форме разложения по стандартным экспоненциальным распределениям. Найдем его, для чего перейдем в интеграле (32) к новой переменной интегрирования µ = τ /x. В итоге (32) примет вид
ϕβ (τ ) =
Z
∞
0
!
τ
1
exp −
ξβ (µ) dµ ,
µ
µ
(34)
где
1
sin(πβ)
.
(35)
πµ µβ + µ−β + 2 cos(πβ)
Эту функцию интерпретируют как спектр средних времен обычных экспоненциальных распределений
ξβ (µ) =
1
τ
ϕ(τ ) = exp −
µ
µ
!
.
При β → 1 спектр средних времен (35) слабо сходится к дельта-функции,
а ϕβ (t) переходит в экспоненциальное распределение. При β = 1/2 имеется явное выражение для дробного экспоненциального распределения
ϕ1/2 (τ ) =
s
√
1
− eτ erfc ( τ ) .
πτ
(36)
Его график дан на рис. 3.8.
IW
E
aW 1
0.5
0.2
0.1
0.05
aW 0.02
0.01
0.1
0.2
0.5
1
2
5
Рис. 3.8. График распределения ϕβ (τ ) при β = 1/2.
121
10
W
3.1.8. Статистика числа событий
До сих пор мы фиксировали число событий m и интересовались статистикой длин интервалов t(m) (22) от начала наблюдения до m-го события. Рассмотрим обратную задачу. Зададим длину интервала t и будем
интересоваться статистикой случайного числа событий, имевших место
в интервале времени длительности t.
Введем дискретный процесс N(t), равный числу событий, имевших
место от начала наблюдения (выберем его началом отсчета t = 0) до текущего времени t. В зависимости от выбора начала отсчета, при одной и
той же статистике интервалов между событиями, статистические свойства чисел событий могут различаться. Имея это ввиду, под N(t) будем
подразумевать число событий при произвольном начале отсчета t = 0, а
под M(t) – число событий в том случае, когда наблюдение начинается в
момент наступления одного из них.
Пусть R(m; t) – вероятность, что в интервале (0, t) (начало которого
совпадает с одним из событий) имело место m событий. Выразим ее через
рассмотренные в разделе 4.5 распределения длительностей случайных
интервалов. Справедливы равенства
R(m; t) =
P(m 6 M(t) < m + 1) = P(M(t) < m + 1) − P(M(t) < m) ,
(37)
выражающие искомую вероятность через свойства функции M(t). Очевидна связь между вероятностями (37) и интегральными функциями
распределений случайных интервалов t(m):
P(M(t) < m) = P(t(m) > t) = 1 − F (t; m) .
(38)
где F (t; m) – задана равенством (24). Подставив (38) в (37), получим
R(m; t) = F (t; m) − F (t; m + 1) (m > 1),
R(0; t) = 1 − F (t; 1) .
(39)
Аналогичные рассуждения для вероятностей P(n; t), что внутри интервала (0, t) (с произвольно выбранным началом отсчета) произойдет n
событий, приводят к соотношениям
P(n; t) = Hn (t) − Hn+1 (t) (n > 1);
P(0; t) = 1 − H1 (t) .
(40)
Здесь Hm (τ ) интегральные функции распределения (26).
Пример. Найдем указанные вероятности для пуассоновских потоков
событий. Из-за отсутствия последействия вероятности R(m; t) и P(m; t)
122
совпадают. Поэтому найдем лишь вероятности R(m; t). Входящая в (39)
функция F (t; m + 1), с учетом (27), равна
F (t; m + 1) =
Z
t
0
fm+1 (τ ) dτ =
Z
0
νt
xm −x
e dx .
m!
После интегрирования по частям придем к рекуррентному соотношению
F (t; m + 1) = F (t; m) −
(νt)m −νt
e .
m!
Подставив его в (39), получим окончательно
R(m; t) = P(m; t) =
(νt)m −νt
e .
m!
(41)
Графики функций (41) изображены на рис. 3.6. ⋆
Пример. Если распределение f (τ ) длительности интервала между событиями безгранично-делимо, то имеется очевидная связь между формулами (39) и (2.4.4). Установим ее, для чего вернемся к безграничноделимому времени t(̺) (2.4.1). Из способа построения t(̺) следует, что
оно совпадает при ̺ = m ∈ N со значениями функции (22) целочисленного аргумента m. При этом функции F (t; m) и F (t; m + 1) в правой части
равенства (39) можно трактовать как значения интегральной функции
распределения F (t; ̺) безгранично-делимого времени t(̺) при целочисленных значениях ς.
Обратная безгранично-делимому времени функция ̺(t) подчиняется
неравенству M(t) 6 ̺(t) и соотношению M(t = t(m)) = ̺(t(m)), а вероятность, что за время t произойдет m событий, равна
R(m; t) =
Z
m+1
m
Q(̺; t) d̺ .
(42)
Здесь Q(̺; t) – плотность вероятностей (2.4.4) функции ̺(t). Интегрируя
равенство (2.4.4) по ̺ в интервале ̺ ∈ (m, m + 1) вернемся, с учетом (42),
к формуле (39). ⋆
3.1.9. Производящие функции
Полезным инструментом анализа вероятностей числа событий служит производящая функция вероятностей. По определению, производящие функции вероятностей M(t) и N(t) равны
R(t, z) =
∞
X
R(m; t) z m ,
m=0
123
P(t, z) =
∞
X
n=0
P(n; t) z n .
(43)
Подставив сюда (39) и (40), будем иметь
∞
z−1 X
Fm (t) z m ,
z m=1
∞
z−1 X
Hm (t) z m .
P(t, z) = 1 +
z m=1
R(t, z) = 1 +
(44)
Найдем лаплас-образы этих функций
R̂(s, z) =
Z
0
∞
−st
R(t, z) e
dt ,
P̂(s, z) =
Z
∞
0
P(t, z) e−st dt .
Применив к равенствам (44) преобразование Лапласа, получим
R̂(s, z) =
и
1 − fˆ
1
,
s 1 − fˆz
"
(45)
#
1
z − 1 1 − fˆ
P̂(s, z) =
1+
.
s
hτ i s 1 − fˆ z
(46)
3.2. Аномальные скачки
В главе 2 обсуждались законы аномальной диффузии в предельном
случае непрерывного субдиффузионного процесса X (t) (2.5.26). Для приложений характерны случайные процессы, скачком меняющие значения
в случайные моменты времени (так скорость молекул газа случайно меняется в моменты столкновений с другими молекулами). В этом разделе
обсудим свойства типичных скачкообразных процессов.
3.2.1. Случайные скачки́
Пусть процесс X(t), подчинятся стохастическому уравнению
dX X
=
hk δ(t − tk ) ,
dt
k
X(t = 0) = 0 .
(1)
Будем трактовать X(t) как координату частицы в 1-мерном пространстве, сам процесс X(t) назовем случайным блужданием.
Из уравнения видно, что X(t) постоянен между случайными моментами времени {tk }, и скачком меняет значение на величину hk в моменты
tk . Будем полагать, что последовательность {tk } образует стационарный
поток событий, описанный в разделе 4.6.1, а скачки {hk } – взаимно независимы и имеют одинаковую плотность вероятностей w(h). Пусть начальный момент времени t = 0 выбран сразу после очередного скачка,
124
а начальное положение частицы совпадает с началом координат. Тогда
решение уравнения (1) принимает вид
M (t)
X(t) =
X
hk ,
(2)
k=1
где M(t) – введенное в разделе 5.1.8 случайное число событий.
Согласно формуле полной вероятности, плотность вероятностей, что
X(t) примет в текущий момент времени t значение x, равна
f (x; t) =
∞
X
R(m; t) wm (x) ,
(3)
m=0
где вероятности R(m; t) определены равенствами (1.39), а
wm (x) = w(x) ∗
· · ∗} w(x) ,
| ·{z
w0 (x) = δ(x) .
m
Будем интересоваться асимптотикой плотности вероятностей f (x; t)
на больших временах. Если среднее время между последовательными
скачками и дисперсия скачков ограничены:
σh2 < ∞ ,
hτ i < ∞ ,
(4)
то искомую асимптотику легко найти, опираясь на решение (2) стохастического уравнения (1). В самом деле, при t ≫ hτ i справедлив закон
больших чисел, согласно которому случайное число M(t) можно заменить его средним значением
M(t) ∼ h M(t)i ∼ ν t ≫ 1 ,
ν=
1
.
hτ i
(5)
При этом сумма (2) независимых слагаемых подчиняется центральной
предельной теореме, согласно которой плотность вероятностей X(t) асимптотически гауссова со средним и дисперсией
h X(t)i = h hi h M(t)i = V t ,
2
σX
= σh2 h M(t)i = D t ,
(6)
где
D = ν σh2 ,
V = ν h hi ,
(7)
– средняя скорость сноса и коэффициент диффузии случайного блуждания. Иными словами, асимптотика плотности вероятностей случайного
блуждания X(t) описывается выражением (2.3.21) и подчиняется уравнению диффузии (2.3.20).
125
Замечание. Мы столкнулись с типичной для физики ситуацией, когда скачкообразный процесс X(t) адекватно описывается, на больши́х
временах (t ≫ hτ i) и в больши́х масштабах (x ≫ σh ), уравнениями,
справедливыми для непрерывных процессов. В подобных случаях физики говорят о макроскопическом описании микроскопических явлений. К
примеру, физики с успехом пользуются классической механикой, хотя в
микроскопических масштабах движение материи подчиняется дискретным законам квантовой механики. 3.2.2. Макроскопическое описание
Пусть неравенства (4) нарушены: среднее время между скачками и
дисперсия величины скачков бесконечны. Назовем такой процесс X(t)
(2) аномальным блужданием. В этом случае закон больших чисел и центральная предельная теорема неприменимы. Тем не менее и здесь f (x; t)
подчиняется на больших временах универсальным асимптотическим законам. Установим их, полагая распределение интервалов между скачками f (τ ) безгранично-делимым. Тогда вероятность числа скачков R(m; t)
задается формулой (1.42). Если плотность вероятностей Q(̺; t) плавно
зависит от ̺, то равенство (1.42) можно заменить приближенным
R(m; t) ≃ Q(m; t) .
(8)
Тогда сумма (3) перепишется в виде
f (x; t) ≃ R(0; t) δ(x) +
∞
X
Q(m; t) w(x; m) .
(9)
m=1
Предположим также, что и плотность вероятностей величины скачков
w(h) представляет собой безгранично-делимое распределение с зависящей от непрерывного параметра ̺ плотностью вероятностей w(x; ̺), так
что wm (x) = w(x; ̺ = m). Если плотности вероятностей Q(̺; t) и w(x; ̺)
мало меняются при изменении ̺ на единицу, сумму в (9) можно аппроксимировать интегралом, что дает
f (x; t) ≃ R(0; t) δ(x) +
Z
1
∞
Q(̺; t)w(s; ̺) d̺ .
(10)
Пусть вероятность отсутствия скачков достаточно мала
и вклад интеграла
Z
0
1
R(0; t) ≪ 1 ,
(11)
Q(̺; t)w(s; ̺) d̺
(12)
126
несущественен. Тогда выражение (10) можно заменить на
f (x; t) ≃
Z
∞
0
Q(̺; t)w(x; ̺) d̺
(13)
– знакомый интеграл (2.5.2) для плотности вероятностей непрерывного
безгранично-делимого процесса X (t) (2.5.1).
Замечание. При выполнении неравенств (4), формула (13) дает более аккуратное описание поведения плотности вероятностей случайных
блужданий, чем гауссово приближение (2.3.21), котороеполучается из
(13) формальной подстановкой
Q(̺; t) = δ (̺ − ν t)
(14)
и последующим применением центральной предельной теоремы. Обсудим следствия нарушения первого из условий (4). Для этого применим к равенству (2.4.4) преобразование Лапласа. Это дает
Q̂(̺; s) = −
1
1 ∂ fˆ̺ (s)
= − fˆ̺ (s) Ψ(s) ,
s ∂̺
s
Ψ(s) = ln fˆ(s) .
(15)
Напомним, если логарифм лаплас-образа плотности вероятностей интервалов между скачками обладает асимптотикой
1
Ψ(s) ∼ − sβ
γ
(γ > 0 ,
0 < β < 1) ,
(16)
то hτ i = ∞. Заменив в (15) Ψ(s) ее асимптотикой (16), придем к асимптотике лаплас-образа плотности вероятностей Q̂(̺; t)
1
̺
Q̂(̺; s) ∼ sβ−1 exp − sβ
γ
γ
!
1 ∂
̺
=−
exp − sβ
β ̺ ∂s
γ
!
.
(17)
Применив обратное преобразование Лапласа к обеим частям равенства,
и учитывая
∂
− exp(−µ sβ )
∂s
t
7→
µ1/β
fβ
t
µ1/β
!
,
получим окончательно
Q(̺; t) ∼
τ
β ̺1+1/β
f
τ
̺1/β
!
1
̺
= β Qβ β
τ
τ
127
(τ = γ 1/β t) .
(18)
Аналогично, если логарифм характеристической функции плотности
вероятностей w(x; ̺) обладает асимптотикой
ln w̃(u; ̺) ∼ −σ α |u|α ,
(19)
то плотность вероятностей w(x; ̺) сходится при ̺ → ∞ к симметричному устойчивому распределению (2.3.43), где τ = σ α ̺, y = x/σ. Подставив асимптотики (18) и (19) в (13), придем к решению (2.5.10) дробного
диффузионного уравнения (2.5.9). Таким образом, уравнение дробной
диффузии описывает “макроскопическую” асимптотику распределения
случайных блужданий на больших временах и больших масштабах.
3.2.3. Интегральные уравнения
Найдем уравнение, которому удовлетворяет плотность вероятностей
f (x; t). Применив к (3) преобразование Фурье по x, имеем
Θ(u; t) =
∞
X
R(m; t) w̃ m (u) .
(20)
m=0
Полученный ряд отличается от производящей функции вероятностей
R(t, z) (1.43) лишь заменой z на характеристическую функцию величины скачка w̃(u). Лаплас-образа ряда (20) задается выражением (1.45):
Θ̂(u; s) =
ˆ
1 − f(s)
.
s[1 − fˆ(s) w̃(u)]
(21)
Его можно переписать в виде
ˆ
1
1 − f(s)
Θ̂(u; s) − w̃(u) Θ̂(u; s) =
.
ˆ
ˆ
s f(s)
f(s)
(22)
После обратного преобразования Фурье и Лапласа, это равенство превращается в интегральное уравнение для плотности вероятностей f (x; t)
случайного блуждания.
Пример. Пусть интервалы между скачками имеют экспоненциальное
распределение (1.15). Его лаплас-образ равен
fˆ =
ν
.
ν +s
(23)
Подставив это выражение в (21), получим
s Θ̂(u; s) + ν [1 − w̃(u)] Θ̂(u; s) = 1 .
128
(24)
Применив к обеим частям равенства обратное преобразование Лапласа
и полагая Θ(u; t = 0) = 0, придем к дифференциальному уравнению для
характеристической функции случайных блужданий
dΘ(u; t)
+ ν [1 − w̃(u)] Θ(u; t) = δ(t) .
dt
(25)
Применим далее обратное преобразование Фурье, обнаружим, что плотность вероятностей случайного блуждания удовлетворяет уравнению
∂ f (x; t)
+ ν [f (x; t) − f (x; t) ∗ w(x)] = δ(t)δ(x) .
∂t
(26)
Оно эквивалентно задаче Коши для однородного уравнения
∂ f (x; t)
+ ν [f (x; t) − f (x; t) ∗ w(x)] = 0 ,
∂t
f (x; t = 0) = δ(x) ,
(27)
известного как уравнение Колмогорова-Феллера. ⋆
Пример. Соотношение (22) удобно для вывода асимптотических уравнений. Пусть к примеру, при малых s и u справедливы асимптотики
sβ
1
∼1+
γ
fˆ(s)
w̃(u) ∼ 1 − σ α |u|α
(s → 0 , γ > 0) ;
(u → 0) .
(28)
Подставив их в (22) получим асимптотическое уравнение для Θ̂(u; s):
sβ Θ̂ + γσ α |u|α Θ̂ = sβ−1
(s → 0 ,
u → 0) .
(29)
Оно эквивалентно дробному уравнению диффузии (2.5.9). ⋆
Выражение (21) и следующее из него уравнение (22) выполнимы, если
начало отсчета времени t = 0 выбрано сразу после скачка. При произвольном начальном моменте t = 0 функция Θ̂(u; s) задается выражением
(1.46), где надо заменить z на w̃(u):
"
#
1
w̃(u) − 1
1 − fˆ(s)
1+
.
Θ̂(u; s) =
ˆ w̃(u)
s
hτ i s 1 − f(s)
(30)
Его также можно записать в аналогичной (22) форме
"
#
1
1
1
Θ̂ − w̃ Θ̂ =
1 − fˆw̃ +
(w̃ − 1)(1 − fˆ) ,
ˆ
s
hτ
i
s
f
эквивалентной интегральному уравнению относительно плотности вероятностей f (x; t) случайных блужданий.
129
Заметим еще, если hτ i = ∞, то из (30) следует
Θ̂(u; s) =
1
s
⇒
f (x; t) ≡ δ(x) .
Другими словами, в соответствии со сказанным в разделе 4.6.6, блуждающая частица всегда остается неподвижной (X(t) ≡ 0).
3.2.4. Законы диффузии
Выражения (21) и (30) удобны для анализа законов диффузии блуждающих частиц, поскольку разложение правых частей (21) и (30) в ряд
Тейлора по степеням u дает лаплас-образы моментов процесса X(t).
Пусть к примеру, асимптотика w̃(u) имеет вид:
w̃(u) ∼ 1 −
1 2 2
σ u
2
(u → 0) .
Подставив ее в (21) и представив полученное выражение рядом Тейлора
по u, получим
1 1
fˆ(s)
Θ̂(u; s) ∼ − σ 2 u2
.
s 2
s[1 − fˆ(s)]
Второе слагаемое позволяет установить закон диффузии случайных блужданий. А именно, лаплас-образ дисперсии случайных блужданий равен
g(s) =
Z
0
∞
h X 2 (t)ie−st dt = σ 2
fˆ(s)
.
s[1 − fˆ(s)]
Подставив сюда асимптотику (2.2.5) лаплас-образа одностороннего устойчивого распределения, найдем закон аномальной субдиффузии
g(s) ∼
σ2
sβ+1
(s → 0)
h X 2 (t)i ∼
⇒
σ2
tβ
Γ(1 + β)
(t → ∞) .
Если же средняя длительность интервалов между скачками ограничена
(hτ i < ∞), то справедлива асимптотика
fˆ(s) → 1 − hτ i s (s → 0)
⇒
g(s) ∼
D
,
s2
D=
σ2
,
hτ i
(31)
соответствующая асимптотическому закону классической линейной диффузии h X 2 (t)i ∼ D t. Подчеркнем, что, в отличие от (21), из выражения
(30) вытекает точный закон линейной диффузии.
130
Оглавление
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Глава 1. Совокупности случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1. Совместные вероятностные свойства . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.1. Интегральная функция распределения . . . . . . . . . . . . . . . . . . . . 4
1.1.2. Совместная плотность вероятностей . . . . . . . . . . . . . . . . . . . . . . 5
1.1.3. Статистические средние . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.4. Свойства совместных распределений . . . . . . . . . . . . . . . . . . . . . . 7
1.1.5. Условные функции распределения . . . . . . . . . . . . . . . . . . . . . . . . 8
1.1.6. Независимые случайные величины . . . . . . . . . . . . . . . . . . . . . . . 10
1.2. Функции совокупностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.2.1. Распределения функций совокупности . . . . . . . . . . . . . . . . . . . 13
1.2.2. χ2 -распределение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.3. Распределение суммы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
1.2.4. Распределения и дельта-функции . . . . . . . . . . . . . . . . . . . . . . . . 19
1.2.5. Распределение Стъюдента . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3. Отображения совокупностей . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.3.1. Взаимно однозначное отображение . . . . . . . . . . . . . . . . . . . . . . . 23
1.4. Корреляции случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
1.4.1. Корреляция и ковариация . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
1.4.2. Ковариационная матрица . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
1.5. Закон больших чисел . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
1.5.1. Неравенство Чебышева . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
1.5.2. Теорема Чебышева . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
1.5.3. Гистограммы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
1.6. Характеристическая функция совокупности . . . . . . . . . . . . . . . . . . 38
1.6.1. Многомерные характеристические функции . . . . . . . . . . . . . 38
1.6.2. Кумулянты . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
1.6.3. Центральная предельная теорема . . . . . . . . . . . . . . . . . . . . . . . . 43
1.7. Гауссовы совокупности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
1.7.1. Определение гауссовой совокупности . . . . . . . . . . . . . . . . . . . . 46
131
1.7.2. Элементы теории матриц . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
1.7.3. Распределение гауссовой совокупности . . . . . . . . . . . . . . . . . . . 50
1.7.5. Двумерное гауссово распределение . . . . . . . . . . . . . . . . . . . . . . . 56
1.7.6. Условные гауссовы распределения . . . . . . . . . . . . . . . . . . . . . . . 60
1.7.7. Характеристическая функция гауссовой
совокупности . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
Глава 2. Основы теории диффузии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.1. Безгранично-делимые распределения . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.1.1. Определение и примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
2.1.2. лаплас-образ распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
2.1.3. Обобщенные распределения Пуассона . . . . . . . . . . . . . . . . . . . . 68
2.2. Устойчивые распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
2.2.1. Определение устойчивых распределений . . . . . . . . . . . . . . . . . 70
2.2.2. Односторонние устойчивые распределения . . . . . . . . . . . . . . 71
2.2.3. Симметричные распределения . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
2.2.4. Случай α > 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
2.2.5. Притягивающее свойство . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
2.3. Безгранично-делимые процессы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
2.3.1. Однородные марковские процессы . . . . . . . . . . . . . . . . . . . . . . . 79
2.3.2. Частные дробные производные . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
2.3.3. Гауссов безгранично-делимый процесс . . . . . . . . . . . . . . . . . . . 83
2.3.4. Винеровский процесс . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
2.3.5. Белый шум . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
2.3.6. Время достижения уровня . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
2.3.7. Полеты Леви . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90
2.3.8. Квази-полеты Леви . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
2.4. Время и события . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
2.4.1. Безгранично-делимое время . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
2.4.2. Устойчивое время . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
2.4.3. Функция Миттаг-Леффлера . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
2.4.4. Сведения о функции Qβ (τ ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
2.5. Аномальная диффузия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
132
2.5.1. Непрерывное число событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
2.5.2. Аномальные блуждания . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
2.5.3. Решения уравнения дробной диффузии . . . . . . . . . . . . . . . . . 102
2.5.4. Дробный снос . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
2.5.5. Субдиффузия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
2.5.6. Многомерная субдиффузия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
Глава 3. Случайные потоки событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
3.1. Элементы теории восстановления . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
3.1.1. Классификация интервалов . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
3.1.2. Статистика интервала τ (t) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
3.1.3. Распределение времени ожидания . . . . . . . . . . . . . . . . . . . . . . 113
3.1.4. Парадокс теории восстановления . . . . . . . . . . . . . . . . . . . . . . . 114
3.1.5. Разреженные потоки событий . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
3.1.6. Интервалы с устойчивым распределением . . . . . . . . . . . . . . 118
3.1.7. Дробное экспоненциальное распределение . . . . . . . . . . . . . . 120
3.1.8. Статистика числа событий . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
3.1.9. Производящие функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
3.2. Аномальные скачки . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
3.2.1. Случайные скачки́ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
3.2.2. Макроскопическое описание . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
3.2.3. Интегральные уравнения . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
3.2.4. Законы диффузии . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
133