Виды сходимости последовательностей случайных величин

С.Я. Шатских
Лекции по теории вероятностей
Виды сходимости последовательностей случайных величин
Черновик
Сходимость по вероятности.
Будем считать, что все интересующие нас случайные величины определены на одном
вероятностном пространстве {Ω, A, P}.
Вспомним определение сходимости случайных величин по вероятности, которое нам
встречалось при изучении закона больших чисел в форме П.Л. Чебышева.
Определение 1. Говорят, что последовательность случайных величин {Xn (ω)}
сходится к случайной величине X(ω) по вероятности, если для любого ε > 0
P{ω : |Xn (ω) − X(ω)| > ε} −→ 0, n −→ ∞.
P
Обозначение: Xn (ω) −→ X(ω).
Сходимость по вероятности является полным аналогом сходимости по мере, которая рассматривается в курсах функционального анализа и "Интеграл Лебега".
Теорема. Если при n → ∞
P
P
Xn (ω) −→ X(ω), Xn (ω) −→ Y (ω),
то
P{ω : X(ω) = Y (ω)} = 1 (единственность предела почти наверное).
Теорема. Если при n → ∞
P
P
Xn (ω) −→ X(ω), Yn (ω) −→ Y (ω),
то
1◦ aXn (ω) + b Yn (ω) −→ aX(ω) + b Y (ω)
P
(a, b − const),
2◦ Xn (ω) Yn (ω) −→ X(ω) Y (ω),
P
3◦ |Xn (ω)| −→ |X(ω)|.
P
Теорема. Для случайных величин X(ω), Y (ω) функционал
|X(ω) − Y (ω)|
d(X(ω), Y (ω)) = M
1 + |X(ω) − Y (ω)|
1
задает метрику в постранстве случайных величин1 . Сходимость по этой метрике
эквивалентна сходимости по вероятности.
Доказательство. Сначала докажем эквивалентность сходимостей. Рассмотрим
возрастающую на полуоси [0, ∞) функцию
f (x) =
x
.
1+x
Для ε > 0 по неравенству Чебышева
Z
Z
P{ω : |X(ω)| > ε} =
{ω: |X(ω)| > ε}
1+ε
≤
ε
Z
f (X(ω))
dP ≤
f (ε)
dP ≤
{ω: |X(ω)| > ε}
|X(ω)|
1+ε
dP =
M
1 + |X(ω)|
ε
|X(ω)|
1 + |X(ω)|
.
(∗)
Ω
С другой стороны,
|X(ω)|
=
M
1 + |X(ω)|
|X(ω)|
dP +
1 + |X(ω)|
Z
{ω: |X(ω)| ≤ ε}
Z
|X(ω)|
dP ≤
1 + |X(ω)|
{ω: |X(ω)| > ε}
ε
P{ω : |X(ω)| ≤ ε} + P{ω : |X(ω)| > ε}.
1+ε
Из (∗) и (∗∗) получим
ε
|Xn (ω) − X(ω)|
P{ω : |Xn (ω) − X(ω)| > ε} ≤ M
≤
1+ε
1 + |Xn (ω) − X(ω)|
≤
≤ ε + P{ω : |Xn (ω) − X(ω)| > ε}.
(∗∗)
(∗ ∗ ∗)
P
Если Xn (ω) −→ X(ω), то, переходя в правой части неравенства (∗ ∗ ∗) к пределу при
n → ∞, получим
|Xn (ω) − X(ω)|
|Xn (ω) − X(ω)|
≤ lim M
≤ ε.
0 ≤ lim M
1 + |Xn (ω) − X(ω)|
1 + |Xn (ω) − X(ω)|
Ввиду произвольности ε отсюда следует, что
|Xn (ω) − X(ω)|
lim M
= 0.
n→∞
1 + |Xn (ω) − X(ω)|
С другой стороны, если
lim M
n→∞
|Xn (ω) − X(ω)|
1 + |Xn (ω) − X(ω)|
= 0,
то, переходя в левой части неравенства (∗ ∗ ∗) к пределу при n → ∞, будем иметь
0 ≤
ε
lim P{ω : |Xn (ω) − X(ω)| > ε} ≤
1+ε
1
Точнее говоря, в постранстве классов эквивалентности случайных величин совпадающих почти
наверное.
2
≤
ε
lim P{ω : |Xn (ω) − X(ω)| > ε} ≤ 0.
1+ε
Таким образом,
lim P{ω : |Xn (ω) − X(ω)| > ε} = 0.
n→∞
Теперь установим свойства метрики. При этом будем отождествлять случайные величины, совпадающие почти наверное. Свойства
d(X(ω), X(ω)) = 0,
d(X(ω), Y (ω)) = d(Y (ω), X(ω))
очевидны. Неравенство треугольника
d(X(ω), Y (ω)) ≤ d(X(ω), Z(ω)) + d(Z(ω), Y (ω))
следует из элементарного неравенства
|u + v|
|u|
|v|
≤
+
.
1 + |u + v|
1 + |v|
1 + |v|
Теорема доказана.
Теорема. Если последовательность случайных величин {Xn (ω)} при n → ∞ сходится по вероятности к случайной величине X(ω), то для функции y = f (x) определенной и непрерывной в области значений случайных величин {X(ω), Xn (ω), n ∈ N}
имеет место сходимость по вероятности
P
f (Xn (ω)) −→ f (X(ω)).
Доказательство. В силу непрерывности функции y = f (x), для любого ε > 0,
существует δ такое, что
{ω : |Xn (ω) − X(ω)| < δ} ⊆ {ω : |f (Xn (ω)) − f (X(ω))| < ε}.
Поэтому
P{ω : |Xn (ω) − X(ω)| < δ} ≤ P{ω : |f (Xn (ω)) − f (X(ω))| < ε}.
(•)
Так как по условию теоремы для любого δ > 0
P{ω : |Xn (ω) − X(ω)| < δ} = 1 n → ∞
то, переходя к пределу в соотношении (•) при n → ∞, получаем доказательство теоремы.
Теорема. Если последовательность случайных величин {Xn (ω)} при n → ∞ сходится по вероятности к константе x0 , то для дифференцируемой в окрестности точки x0 функции y = f (x) существует последовательность случайных величин Zn (ω)
такая, что
f (Xn (ω)) = f (x0 ) + f 0 (x0 )(Xn (ω) − x0 ) + (Xn (ω) − x0 ) · Zn (ω),
P
Zn (ω) −→ 0.
3
(?)
(??)
Доказательство. Ввиду дифференцируемости функции y = f (x) в окрестности
точки x0 для любого ε > 0 существует δ > 0 такое, что
f (x) − f (x0 )
0
| x − x0 | < δ =⇒ − f (x0 ) < ε.
x − x0
Рассмотрим последовательность случайных событий
Bnδ := {ω : |Xn (ω) − x0 | < δ}.
По условию теоремы при n → ∞
P{Bnδ } −→ 1.
Положим по определению
Zn (ω) :=
f (Xn (ω))−f (x0 )
Xn −x0
− f 0 (x0 ),
0,
(? ? ?)
когда Xn (ω) 6= x0 ;
когда Xn (ω) = x0 .
Для таких случайных величин выполняется равенство (?) и, кроме того, справедливо
включение
Bnδ ⊆ {ω : |Zn (ω)| < ε}.
Следовательно
P{Bnδ } ≤ P{|Zn (ω)| < ε}.
Теперь утверждение теоремы следует из соотношения (? ? ?).
Сходимость почти наверное.
Начнем с определения множества сходимости последовательности случайных величин.
Определение 2. Множество всех точек ω ∈ Ω, в которых последовательность случайных величин {Xn (ω)} сходится к случайной величине X(ω) будем называть
множеством сходимости последовательности случайных величин {Xn (ω)} к случайной величине X(ω) и обозначать {ω : Xn (ω) → X(ω)}.
Теорема 1. Множество сходимости является случайным событием, т.е.
{ω : Xn (ω) → X(ω)} ∈ A.
Доказательство. Используя определение предела последовательности, можно утверждать, что
{ω : Xn (ω) → X(ω)} = {ω : ∀ ε > 0, ∃ Nε (ω), ∀ n ≥ Nε (ω) ⇒ |Xn (ω) − X(ω)| < ε}, (1)
причем можно выбрать ε = 1/k, k = 1, 2, . . . .
Напомним известную связь между кванторами и теоретико-множественными операциями
\
∀ α ∈ A, x ∈ Bα ⇐⇒ x ∈
Bα ,
α∈A
∃ α ∈ A, x ∈ Bα ⇐⇒ x ∈
[
α∈A
4
Bα .
Тогда равенство (1) можно переписать в виде
∞ [
∞ \
∞ \
1
{ω : Xn (ω) → X(ω)} =
ω : |Xn (ω) − X(ω)| <
.
k
k=1 m=1 n=m
(2)
Измеримость случайных величин Xn (ω), X(ω) относительно σ−алгебры A влечет за
собой измеримость модуля их разности
1
∈ A, для любых натуральных n и k.
ω : |Xn (ω) − X(ω)| <
k
Отсюда, используя равенство (2), по определению σ−алгебры будем иметь
{ω : Xn (ω) → X(ω)} ∈ A.
Теорема доказана.
Определение 3. Говорят, что последовательность случайных величин {Xn (ω)}
сходится к случайной величине X(ω) почти наверное (п.н.), если
P{ω : Xn (ω) → X(ω)} = 1.
п.н.
Обозначение: Xn (ω) −→ X(ω).
Замечание. Сходимость почти наверное является полным аналогом сходимости
почти всюду, которая рассматривается в курсах функционального анализа и "Интеграл
Лебега". Кроме этого заметим, что последовательность случайных величин {Xn (ω)},
сходящаяся к случайной величине X(ω) почти наверное, сходится на множестве сходимости
{ω : Xn (ω) → X(ω)}
поточено. Свойства поточеной сходимости функциональных последовательностей подробно изучаются в курсе математического анализа.
Критерий сходимости почти наверное.
п.н.
Теорема 2. Для того чтобы Xn (ω) −→ X(ω), необходимо и достаточно, чтобы
для любого ε > 0
lim P{ω : sup |Xn (ω) − X(ω)| > ε} = 0.
(7)
m→∞
n≥m
Доказательство. При доказательстве предыдущей теоремы было установлено (см.
п.н.
формулу (4)), что сходимость Xn (ω) −→ X(ω) эквивалентна выполнению равенства2 :
( ∞ ∞ )
\ [
1
ω : |Xn (ω) − X(ω)| >
P
= 0, для любых k = 1, ∞.
(8)
k
m=1 n=m
Отметим, что
∞ [
1
1
ω : |Xn (ω) − X(ω)| >
= ω : sup | Xn (ω) − X(ω)| >
.
k
k
n≥m
n=m
2
(9)
В этой формуле, в отличие от формулы (4), рассматривается строгое неравенство, что согласуется
с определением предела последовательности.
5
Действительно, если
∞ [
1
,
ω∈
ω : |Xn (ω) − X(ω)| >
k
n=m
то существует ñ ≥ m такое, что
ω∈
1
ω : | Xñ (ω) − X(ω)| >
k
,
поэтому
1
.
ω ∈ ω : sup | Xn (ω) − X(ω)| >
k
n≥m
С другой стороны, если
1
ω ∈ ω : sup | Xn (ω) − X(ω)| >
,
k
n≥m
то существует ñ ≥ m такое, что
∞ [
1
1
ω ∈ ω : | Xñ (ω) − X(ω)| >
⊆
ω : |Xn (ω) − X(ω)| >
.
k
k
n=m
Поэтому, рассуждая также как и при доказательстве предыдущей теоремы, из равенств
(8) и (9) для любого натурального k будем иметь
1
lim P ω : sup |Xn (ω) − X(ω)| >
= 0.
(10)
m→∞
k
n≥m
С другой стороны, из соотношения (10), с учетом равенства (9) получаем равенство (8),
что эквивалентно сходимости почти наверное. Теорема доказана.
Теорема 3. Из сходимости почти наверное следует сходимость по вероятности:
п.н.
P
Xn (ω) −→ X(ω) =⇒ Xn (ω) −→ X(ω).
Доказательство. Из определения сходимости почти наверное и равенства (2) следует, что
(∞ ∞ ∞ )
\ [ \
1
= 1.
(3)
P
ω : |Xn (ω) − X(ω)| <
k
k=1 m=1 n=m
Так как для любых двух событий A и B
P{A} ≥ P{A ∩ B},
то из равенства (3) для любых k = 1, ∞ будем иметь
( ∞ ∞ )
[ \
1
P
= 1.
ω : |Xn (ω) − X(ω)| <
k
m=1 n=m
Отсюда, переходя к дополнениям, получим для любых k = 1, ∞
( ∞ ∞ )
\ [
1
ω : |Xn (ω) − X(ω)| ≥
P
= 0.
k
m=1 n=m
6
(4)
Обозначим
∞ [
1
,
Bm :=
ω : |Xn (ω) − X(ω)| ≥
k
n=m
тогда
B1 ⊇ B2 ⊇ . . . ⊇ Bm ⊇ . . . ⊇
∞
\
Bm .
m=1
Отсюда, по свойству непрерывности вероятности и равенству (4) будем иметь
( ∞
)
\
lim P {Bm } = P
Bm = 0.
m→∞
(5)
m=1
Так как для любых двух событий A и B
P{A} ≤ P{A ∪ B},
то из равенства (5) следует, что для любых k = 1, ∞
1
lim P ω : |Xn (ω) − X(ω)| ≥
= 0.
m→∞
k
Теорема доказана.
Замечание. Из сходимости по вероятности сходимость почти наверное, вообще говоря, не следует. Рассмотрим следующий пример:
Ω = [0, 1]; A = B([0, 1])- борелевская σ−алгебра отрезка [0, 1]; P−мера Лебега.
Положим
k−1 k
k
k
,
, k = 1, n.
Xn (ω) := 1Akn (ω), где An =
n
n
Рассмотрим последовательность случайных величин
X11 (ω), X21 (ω), X22 (ω), X31 (ω), X32 (ω), X33 (ω), . . .
(6)
Ясно, что для любого ω ∈ [0, 1] построенная последовательность представляет собой
объединение бесконечных последовательностей нулей и единиц. Поэтому в любой точке
ω ∈ [0, 1] эта последовательность не имеет предела и ее множество сходимости является
пустым.
С другой стороны, для любого ε ∈ (0, 1)
P{ω : Xnk (ω) > ε} =
1
, k = 1, n,
n
поэтому последовательность (6) сходится по вероятности к (тождественному) нулю.
Хотя из сходимости по вероятности не следует сходимость почти наверное, тем не
менее справедлива следующая теорема.
Теорема 4 (Ф. Рисс). Если при n → ∞
P
Xn (ω) −→ X(ω),
то существует подпоследовательность {nk } такая, что при k → ∞
п.н.
Xnk (ω) −→ X(ω).
7
Доказательство3 . Вначале построим требуемую подпоследовательность {nk }. Положим n0 = 1 и далее при k ∈ N определим по индукции nk как наименьшее натуральное
число, для которого выполняются неравенства:
1
1
< k
nk > nk−1 , P ω : |Xnk (ω) − X(ω)| ≥
k
2
Такое число существует в силу сходимости по вероятности
1
−→ 0, (n → ∞).
P ω : |Xn (ω) − X(ω)| ≥
k
Теперь установим сходимость
п.н.
Xnk (ω) −→ X(ω), (k → ∞).
Ввиду соотношения (9) (см. доказательство теоремы 2)
∞
[
ω : sup | Xnk (ω) − X(ω)| > ε =
{ω : |Xnk (ω) − X(ω)| > ε } .
k≥m
k=m
Поэтому
∞
X
P {ω : |Xnk (ω) − X(ω)| > ε } .
P ω : sup | Xnk (ω) − X(ω)| > ε ≤
k≥m
(?)
k=m
Для любого ε > 0 найдется такое натуральное Mε , что
1
< ε.
m
при m > Mε
Следовательно при m > Mε по выбору nk
∞
X
∞
X
1
P ω : |Xnk (ω) − X(ω)| >
P {ω : |Xnk (ω) − X(ω)| > ε } ≤
k
k=m
k=m
≤
∞
X
1
.
k
2
k=m
Таким образом, принимая во внимание (?), будем иметь
∞
X
1
P ω : sup | Xnk (ω) − X(ω)| > ε ≤
.
k
2
k≥m
k=m
Переходя к пределу в этом неравенстве при m → ∞, ввиду конечности суммы геометрической прогрессии, получим
lim P ω : sup | Xnk (ω) − X(ω)| > ε = 0.
m→∞
k≥m
Для доказательства нашей теоремы осталось применить критерий сходимости почти
наверное (см. теорему 2).
3
Эта теорема рассматривается в курсе функционального анализа.
8
Вопрос о метризации сходимости почти наверное.
Рассмотрим вопрос о метризации сходимости почти наверное. Как мы увидим, вообще говоря, ответ на этот вопрос отрицательный: в отличие от сходимости по вероятности, сходимость почти наверное неметризуема. Однако здесь необходимо сделать
некоторые замечания. Существуют примеры вероятностных пространств, для которых
сходимость по вероятности эквивалентна сходимости почти наверное. В таких пространствах каждая сходящаяся по вероятности последовательности случайных величин являются обязательно почти наверное сходящейся. В такой ситуации сходимость почти
наверное метризуема в силу метризуемости сходимости по вероятности (см. теорему ?).
Однако в противном случае, как показывает следующая теорема, метризация сходимости почти наверное невозможна.
Теорема 5. Если во множестве случайных величин, определенных на некотором
вероятностном пространстве понятия сходимости с вероятностью единица и сходимости по вероятности не совпадают, то для такого множества случайных величин
не существует метрики, сходимость в которой эквивалентна сходимости почти наверное.
Доказательство. Предположим обратное, т.е. во множестве случайных величин
существует метрика ρ (·, ·) соответствующая сходимости почти наверное: при n → ∞
п.н.
Xn (ω) −→ X(ω) ⇐⇒ ρ (Xn (ω), X(ω)) → 0.
Рассмотрим последовательность случайных величин {Xn (ω)}, которая сходится к случайной величине X(ω) по вероятности, но не почти наверное4 . Тогда, с одной стороны,
для некоторого δ > 0 существует подпоследовательность {nk }, для всех членов которой
выполняется неравенство
ρ (Xnk (ω), X(ω)) > δ.
(?)
А с другой стороны, сохраняется сходимость по вероятности:
P
Xnk (ω) −→ X(ω), при k → ∞.
Однако, в силу теоремы 4 можно утверждать, что у подпоследовательности {nk } найдется "подподпоследовательность" {nkm }, для которой при m → ∞
п.н.
Xnkm (ω) −→ X(ω).
Следовательно
lim ρ Xnkm (ω), X(ω) = 0,
m→∞
что противоречит (?). Теорема доказана.
Теперь приведем примеры вероятностных пространств для которых сходимость по
вероятности эквивалентна сходимости почти наверное.
Вначале напомним определение атомического вероятностного пространства5 (см.
Энциклопедия ТВ и МС под.ред Ю.В.Прохорова, Невё Ж. "МОТВ").
4
Пример подобной последовательности был рассмотрен выше.
Грубо говоря, атомическое вероятностное пространство состоит из конечного или счетного множества точек, каждая из которых имеет положительную вероятность. Примером конечного атомического
пространства может служить схема Бернулли.
5
9
Определение. Вероятностное пространство {Ω, A, P} называется атомическим,
если существует конечное или счетное разбиение Ω на атомы Ai ∈ A :
[
1◦ Ω =
Ai , Ai ∩ Aj = ∅, (i 6= j), множество индексов I конечно или счетно.
i∈ I
2◦ P{Ai } > 0, для любого i ∈ I;
3◦ для любого B ∈ A каждый атом Ai обладает одним из двух свойств
или P{B ∩ Ai } = 0, или P{B ∩ Ai } = P{Ai };
(
)
[
X
4◦ P
Ai =
P{Ai } = 1.
i∈ I
i∈ I
Теорема 6. Для атомического вероятностного пространства сходимость с вероятностью единица эквивалентна сходимости по вероятности.
Доказательство. На атомическом вероятностном пространстве из сходимости по
вероятности следует сходимость на каждом атоме. Действительно, если для каждого
ε > 0, при n → ∞
P{ω : |Xn (ω) − X(ω)| ≥ ε} −→ 0,
то для любого i ∈ I
P{ω ∈ Ai : |Xn (ω) − X(ω)| ≥ ε} −→ 0.
Поэтому множество сходимости
{ω : Xn (ω) → X(ω)}
содержит все атомы и следовательно его вероятность равна единице. Отсюда, используя
теорему 3 получаем доказательство нашей теоремы.
Замечание. Справедливо и обратное утверждение6 : если в некотором вероятностном пространстве совпадают понятия сходимости с вероятностью единица и сходимости
по вероятности, то такое вероятностное пространство является атомическим (см. Невё
"МОТВ стр. 37; Прохоров А.В., Ушаков В.Г., Ушаков Н.Г. "Сборник задач по ТВ задача
№ 5.25, стр.107.).
Сходимость в среднем
Определение 4. Говорят, что последовательность случайных величин {Xn (ω)}
сходится в среднем порядка p > 0 к случайной величине X(ω), если при n −→ ∞
M{|Xn (ω) − X(ω)|p } → 0.
При p = 2 говорят о сходимости в среднем квадратичном.
Разумеется, говоря о сходимости в среднем порядка p мы предполагаем конечность
математических ожиданий
M{|Xn (ω)|p } < ∞,
M{|X(ω)|p } < ∞.
В следующей теореме мы установим, что сходимость по вероятности является необходимым условием сходимости в среднем порядка p > 0.
6
Для нашего элементарного курса теории вероятностей доказательство этого утверждения является
слишком техническим.
10
Теорема. Если для некоторого p > 0 при n → ∞
M {|Xn (ω) − X(ω)|p } −→ 0.
то
P
Xn (ω) −→ X(ω).
Доказательство. Достаточно перейти к пределу при n → ∞ в неравенстве П.Л.
Чебышева
M {|Xn (ω) − X(ω)|p }
P{|Xn (ω) − X(ω)|p > ε} <
.
ε2
И заметить, что
P{|Xn (ω) − X(ω)|p > ε} = P |Xn (ω) − X(ω)| > ε1/p .
Следующий простой пример показывает, что сходимость по вероятности не может
быть достаточным условием для сходимости в среднем.
Пример. Будем считать, что
Ω = [0, 1], A = B([0, 1]), P{·} = λ{·} − мера Лебега на отрезке [0, 1].
Положим
X(ω) ≡ 1,
Xn (ω), =
n когда ω ∈ [ 0, 1/n ],
1, когда ω ∈ ( 1/n, 1 ].
Тогда для любого ε > 0,
P{|Xn (ω) − X(ω)| > ε} = λ{[ 0, 1/n ]} = 1/n → 0,
n → ∞.
Однако, при p ≥ 1
M{|Xn (ω) − X(ω)|p } = np ·
1
= np−1 ≥ 1 для всех n ∈ N.
n
Отсутствие сходимости в среднем в этом примере связано с "уходом площади в
бесконечность". В следующей теореме важную роль играет условие равномерной ограниченности интегрируемых случайных величин, которое препятствует такому "уходу".
Теорема. Если для последовательности случайных величин {Xn (ω)} существует
действительное число 0 < C < +∞ такое, что
P{ω : |Xn (ω)| ≤ C} = 1,
для любого
n ∈ N,
и при n → ∞ имеет место сходимость по вероятности
P
Xn (ω) −→ X(ω),
то
M{|X(ω)|} ≤ C
и
lim M{|Xn (ω) − X(ω)|} = 0.
n→∞
Доказательство. Вначале покажем, что из условия равномерной ограниченности
случайных величин {Xn (ω)} с вероятностью единица следует ограниченность предельной случайной величины с вероятностью единица:
P{ω : |X(ω)| ≤ C} = 1.
11
Действительно, из сходимости по вероятности следует сходимости п.н. для некоторой
подпоследовательности
P{ω : Xn(m) (ω) −→ X(ω)} = 1, при
m → ∞.
Поэтому, по свойствам пределов, если
ω ∈ {ω : Xn(m) (ω) −→ X(ω)}, то
|X(ω)| ≤ C.
Следовательно,
{ω : Xn(m) (ω) −→ X(ω)} ⊆ {ω : |X(ω)| ≤ C}
и
P{ω : |X(ω)| ≤ C} = 1.
Отсюда получаем существование и ограниченность математического ожидания случайной величины X(ω)
M{|X(ω)|} ≤ C.
Теперь нетрудно убедиться в справедливости неравенства
P{ω : |Xn (ω) − X(ω)| ≤ 2C} = 1.
Далее, по свойствам математических ожиданий,
Z
≤
|M{Xn (ω)} − M{X(ω)}| ≤ M{|Xn (ω) − X(ω)|} ≤
Z
|Xn (ω) − X(ω)| dP + ≤
|Xn (ω) − X(ω)| dP ≤
{ω:|Xn (ω)−X(ω)| ≤ ε}
{ω:|Xn (ω)−X(ω)| > ε}
≤ ε + 2C P{ω : |Xn (ω) − X(ω)| > ε}.
Переходя к пределу при n → ∞, ввиду произвольности ε получаем доказательство
нашей теоремы.
В следующей теореме вместо условия равномерной ограниченности константой, будет рассматриваться более слабое условие равномерной ограниченности (неотрицательной) интегрируемой случайной величиной.
Теорема Лебега о мажорируемой сходимости. Если для последовательности
случайных величин {Xn (ω)} существуют случайные величины X(ω) и Y (ω) такие,
что
P
1◦ Xn (ω) −→ X(ω), n → ∞,
2◦ для всех n |Xn (ω)| ≤ Y (ω), P- почти наверное ,
3◦ M{Y (ω)} < ∞,
тогда
M{|X(ω)|} ≤ M{Y (ω)} < ∞
и при n → ∞
M{|Xn (ω) − X(ω)|} −→ 0.
12
Доказательство7 . Вначале установим неравенств
|X(ω)| ≤ Y (ω), P- почти наверное.
Из сходимости последовательности случайных величин по вероятности следует сходимость почти наверное для некоторой подпоследовательности:
п.н.
Xn(m) (ω) −→ X(ω),
m → ∞.
Другими словами, вероятность множества сходимости равна единице
P{ω : Xn(m) (ω) → X(ω)} = 1.
Поэтому, переходя к пределу (m → ∞) в неравенстве
|Xn(m) (ω)| ≤ Y (ω),
для любого ω ∈ {ω : Xn(m) (ω) → X(ω)} будем иметь
lim Xn(m) (ω) = |X(ω)| ≤ Y (ω),
m→∞
Таким образом
|X(ω)| ≤ Y (ω),
(почти наверное).
Отсюда получаем существование M{X(ω)} и оценку
M{|X(ω)|} ≤ M{Y (ω)}.
Следовательно
|Xn (ω) − X(ω)| ≤ 2Y (ω),
(почти наверное)
и
M {|Xn (ω) − X(ω)|} ≤ 2M{Y (ω)}.
Оценим величину
M{|Xn (ω) − X(ω)|} =
Z
|Xn (ω) − X(ω)| dP +
Z
=
{ω:|Xn (ω)−X(ω)|≤ ε}
|Xn (ω) − X(ω)| dP ≤
{ω:|Xn (ω)−X(ω)|> ε}
Z
≤ ε+2
Y (ω) dP.
(?)
{ω:|Xn (ω)−X(ω)|> ε}
По условию 1◦ теоремы (сходимость по вероятности), для любого ε > 0
P{ω : |Xn (ω) − X(ω)| > ε} → 0,
(n → ∞).
Поэтому, используя лемму об интеграле по множеству малой вероятности, можно утверждать, что
Z
lim
n→∞
{ω:|Xn (ω)−X(ω)|> ε}
7
Y (ω) dP = 0.
Как было отмечено В.Феллером, "теорема о мажорированной сходимости относится к единственному месту в лебеговской теории интегрирования, где наивные формальные действия могут првести к
неверному результату." См. Феллер, т.2, стр. 133.
13
Переходя к пределу в неравенстве (?) будем иметь
0 ≤ lim M{|Xn (ω) − X(ω)|} ≤ ε.
n→∞
Отсюда, ввиду произвольности ε > 0, получаем доказательство теоремы.
Замечание. Доказательство этой теоремы подробно излагается в курсе "Интеграл
Лебега". Несколько иной вариант доказательство можно найти в книге [Ширяев "Вероятность"].
Приведем без доказательства ещё два классических результата (действительного
анализа), которые часто используются при анализе сходимости в среднем.
Теорема о монотонной сходимости. Если неубывающая последовательность
неотрицательных случайных величин {Xn (ω)}
Xn (ω) ≤ Xn+1 (ω),
n = 1, ∞
сходится почти наверное к случайной величине X(ω), то при n → ∞
M{Xn (ω)} % M{X(ω)}.
Замечание. Если математическое ожидание M{X(ω)} конечно, то (ввиду монотонности) конечны математические ожидания всех случайных величин M{Xn (ω)}. Имеем
сходимость монотонной последовательности к конечному пределу
M{Xn (ω)} % M{X(ω)}.
Если же математическое ожидание M{X(ω)} бесконечно, то, предполагая конечными
математические ожидания случайных величин M{Xn (ω)}, получим сходимость монотонной последовательности к бесконечному пределу
M{Xn (ω)} % +∞.
Лемма Фату. Для любой последовательности неотрицательных случайных величин {Xn (ω)} справедливо неравенство
lim M{Xn (ω)} ≥ M{lim Xn (ω)}.
Замечание. Утверждение леммы Фату показывает, что неравенство
2 = lim M{Xn (ω)} ≥ M{ lim Xn (ω)} = 1,
n→∞
n→∞
которое имело место в рассмотренном выше примере является проявлением общей закономерности.
Задача. Если при n → ∞
M {|Xn (ω) − X(ω)|p } −→ 0,
то
M {|Xn (ω)|p } −→ M {|X(ω)|p } .
Решение. Пользуясь неравенством Г. Минковского, можно записать
(M {|Xn (ω)|p })1/p = (M {|Xn (ω) − X(ω) + X(ω)|p })1/p ≤
14
≤ (M {|Xn (ω) − X(ω)|p })1/p + (M {|X(ω)|p })1/p .
Переходя к верхнему пределу, при n → ∞ получим
lim (M {|Xn (ω)|p })1/p ≤ (M {|X(ω)|p })1/p .
Отсюда, используя непрерывность и монотонность степенной функции, будем иметь
lim M {|Xn (ω)|p } ≤ M {|X(ω)|p } .
(◦)
С другой стороны, аналогично рассуждая, из неравенства
(M {|X(ω)|p })1/p ≤ (M {|X(ω) − Xn (ω)|p })1/p + (M {|Xn (ω)|p })1/p .
получаем
M {|X(ω)|p } ≤ lim M {|Xn (ω)|p } .
(◦◦).
Объединяя вместе неравенства (◦) и (◦◦), получаем решение нашей задачи.
Теорема. Если при n → ∞
M {|Xn (ω) − X(ω)| p } −→ 0,
то для любого q ∈ (0, p)
M {|Xn (ω) − X(ω)| q } −→ 0.
Доказательство. Достаточно перейти к пределу при n → ∞ в неравенстве А.М.
Ляпунова (см. [Ширяев А.Н. Вероятность.])
(M{|Xn (ω) − X(ω)|q })1/q ≤ (M{|Xn (ω) − X(ω)|p })1/p , при 0 < q ≤ p.
При p = 2 и q = 1 доказательство теоремы можно получить с помощью следующего
варианта неравенства Коши-Буняковского
M {|Xn (ω) − X(ω)|} = |M {|Xn (ω) − X(ω)| · 1}| ≤
1/2
1/2
1/2
≤ M |Xn (ω) − X(ω)|2
· M 12
= M |Xn (ω) − X(ω)|2
.
Пространство Lp {Ω, A, P}
Рассмотрим пространство Lp {Ω, A, P} - т.е. множество всех случайных величин
X(ω), определенных на Ω, измеримых относительно σ−алгебры A и таких, что
Z
p
M{|Xn (ω)| } =
|Xn (ω)|p dP < ∞.
Ω
Это пространство вполне аналогично известному из курса функционального анализа
линейному пространству Lp[ 0,1] , которое состоит из всех функций y = f (x) определенных
на отрезке [ 0, 1], измеримых по Лебегу и интегрируемых с показателем p по мере Лебега
Z1
|f (x)|p dx < ∞.
0
15
Не приводя подробных доказательств, сформулируем несколько утверждений относящихся к пространству Lp {Ω, A, P}, которые аналогичны соответствующим утверждениям о пространстве Lp[0,1] .
Функционал
kX(ω)kp := (M{|X(ω)|p })1/p
задает норму в пространстве случайных величин8 Lp {Ω, A, P} :
1◦ kX(ω)kp ≥ 0,
2◦ kc X(ω)kp = |c| kX(ω)kp ,
3◦ kX(ω) + Y (ω)kp ≤ kX(ω)kp + kY (ω)kp ,
c = const,
(неравенство Минковского).
Заметим, что линейность множества Lp {Ω, A, P} сразу следует из свойств нормы. Более
того, относительно сходимости по норме9
kXn (ω) − X(ω)kp −→ 0
пространство Lp {Ω, A, P} является полным. В нашем случае определение полноты следующее: если последовательность случайных величин
{Xn (ω)} ⊂ Lp {Ω, A, P}
фундаментальна по норме
kXn (ω) − Xm (ω)kp −→ 0,
при n, m → ∞,
то существует случайная величина X(ω) ∈ Lp {Ω, A, P} такая, что
kXn (ω) − X(ω)kp −→ 0,
при n → ∞.
Итак, Lp {Ω, A, P} - есть полное линейное нормированное пространство, т.е. банахово
пространство.
При p = 2 пространство L2 {Ω, A, P} является гильбертовым со скалярным произведением10 :
Z
hX(ω), Y (ω)i := M{Xn (ω)Y (ω)} =
Xn (ω)Y (ω) dP.
Ω
Для таким образом введенного скалярного произведения действительнозначных случайных величин справедливо неравенство Г. Минковского
|hX(ω), Y (ω)i | ≤ kX(ω)k2 + kY (ω)k2 .
Сходимость по распределению и слабая сходимость
8
Точнее говоря, в постранстве классов эквивалентности случайных величин совпадающих почти
наверное, т.к. по определению нормы kX(ω)kp = 0 ⇐⇒ X(ω) ≡ 0.
9
Т.е. сходимости в среднем с показателем p.
10
Мы имеем дело с действительнозначными случайными величинами поэтому знак комплексного
сопряжения над вторым сомножителем можно опустить.
16
Введем обозначения для функций распределения случайных величин Xn (ω) и X(ω) :
Fn (x) = P{ω : Xn (ω) ≤ x}, F (x) = P{ω : X(ω) ≤ x}.
Кроме того, через CF будем обозначать множество точек непрерывности функции
F (x) :
CF := {x◦ ∈ R : lim F (x) = F (x◦ )}.
x→x◦
Определение 4. Говорят, что последовательность случайных величин {Xn (ω)} сходится по распределению к случайной величине X(ω), если при n −→ ∞
Fn (x) −→ F (x), в каждой точке x ∈ CF .
(11)
d
Обозначение: Xn (ω) −→ X(ω).
Определение 5. Если при n −→ ∞
Fn (x) −→ F (x), в каждой точке x ∈ CF ,
(12)
то говорят, что последовательность функций распределения {Fn (x)} слабо сходится11
к функции распределения F (x).
w
Обозначение: Fn (x) −→ F (x).
Замечание. Если функция распределения F (x) непрерывна на всей вещественной
оси (CF = (−∞, ∞)), то в соотношениях (11) и (12) речь идет о поточечной сходимости.
Более того, можно показать12 , что в этом случае сходимость
Fn (x) → F (x)
равномерна на всей вещественной оси.
w
Замечание. Если Fn (x) −→ F (x), то при x∗ ∈
/ CF справедливы неравенства13
F (x∗ −) ≤ lim Fn (x∗ ) < lim Fn (x∗ ) ≤ F (x∗ ).
Пример. Рассмотрим последовательность функций распределения

0,
когда x ∈ (−∞, −1/n);

n
1
x
+
,
когда
x ∈ [−1/n, 1/n];
Fn (x) =
2
 2
1,
когда x ∈ (−1/n, ∞),
графики которых имеют вид
6
Fn (x)
r
−1/n
r1
p p p p p p p p rpp
pp
p
pp
p
pp
r 1/2
p
pp
p
pp
p
rpp
0
-
1/n
11
Иногда слабую сходимость называют "сходимостью в основном".
См. задачу 3.
13
См. задачу 5.
12
17
x
Нетрудно видеть, что для любого x ∈ (−∞, ∞)

 0 , когда x ∈ (−∞, 0);
1/2 ,
когда x = 0;
lim Fn (x) = F∞ (x) =
n→∞

1,
когда x ∈ (0, ∞).
График функции F∞ (x) имеет вид
F∞ (x) 6
q1
r
1/2
-q
-
x
0
Поскольку предельная функция F∞ (x) не является непрерывной справа, она не может быть функцией распределения. Но так как в определении 5 слабой сходимости
речь идет о сходимости к функциям распределения, то в этом примере мы не можем
w
утверждать, что Fn (x) −→ F∞ (x).
Тем не менее, после небольшого изменения предельной функции F∞ (x), можно получить функцию распределения F (x), к которой будут слабо сходиться функции Fn (x).
Действительно, рассмотрим функцию распределения случайной величины X(ω) ≡ 0 :
0 , когда x ∈ (−∞, 0);
F (x) =
1 , когда x ∈ [0, ∞);
c множеством непрерывности CF = (−∞, 0) ∪ (0, ∞).
График этой функции имеет вид
6
F (x)
r
q
1
1/2
-q
-
x
0
Нетрудно видеть, что
lim Fn (x) = F (x), для любого x ∈ CF .
n→∞
w
Таким образом, Fn (x) −→ F (x).
Теорема 5. Из сходимости по вероятности следует сходимость по распределению:
P
d
Xn (ω) −→ X(ω) ⇒ Xn (ω) −→ X(ω).
18
Доказательство. Вначале рассмотрим "качественное рассуждение на основе которого далее можно будет получить строгое доказательство нашей теоремы.
Выберем ε ≈ 0. Учитывая сходимость по вероятности, будем считать, что для больших n
P{ω : |X(ω) − Xn (ω)| > ε} ≈ 0.
Следовательно
P{ω : |X(ω) − Xn (ω)| ≤ ε} ≈ 1.
И, таким образом,
P{ω : X(ω) = Xn (ω)} ≈ 1.
Поэтому при больших n
Fn (x) ≈ F (x).
Перейдем, к подробному доказательству теоремы. Нетрудно убедиться в справедливости включений множеств на (X, Xn )−плоскости:
{(X, Xn ) : Xn ≤ x} ⊆ {(X, Xn ) : X ≤ x + ε} ∪ {(X, Xn ) : |X − Xn | > ε}.
(13)
{(X, Xn ) : X ≤ x − ε} ⊆ {(X, Xn ) : Xn ≤ x} ∪ {(X, Xn ) : |X − Xn | > ε}.
(14)
Справедливость включения (13) и (14) можно наглядно проиллюстрировать с помощью
следующих рисунков:
6
Xn
rx
r
rε
−ε r r r r r
or ε x x+ε
−ε
-
X
-
X
6
Xn
rx r
rε
−ε r r r r
or ε x−ε
−ε
Из включений (13) и (14) следуют неравенства
P{ω : Xn (ω) ≤ x} ≤ P{ω : X(ω) ≤ x + ε} + P{ω : |X(ω) − Xn (ω)| > ε},
19
P{ω : X(ω) ≤ x − ε} ≤ P{ω : Xn (ω) ≤ x} + P{ω : |X(ω) − Xn (ω)| > ε}.
Откуда получаем
P{ω : X(ω) ≤ x − ε} − P{ω : |X(ω) − Xn (ω)| > ε} ≤ P{ω : Xn (ω) ≤ x} ≤
≤ P{ω : X(ω) ≤ x + ε} + P{ω : |X(ω) − Xn (ω)| > ε}.
Перейдем к пределам в этих неравенствах при n → ∞ (в левом неравенстве к нижнему,
а в правом к верхнему пределам). Учитывая сходимость по вероятности,
P{ω : |X(ω) − Xn (ω)| > ε} → 0,
получим
P{ω : X(ω) ≤ x−ε} ≤ lim P{ω : Xn (ω) ≤ x} ≤ lim P{ω : Xn (ω) ≤ x} ≤ P{ω : X(ω) ≤ x+ε},
или
F (x − ε) ≤ lim Fn (x) ≤ lim Fn (x) ≤ F (x + ε).
Если x−точка непрерывности функции F (x), то переходя к пределу при ε ↓ 0, будем
иметь
F (x) ≤ lim Fn (x) ≤ lim Fn (x) ≤ F (x).
Таким образом,
lim Fn (x) = F (x), когда x ∈ CF .
n→∞
Теорема доказана.
Замечание. Из сходимости по распределению сходимость по вероятности, вообще
говоря, не следует. Рассмотрим следующий пример:
Ω = [0, 1]; A = B([0, 1])- борелевская σ−алгебра отрезка [0, 1]; P−мера Лебега.
Обозначим через Φ−1 (·) функцию, обратную функции стандартного гауссовского
распределения
2
Zx
u
1
exp −
du.
Φ(x) = √
2
2π
−∞
Положим
X2k (ω) = Φ−1 (ω), X2k−1 (ω) = − Φ−1 (ω), ω ∈ [0, 1]; k = 1, 2, . . . .
Тогда
P{ω : Xn (ω) ≤ x} ≡ Φ(x), для всех натуральных n.
Поэтому последовательность {Xn } (тривиально) cходится по распределению. Однако,
легко видеть, что сходимости по вероятности нет. Действительно, так как
|X2k (ω) − X2m−1 (ω)| ≡ 2|Φ−1 (ω)|, для любых k, m.
то
n
h
ε i
εo
P{ω : |X2k (ω) − X2m−1 (ω)| > ε} ≡ P ω : |Φ−1 (ω)| >
=2 1−Φ
.
2
2
Сейчас мы рассмотрим утверждение, которое фактически является вторым вариантом определения слабой сходимости. Этот вариант лучше приспособлен для определения слабой сходимости многомерных функций распределения и даже для определения
20
слабой сходимости распределений на более сложных бесконечномерных метрических
пространствах.
Теорема 6. Для того, чтобы последовательность функций распределения {Fn (x)}
слабо сходилась к функции распределения F (x), необходимо и достаточно выполнения
равенства
Z∞
Z∞
lim
ϕ(x) dFn (x) =
ϕ(x) dF (x)
(15)
n→∞
−∞
−∞
для любой непрерывной и ограниченной на вещественной оси R функции ϕ(x).
Доказательство. Вначале покажем, что из слабой сходимости (12) следует равенство14 (15).
Для любого ε > 0, найдется положительное A(ε) ∈ CF такое, что по свойствам
функции распределения15
ZA(ε)
dF (x) = 1 −
dF (x) = 1 − [F (A(ε)) − F (−A(ε))] < ε,
Z
{x: |x| > A(ε)}
(16)
−A(ε)
и, кроме того, найдется натуральное N (ε, A(ε)) такое, что при всех n > N (ε, A(ε))
|Fn (A(ε)) − F (A(ε))| < ε, |Fn (−A(ε)) − F (−A(ε))| < ε.
Тогда при всех n > N (ε, A(ε))
Z
dFn (x) < 3ε.
(17)
{x: |x| > A(ε)}
Пусть ϕ(x) - непрерывная и ограниченная на вещественной оси R функция. Будем
считать, что для всех действительных x
| ϕ(x)| ≤ C = const.
В силу существования интеграла Римана - Стилтьеса от непрерывной функции по интегрирующей функции распределения, а также из определения этого интеграла как
предела интегральных сумм16 следует, что для любого ε > 0 существует такое δ > 0,
что для любого разбиения отрезка [−A(ε), A(ε)], диаметр которого меньше δ > 0 выполняются неравенства
ZA(ε)
ZA(ε)
ϕ(x) dF (x) − Sn (δ) < ε,
ϕ(x) dFn (x) − S(δ) < ε.
(18)
−A(ε)
−A(ε)
где
Sn (δ) =
k−1
X
ϕ(ti )∆i Fn (x),
S(δ) =
i=0
k−1
X
ϕ(ti )∆i F (x).
i=0
14
Импликация (12) =⇒ (15) носит название теоремы Хелли-Брея.
Множество точек непрерывности функции распределения всюду плотно на вещественной оси.
16
см. Рудин У. "Основы математического анализа стр.138.
15
21
Возьмем разбиение отрезка [−A(ε), A(ε)]
P[−A(ε), A(ε)] = {−A(ε) = x0 < x1 < . . . < xk = A(ε)},
считая что все точки деления xi ∈ CF , а диаметр разбиения меньше δ. Кроме того, для
ε > 0 при выбранном k (числе точек разбиения), будем считать ранее выбранное число
N (ε, A(ε)) настолько большим, что для всех n > N (ε, A(ε))
|Fn (xi ) − F (xi )| <
ε
,
k
i = 0, k.
Тогда
|∆i Fn (xi ) − ∆i F (xi )| = |Fn (xi+1 ) − Fn (xi ) − F (xi+1 ) + F (xi )| ≤
≤ |Fn (xi+1 ) − F (xi+1 )| + |Fn (xi ) − F (xi )| <
2ε
,
k
i = 0, k.
Поэтому
|Sn (δ) − S(δ)| ≤
k−1
X
|ϕ(ti )| |∆i Fn (xi ) − ∆i F (xi )| ≤ C · k ·
i=0
2ε
= 2 Cε.
k
Тогда из неравенств (18) и (19) получим
ZA(ε)
A(ε)
Z
ϕ(x) dF (x) −
ϕ(x) dFn (x) < 2 ε + 2 C ε.
−A(ε)
−A(ε)
В свою очередь из неравенства (16) и (17) будем иметь
Z
Z
ϕ(x) dF (x) −
ϕ(x) dFn (x) < 4 C ε.
{x: |x| > A(ε)}
{x: |x| > A(ε)}
(19)
(20)
(21)
Собирая вместе неравенства (20) и (21), можно утверждать, что для любого ε > 0
найдется такое натуральное число N (ε, A(ε)), что для всех n > N (ε, A(ε)) выполняется
неравенство
∞
Z
Z∞
ϕ(x) dF (x) −
ϕ(x) dFn (x) < 6 C ε + 2 ε.
−∞
−∞
Равенство (15) доказано.
Покажем теперь, что из равенства (15) следует слабая сходимость (12). Возьмем
(1)
x0 ∈ CF и рассмотрим две вспомогательные функции. Функция fε (x) непрерывна на
всей числовой оси, равна единице при x ≤ x0 − ε, нулю при x ≥ x0 и линейна на отрезке
(2)
(1)
[x0 − ε, x0 ]. Функция fε (x) := fε (x − ε). Графики этих функций изображены на рис.
?
22
6
r1
q
BB
B
(1)
q
BB
f
B ε
B
B
B
B
B
B
B
B
B
q
q
x0 − ε
0
Bq
(2)
B fε
B
B
B
B
Bq
x0
-
x
x0 + ε
Рис. ?
Нетрудно видеть, что
Zx0
Fn (x0 ) =
fε(2) (x) dFn (x)
−∞
Z∞
≤
fε(2) (x) dFn (x).
−∞
Используя условие (15), перейдем к пределу при n → ∞,
Z∞
lim Fn (x0 ) ≤
Z∞
xZ0 +ε
fε(2) (x) dF (x) +
fε(2) (x) dF (x) =
−∞
−∞
fε(2) (x) dF (x) ≤
x0 +ε
xZ0 +ε
≤
1 dF (x) + 0 = F (x0 + ε).
−∞
Аналогично рассуждая, будем иметь
Zx0
Zx0
1 dFn (x) ≥
Fn (x0 ) =
−∞
fε(1) (x) dFn (x)
Z∞
=
−∞
Отсюда при n → ∞
fε(1) (x) dFn (x).
−∞
Z∞
lim Fn (x0 ) ≥
fε(1) (x) dF (x) =
−∞
xZ0 −ε
fε(1) (x) dF (x)
=
Zx0
+
−∞
fε(1) (x) dF (x)
x0 −ε
Z∞
+
fε(1) (x) dF (x) ≥
x0
xZ0 −ε
≥
1 dF (x) + 0 = F (x0 − ε).
−∞
Итак, получили неравенство
F (x0 − ε) ≤ lim Fn (x0 ) ≤ lim Fn (x0 ) ≤ F (x0 + ε).
23
Переходя к пределу в этом неравенстве при ε → 0, с учетом того, что x0 ∈ CF
F (x0 ) ≤ lim Fn (x0 ) ≤ lim Fn (x0 ) ≤ F (x0 ).
Таким образом, для любого x0 ∈ CF
lim Fn (x0 ) = F (x0 ).
n→∞
Равенство (12), а вместе с ним и теорема доказаны.
Замечание об интегралах Римана-Стилтьеса и Лебега-Стилтьеса. Отметим,
что интеграл Римана-Стилтьеса
Z∞
ZN
I(−∞, x0 ] (x) dFn (x) =
−∞
lim
L, N →∞
−L
I(−∞, x0 ] (x) dFn (x)
не существует, если функция распределения Fn (x) имеет разрыв в точке x0 . Стандартное доказательство этого факта состоит в следующем. Рассматривая для интеграла
ZN
I(−∞, x0 ] (x) dFn (x),
x0 ∈ (−L, N )
(?)
−L
суммы Римана-Стилтьеса, нетрудно получить равенство
S =
n−1
X
I(−∞, x0 ] (ξi )[Fn (xi+1 ) − Fn (xi )] = I(−∞, x0 ] (ξi0 )[Fn (xi0 +1 ) − Fn (xi0 )],
i=0
где точки x0 , ξi0 являются внутренними точками частичного отрезка17 [xi0 , xi0 +1 ] :
x0 , ξi0 ∈ (xi0 , xi0 +1 ).
Тогда
S =
Fn (xi0 +1 ) − Fn (xi0 ), при выборе ξi0 < x0 ,
0,
при выборе ξi0 > x0 .
Так как
Fn (xi0 +1 ) − Fn (xi0 ) > 0,
то такие интегральные суммы не могут иметь предела при стремлении диаметра разбиения к нулю. Поэтому интеграл (?) не существует в смысле Римана-Стилтьеса и, строго
говоря, неравенство (21) нельзя получить и с помощью интегрирования (по РимануСтилтьесу) неравенства (20).
Тем не менее неравенство (21) можно получить и с помощью интеграла Римана(1)
Стилтьеса. В самом деле, ввиду непрерывности функции fε (x) существует интеграл
Римана-Стилтьеса
Z∞
fε(1) (x) dFn (x),
−∞
17
Разбиения отрезка [L, N ] с таким свойством могут иметь сколь угодно малый диаметр.
24
причем
Z∞
fε(1) (x) dFn (x)
Zx0
=
−∞
fε(1) (x) dFn (x)
Z∞
+
−∞
fε(1) (x) dFn (x).
x0
Так как для всех x ∈ (−∞, x0 ]
fε(1) (x) ≤ 1,
то
Zx0
fε(1) (x) dFn (x)
Zx0
≤
−∞
Но, ввиду того, что
1 dFn (x) = Fn (x0 ) − Fn (−∞) = Fn (x0 ).
−∞
(1)
fε (x)
= 0 при x ≥ x0
Z∞
fε(1) (x) dFn (x) = 0.
x0
Аналогично,
Z∞
fε(2) (x) dFn (x) =
Zx0
fε(2) (x) dFn (x) +
−∞
−∞
xZ0 +ε
fε(2) (x) dFn (x) +
x0
Z∞
fε(2) (x) dFn (x).
x0 +ε
(2)
Нетрудно видеть, что по свойствам функции fε (x)
Zx0
fε(2) (x) dFn (x)
Z∞
xZ0 +ε
fε(2) (x) dFn (x)
= Fn (x0 );
−∞
≥ 0;
x0
Поэтому
Z∞
fε(2) (x) dFn (x) = 0.
x0 +ε
fε(2) (x) dFn (x) ≥ Fn (x0 ).
−∞
Если же рассматривать при x0 ∈ (−L, N ) интеграл (?) как интеграл Лебега-Стилтьеса, то ввиду того, что индикатор I(−∞, x0 ] (x) является простой функцией, по определению интеграла Лебега-Стилтьеса будем иметь
ZN
I(−∞, x0 ] (x) dFn (x) = 1 · (Fn (x0 ) − Fn (−L)).
−L
И, стало быть,
Z∞
I(−∞, x0 ] (x) dFn (x) = Fn (x0 ).
−∞
Дадим новую формулировку теореме 6. Для этого обозначим через C(R) - пространство непрерывных и ограниченных на вещественной оси функций. Далее, с помощью
произвольной функции распределения G(x) определим на пространстве C(R) линейный
функционал
Z∞
G(ϕ) :=
ϕ(x) dG(x), ϕ(x) ∈ C(R)
−∞
25
Используя новые обозначения, теорему 6 можно переформулировать следующим образом.
w
Теорема 6. Слабая сходимость Fn (x) −→ F (x), эквивалентна сходимости линейных функционалов
Fn (ϕ) −→ F (ϕ)
на пространстве C(R).
Метризация слабой сходимости. Метрика П. Леви.
Для пары произвольных функций распределения F (x) и G(x) на числовой прямой
рассмотрим функционал
L(F, G) = inf {h > 0 : F (x − h) − h ≤ G(x) ≤ F (x + h) + h},
(??)
который носит название расстояния П. Леви между распределениями F и G.
Теорема 7. Функционал L(·, ·) задает метрику во множестве функций распределения на числовой прямой. Сходимость в этой метрике эквивалентна слабой сходимости
w
Fn (x) −→ F (x) ⇐⇒ L(Fn , F ) → 0,
(n → ∞).
Доказательство.
Теорема доказана.
d
P
Задача 1. Если Xn −→ X ≡ c = const, то Xn −→ X.
Решение. Функция распределения константы c
1 для x ≥ c,
F (x) = P{ω : X(ω) ≤ x} =
0 для x < c
непрерывна во всех точках вещественной оси, кроме точки x = c. Поэтому в этой задаче
слабая сходимость означает следующее
1 для x > c,
lim Fn (x) =
0 для x < c.
n→∞
Для любого ε > 0
P{ω : |Xn (ω) − c| > ε} = P{ω : Xn (ω) < c − ε} + P{ω : Xn (ω) > c + ε}.
Используя очевидные соотношения,
P{ω : Xn (ω) < c − ε} ≤ P{ω : Xn (ω) ≤ c − ε} = Fn (c − ε),
P{ω : Xn (ω) > c + ε} = 1 − P{ω : Xn (ω) ≤ c + ε} = 1 − Fn (c + ε),
получим неравенство
P{ω : |Xn (ω) − c| > ε} ≤ Fn (c − ε) + 1 − Fn (c + ε).
Переходя к пределу в этом неравенстве, при n → ∞ получим решение задачи.
d
P
d
Задача 2. Если Xn (ω) −→ X(ω), а Yn (ω) −→ 0, то Xn (ω) + Yn (ω) −→ X(ω).
26
Решение. Пусть F (x) := P{ω : X(ω) ≤ x}. Выбирая ε > 0 так, что x, x−ε, x+ε ∈ CF
нетрудно установить включения
{ω : Xn (ω) + Yn (ω) ≤ x} ⊆ {ω : Xn (ω) ≤ x + ε} ∪ {ω : |Yn (ω)| > ε},
{ω : Xn (ω) ≤ x − ε} ⊆ {ω : Xn (ω) + Yn (ω) ≤ x} ∪ {ω : |Yn (ω)| > ε}.
Тогда
P{ω : Xn (ω) + Yn (ω) ≤ x} ≤ P{ω : Xn (ω) ≤ x + ε} + P{ω : |Yn (ω)| > ε},
P{ω : Xn (ω) ≤ x − ε} ≤ P{ω : Xn (ω) + Yn (ω) ≤ x} + P{ω : |Yn (ω)| > ε}.
Следовательно, обозначая Fn (x) := P{ω : Xn (ω) ≤ x}, будем иметь
Fn (x−ε)−P{ω : |Yn (ω)| > ε} ≤ P{ω : Xn (ω)+Yn (ω) ≤ x} ≤ Fn (x+ε)+P{ω : |Yn (ω)| > ε}.
Переходя в этом неравенстве к пределу при n → ∞, с учетом того, что x − ε, x + ε ∈ CF ,
получим соотношение
F (x − ε) ≤ lim P{ω : Xn (ω) + Yn (ω) ≤ x} ≤ lim P{ω : Xn (ω) + Yn (ω) ≤ x} ≤ F (x + ε).
Теперь перейдем к пределу, устремляя ε → 0 :
F (x) ≤ lim P{ω : Xn (ω) + Yn (ω) ≤ x} ≤ lim P{ω : Xn (ω) + Yn (ω) ≤ x} ≤ F (x).
Следовательно
lim P{ω : Xn (ω) + Yn (ω) ≤ x} = F (x).
n→∞
Задача 3. Если последовательность функций распределения {Fn (x)} слабо сходится к функции распределения F (x) непрерывной на всей вещественной оси, то эта
сходимость равномерна на всей вещественной оси:
w
Fn (x) −→ F (x), и F (x) ∈ C (−∞,∞) ⇒ Fn (x) ⇒ F (x) на R.
Решение. Для произвольного ε > 0 возьмем натуральное m > 1/ε. Ввиду непрерывности функции F (x) найдутся точки x1 < . . . < xm−1 такие, что
F (xi ) =
i
,
m
i = 1, . . . , m − 1.
(!)
Ввиду слабой сходимости, в этих точках для всех n, начиная с некоторого, будут выполнены неравенства
|Fn (xi ) − F (xi )| < ε,
i = 1, . . . , m − 1.
(!!)
В силу неубывания функций распределения, а также свойств (!!) и (!) получаем
следующие неравенства: при x ∈ [ xi , xi+1 ], (i = 1, . . . , m − 2)
Fn (x) − F (x) ≤ Fn (xi+1 ) − F (xi ) ≤ F (xi+1 ) + ε − F (xi ) =
1
+ ε < 2ε.
m
Аналогично, при x ∈ (−∞, x1 ]
Fn (x) − F (x) ≤ Fn (x1 ) ≤ F (x1 ) + ε =
27
1
+ ε < 2ε,
m
и при x ∈ [xm−1 , ∞)
Fn (x) − F (x) ≤ 1 − F (xm−1 ) =
1
< 2ε.
m
Так как
(−∞, x1 ] ∪ [ x1 , x2 ] ∪ . . . ∪ [ xm−2 , xm−1 ] ∪ [xm−1 , ∞) = (−∞, ∞),
то полученная система неравенств эквивалентна одному неравенству:
для любого x ∈ (−∞, ∞) Fn (x) − F (x) < 2ε.
Аналогично можно показать, что для любого x ∈ (−∞, ∞)
F (x) − Fn (x) < 2ε.
Таким образом, для любого ε > 0 для всех достаточно больших n выполняется неравенство
|Fn (x) − F (x)| < 2ε, для любого x ∈ (−∞, ∞).
Задача 4. Если имеет место слабая сходимость
w
Fn (x) −→ F (x),
то
1◦ при xn → +∞,
2◦ при xn → −∞,
lim Fn (xn ) = 1;
n→∞
lim Fn (xn ) = 0.
n→∞
Решение. 1◦ Для любого ε > 0 выберем достаточно большое u ∈ CF такое, что
F (u) > 1 − ε.
Тогда для всех достаточно больших n выполняются неравенства
|Fn (u) − F (u)| < ε.
xn > u и
Поэтому
Fn (xn ) ≥ Fn (u) > F (u) − ε > 1 − 2ε.
Cледовательно,
lim Fn (xn ) = 1.
n→∞
2◦ Для любого ε > 0 выберем u ∈ CF такое, что
F (u) < ε.
Тогда для всех достаточно больших n выполняются неравенства
xn < u и
|Fn (u) − F (u)| < ε.
Поэтому
Fn (xn ) ≤ Fn (u) < F (u) + ε < 2ε.
28
Cледовательно
lim Fn (xn ) = 0.
n→∞
Замечание. Без условия слабой сходимости соотношения 1◦ и 2◦ могут не выполняться. Действительно, пусть
Fn (x) := Φ(x + (−1)n n), (Φ(·) − гауссовское распределение).
Тогда при xn = n
n
Φ(2n),
когда n − четное,
1
Φ(0) = 2 , когда n − нечетное,
Fn (xn ) = Φ(n(1 + (−1) )) =
и при xn = −n
n
Fn (xn ) = Φ(−n(1 − (−1) )) =
Φ(−2n), когда n − нечетное,
Φ(0) = 12 , когда n − четное.
Задача 5. Если на всей вещественной оси имеет место слабая сходимость
w
Fn (x) −→ F (x),
то для любого x∗ ∈ (−∞, ∞) и для любой последовательности xn → x∗ справедливы
неравенства
(?)
F (x∗ −) ≤ lim Fn (xn ) ≤ lim Fn (xn ) ≤ F (x∗ ),
F (x∗ −) ≤ lim Fn (x∗ ) ≤ lim Fn (x∗ ) ≤ F (x∗ ).
(??)
В том случае, когда x∗ ∈ CF
lim Fn (xn ) = lim Fn (x∗ ) = F (x∗ ).
n→∞
n→∞
(? ? ?)
Решение. Вначале рассмотрим случай, когда xn стремится к x∗ слева:
xn → x∗ так, что xn < x∗ .
Для любого ε > 0 выберем u ∈ CF , u < x∗ так, что
F (u) > F (x∗ −) − ε.
Для всех достаточно больших n величины xn и Fn (u) будут достаточно близки к своим
предельным значениям:
u < xn < x∗
|Fn (u) − F (u)| < ε.
и
Следовательно
Fn (x∗ ) ≥ Fn (xn ) ≥ Fn (u) > F (u) − ε > F (x∗ −) − 2ε.
Устремляя n → ∞, будем иметь
lim Fn (x∗ ) ≥ lim Fn (xn ) ≥ F (x∗ −) − 2ε.
Наконец, при ε & 0 получаем неравенство
lim Fn (x∗ ) ≥ lim Fn (xn ) ≥ F (x∗ −).
29
(4?)
С другой стороны, возьмем произвольное v > x∗ , v ∈ CF . Тогда
Fn (xn ) ≤ Fn (x∗ ) ≤ Fn (v).
Устремляя n → ∞, на основе слабой сходимости будем иметь
lim Fn (xn ) ≤ lim Fn (x∗ ) ≤ F (v).
Наконец, переходя верхнему пределу при v & x∗ , учитывая непрерывность справа
функций распределения, получим
lim Fn (xn ) ≤ lim Fn (x∗ ) ≤ F (x∗ ).
(5?)
Объединяя вместе неравенства (4?) и (5?), получим неравенства (?) и (??).
Далее, если x∗ ∈ CF , то F (x∗ −) = F (x∗ ). Поэтому равенства (? ? ?) есть прямое
следствие неравенств (?) и (??).
Теперь рассмотрим случай, когда xn стремится к x∗ справа:
xn → x∗ так, что xn > x∗ .
Ввиду непрерывности функций распределения справа, для любого ε > 0 выберем
u > x∗ , u ∈ CF
так, что
F (u) < F (x∗ ) + ε.
Для всех достаточно больших n величины xn и Fn (u) будут достаточно близки к своим
предельным значениям:
u > xn > x∗
|Fn (u) − F (u)| < ε.
и
Следовательно
Fn (x∗ ) ≤ Fn (xn ) ≤ Fn (u) < F (u) + ε < F (x∗ ) + 2ε.
Устремляя n → ∞, будем иметь
lim Fn (x∗ ) ≤ lim Fn (xn ) ≤ F (x∗ ) + 2ε.
Наконец, при ε & 0 получаем неравенство
lim Fn (x∗ ) ≤ lim Fn (xn ) ≤ F (x∗ ).
(4)
С другой стороны, возьмем произвольное v < x∗ , v ∈ CF , тогда
Fn (v) ≤ Fn (x∗ ) ≤ Fn (xn ).
Устремляя n → ∞, с учетом слабой сходимости будем иметь
F (v) ≤ lim Fn (x∗ ) ≤ lim F (xn ).
Наконец, переходя к нижнему пределу при v % x∗ , получим
Fn (x∗ −) ≤ lim Fn (x∗ ) ≤ lim F (xn ).
30
(5)
Объединяя вместе неравенства (4) и (5), получим неравенства (?) и (??).
Далее, если x∗ ∈ CF , то F (x∗ −) = F (x∗ ). Поэтому и в этом случае равенства (? ? ?)
есть прямое следствие неравенств (?) и (?).
Для завершения доказательства следует заметить, что произвольную последовательность xn → x∗ можно представить в виде объединения двух последовательностей
рассмотренных типов.
Задача 6. Если последовательность функций распределения случайных величин
слабо сходится к непрерывной функции распределения
w
Fn (x) = P{Xn ≤ x} −→ F (x) ∈ C(−∞, ∞) ,
то для любого x0 ∈ (−∞, ∞)
P{Xn = x0 } → 0, при n → ∞.
Решение. Так как то для любого x0 ∈ (−∞, ∞) и для любого m ∈ N
P{Xn = x0 } ≤ P{x0 − 1/m < Xn ≤ x0 } = Fn (x0 ) − Fn (x0 − 1/m),
то
lim P{Xn = x0 } ≤ lim [Fn (x0 ) − Fn (x0 − 1/m)] = F (x0 ) − F (x0 − 1/m).
n→∞
n→∞
Поэтому
lim P{Xn = x0 } ≤ lim [F (x0 ) − F (x0 − 1/m)] = 0.
n→∞
m→∞
Задача 7. Если последовательность функций распределения {Fn (x)} сходится к
функции распределения F (x) для всех x из некоторого всюду плотного множества на
вещественной прямой, то
w
Fn (x) −→ F (x).
Решение. Для решения этой задачи нужно доказать, что
lim Fn (x) = F (x) для всех x ∈ CF .
(•)
n→∞
Пусть x∗ ∈ CF , тогда для любого ε > 0 найдется δ1 (ε) > 0 такое, что
как только x ∈ S(x∗ , δ1 (ε)) ≡ {x : |x − x∗ | < δ1 (ε)},
|F (x) − F (x∗ )| < ε.
то
(••)
Рассмотрим всюду плотное на вещественной прямой множество A такое, что
lim Fn (x) = F (x) для всех x ∈ A.
n→∞
(• • •)
Tогда существует пара точек x0 , x00 ∈ A таких, что
x∗ − δ1 (ε) < x0 < x∗ , x∗ < x00 < x∗ + δ1 (ε).
Так как для точек x0 , x00 выполняется свойство (• • •), то для любого ε > 0 найдется
Nε ∈ N такое, что
как только n > Nε ,
то |Fn (x0 ) − F (x0 )| < ε и
|Fn (x00 ) − F (x00 )| < ε.
Следовательно, ввиду (••),
как только n > Nε ,
то |Fn (x0 ) − F (x∗ )| < 2ε и
31
|Fn (x00 ) − F (x∗ )| < 2ε.
Отсюда, ввиду монотонности функции Fn (x)
Fn (x0 ) ≤ Fn (x∗ ) ≤ Fn (x00 ),
для всех n > Nε получаем неравенство
|Fn (x∗ ) − F (x∗ )| < 2ε.
Cходимость (•) доказана.
Замечание. Так как множество точек разрыва функции распределения (ввиду монотонности) является не более чем счетным, то множество её точек непрерывности
является всюду плотным на вещественной оси.
32