Учебное пособие по математической статистике

www.uchites.ru
Московский авиационный институт
(государственный технический университет)
А.Р. Панков
Е.Н. Платонов
ПРАКТИКУМ
ПО МАТЕМАТИЧЕСКОЙ СТАТИСТИКЕ
ИЗДАТЕЛЬСТВО «МАИ»
Москва
2006
519.2 (075)
K 686
УДК: 519.246.2 (075.8)
Панков А.Р., Платонов Е.Н. Практикум по математической статистике: Учебное пособие. — М.: Изд-во МАИ, 2006.
Данное учебное пособие предназначено для практических занятий и
самостоятельной работы студентов по математической статистике.
ОГЛАВЛЕНИЕ
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Список основных сокращений и обозначений . . . . . . . . .
§ 1. Гауссовский случайный вектор . . . . . . . . . . . . .
§ 2. Сходимость последовательностей случайных величин
§ 3. Центральная предельная теорема . . . . . . . . . . .
§ 4. Закон больших чисел . . . . . . . . . . . . . . . . . .
§ 5. Выборка и ее основные характеристики . . . . . . .
§ 6. Точечные оценки и их свойства . . . . . . . . . . . .
§ 7. Методы построения точечных оценок параметров .
§ 8. Эффективность точечных оценок . . . . . . . . . . .
§ 9. Интервальные оценки параметров . . . . . . . . . . .
§ 10. Проверка параметрических гипотез . . . . . . . . .
§ 11. Проверка непараметрических гипотез . . . . . . . .
§ 12. Метод наименьших квадратов . . . . . . . . . . . .
§ 13. Таблицы . . . . . . . . . . . . . . . . . . . . . . . . .
. . . .
. . . .
. . . .
. . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
. . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
4
5
6
12
15
21
26
33
39
46
54
62
69
75
84
Список литературы . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
87
СПИСОК ОСНОВНЫХ
ПРЕДИСЛОВИЕ
Данное учебное пособие предназначено для методического обеспечения практических занятий и самостоятельной работы студентов в
рамках курса “Математическая статистика”, изучаемого на факультете
“Прикладной математики и физики” МАИ в объеме 32 часов лекций и
32 часов практических занятий.
Пособие состоит из тринадцати разделов. Первые четыре раздела
посвящены более углубленному изучению разделов курса теории вероятностей, имеющих особое значение для математической статистики
(гауссовское многомерное распределение, сходимость последовательностей случайных величин, законы больших чисел, центральная предельная теорема). Разделы с пятого по двенадцатый посвящены изучению
важнейших понятий и методов собственно математической статистики (выборочный метод, оценки параметров и методы их построения,
проверка статистических гипотез, линейный регрессионный анализ). В
последнем разделе приведены таблицы, используемые для статистических расчетов. Каждый из разделов содержит три подраздела: в первом
содержатся основные определения и утверждения (в виде лемм, теорем
и следствий), во втором приведены важные с методической точки зрения примеры, снабженные подробными решениями и комментариями, а
в третьем подразделе приведены условия задач, предназначенных для
самостоятельной работы студентов. Все задачи снабжены указаниями и
ответами.
При подготовке материала пособия авторы пользовались источниками [5, 7 − 9] (теория вероятностей), [2, 4 − 8] (математическая статистика), [1, 3, 4] (примеры и задачи), в которых могут быть найдены доказательства основных теоретических положений, дополнительные примеры
и задачи.
Пособие ориентировано не только на студентов, обучающихся по специальности “Прикладная математика”, но также на студентов технических университетов, специализирующихся в области теории управления,
обработки информации, экономической статистики, социологии.
СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ
СВ — случайная величина или случайный вектор;
СП — случайная последовательность;
Rn — n-мерное (вещественное) евклидово пространство;
A∗ — транспонированная матрица;
A−1 — обратная матрица;
I — единичная матрица;
tr[A] — след матрицы A;
det[A] — определитель матрицы A;
A > 0 — неотрицательно определенная матрица;
exp{x} = ex — экспонента;
max(x 1, . . . , x n) — максимум из
x 1 , . . . , x n;
arg min f (x) — точка минимума фунx∈X
кции f (x) на множестве X;
Ω — пространство элементарных событий (исходов) ω;
F — σ-алгебра случайных событий
(подмножеств Ω);
P{A} — вероятность (вероятностная
мера) события A;
{Ω, F , P} — основное вероятностное
пространство;
∅ — невозможное событие;
Fξ (x) — функция распределения
СВ ξ;
ξ ∼ F (x) — СВ ξ имеет распределение
F (x);
p ξ(x) — плотность распределения
СВ ξ;
m ξ = M{ξ} — математическое ожидание (среднее) СВ ξ;
Dξ = D{ξ} — дисперсия СВ ξ;
cov{ξ, η} — ковариация СВ ξ и η;
◦
ξ — центрированная СВ ξ;
Π(λ) — распределение Пуассона с параметром λ;
Bi(N ; p) — биномиальное распределение с параметрами N , p;
R[a; b] — равномерное распределение
на отрезке [a, b];
E(λ) — экспоненциальное распределение с параметром λ;
N (m; D) — гауссовское распределение
со средним m и дисперсией (ковариационной матрицей) D;
Ψ X (λ) — характеристическая функция n-мерного гауссовского распределения:
χ 2n, H n — распределение хи-квадрат с
n степенями свободы;
T r — распределение Стьюдента c r
степенями свободы;
Φ(x) — интеграл вероятностей (функция Лапласа);
p
ξn −→ ξ — сходимость по вероятности;
с.к.
ξn −−−→ ξ — сходимость в среднем кавдратическом (с.к.-сходимость);
п.н.
ξn −−−→ ξ — сходимость почти наверное;
d
ξn −→ ξ — сходимость по распределению (слабая сходимость);
uα — квантиль уровня α распределения N (0; 1);
kα (n) —- квантиль уровня α распределения H n;
t α(r) — квантиль уровня α распределения T r
6
ГАУССОВСКИЙ СЛУЧАЙНЫЙ ВЕКТОР
§ 1.
§ 1. Гауссовский случайный вектор
1.1. Теоретические положения. Пусть m X ∈ Rn — произвольный
вектор, а K X ∈ Rn×n — симметричная неотрицательно определенная
матрица (K X = K X ⊤ , KX > 0).
О п р е д е л е н и е 1.1. Случайный вектор X ∈ Rn имеет n-мерное
гауссовское распределение с параметрами (m X ; K X ), если его характеристическая функция Ψ X (λ), λ ∈ Rn имеет вид
1 ⊤
⊤
Ψ X (λ) = exp iλ m X − λ K X λ ,
2
1
−2
n
o
1
exp − (x − m X )⊤ K −1
(x
−
m
)
X
X
2
(1.2)
Гауссовский вектор X имеет следующие основные свойства.
1) Если A ∈ Rm×n , b ∈ Rm — неслучайные матричные параметры,
X ∼ N (m X ; K X ), а Y = AX + b, то X ∼ N (m Y ; K Y ), где
m Y = Am X + b;
K Y = AK X A⊤ .
ГАУССОВСКИЙ СЛУЧАЙНЫЙ ВЕКТОР
(1.3)
Из (1.3) следует, в частности, что любой подвектор гауссовского вектора также является гауссовским. Например, если X i — i-ая компонента
вектора X, то X i ∼ N (m i; σ 2i ), где m i — i-ая компонента m X , а σ 2i — i-й
диагональный элемент матрицы K X .
2) Если X ∼ N (m X ; K X ), причем компоненты {X 1, . . . , X n} вектора
X некоррелированы (т.е. K X — диагональная матрица), то случайные
величины {X 1, . . . , X n} независимы в совокупности. Наоборот, произвольная совокупность {X 1, . . . , X n} независимых гауссовских случайных
величин образует гауссовский случайный вектор.
7
Пусть Z = {X ⊤ , Y ⊤ }⊤ — гауссовский вектор. Обозначим m X =
= M{X}, m Y = M{Y }, K X = cov(X, X), K Y = cov(Y, Y ), K XY =
= cov(X, Y ), где M{·} — математическое ожидание, а cov(·, ·) — ковариация.
Т е о р е м а 1.1. Пусть K Y > 0. Условное распределение вектора X
относительно Y является гауссовским с параметрами m X| Y и K X| Y ,
где
m X| Y = m X + K XY K −1
Y (Y − m Y ) ,
⊤
(1.1)
где i — мнимая единица (i2 = −1).
Обозначение: X ∼ N (m X ; K X ).
Параметры m X и K X являются, соответственно, математическим
ожиданием и ковариационной матрицей вектора X.
О п р е д е л е н и е 1.2. Гауссовский вектор X называется невырожденным, если матрица K X — положительно определенная (K X > 0).
Если K X > 0, а ∆ X = det[K X ] — определитель матрицы K X , то X
имеет в каждой точке x ∈ Rn плотность вероятности следующего вида:
p X (x) = [(2π)n ∆ X ]
§ 1.
K X| Y = K X − K XY K −1
Y (K XY ) .
(1.4)
(1.5)
Случайный вектор m X| Y называется условным математическим
ожиданием X относительно Y , а неслучайная матрица K X| Y — условной
ковариационной матрицей.
Предположим, что требуется найти приближенное значение вектора
X ∈ Rp по наблюдениям Y ∈ Rq , причем Z = {X ⊤ , Y ⊤ }⊤ ∈ Rn , n = p +
+ q — гауссовский вектор.
О п р е д е л е н и е 1.3. Оценкой для X по наблюдениям Y будем назыe = ϕ(Y ), где ϕ(·) — произвольная борелевская
вать случайный вектор X
функция, отображающая Rq в Rp . Величина
n
o
e 2 = M |X − ϕ(Y )|2
J(ϕ) = M |X − X|
(1.6)
называется среднеквадратической погрешностью (с.к.-погрешностью)
e = ϕ(Y ).
оценки X
b = ϕ(Y
О п р е д е л е н и е 1.4. Оценка X
b ) называется с.к.-оптимальной
оценкой для X по наблюдениям Y , если
J(ϕ)
b 6 J(ϕ),
∀ϕ ∈ B,
где B — класс всех борелевских отображений Rq → Rp .
Т е о р е м а 1.2. Пусть K Y > 0, тогда
b = ϕ(Y
X
b ) = m X + K XY K −1
Y (Y − m Y ),
⊤
J(ϕ)
b = min J(ϕ) = tr K X − K XY K −1
,
Y (K XY )
ϕ∈B
где tr[A] — след матрицы A.
(1.7)
(1.8)
8
ГАУССОВСКИЙ СЛУЧАЙНЫЙ ВЕКТОР
§ 1.
b в гауссовТеорема 1.2 дает явный вид (1.7) с.к.-оптимальной оценки X
b
ском случае, причем из (1.4) и (1.7) следует, что X совпадает с условным
математическим ожиданием m X| Y . При этом ковариационная матрица
b − X оценки X
b совпадает с
K ∆X = M ∆X(∆X)⊤ ошибки ∆X = X
условной ковариационной матрицей K X| Y , которая в гауссовском случае
оказывается неслучайной в силу (1.5).
1.2. Примеры.
П р и м е р 1.1. Доказать, что линейное преобразование Y = AX +
+ b гауссовского вектора X также является гауссовским вектором с
параметрами, определенными в (1.3).
Р е ш е н и е. Пусть X ∼ N (m X ; K X ), тогда из (1.1) следует, что
Ψ X (λ) = exp iλ⊤ m X − 12 λ⊤ K X λ .
(1.9)
Найдем характеристическую функцию Ψ Y (λ):
Ψ Y (λ) = M exp λT Y
= M exp iλ⊤ (AX + b) =
= exp iλ⊤ b M exp iλ⊤ AX
= exp iλ⊤ b Ψ X (γ),
где γ = A⊤ λ. Используя (1.9), из последнего выражения получаем
Ψ Y (λ) = exp iλ⊤ b exp iγ ⊤ m X − 12 γ ⊤ K X γ =
= exp iλ⊤ (Am X + b) − 12 λ⊤ (AK X A⊤ )λ .
Из полученного выражения для Ψ Y (λ) и определения 1.1 следует:
Y ∼ N Am X + b; AK X A⊤ ,
что согласуется с (1.3).
П р и м е р 1.2. Двумерный гауссовский вектор X = {X 1, X 2}⊤ имеет
плотность вероятности
p X (x 1, x 2) = Cexp{− 21 Q(x 1, x 2)} ,
где Q(x 1, x 2) = 2x 21 + 3x 22 + 2x 1x 2 − 8x 1 − 14x 2 + 18.
Найти закон распределения СВ η = 2X 1 − X 2 и вычислить C.
§ 1.
ГАУССОВСКИЙ СЛУЧАЙНЫЙ ВЕКТОР
9
Р е ш е н и е. Пусть x = {x 1, x 2}⊤ , X ∼ N (m X ; K X ), тогда из (1.2)
получаем, что Q(x) = (x − m X )⊤ K −1
X (x − m X ), причем K X > 0, так как
X невырожден по условию.
Очевидно, что Q(x) > Q(m X ) = 0 для любых x ∈ R2 . Поэтому
m X найдем из условия m X = arg min Q(x). Воспользуемся необходимым
x
условием экстремума:
 ∂Q(x)

 ∂x = 4x 1 + 2x 2 − 8 = 0,
1
(1.10)

 ∂Q(x) = 2x + 6x − 14 = 0.
1
2
∂x 2
Решая систему уравнений (1.10), находим m 1 = M{X 1} = 1; m 2 =
= M{X 2} = 2. Итак, m X = {1; 2}⊤ .
Теперь найдем K −1
X , оставив в выражении для Q(x) только квадратичные члены:
2
2
x⊤ K −1
X x = 2x 1 + 3x 2 + 2x 1x 2.
2 1
−1
Из последнего выражения следует, что K X =
. Таким обра1 3
0,6 −0,2
зом, K X =
. Так как ∆ X = det [K X ] = 0,2, то C =
−0,2
0,4
√
−1
p
5
=
= 2π ∆X
.
2π
Так как по условию
η = AX, где A = [2; −1], то η ∼
∼ N Am X ; AK X A⊤ . Используя найденные параметры m X и K X распределения X, находим
1
= 0;
mη = Am X = [2; −1]
2
0,6 −0,2
2
⊤
Dη = AK X A = [2; −1]
= 3,6.
−0,2
0,4
−1
Итак, η ∼ N (0; 3,6).
П р и м е р 1.3. Пусть Y = X + ε, где X ∼ N (m X ; D X ), D X > 0, ε ∼
∼ N (m ε; D ε), причем СВ X и ε — независимы. Найти с.к.-оптимальные
оценки для Y по наблюдению X и для X по наблюдению Y .
Р е ш е н и е. По условию СВ X и Y образуют гауссовский вектор.
Тогда по теореме 1.2
Yb = ϕ(X)
b
= m Y | X = m Y + K Y X K −1
X (X − m X ).
10
§ 1.
ГАУССОВСКИЙ СЛУЧАЙНЫЙ ВЕКТОР
KY X
◦ ◦
◦
◦
◦
= cov(Y, X) = M Y X = M X + ε X = D{X} + K εX = D X ,
так как K εX = cov(ε, X) = 0 по условию.
K X = cov(X, X) = D{X} = D X ,
§ 2.
11
ГАУССОВСКИЙ СЛУЧАЙНЫЙ ВЕКТОР
где σξ =
p
1
Dξ = 2, а Φ(x) = √
2π
Zx
t2
e− 2 dt — функция Лапласа
−∞
(интеграл вероятностей).
m Y = M{X + ε} = m X + m ε.
1.3. Задачи для самостоятельного решения.
Таким образом,
Yb = m X + m ε + D X D −1
X (X − m X ) = X + m ε.
b )=m
b = ψ(Y
Найдем теперь X
X| Y . По теореме 1.2
b = m + K K −1 (Y − m ) = m + D K −1 (Y − m − m ).
X
X
XY
Y
Y
X
X Y
X
ε
K Y = cov(Y, Y ) = D{Y } = D{X + ε} = D{X} + D{ε} = D X + D ε
с учетом того, что X и ε независимы. Итак,
b =m
X
X
2
exp{−Q(x, y)}, где Q(x, y) = 2x2 + 1,5y 2 − 2xy + 2x + 6y + 18. Вычислить
π
P(X > Y ).
r «
„
5 2
.
О т в е т. 1 − Φ −
DX + Dε
Таким образом, информация об X в виде измерения Y позволяет уточe = m , дисперсия ошибки которой
нить
оценку для X: X
X
n тривиальную
o
e =D .
D ∆X
X
П р и м е р 1.4. Характеристическая
функция вектора X = {X 1, X 2}⊤
имеет вид Ψ X (λ) = exp −(λ 21 + λ 22 ) . Вычислить P (|X 1 − X 2| 6 6).
Р е ш е н и е. Из (1.1) следует, что компоненты X 1 и X 2 независимы и
распределены по закону N (0; 2). Поэтому ξ = X 1 − X 2 ∼ N (m ξ; D ξ), где
m ξ = M{X 1 − X 2} = 0, а D ξ = D{X 1 − X 2} = D X1 + D X2 = 4.
Таким образом,
−6 − mξ
6 − mξ
−Φ
P (|X 1 − X 2| 6 6) = P(−6 6 ξ 6 6) = Φ
σξ
3
3. Известно, что X ∼ N (m X ; K X ), где m X =
b =X
b − X оценки можно вычисЗаметим, что дисперсию ошибки ∆X
лить по формуле (1.5):
n
o
−1
⊤
b =K
D ∆X
X| Y = D X − K XY K Y (K XY ) =
D 2X
DX
= DX −
= DX 1 −
< D X.
= Φ(3) − Φ(−3) = 0,997,
=
2
DX
+
(Y − m X − m ε).
DX + Dε
DX + Dε
1. Пусть компоненты вектора X — независимые гауссовские величины с параметрами (0; 1). Найти преобразование Y = ϕ(X) такое, что Y ∼ N (m Y ; K Y )
для заданных параметров m Y и K Y .
У к а з а н и е. Воспользоваться факторизацией KY = AA⊤ .
2. Случайный вектор Z = {X, Y }⊤ имеет плотность вероятности p Z (x, y) =
√
σξ
»
−1
2
–
, KX =
»
Найти плотность вероятности вектора X.
˘
`
´¯
1
О т в е т. p X (x, y) = √ exp − 27 x2 + 2y 2 − xy + 4x − 9y + 11 .
2
0,5
0,5
1
–
.
π 7
4. В условиях задачи 3 найти характеристическую
»
–функцию
» и плотность
–
1
3
−2
вероятности первой компоненты вектора Y =
X+
.
0 −2
2
˘
¯
2
2
О т в е т. ΨY (λ) = exp 3iλ 1 − 2iλ 2 + 7λ 1λ 2 − 7λ 1 − 2λ 2 ; p Y1 (x) =
ff

1
(x − 3)2
.
= (28π)− 2 exp −
28
5. Случайный
= {X,¯Y }⊤ имеет ˘характеристическую
функцию
¯
˘ вектор Z
2
Ψ Z (λ 1, λ 2) = exp λ 1λ 2 − λ 1 − 1,5λ 22 . Найти M (X − Y )2 .
О т в е т. 7.
6. Получены два наблюдения Y k = 2X + ε k, k = 1, 2 случайной величины
X ∼ N (1; 4). Ошибки наблюдения ε 1 и ε 2 не зависят друг от друга и от X
b для X по
и имеют распределение N (0; 1). Найти с.к.-оптимальную оценку X
наблюдениям Y = {Y 1, Y 2}⊤ .
b = 8(Y 1 + Y 2) + 1 .
О т в е т. X
33
b — с.к.-оптимальная
7. Пусть {X ⊤ , Y ⊤ }⊤ — гауссовский вектор, K Y > 0, X
b − X — ее ошибка. Доказать, что
оценка для X по Y , а ∆X = X
а) M{∆X} = 0;
⊤
б) K ∆X = K X − K XY K −1
Y (K XY ) ;
b
в) случайные векторы ∆X и X независимы.
12
§ 2.
СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ВЕЛИЧИН
§ 2. Сходимость последовательностей случайных
величин
2.1. Теоретические положения. Пусть {X 1, . . . , X n, . . . } — последовательность произвольных случайных величин (заданных на одном
вероятностном пространстве {Ω, F, P}).
О п р е д е л е н и е 2.1. X n → X по вероятности, если для любого ε > 0
lim P (|X n − X| > ε) = 0.
§ 2.
=
13
СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ВЕЛИЧИН
\ [
A k — событие, состоящее в том, что произойдет бесконечно
n>1 k>n
много событий {A i}. Тогда
1) если
∞
X
k=1
P(A k) < ∞, то P(B) = 0;
2) если {A 1, A 2, . . . , A n, . . . } независимы и
∞
X
k=1
P(A k) = ∞, то
P(B) = 1.
n→∞
О п ре д е л е н и е 2.2. X n → X в среднем квадратическом, если
lim M |X n − X|2 = 0.
n→∞
О п р е д е л е н и е 2.3. X n → X почти
наверное (с вероятностью 1),
если P ω ∈ Ω : lim X n(ω) = X(ω) = 1.
n→∞
Указанные виды сходимости будем обозначать, соответственно,
p
п.н.
с.к.
X n −→ X, X n −−−→ X, X n −−−→ X, n → ∞.
Перечислим некоторые свойства сходящихся последовательностей.
p
п.н.
с.к.
1) Если X n −−−→ X или X n −−−→ X, n → ∞, то X n −→ X, n → ∞.
п.н.
п.н.
2) Если X n −−−→ X, Y n −−−→ Y , n → ∞, a, b = const, тогда
п.н.
aX n + bY n −−−→ aX + bY , n → ∞.
3) Пусть g(x) — произвольная борелевская функция, заданная на пряп.н.
мой R1 , а A — множество точек разрыва функции g(x). Если X n −−−→ X,
п.н.
n → ∞, причем P(X ∈ A) = 0, то g(X n) −−−→ g(X), n → ∞.
с.к.
4) Если X n ∼ N (m n; D n) и X n −−−→ X, n → ∞, то X ∼ N (m X ; D X ),
где m X = lim m n, D X = lim D n, причем пределы существуют и
n→∞
n→∞
конечны.
5) Свойства 2) и 3) справедливы для сходимости по вероятности, а
свойство 2) — для с.к.-сходимости.
Для исследования сходимости последовательностей имеют важное
значение следующие вспомогательные утверждения.
Т е о р е м а 2.1. Для любых ε > 0 выполнено неравенство Чебышева
˘ ¯
M ξ 2n
P (|ξn | > ε) 6
.
ε2
2.2. Примеры.
p
p
П р и м е р 2.1. Пусть X n −→ X, Y n −→ Y , n → ∞. Показать, что
p
X n + Y n −→ X + Y , n → ∞.
Р е ш е н и е. Пусть ε > 0, тогда
P (|(X n + Y n) − (X + Y )| > ε) = P (|(X n − X) + (Y n − Y )| > ε) 6
6 P (|X n − X| + |Y n − Y | > ε) 6
ε
ε
6 P |X n − X| >
+ P |Y n − Y | >
→ 0,
2
2
n → ∞,
так как P (|X n − X| > δ) → 0, P (|Y n − Y | > δ) → 0, n → ∞ для любого
δ > 0 по условию.
П р и м е р 2.2. Пусть {X n, n = 1, 2, . . . } — последовательность независимых случайных величин, M{X n} = 0, D{X n} 6 D < ∞, а Y n =
= n−α
n
X
k=1
p
1
2
X k. Показать, что Y n −→ 0, если α > .
Р е ш е н и е. M{Y n} = n−α
(
2
M Y n = D n−α
n
X
Xk
k=1
)
n
X
k=1
M{X k} = 0. Следовательно,
= n−2α
n
X
k=1
D{X k} 6 n−2α nD =
1
По условию α = + γ, где γ > 0. Отсюда n2α−1 = n2γ .
2
Из неравенства Чебышева для ε > 0
(2.1)
Т е о р е м а 2.2 (Борель-Кантелли). Пусть {A 1, A 2, . . . , A n, . . . } —
бесконечная последовательность случайных событий, а B
=
P (|Y n| > ε) 6
p
˘ ¯
M Y 2n
D
6 2γ 2 → 0,
ε2
n ε
так как γ > 0. Итак, Y n −→ 0, n → ∞.
n → ∞,
D
.
n2α−1
14
§ 2.
СХОДИМОСТЬ ПОСЛЕДОВАТЕЛЬНОСТЕЙ СЛУЧАЙНЫХ ВЕЛИЧИН
Следующие два примера показывают, что из сходимости по вероятности не следуют сходимости почти наверное и в среднем квадратическом.
П р и м е р 2.3. Пусть X n при каждом n > 1 имеет плотность веро1
p
n
ятности p Xn (x) =
. Доказать, что X n −→ 0, n → ∞, но не
π 1 + (nx)2
сходится к нулю в среднем квадратическом.
Р е ш е н и е.
=
P (|X n| 6 ε)
1
π
=
Zε
−ε
ndx
1 + (nx)2
=
2
π
nε
Z
0
dy
1 + y2
=
π
2
arctg(nε) → 1, n → ∞, так как при ε > 0 arctg(nε) → arctg(∞) = .
π
2
p
Отсюда P (|X n| > ε) = 1−P (|X n| 6 ε) → 0, n → ∞, т.е. X n −→ 0, n → ∞.
∞
∞
Z
Z
2
2
2
x2 n dx
y 2 dy
=
= +∞, поэтому
Однако, M X n =
2
2
2
π
1 + (nx)
πn
1+y
0
0
M X 2n не сходится к нулю при n → ∞, т.е. X n не сходится к нулю
в среднем квадратическом.
П р и м е р 2.4. Пусть {X n, n = 1, 2, . . . } — последовательность независимых случайных величин с распределениями P(X n = 0) = 1 − n1 ,
p
P(X n = 1) = n1 . Доказать, что X n −→ 0, n → ∞, но X n не сходится к
нулю почти наверное.
1
1
1
+ 1 · = → 0, n → ∞. Поэтому
Р е ш е н и е. M X 2n = 0 · 1 −
n
с.к.
n
p
\ [
Ak
= 0. Так как по условию P(A k) = P(X k =
n>1 k>n
∞
∞
X
X
1
1
= 1) = , получаем
P(A k) =
= +∞, что с учетом теоремы
k
k
k=1
k=1
Бореля-Кантелли и независимости событий {A k} означает: P(B) = 1.
Итак, {X n} не сходится к нулю почти наверное, так как P(B) > 0.
2.3. Задачи для самостоятельного решения.
p
p
15
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
X
п.н.
2. Пусть P(|X| < ∞) = 1, а X n = . Доказать, что X n −−−→ 0, n → ∞.
n
У к а з а н и е. Воспользоваться определением п.н.-сходимости.
3. Доказать, что из сходимости почти наверное не следует сходимость в
среднем квадратическом.
У к а з а н и е. Рассмотреть случайную величину X n с распределением
P(X n = 0) = 1 −
1
1
, P(X n = 1) = 2 .
n2
n
4. Пусть {ξn , n = 1, 2, . . . } — последовательность независимых случайных
√ √
величин, причем ξn имеет равномерное распределение на отрезке [− 4 n; 4 n].
p
Доказать, что X n −→ 0, n → ∞, если X n =
n
1 X
ξk .
n k=1
У к а з а н и е. Вычислить дисперсию D{X n}.
5. Случайные величины {ξk , k = 1, 2, . . . } независимы, причем ξk ∼
∼ N (ak ; D), D < ∞, k = 1, 2, . . . . Доказать, что X n =
n
1 X
с.к.
(ξk − ak )2 −−−→ D,
n k=1
n → ∞.
˘
¯
У к а з а н и е. Учесть, что M (ξ − m)4 = 3D2 , если ξ ∼ N (m; D).
6. Доказать,
∞
X
k=1
что
Xn
п.н.
−−−→
X,
n
→
∞,
если
числовой
ряд
P(|X n − X| > ε) сходится для любого ε > 0.
У к а з а н и е. Воспользоваться теоремой Бореля-Кантелли.
n
X n −−−→ 0, n → ∞ и, следовательно, X n −→ 0, n → ∞ (что следует из
неравенства Чебышева).
п.н.
Обозначим A k = {X k = 1}. Если X n −−−→ 0, то из последовательности {A k, k = 1, 2, . . . } может
! произойти только конечное число событий,
т.е. P(B) = P
§ 3.
p
1. Доказать, что из X n −→ X, Y n −→ Y , n → ∞ следует aX n +bY n −→ aX +
+ bY , n → ∞ для любых чисел a, b.
У к а з а н и е. Воспользоваться результатом примера 2.1.
§ 3. Центральная предельная теорема
3.1. Теоретические положения. Пусть {X n, n = 1, 2, . . . } — последовательность случайных величин. Пусть также B — любое борелевское множество действительной оси R1 , а ∂B — его граница.
О п р е д е л е н и е 3.1. Последовательность {X n, n = 1, 2, . . . } сходится по распределению к случайной величине X, если для любого B такого,
что P (X ∈ ∂B) = 0, выполнено
P(X n ∈ B) → P(X ∈ B),
n → ∞.
(3.1)
Сходимость по распределению, которую также называют слабой сходимостью, будем обозначать
d
X n −→ X,
n → ∞.
(3.2)
16
§ 3.
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Пусть F n(x) и F X (x) — функции распределения, соответственно, X n
и X.
Т е о р е м а 3.1. Следующие три утверждения эквивалентны:
§ 3.
Пусть теперь {ξk , k = 1, 2, . . . } — последовательность независимых
случайных величин с параметрами
p
d
Т е о р е м а 3.2. Если X n −→ X, n → ∞, то X n −→ X, n → ∞.
Таким образом, слабая сходимость случайной последовательности
следует из сходимости по вероятности, а, следовательно, из сходимости
почти наверное и сходимости в среднем квадратическом.
В одном важном частном случае сходимость по распределению и
d
сходимость по вероятности эквивалентны: если X n −→ a, n → ∞, где
p
a = const, то X n −→ a, n → ∞.
Для установления факта слабой сходимости обычно используется
следующее утверждение.
Т е о р е м а 3.3. Пусть Ψ n(λ) и Ψ(λ) — характеристические функции,
соответственно, X n и X. Пусть также для любого λ ∈ R1
Ψ n(λ) → Ψ(λ),
d
d
X n −→ X,
Рассмотрим случайную последовательность сумм этих величин:
Xn =
n → ∞, где X ∼ N (m; σ 2 ).
(3.3)
Из определения 3.2 и теоремы 3.1 следует, что для любого x ∈ R1
x−m
F n(x) → Φ
, n → ∞.
(3.4)
σ
Практическое значение (3.4) состоит в том, что СВ X n можно считать
нормально распределенной с параметрами (m; σ 2 ), если n достаточно
велико.
n
X
ξk ,
(3.5)
n = 1, 2, . . .
k=1
Очевидно, M{X n} = na, D{X n} = nσ 2 .
Введем стандартизованную сумму
− na
e = Xn √
,
X
n
σ n
(3.6)
n = 1, 2, . . .
n o
n o
e
e
Нетрудно проверить, что M X
=
0,
D
X
n
n = 1.
Следующее утверждение, называемое центральной предельной теоремой (ЦПТ), имеет особое значение для математической статистики.
Т е о р е м а 3.4 (ЦПТ для одинаково распределенных слагаемых).
Пусть случайные величины {ξk , k = 1, 2, . . . } одинаково распределены,
e , n = 1, 2, . . . } асимптотически нортогда последовательность {X
n
мальна с параметрами (0; 1).
С л е д с т в и е 3.1. Для любых чисел a 6 b выполнено
n → ∞.
Тогда X n −→ X, n → ∞.
Особое значение в статистике имеет случай, когда предельная случайная величина X имеет нормальное распределение.
О п р е д е л е н и е 3.2. Последовательность {X n, n = 1, 2, . . . } называется асимптотически нормальной с параметрами (m; σ 2 ), если
D{ξk } = σ 2 > 0.
M{ξk } = a;
d
1) X n −→ X, n → ∞;
2) F n(x) → F X (x), n → ∞ для любой точки непрерывности функции
F X (x);
3) M{g(X n)} → M{g(X)}, n → ∞ для любой непрерывной и ограниченной на R1 функции g(x).
17
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
e 6 b) → Φ(b) − Φ(a),
P(a 6 X
n
n → ∞.
(3.7)
С л е д с т в и е 3.2 (Интегральная теорема Муавра-Лапласа). Пусть
X n — число успехов в серии из n испытаний Бернулли, а p — вероятность успеха в одном испытании. Тогда при n → ∞
Xn − np
d
p
−→ X ∼ N (0; 1).
np(1 − p)
(3.8)
Если слагаемые {ξk , k = 1, 2, . . . } распределены не одинаково, то
утверждение, аналогичное ЦПТ, останется в силе при некоторых дополнительных ограничениях.
Пусть M{ξk } = ak , D{ξk } = σ 2k, M |ξk − ak |3 = c 3k. Обозначим A n =
= M{X n} =
n
X
k=1
a k, D 2n = D{X n} =
n
X
k=1
σ 2k, C 3n =
n
X
3
c k.
k=1
Т е о р е м а 3.5 (Ляпунов). Пусть A n, D n, C n конечны при всех n > 1,
C
e , n = 1, 2, . . . },
причем D n → 0, n → ∞. Тогда последовательность {X
n
n
e = Xn − An , асимптотически нормальна с параметрами (0; 1).
где X
n
Dn
2 А.Р. Панков и Е.Н. Платонов
18
§ 3.
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
3.2. Примеры.
П р и м е р 3.1. Доказать интегральную теорему Муавра-Лапласа
(следствие 3.2).
§ 3.
Р е ш е н и е.
n
X
k=1
Поэтому M{X n} =
k=1
M{ξk } = np, а D{X n} =
n
X
k=1
D{ξk } = np (1 − p).
en = pXn − np
Поэтому последовательность стандартизованных сумм X
np (1 − p)
асимптотически нормальна по теореме 3.4.
П р и м е р 3.2. Симметричная монета подбрасывается 10000 раз. Используя ЦПТ, оценить вероятность того, что “герб” выпадет более 6000
раз. Указать реальные пределы изменения числа выпавших “гербов”.
Р е ш е н и е. Из условия следует, что рассматривается схема из n =
= 10000 испытаний Бернулли с p = 0,5. Тогда, если X n — число
выпавших “гербов”, то M{X n} = np = 5000, D{X n} = np (1−p) = 2500. В
en = pXn − np = Xn − 5000 ∼
силу ЦПТ с учетом n ≫ 1 полагаем, что X
np (1 − p)
∼ N (0; 1).
50
Xn − 5000
en > 20) = 1 −
> 20 = P(X
Отсюда P(X n > 6000) = P
50
∼
− Φ(20) = 0. Таким образом, событие {X n > 6000} представляется
совершенно невероятным.
В силу приведенных выше рассуждений можно считать, что X n ∼
∼ N (5000; 502 ). Известно, что если X ∼ N (m X ; σ 2X), то P(m X − 3σ X 6
6 X 6 m X +3σ X ) = Φ(3)−Φ(−3) ∼
= 0,997. Поэтому P(5000−3·50 6 X n 6
6 5000 + 3 · 50) = P(4850 6 X n 6 5150) = Φ(3) − Φ(−3) ∼
= 0,997. Таким
образом, с вероятностью, близкой к 1, число выпавших “гербов” X n будет
лежать в промежутке от 4850 до 5150, т.е. отличаться от ожидаемого
числа 5000 не более чем на 150.
p (1 − p)
. Поэтому
n
Xn
x
−p6 √
n
n
F n(x) = P(Y n 6 x) = P
Xn − np
x
p
p
=P
=
6
p (1 − p)
np (1 − p)
x
en 6 p x
→Φ p
=P X
ξk , где ξk —
результат k-го испытания, т.е. случайная величина с распределением
P(ξk = 1) = p, P(ξk = 0) = 0. По условию случайные величины {ξk }
независимы в совокупности, причем M{ξk } = p, D{ξk } = p (1 − p).
n
X
Так как в примере 3.1 показано, что M{X n} = np,
D{X n} = np (1 − p), то M{P ∗n} = p, D{P ∗n} =
Р е ш е н и е. Пусть X n — число “успехов” в серии из n испытаний
Бернулли с вероятностью “успеха” p. Тогда X n =
19
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
p (1 − p)
p (1 − p)
=
,
n → ∞.
С учетом утверждения теоремы 3.1 и определения 3.2 заключаем, что
d
Y n −→ Y , n → ∞, где Y ∼ N (0; p (1 − p)), т.е. {Y n} асимптотически
нормальна с параметрами (0; p (1 − p)).
Заметим,
что при
n ≫ 1 полученный результат позволяет считать, что
p (1−p)
∗
P n ∼ N p; n
.
n
X
П р и м е р 3.4. Пусть X n =
k=1
ξk , где ξk ∼ R[−k; k], а случайные
величины {ξk , k = 1, 2, . . . } независимы в совокупности. Доказать, что
en = Xn , где D 2 = D{X } асимптотически норпоследовательность X
n
n
Dn
мальна с параметрами (0; 1).
Р е ш е н и е. По условию a k = M{ξk } =
=
=
(k − (−k))2
k2
= . Вычислим M |ξk |3 : c 3k = M |ξk |3 =
12
3
1
k
Zk
0
x3 dx =
−k
|x|3
1
dx =
2k
k
. Таким образом,
4
C 3n =
X
D 2n =
n
X
σ 2k =
c 3k =
1
4
n
n (n + 1) (2n + 1)
1 X 2
k =
;
3
18
k=1
k=1
n
X
k=1
n
X
k=1
k3 =
n2 (n + 1)2
.
16
Из полученных выражений следует, что
√
3
Cn
n4 + 2n3 + n2
−1/6
→ 0,
=
O
n
= α√
2
3
2
Dn
2*
Zk
3
A n = M{X n} = 0;
П р и м е р 3.3. Пусть P ∗n = n — частота появления события A в
n
схеме из n испытаний Бернулли, где X n — количество появлений
√ события
A, а p = P(A). Доказать, что последовательность Y n = n (P ∗n − p)
асимптотически нормальна с параметрами (0; p (1 − p)).
k + (−k)
= 0; σ 2k = D{ξk } =
2
2n + 3n + n
n → ∞.
20
§ 3.
ЦЕНТРАЛЬНАЯ ПРЕДЕЛЬНАЯ ТЕОРЕМА
Таким образом, условия теоремы 3.5 Ляпунова выполнены. Поэтому
√
Xn
d
en = Xn − An = 3 2 √
−→ X ∼ N (0; 1), n → ∞, что и
X
3
2
Dn
требовалось доказать.
2n + 3n + n
§ 4.
21
ЗАКОН БОЛЬШИХ ЧИСЕЛ
8. Необходимо сложить миллион чисел, округленных до пятого десятичного знака. Считая, что ошибки округления всех чисел независимы в совокупности и распределены равномерно на соответствующем интервале, найти
пределы, в которых суммарная ошибка округления δ лежит с вероятностью
0,95.
О т в е т. |δ| 6 0,00566.
3.3. Задачи для самостоятельного решения.
1. Вероятность рождения мальчика равна 0,52, девочки — 0,48. Какова
вероятность того, что среди 10000 новорожденных детей девочек будет не
меньше, чем мальчиков?
О т в е т. 3 · 10−5 .
2. Длина шага человека имеет равномерное распределение на промежутке
[0,9; 1,1] (в метрах). Какова вероятность того, что, сделав 100 шагов, он пройдет
не менее 105 метров? В каких пределах с вероятностью 0, 95 может лежать
пройденный путь L?
О т в е т. P(L > 105) ∼
= 0; P(98,86 6 L 6 101,14) ∼
= 0,95.
3. В результате 100 подбрасываний монеты “герб” выпал 70 раз. Насколько
правдоподобным является предположение о симметричности монеты?
У к а з а н и е. Вычислить P(X n > 70) в предположении, что p = 0,5.
О т в е т. Предположение симметричности неправдоподобно.
4. Случайная величина X n имеет распределение хи-квадрат с n степенями
свободы, т.е. X n =
n
X
k=1
ξ 2k,
где ξk ∼ N (0; 1), k = 1, . . . , n и независимы в
совокупности. Доказать, что X 
2n), если n ≫ 1.
n ∼ N (n;ff
Xn − n
√
асимптотически нормальна.
У к а з а н и е. Показать, что
2n
5. Производственный процесс состоит из 100 независимых операций, выполняемых одна за другой. Длительность каждой операции τ k (сек) имеет
1
e
экспоненциальное распределение. Известно, что P(τ k 6 1) = 1 − √ . Какова
вероятность того, что длительность T процесса превысит одну минуту?
О т в е т. 1 − Φ(2) ∼
= 0,023.
6. Случайная величина X n имеет распределение Пуассона с параметром n
(X k ∼ Π(n)). Доказать, что последовательность Y n =
нормальна.
У к а з а н и е. Показать, что X n =
n
X
k=1
Xn − n
асимптотически
√
n
ξk , где ξk ∼ Π(1).
7. Случайные величины ξk независимы в совокупности
и распределены по
!
закону R[0; 1]. Вычислить lim P
n→∞
О т в е т. 0,5.
n
Y
k=1
ξk 6 e−n .
§ 4. Закон больших чисел
4.1. Теоретические положения. Во всех приводимых ниже
утверждениях (теоремы 4.1-4.5) предполагается, что {X k, k =
= 1, 2, . . . } — последовательность независимых СВ.
О п р е д е л е н и е 4.1. Выборочным средним называется СВ
Xn =
n
1 X
X k,
n
n = 1, 2, . . . .
k=1
Законом больших чисел называется совокупность утверждений о поведении последовательности {X n, n = 1, 2, . . . } выборочных средних при
n → ∞.
Будем далее обозначать M{X k} = a k, D{X k} = D k = σ 2k.
Т е о р е м а 4.1. Если {X k, k = 1, 2, . . . } одинаково распределены и
п.н.
M{X k} = a конечно, то X n −−−→ a, n → ∞.
Теорема 4.1 называется “Усиленный закон больших чисел А.Н. Колмогорова”.
Т е о р е м а 4.2. Если M{X k} = a, D{X k} = D k < ∞, причем
∞
X
Dk
k=1
п.н.
k2
< ∞,
(4.1)
с.к.
то X n −−−→ a, n → ∞ и X n −−−→ a, n → ∞.
С л е д с т в и е 4.1. Если a k = a, D k 6 D < ∞ ∀k = 1, 2, . . . , то
утверждение теоремы 4.2 справедливо.
Пусть теперь {a k} не одинаковы. Обозначим a n =
n
1 X
a k.
n
k=1
С л е д с т в и е 4.2. Если выполнено условие (4.1), то
п.н.
X n − a n −−−→ 0, n → ∞;
с.к.
X n − a n −−−→ 0, n → ∞.
22
§ 4.
ЗАКОН БОЛЬШИХ ЧИСЕЛ
Следующее утверждение показывает, как будет вести себя последовательность выборочных средних, если СВ {X k, k = 1, 2, . . . } не имеют
конечного среднего (например, X k имеет распределение Коши).
Т е о р е м а 4.3. Пусть {X k, k = 1, 2, . . . } одинаково распределены,
но M{X k} не существует ни при каких k = 1, 2, . . . . Тогда последовательность
{Xn, n = 1, 2, . . . } с вероятностью 1 неограничена, т.е.
P sup |X n| > C
= 1 для любого C > 0.
n>1
Весьма часто последовательность выборочных средних асимптотически нормальна (см. определение 3.2).
Т е о р е м а 4.4. Пусть {X k, k = 1, 2, . . . } — последовательность
независимых одинаково распределенных СВ, причем M X 2k < ∞, k =
= 1, 2, . . . . Тогда
q
√
d
n(X n − a) −→ X ∼ N (0; σ 2 ),
n → ∞,
(4.2)
где σ = D{X k}, a = M{X k}, k = 1, 2, . . . .
Утверждение (4.2) позволяет пользоваться при n ≫ 1 приближенным
соотношением:
σ2
X n ∼ N a;
.
(4.3)
n
Для случая, когда СВ {X k, k = 1, 2, . . . } распределены неодинаково,
аналог теоремы 4.4 можно получить, используя теорему 3.5 Ляпунова.
Т е о р е м а 4.5. Пусть выполнены условия теоремы 3.5, тогда
d
n
X n − a n −→ X ∼ N (0; 1),
Dn
n
(4.4)
4.2. Примеры.
П р и м е р 4.1. Пусть {ξ k, k = 1, 2, . . . , n} — независимые СВ, причем
ξ k ∼ R[0; 1], k = 1, 2, . . . . Показать, что Y n =
сходится почти наверное к
1
3.
1
n
n
X
(ξ k)2 при n → ∞
k=1
23
ЗАКОН БОЛЬШИХ ЧИСЕЛ
1
Р е ш е н и е. По условию M{ξ k} = 21 , D{ξ k} = 12
. Пусть X k =
2
= ξ k, тогда {X k, k = 1, 2, . . . , n} независимы и одинаково распределены,
1
1
1
2
причем M{X k} = M (ξ k)2 = D{ξ k} + (M{ξ k}) =
+ = . Таким
образом, Y n = X n
12
4
3
n
1 X
1
п.н.
=
при n → ∞ по
X k −−−→ M{X 1} =
n
3
k=1
теореме 4.1 А.Н. Колмогорова.
с.к.
П р и м е р 4.2. Доказать, что в условиях теоремы 4.2 X n −−−→ a, n →
→ ∞.
(
)
n
n
1 X
1 X
na
= a. D X n =
Xk =
a=
Р е ш е н и е. M X n = M
n
n
k=1
n
k=1
n
n
1 X
1 X
= 2
D{X k} = 2
D k → 0, n → ∞. Действительно, известная
n
n
k=1
k=1
лемма Кронекера утверждает, что если числовые последовательности
{v k} и {u k} таковы, что
∞
X
k=1
v k < ∞, 0 < u n ↑ ∞, n → ∞, то
n
1 X
v ku k →
un
k=1
∞
X
D
→ 0, n → ∞. Теперь положим v k = 2k , u k = k 2 и заметим, что
vk =
k
=
∞
X
Dk
k=1
k2
k=1
n
n
1 X
1 X
v ku k = 2
< ∞ по условию. Тогда
D k → 0, n → ∞.
un
n
k=1
k=1
с.к.
Таким образом, M |X n − a|2 = D X n → 0, n → ∞, т.е. X n −−−→ a,
n → ∞.
n(A)
— частота появления случайного
П р и м е р 4.3. Пусть P ∗n(A) =
n
события A в серии из n независимых одинаковых опытов, а n(A) — колип.н.
чество опытов, в которых A произошло. Доказать, что P ∗n(A) −−−→ P(A),
с.к.
n → ∞ и P ∗n(A) −−−→ P(A), n → ∞, где P(A) — вероятность события A.
n → ∞.
Аналогично (4.3), в данном случае можно считать, что
D2
X n ∼ N a n; 2n .
§ 4.
Р е ш е н и е. По условию n(A) =
n
X
k=1
X k, где {X k, k = 1, 2, . . . } —
независимые СВ с распределением Бернулли, причем P(X k = 1) = P(A).
Поэтому M{X k} = p, D{X k} = pq, где p = P(A), q = 1 − p. Таким
образом, P ∗n(A) = X n =
n
1 X
п.н.
X k −−−→ p, n → ∞ по теореме 4.1, так
n
k=1
как p = M{X k} ∈ [0; 1]. Очевидно, что M{P ∗n(A)} =
n
1 X
M{X k} = p,
n
k=1
24
§ 4.
ЗАКОН БОЛЬШИХ ЧИСЕЛ
n
1 X
npq
pq
D{X k} = 2 =
. Поэтому M |P ∗n(A) − p|2 =
n2
n
n
k=1
pq
с.к.
= D{P ∗n(A)} =
→ 0, n → ∞. Последнее означает, что P ∗n(A) −−−→ p,
n
а D{P ∗n(A)} =
n → ∞.
П р и м е р 4.4. В условиях примера 4.3 оценить минимальное число
опытов n, при котором P (|P ∗n(A) − P(A)| 6 0,1) > 0,95.
Р е ш е н и е. Из теоремы 4.4 и решения примера 4.3 следует, что
√
d
n (P ∗n(A) − p) −→ X ∼ N (0; pq), n → ∞.Поэтому при n ≫ 1 можно
pq
P(|ξ|
считать, что ξ = P ∗n(A) − p ∼
N 0;
n . √Отсюда
6√ 0,1)
=
√ 0,1 n
0,1 n
0,1 n
−Φ − √
= 2Φ0 √
P(−0,1 6 ξ 6 0,1) = Φ √
, где
pq
1
Φ0 (z) =
2π
Zz
§ 4.
pq
pq
e−t /2 dt.
2
0
Решая неравенство 2Φ0
√ 0,1 n
> 0,95, по таблице 13.1 находим:
√
pq
√
0,1 n
> 1,96. Отсюда следует: n > (19,6)2 ·pq = 384,2·pq. Таким образом,
√
pq
n = [384,2 · pq] + 1.
Если p неизвестна, то можно получить гарантированную оценку n гар
необходимого числа опытов, справедливую для любой вероятности p.
Действительно, max p(1 − p) = 0,25 и достигается при p = q = 0,5,
p∈[0;1]
поэтому pq 6 0,25 при любом p ∈ [0; 1]. Отсюда n гар > 384,2 · 0,25 =
= 96,05. Итак, n гар = 97.
П р и м е р 4.5. Пусть СВ X k ∼ E(k), k = 1, 2, . . . и независимы.
Доказать, что ξ n =
n
1 X
1
сходится в среднем
ξk , где ξk = X k −
n
k
квадратическом к нулю.
k=1
1
1
Р е ш е н и е. По условию M{X k} = , D{X k} = 2 . Поэтому M{ξk } =
k
k
o
n
1
1
= 0, D{ξk } = D{X k} = 2 , k = 1, 2, . . . . Отсюда
= M Xk −
k
k
заключаем, что
n
1 X
M{ξk } = 0;
M ξn =
n
1
D ξn = 2
n
n
X
k=1
D{ξk } =
k=1
n
C
1 X 1
6 2 → 0,
2
n
k2
n
k=1
n → ∞,
где C =
n → ∞.
ЗАКОН БОЛЬШИХ ЧИСЕЛ
∞
X
1
k=1
k2
25
с.к.
< ∞. Итак, M ξ 2n = D ξ n → 0, n → ∞, т.е. ξ n −−−→ 0,
26
ВЫБОРКА И ЕЕ ОСНОВНЫЕ ХАРАКТЕРИСТИКИ
§ 5.
4.3. Задачи для самостоятельного решения.
1. Пусть X, {X k, k = 1, 2, . . . } — независимые одинаково распределенные
СВ, а ϕ(x) — непрерывная функция. Доказать, что если M{ϕ(X)} = m ϕ
конечно, то
n
1 X
п.н.
ϕ(X k) −−−→ m ϕ,
n k=1
n → ∞.
У к а з а н и е. Воспользоваться теоремой 4.1.
2. СВ {X k, k = 1, 2, . . . } одинаково распределены с функцией распредеnx
, где n x — количество опытов, в которых
ления F (x). Пусть Fb n(x) =
n
п.н.
произошло событие {X k 6 x}, k 6 n. Доказать, что Fb n(x) −−−→ F (x), n →
→ ∞.
У к а з а н и е. Смотри пример 4.3.
3. Пусть {X k, k = 1, 2, . . . } — независимые СВ с распределением X k ∼
n
√
√
1 X
(X k − k) сходится к
∼ Π( k). Доказать, что последовательность ξn =
n
k=1
нулю почти наверное и в среднем квадратическом при n → ∞.
У к а з а н и е. Смотри теорему 4.2.
4. Пусть {X k ∼ R[0; 1], k = 1, 2, . . . } — независимые СВ. В каких пределах
с вероятностью 0,997 будет лежать X n, если n = 300?
О т в е т. [0,45; 0,55].
5. Независимые СВ {X k, k = 1, 2, . . . } распределены одинаково с плотно(
2x exp {−x2 }, x > 0,
стью вероятности p(x) =
0, x < 0.
Показать, что
n
1 X
п.н.
X 2 −−−→ 1, n → ∞.
n k=1 k
˘ ¯
У к а з а н и е. Вычислить M X 2k .
6. Пусть {X k, k = 1, 2, . . . }r— независимые стандартные гауссовские СВ.
Доказать, что
n
1 X
п.н.
|X k| −−−→
n k=1
2
, n → ∞.
π
У к а з а н и е. Найти M{|X k|}.
§ 5. Выборка и ее основные характеристики
5.1. Теоретические положения. Пусть X — произвольная случайная величина с функцией распределения F (x) = P(X 6 x), x ∈ R1 .
О п р е д е л е н и е 5.1. Совокупность {X k, k = 1, . . . , n} независимых случайных величин, имеющих одинаковые функции распределения
§ 5.
ВЫБОРКА И ЕЕ ОСНОВНЫЕ ХАРАКТЕРИСТИКИ
27
F Xk (x) = F (x), называется однородной выборкой объема n, соответствующей функции распределения F (x).
СВ X k (k = 1, . . . , n) называется k-м элементом выборки.
Из определения 5.1 следует, что выборку можно рассматривать как
случайный вектор Z n = {X 1, . . . , X n}⊤ с независимыми компонентами. Кроме того, СВ {X k, k = 1, . . . , n} — независимые вероятностные
“копии” СВ X, поэтому мы также будем говорить, что выборка Z n
порождена СВ X с распределением F (x).
О п р е д е л е н и е 5.2. Выборка {X k, k = 1, . . . , n} называется гауссовской, если Z n — n-мерный гауссовский вектор.
О п р е д е л е н и е 5.3. Выборка Z n называется неоднородной, если законы распределения F Xk (x) ее элементов неодинаковы.
Далее полагается, что выборка Z n — однородная, если специально не
указано обратное.
Из приведенных определений следует, что выборка является математической моделью последовательности одинаковых опытов со случайными исходами, проводимых в неизменных условиях, причем результаты
опытов статистически независимы.
О п р е д е л е н и е 5.4. Реализацией выборки Z n называется неслучайный вектор z n = {x1 , . . . , xn }⊤ , компонентами которого являются реализации соответствующих элементов выборки.
Пусть z n = {x1 , . . . , xn }⊤ — некоторая реализация выборки Z n, а z (n) = {x (1), . . . , x (n)}⊤ — вектор, компонентами которого являются упорядоченные по возрастанию числа (x1 , . . . , xn ),
т.е. x (1) 6 x (2) 6 . . . 6 x (n).
О п р е д е л е н и е 5.5. СВ X (k), реализацией которой для каждой z n
является число x (k), называется k-й порядковой статистикой, k =
= 1, . . . , n. Случайный вектор Z (n) = {X (1), . . . , X (n)}⊤ называется
вариационным рядом выборки.
СВ X (1) и X (n) (т.е. крайние элементы вариационного ряда) называются экстремальными статистиками.
О п р е д е л е н и е 5.6. СВ Y = ϕ (X 1, . . . , X n), где ϕ(x1 , . . . , xn ) —
произвольная (борелевская) функция на Rn , называется статистикой.
Обычно предполагается, что в случае, когда функция распределения
F (x), которой соответствует выборка, зависит от некоторого вектора θ
неизвестных параметров, ϕ(x1 , . . . , xn ) не зависит от θ.
Рассмотрим некоторые важнейшие для приложений виды статистик.
О п р е д е л е н и е 5.7.
1) X n =
n
1 X
X k называется выборочным средним.
n
k=1
28
§ 5.
ВЫБОРКА И ЕЕ ОСНОВНЫЕ ХАРАКТЕРИСТИКИ
2) S 2n =
n
1 X
(X k − X n)2 называется выборочной дисперсией.
n
k=1
3) ν r(n) =
n
1 X
(X k)r , r = 1, 2, . . . , называется выборочным начальn
k=1
ным моментом r-го порядка.
4) µ r(n) =
n
1 X
(X k − X n)r , r = 1, 2, . . . , называется выборочным
n
k=1
центральным моментом r-го порядка.
Заметим, что X n = ν 1(n), а S 2n = µ 2(n).
Пусть распределение F (x) таково, что существуют следующие теоретические моменты любого элемента X k выборки: m X = M{X k}, D X =
= D{X k}, ν r = M{(X k)r }, µ r = M{(X k − m X )r }, r = 2, 3, . . . . Тогда
справедливо следующее утверждение.
Т е о р е м а 5.1. При неограниченном увеличении объема выборки n
выборочные моменты ν r(n) и µ r(n), r = 1, 2, . . . почти наверное сходятся к теоретическим моментам ν r и µ r соответственно.
п.н.
С л е д с т в и е 5.1. Если m X = M{X k} существует, то X n −−−→ m X ,
п.н.
n → ∞. Если ν 2 существует, то S 2n −−−→ D X , n → ∞.
При определенных дополнительных условиях выборочные моменты
обладают свойством асимптотической нормальности.
Т е о р е м а 5.2. Пусть для некоторого r > 1 существует и конечен
√
d
момент ν 2r. Тогда n (ν r(n) − ν r) −→ ξ ∼ N (0; ν 2r − ν 2r ), n → ∞.
С л е д с т в и е 5.2. Если D X < ∞, то
√
d
n X n − m X −→ ξ ∼ N (0; D X ),
n → ∞.
√
d
Если ν4 < ∞, то n (ν 2 (n) − ν2 ) −→ ξ ∼ N (0; ν4 − D 2X), n → ∞.
Из приведенных выше утверждений следует, что при n ≫ 1 выборочные моменты ν r(n) и µ r(n) практически не отличаются от своих
теоретических
значений
νr и µr . Кроме того, можно считать, что ν r(n) ∼
∼N
νr ;
ν 2r −
n
ν 2r
, если n ≫ 1.
Пусть выборка {X k, k = 1, . . . , n} порождена СВ X с функцией
распределения F (x). Для любого x ∈ R1 введем событие A X = {X 6
6 x}, тогда P(A X ) = F (x). Обозначим через M n(x) случайное число
элементов выборки, не превосходящих x.
Mn (x)
, x ∈ R1 ,
О п р е д е л е н и е 5.8. Случайная функция Fb (x) =
n
n
называется выборочной (эмпирической) функцией распределения СВ X.
§ 5.
29
ВЫБОРКА И ЕЕ ОСНОВНЫЕ ХАРАКТЕРИСТИКИ
При достаточно больших n функция Fb n(x) весьма точно аппроксимирует функцию распределения F (x), которой соответствует выборка, о
чем свидетельствуют следующие утверждения.
Т е о р е м а 5.3 (Гливенко-Кантелли). Fb n(x) сходится к F (x) почти
наверное равномерно по x при n → ∞, т.е.
п.н.
sup |Fb n(x) − F (x)| −−−→ 0,
x∈R 1
n → ∞.
Т е о р е м а 5.4. При любом x ∈ R1 последовательность {Fb n(x), n =
= 1, 2, . . . } асимптотически нормальна:
√ d
n Fb n(x) − F (x) −→ ξ ∼ N (0; F (x)(1 − F (x))) ,
n → ∞.
Пусть двумерная выборка {(X k, Y k), k = 1, . . . , n} порождена случайным вектором ξ = {X, Y }⊤ . Обозначим через k XY =
= M{(X − m X )(Y − m Y )} = M{XY } − m X m Y ковариацию случайных
величин X и Y .
n
1 X
X Y − X Y наО п р е д е л е н и е 5.9. Статистика b
k (n) =
XY
n
k
k
n
n
k=1
зывается выборочной ковариацией случайных величин X и Y .
Т е о рnе м а 5.5.
o Если СВ X и Y имеют конечные дисперсии, то
n−1
b
1) M k XY (n) =
k XY ;
n
п.н.
2) b
k XY (n) −−−→ k XY , n
→ ∞;
3) если M |X|4 + |Y |4 < ∞, то
√ d
k XY (n) − k XY −→ η ∼ N 0; µ 22 − k 2XY ,
n b
n → ∞,
где µ 22 = M (X − m X )2 (Y − m Y )2 .
5.2. Примеры.
П р и м е р 5.1. Пусть выборка Z n соответствует распределению F (x).
Доказать, что X (1) и X (n) имеют функции распределения, соответственно, F (1)(x) = 1 − (1 − F (x))n и F (n)(x) = F n (x).
Р е ш е н и е. По определению X (n) = max(X 1, . . . , X n), поэтому
F (n)(x) = P(X (n) 6 x) = P ({X 1 6 x} · {X 2 6 x} · . . . · {X n 6 x}) =
30
§ 5.
ВЫБОРКА И ЕЕ ОСНОВНЫЕ ХАРАКТЕРИСТИКИ
=P
n
Y
!
{X k 6 x} . Так как элементы выборки статистически незави-
k=1
симы и одинаково распределены, получаем
F (n)(x) =
n
Y
P(X k 6 x) =
k=1
n
Y
F Xk (x) = F n (x).
Пусть теперь ξ k = (X k − X n)2 , а m X = M{X}. Тогда M{ξ
} =
!!2 k
 ◦

n
n
2 o
1 X ◦
= M (X k − m X ) − (X n − m X )
= M
Xk −
Xi
=
n


i=1
n
n
◦
◦ ◦
◦ ◦
2 X
1 X
= M X 2k −
M X kX i + 2
M X iX j . С учетом незавиn
i=1
i,j=1
2
F (1)(x) = 1 − P(X (1) > x) = 1 −
n
Y
k=1
n
Y
P(X k > x) =
n
k=1
1 − F Xk (x) = 1 − (1 − F (x))n .
n
1 X
(X k)r
n
k=1
=
n
n
1 X
1 X
M{(X k)r } =
ν r = ν r.
n
n
k=1
k=1
Свойство несмещенности доказано.
Обозначим ξ k = (X k)r , тогда величины {ξ 1, . . . , ξ n} независимы,
одинаково распределены и M{ξ k} = ν r. По усиленному закону больших
чисел Колмогорова (теорема 4.1) ν r(n) =
1
n
n
X
k=1
п.н.
ξ k −−−→ M{ξ 1} = ν r,
n → ∞. Свойство сильной состоятельности доказано.
П р и м е р 5.3. В условиях примера 5.2 для r = 2 показать, что выбо2
рочная дисперсия
2 S n обладает свойством асимптотической несмещенности, т.е. M S n → D X , n → ∞, и свойством сильной состоятельности.
Р е ш е н и е. По определению S 2n =
n
n
1 X
1 X
(X k − X n)2 =
(X k)2 −
n
n
k=1
1
симости X i и X j при i 6= j получаем M{ξ k} = D X − D X + D X =
n
n
n
2
n−1
n−1
1 X
M{ξ k} =
D X . Поэтому M S n =
D X . Таким образом,
=
П р и м е р 5.2. Пусть выборка Z n порождена СВ X с конечным моментом ν r. Доказать, что выборочный начальный момент ν r(n) обладает
по отношению к ν r свойством несмещенности, т.е. M{ν r(n)} = ν r, и
п.н.
свойством сильной состоятельности, т.е. ν r(n) −−−→ ν r, n → ∞.
r
Р е ш е н и е. (
По условию)M{(X k) } = M{X r } = ν r. Поэтому
M{ν r(n)} = M
31
ВЫБОРКА И ЕЕ ОСНОВНЫЕ ХАРАКТЕРИСТИКИ
n
k=1
Аналогично,
=1−
§ 5.
k=1
− (X n)2 = ν 2(n) − (ν 1(n))2 . Из результата примера 5.2 следует, что
п.н.
п.н.
ν 2(n) −−−→ ν 2, ν 1(n) −−−→ ν 1, n → ∞. Тогда в силу свойства сходимости
п.н.
почти наверное
(см. разд. 2.1) заключаем: S 2n = ν 2(n)−(ν 1(n))2 −−−→ ν 2 −
− ν 21 = M X 2 − (M{X})2 = D X , n → ∞. Свойство сильной состоятельности доказано.
n
n
k=1
S 2n не обладает свойством несмещенности по отношению к дисперсии D X ,
n−1
так как M S 2n 6= D X . Однако, lim M S 2n = lim
D X = D X , т.е.
n→∞
n→∞
n
свойство асимптотической несмещенности имеет место.
П р и м е р 5.4. Выборка {X k, k = 1, . . . , 175} соответствует распреде1
лению R[−1; 1]. Оценить вероятность того, что |ν 3(175)| 6 70
.
Р е ш е н и е. По условию X k ∼ R[−1; 1], поэтому ν 3 = M X 3k =
=
Z1
−1
1
x3 dx = 0. Так как n = 175 ≫ 1, то для искомой оценки вероятности
2
можно воспользоваться теоремой 5.2, из которой для r = 3 с учетом
ν Z1
1
ν 3 = 0 следует, что ν 3(175) ∼ N 0; 6 . Так как ν 6 =
x6 dx =
175
1
1
1
∼
. Отсюда P |ν 3(175)| 6 70
= , то ν 3(175) ∼ N 0;
=Φ
7
1225
√
1225
1
1
=Φ
−Φ −
= 2Φ 0 12 = 0,383.
−Φ −
70
2
2
2
−1
√
1225
70
−
П р и м е р 5.5. Выборка Z n порождена
СВ X ∼ R[0; 1]. Для любого
ε > 0 оценить P |Fb n(x) − x| 6 ε при каждом x ∈ [0; 1] и n ≫ 1.
Так как X ∼ R[0; 1], то F (x) = x, x ∈ [0; 1]. ПоF (x)(1 − F (x))
по теоэтому Fb n(x) − x = Fb n(x) − F (x) ∼ N 0;
n
x(1 − x)
реме 5.4. Итак, Fb n(x) − x ∼ N 0;
для x ∈ [0; 1] и n ≫
n√
√
ε n
ε n
∼
b
≫ 1. Отсюда P |F n(x) − x| 6 ε = Φ p
− Φ −p
=
Р е ш е н и е.
x(1 − x)
x(1 − x)
32
ВЫБОРКА И ЕЕ ОСНОВНЫЕ ХАРАКТЕРИСТИКИ
§ 5.
. Так как x(1 − x) 6 14 , то наихудший результат будет
= 2Φ 0 p
x(1 − x)
при x = 21 . Например, если ε = 0,1, n = 100, то P |Fb n( 12 ) − 12 | 6 0,1 ∼
=
2Φ 0(2) ∼
=
= 0,95. Для сравнения, при x = 0,1 P |Fb n(0,1) − 0,1| 6 0,1 ∼
√
0,1 100 ∼
2Φ 0 √
= 2Φ 0(3,3) ∼
= 0,998.
√
ε n
0,09
§ 6.
33
ТОЧЕЧНЫЕ ОЦЕНКИ И ИХ СВОЙСТВА
5.3. Задачи для самостоятельного решения.
1. Найти функцию распределения k-ой порядковой статистики X (k), k =
= 1, . . . , n.
О т в е т. F (k)(x) =
n
X
m
n−m
Cm
.
n F (x)(1 − F (x))
m=k
o
n
2. Выборка соответствует распределению R[0; 1]. Вычислить M X (n) и
o
n
D X (n) .
n
o
n
o
n
n
О т в е т. M X (n) =
; D X (n) =
.
2
n+1
(n + 1) (n + 2)
3. Выборка соответствует распределению F (x) с конечным моментом ν r.
п.н.
Доказать, что µ r(n) −−−→ µ r, n → ∞.
У к а з а н и е. Воспользоваться формулой (a − b)r =
r
X
m r−m
(−1)m C m
и
r a b
m=0
примером 5.3.
4. Выборка объема n ≫ 1 соответствует распределению N (0; σ 2 ). Найти
асимптотическое
выборочного момента ν 2(n).
«
„ распределение
О т в е т. N
σ2 ;
2σ 4
n
.
5. Двумерная
выборка –
объема n≫1 соответствует распределению N (µ; K),
»
”
√ “
DX kXY
d
где K =
. Доказать, что
n b
−→ ξ ∼
k XY (n) − k XY
kY X DY
`
2 ´
∼ N 0; D X D Y + kXY
.
У к а з а н и е. Вычислить µ 22, воспользоваться теоремой 5.5.
6. Выборка соответствует распределению E(λ), λ > 0. Найти предел, к
которому почти наверное сходится ν 2(n) при n → ∞.
О т в е т.
2
.
λ2
n ≫ 1 порождена СВ X
„7. Выборка объема «
1
P |Fb n(1) − F X (1)| 6 √ .
n
«
„
e
.
О т в е т. 2Φ 0 √
∼
E(1). Оценить
e−1
§ 6. Точечные оценки и их свойства
6.1. Теоретические положения. Пусть θ ∈ Θ⊆R1 — некоторая детерминированная или случайная величина (параметр), а Z n = {X k, k =
3 А.Р. Панков и Е.Н. Платонов
34
§ 6.
ТОЧЕЧНЫЕ ОЦЕНКИ И ИХ СВОЙСТВА
= 1, . . . , n} — выборка.
О п р е д е л е н и е 6.1. Точечной оценкой параметра θ по выборке Z n
называется любая статистика θbn = ϕ n(Z n), принимающая значения из
множества Θ.
На практике вычисляют реализацию оценки θbn (по имеющейся реализации z n) и принимают ее за приближенное значение параметра θ.
Поэтому желательно, чтобы при любом возможном θ величина θbn была
бы близка к θ.
О п р е д е л е н и е 6.2. Величина ∆θbn = θbn − θ называется ошибкой
оценки θbn.
b
несмещенной, если
o
o θ n называется
n
n
nО п рoе д е л е н и е 6.3. Оценка
→ 0, n → ∞, то
6= 0, но M ∆θb
= 0. Если же M ∆θb
M ∆θb
n
n
(6.2)
o
o
n
n
где l n = M ∆θbn — смещение оценки θbn, а d n = D ∆θbn — дисперсия
ее ошибки.
О п р е д е л е н и е 6.6. Оценка θbn называется асимптотически нормальной, если существует детерминированная последовательность
d
{C n, n = 1, 2, . . . } такая, что C n∆θbn −→ ξ ∼ N (0; 1), n → ∞.
Пусть теперь оценка θbn = ϕ n(Z n) принадлежит некоторому заданному классу допустимых оценок, т.е. ϕ n ∈ Φ n, n = 1, 2, . . . , где Φ n —
фиксированный класс допустимых преобразований выборки Z n.
О п р е д е л е н и е 6.7. Оценка θbn = ϕ(Z n) называется оптимальной в
среднем квадратическом (с.к.-оптимальной) на Φ n, если
n
o
n
o
∆ n = M |∆θbn|2 6 M |θ n − θen|2 , n = 1, 2, . . . ,
35
ТОЧЕЧНЫЕ ОЦЕНКИ И ИХ СВОЙСТВА
где θen — произвольная допустимая оценка: θen = ψ n(Z n), ψ n ∈ Φ n.
Если θ ∈ Rm , где m > 2, то все вышеприведенные определения
остаются в силе со следующими уточнениями: n
o
b
∈ Rm — вектор
1) в (6.2) величина l 2n = δ ⊤
n δ n, где δ n = M ∆θ n
смещения оценки θbn, а d n = tr[K n], где K n = cov(∆θbn, ∆θbn) — ковариационная матрица ошибки ∆θbn, tr[A] — след матрицы A;
2) в определении 6.6 {C n, n = 1, 2, . . . } — последовательность неслучайных матриц размера m × m, а предельное распределение N (0; I) —
m-мерное стандартное гауссовское распределение.
6.2. Примеры.
П р и м е р 6.1. Пусть выборка {X k, k = 1, . . . , n} имеет вид
n
оценка θbn называется асимптотически несмещенной.
О п р е д е л е н и е 6.4. Оценка θbn называется сильно состоятельной,
п.н.
если ∆θbn −−−→ 0, n → ∞ и состоятельной в среднем квадратическом
с.к.
(с.к.-состоятельной), если ∆θbn −−−→ 0, n → ∞.
О п р е д е л е н и е 6.5. Среднеквадратической погрешностью (с.к.погрешностью) оценки θbn называется величина
n
o
∆ n = M |∆θbn|2 .
(6.1)
n
o
Т е о р е м а 6.1. Пусть θ ∈ R1 и M |∆θbn|2 < ∞, тогда
∆ n = l 2n + d n,
§ 6.
X k = θ + ε k,
k = 1, . . . , n,
θ — неслучайный скалярный параметр, {ε k, k = 1, . . . , n} — независимые
случайные величины, M{ε k} = 0, D{ε k} = D k 6 D < ∞ для всех
k > 1. Доказать, что выборочное среднее X n является несмещенной и
состоятельной оценкой θ.
n
1 X
Р е ш е н и е. По определению 4.1 θb = X =
X , поэтому X =
n
=
n
n
k
n
k=1
n
n
1 X
1 X
(θ + ε k) = θ +
ε k = θ + ε n. Отсюда ∆X n = ∆θbn = X n −
n
n
k=1
k=1
− θ = ε n — ошибка оценки θbn = X n. Погрешность ∆ n = M |∆X n|2 =
n
1 X
D
D{ε k} 6
→ 0, n → ∞. Поэтому оценка X n
= M |ε n|2 = 2
n
n
k=1
с.к.-состоятельна.
Докажем теперь сильную состоятельность оценки X n. Так как
M{ε k} = a k = 0, а
=
∞
X
Dk
k=1
k2
6
∞
X
D
k=1
k2
= D
∞
X
1
k=1
k2
< ∞, то ε n =
n
1 X
п.н.
п.н.
ε k −−−→ 0, n → ∞ по теореме 4.2. Поэтому ∆X n = ε n −−−→ 0,
n
k=1
п.н.
n → ∞, т.е. X n −−−→ θ, n → ∞, что означает сильную состоятельность
X n.
o
n
Наконец, для любого n > 1 M ∆θbn = M ∆X n = M{ε n} =
=
n
1 X
M{ε k} = 0, т.е. оценка X n — несмещенная.
n
k=1
3*
36
§ 6.
ТОЧЕЧНЫЕ ОЦЕНКИ И ИХ СВОЙСТВА
П р и м е р 6.2. Пусть в условиях примера 6.1 СВ {ε k k = 1, 2, . . . }
одинаково распределены, причем M{ε k} = 0, D{ε k} = σ 2 , где σ < ∞.
Доказать, что оценка θbn = X n асимптотически нормальна.
Р е ш е н и е. Из решения примера 6.1 следует, что ∆θbn = ∆X n =
= ε n, причем M{ε k} = 0, D{ε k} = σ 2 . Тогда√из теоремы√ 4.4 следует,
√
n
n
d
d
ε n −→ ξ ∼
∆X n =
что nε n −→ X ∼ N (0; σ 2 ), n → ∞. Отсюда
d
σ
σ
∼ N (0; 1), n → ∞. Таким
образом, C n∆X n −→ ξ ∼ N (0; 1), n → ∞, если
√
n
Cn =
, n = 1, 2, . . . .
σ
П р и м е р 6.3. Выборка {X k, k = 1, . . . , n} порождена СВ X ∼ R[0; θ],
θ > 0. Доказать, что θbn = X (n) — асимптотически несмещенная оценка
параметра θ.
Р е ш е н и е.
x
, x ∈ [0; θ]. Из
θ
xn
6 x) = F n (x) = n , x ∈
θ
По условию F (x) = P(X 6 x) =
примера 5.1 следует, что F (n)(x) = P(X (n)
o
n
Zθ
Zθ
Zθ
nxn−1
n
∈ [0; θ]. Тогда M X (n) = xdF (n)(x) = x n dx = n xn dx =
θ
θ
0
o
o 0 n
o0
n
n
n
n
θ. Отсюда M ∆θbn = M X (n) − θ = M X (n) − θ =
θ−
=
n+1
n
+
1
o
n
θ
−θ = −
→ 0, n → ∞. Итак, при любом θ > 0 M ∆θbn < 0, поэтому
n+1
n
o
смещение l n 6= 0, но M ∆θbn → 0, n → ∞, т.е. θbn = X (n) асимптотически
несмещенная.
П р и м е р 6.4. Выборка Z n = {X k, k = 1, . . . , n} соответствует
распределению N (m; θ2 ). Найти величину C, при которой статистика
ϕ(Z n) =
C
n
n
X
k=1
|X k − m| будет несмещенной и сильно состоятельной
оценкой параметра θ.
Р е ш е н и е.
Пусть ξ
=
∼ N (m; θ2 ). То
(x − m)2
|x − m|exp −
dx =
2
|X − m|, где X
1
2πθ
∞
Z
−∞
2θ
r
2
∞
Z
2
2
y
θ yexp −
dy =
θ. Отсюда с учетом M{|X k − m|} = M{ξ}
π
0
2
37
ТОЧЕЧНЫЕ ОЦЕНКИ И ИХ СВОЙСТВА
n
C X
получим M{ϕ(Z n) − θ} =
M{|X k − m|} − θ =
n
k=1
r
C
r
!
2
−1
π
θ.
2
Последнее выражение равно нулю при всех θ, только если C
− 1 = 0.
π
q
π
есть условие несмещенности оценки θbn = ϕ(Z n).
Отсюда C =
2
n
1 X
п.н.
По усиленному закону больших чисел имеем: ν n =
|X k−m| −−−→
n
k=1
r
2
п.н.
θ, n → ∞. Поэтому θb = Cν −−−→ CM{ξ} = θ, если C =
M{ξ} =
=
q
n
π
π
. Итак, оценка θbn
2
n
√
n
π X
|X k − m| — несмещенная и сильно
= √
n 2 k=1
состоятельная оценка среднего квадратического отклонения θ.
П р и м е р 6.5. Пусть выборка Z n = {X k, k = 1, . . . , n} порождена
СВ X, причем M{X} = θ, а D{X} = σ 2 — известная величина.
Доказать, что оценка θbn = X n параметра θ с.к.-оптимальна на классе
всех линейных несмещенных оценок вида θen =
n
X
k=1
α kX k, где {α k} —
некоторые числовые коэффициенты.
Р е ш е н и е. (По условию )θen — несмещенная оценка,! поэтому
n
o
n
n
n
X
X
X
M θen − θ = M
α kX k − θ =
α kθ − θ =
α k − 1 θ. Таким
k=1
k=1
k=1
n
o
образом, условие несмещенности M θen − θ = 0 влечет условие
n
X
αk =
k=1
= 1. Обозначим через Φ n соответствующий класс оценок. Заметим, что
если α k =
n
n
X
X
1
, k = 1, . . . , n, то
α k = 1, поэтому оценка θbn =
α kX k =
n
k=1
n
1 X
X k = X n принадлежит классу Φ n.
=
n
k=1
k=1
=
гда M{ξ} = M{|X − m|} = √
r
§ 6.
π
e
nНайдемo с.к.-погрешность произвольной оценки θ n изn Φ n. Такoкак
e
M θ n − θ = 0 по доказанному выше, то ∆ n = M |θen − θ|2 =
n
o
n o
n
X
= D θen − θ = D θen = σ 2
α 2k. Таким образом, коэффициенты
k=1
{b
α k, k = 1, . . . , n}, определяющие оптимальную оценку θbn, удовлетво-
38
§ 6.
ТОЧЕЧНЫЕ ОЦЕНКИ И ИХ СВОЙСТВА
ряют условию
n
X
k=1
α
b 2k
6
n
X
α 2k
k=1
для любых {α k} таких, что
⊤
n
X
У к а з а н и е. Найти п.н.-предел ξ n =
α k = 1.
k=1
⊤
1=
n
X
= |(e, α)|2 6 |e|2 |α|2 ,
αk
k=1
причем равенство достигается только при α = λe. Отсюда |α|2 =
1
1
1
>
= . Если теперь положить α
b k = , k = 1, . . . , n, то
|e|2
n
n
n
X
α 2k >
k=1
n
X
k=1
α
b 2k
=
n
n
n
X
X
1
1 X
α
b kX k =
6
α 2k. Итак, θbn =
X k = X n — с.к.-оптимальная
n
n
k=1
k=1
k=1
оценка на классе Φ n всех линейных несмещенных оценок. Заметим также,
что оценка θbn — единственная (в силу единственности набора оптимальных коэффициентов {b
α k = n1 , k = 1, . . . , n}).
6.3. Задачи для самостоятельного решения.
1. Доказать теорему 6.1.
˘ ¯
У к а з а н и е. Учесть, что M X 2 = D X + m 2X.
2. Пусть θ — неслучайный
параметр, а θbn — его несмещенная оценка.
n o
Показать, что ∆ n = D θbn .
3. Выборка {X k, k = 1, . . . , n} порождена СВ X с известным средним
m = M{X} и неизвестной дисперсией θ = D{X}. Доказать, что статистика
S 2n =
n
1 X
(X k − m)2 является несмещенной и сильно состоятельной оценкой
n k=1
параметра θ.
4. Выборка {X k, k = 1, . . . , n} соответствует распределению R[0; θ], θ > 0.
Показать, что X (n) — с.к.-состоятельная оценка параметра θ.
n
o
У к а з а н и е. Вычислить M (X (n))2 и учесть результат примера 6.3.
5. Выборка {X k, k = 1,
v. . . , n} соответствует распределению E(θ), θ >
u 2n
является сильно состоятельной оценкой
> 0. Доказать, что θbn = u
t n
X
k=1
X k2
39
МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ
параметра θ.
Обозначим e = {1, . . . , 1} , α = {α 1, . . . , α n} . Из неравенства Коши–
Буняковского следует:
!2
=
§ 7.
n
1 X
X 2.
n k=1 k
6. Пусть выборка {X k, k = 1, . . . , n} соответствует нормальному распреде-
лению N (θ, σ 2 ), где σ — известно. Показать, что статистика T n = (X n)2 −
несмещенно и сильно состоятельно оценивает функцию g(θ) = θ2 .
¯
˘
σ2
.
У к а з а н и е. Показать, что M (X n)2 = θ2 +
σ2
n
n
7. Выборка {X k, k = 1, . . . , n} порождена СВ X ∼ R[0; θ], θ > 0. Доказать,
что θbn = 2X n — несмещенная и сильно состоятельная оценка для θ.
8. Пусть выборка {X k, k = 1, . . . , n} соответствует распределению
X (N − X )
n
Bi(N ; p), где N — известно. Показать, что статистика T n = n
являN
ется асимптотически несмещенной и сильно состоятельной оценкой параметра
θ = D{X 1}.
˘ ¯ ` ˘ ¯´2
˘ ¯
и учесть, что
У к а з а н и е. Вычислить M X 2n = D X n + M X n
˘ ¯
M X n = pN .
§ 7. Методы построения точечных оценок параметров
7.1. Теоретические положения. Пусть Z n = {X k, k =
= 1, 2, . . . , n} — выборка, порожденная СВ X, функция распределения которой F X (x; θ) известна с точностью до m-мерного вектора θ =
= {θ 1, . . . , θ m}⊤ неизвестных неслучайных параметров. Для построения
оценок параметров (θ 1, . . . , θ m) по выборке Z n можно использовать метод моментов, если СВ X имеет конечные начальные моменты ν r для
всех r 6 m.
А л г о р и т м м е т о д а м о м е н т о в.
1) Найти аналитические выражения для начальных моментов ν r:
r
ν r(θ) = M{X } =
∞
Z
xr dF X (x; θ),
r = 1, . . . , m.
(7.1)
−∞
2) Вычислить соответствующие выборочные начальные моменты
ν r(n) =
n
1 X
(X k)r ,
n
k=1
r = 1, . . . , m.
(7.2)
40
МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ
§ 7.
3) Составить систему из m уравнений для переменных {θ 1, . . . , θ m}⊤ ,
приравнивая соответствующие теоретические (7.1) и выборочные (7.2)
моменты:
ν r(θ) = ν r(n),
r = 1, . . . , m.
(7.3)
4) Найти решение θbn системы уравнений (7.3).
О п р е д е л е н и е 7.1. Решение θbn системы уравнений (7.3) называется
оценкой метода моментов вектора параметров θ закона распределения
F X (x; θ), которому соответствует выборка.
Заметим, что при составлении системы уравнений (7.3) можно использовать не только начальные моменты, но также и центральные моменты
µ r(θ) и µ r(n), если это удобно.
Основным достоинством метода моментов является простота его
практической реализации.
Важнейшим методом построения точечных оценок вектора θ является
метод максимального правдоподобия (ММП). Предположим, что θ ∈
∈ Θ, где Θ — множество допустимых значений вектора θ. Если СВ X,
порождающая выборку, является дискретной, то пусть
p(x; θ) = P(X = x; θ),
x ∈ X,
(7.4)
где X — множество всех возможных значений СВ X, а P(X = x; θ) —
закон распределения дискретной СВ X.
Если же СВ X абсолютно непрерывна, то
p(x; θ) =
dF (x; θ)
,
dx
(7.5)
т.е. является плотностью вероятности СВ X.
О п р е д е л е н и е 7.2. Функцией правдоподобия выборки Z n называется функция L n(θ; Z n), θ ∈ Θ вида
L n(θ; Z n) =
n
Y
p (X k; θ).
(7.6)
k=1
Заметим, что для случая (7.5) функция L n(θ; x) является плотностью вероятности случайного вектора Z n в точке x ∈ Rn .
О п р е д е л е н и е 7.3. Пусть θbn — точка глобального максимума функции L n(θ; Z n) на Θ. Статистика θbn называется оценкой максимального
правдоподобия вектора θ (МП-оценкой).
§ 7.
МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ
41
Итак, θbn = arg max L n(θ; Z n) — МП-оценка.
θ∈Θ
Обычно в расчетах используют логарифмическую функцию правдоподобия
L n(θ) = ln L n(θ; Z n) =
n
X
ln p (X k; θ).
(7.7)
k=1
Очевидно, что arg max L n(θ; Z n) = arg max L n(θ).
θ∈Θ
θ∈Θ
Для построения МП-оценки θbn можно использовать необходимые
условия экстремума функции L n(θ):
∂L n(θ)
= 0,
∂θ k
k = 1, . . . , m.
(7.8)
Система уравнений (7.8), решением которой при определенных условиях является оценка θbn, называется системой уравнений правдоподобия.
Следующее утверждение называется принципом инвариантности
для оценивания по методу максимального правдоподобия.
Т е о р е м а 7.1. Пусть выборка Z n соответствует распределению
F (x; θ), θ ∈ Θ, а функция g(θ) отображает Θ в некоторый промежуток
∆ действительной оси. Тогда если θbn — МП-оценка вектора θ, то
g(θbn) — МП-оценка функции g(θ).
При определенных условиях МП-оценка параметра θ обладает замечательными асимптотическими свойствами. Предположим, что θ 0 —
истинное значение скалярного параметра θ, Θ — замкнутое ограниченное
подмножество R1 , а θ 0 лежит внутри Θ. Пусть также выборка Z n =
= {X k, k = 1, . . . , n} соответствует распределению с плотностью вероятности p(x; θ).
Т е о р е м а 7.2. Пусть выполнены следующие условия.
∂ (k) p(x; θ) 6 g (x), k = 1, 2, 3, причем g (x) и
1) При каждом θ ∈ Θ k
1
(k)
∂θ
g 2(x) интегрируемы на R1 , а sup
θ∈Θ
∞
Z
−∞
g 3(x)p(x; θ)dx < ∞.
2) При каждом θ ∈ Θ функция
2
∞
Z ∂ ln p(x; θ)
p(x; θ)dx
i(θ) =
−∞
конечна и положительна.
∂θ
42
МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ
§ 7.
Тогда уравнение правдоподобия (7.8) имеет решение θbn, обладающее
следующими
свойствами:
o
n
b
а) M θ n − θ 0 → 0, n → ∞ (асимптотическая несмещенность);
п.н.
б) θb −−−→ θ 0, n → ∞ (сильная состоятельность);
q
d
в) n i(θ 0)(θbn − θ 0) −→ ξ ∼ N (0; 1), n → ∞ (асимптотическая
нормальность).
Утверждения теоремы 7.2 могут быть обобщены на случай многомерного параметра θ.
7.2. Примеры.
П р и м е р 7.1. Выборка Z n порождена СВ X ∼ R[θ 1; θ 2], θ 1 < θ 2.
Найти оценку вектора θ = {θ 1, θ 2}⊤ методом моментов.
θ + θ2
, а µ 2(θ) =
Р е ш е н и е. Известно, что ν 1(θ) = M{X} = 1
2
2
(θ 2 − θ 1)
. Выборочными оценками
= M (X − ν 1(θ))2 = D{X} =
12
моментов ν 1(θ) и µ 2(θ) являются, соответственно, выборочное среднее
и выборочная дисперсия (см. раздел 6):
ν 1(n) = X n =
n
1 X
X k,
n
k=1
µ 2(n) = S 2n =
§ 7.
П р и м е р 7.2. В условиях примера 7.1 найти оценки максимального
правдоподобия параметров θ 1 и θ 2. 
1

, если x ∈ [θ 1, θ 2];
θ2 − θ1
Р е ш е н и е. По условию p(x; θ) =
От
0,
если x ∈
/ [θ 1, θ 2].
сюда

1

, если X i ∈ [θ 1, θ 2], i = 1, . . . , n;
(θ
−
θ 1)n
L n(θ; Z n) =
2

0,
если ∃j : X j ∈
/ [θ 1, θ 2].
Из полученного выражения следует, что при любых θ 1 < θ 2 L n(θ; Z n) 6
6
1
(X (n) − X (1))n
= Lmax , где X (1) = min (X 1, . . . , X n), X (n) =
max (X 1, . . . , X n). Отсюда θb1 = X (1), θb2 = X (n), так как
L n(θb1, θb2; Z n) = Lmax . Заметим, что МП-оценки θb1, θb2 не совпадают с
оценками метода моментов, построенными в примере 7.1.
П р и м е р 7.3. Пусть выборка Z n = {X k, k = 1, . . . , n} соответствует
распределению Bi(N ; p), где N — известно. Найти МП-оценку параметра
θ (с учетом θ ∈ (0; 1)).
Р е ш е н и е. Из условия следует, что p(x; θ) = C xN θx (1−θ)N −x , где x =
=
N!
= 0, 1, . . . , N , а C xN =
. Поэтому функция правдоподобия имеет
x!(N − x)!
вид
n
1 X
(X k − X n)2 .
n
L n(θ; Z n) =
Решая полученную систему уравнений относительно θ 1, θ 2, находим
окончательный вид оценок:
√
√
θb1 = X n − 3 S n, θb2 = X n + 3 S n.
n
Y
p (X k; θ) =
k=1
k=1
Подставляя найденные теоретические и выборочные моменты в систему уравнений метода моментов (7.3), получаем

 θ 1 + θ 2 = 2X n,
 θ − θ = 2√3 S .
n
2
1
43
МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ
n
Y
k=1
k Xk
CX
(1 − θ)N −Xk .
N θ
(7.9)
Логарифмируя (7.9), найдем логарифмическую функцию правдоподобия:
L n(θ) = ln L n(θ; Z n) =
n
X
k=1
=
n
X
k=1
k
ln C X
N
+ ln θ
n
X
k=1
k
ln C X
N + X k ln θ + (N − X k) ln(1 − θ) =
!
X k + ln(1 − θ) N n −
n
X
Xk .
k=1
Уравнение правдоподобия (7.8) имеет вид
n
dL n(θ)
1 X
1
=
Xk −
dθ
θ
1−θ
k=1
Nn −
n
X
k=1
Xk
!
= 0.
44
§ 7.
МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ
n
X
Решая полученное уравнение относительно θ, находим θbn =
Nn
=
X
= n . Оценка θbn будет несмещенной, сильно состоятельной и асимптоN
тически нормальной.
П р и м е р 7.4. Дана гауссовская выборка Z n = {X k, k = 1, . . . , n}, где
X k ∼ N (θ 1; θ 2). Найти МП-оценку среднего θ 1 и дисперсии θ 2 > 0.
1
⊤
Р е ш е н и е. По
условию для x ∈ R и θ = {θ 1, θ 2} имеем
2
(x − θ 1)
1
exp −
2θ 2
2πθ 2
p(x; θ) = p
L n(θ; Z n) =
n
Y
. Поэтому
−n
2
p (X k; θ) = (2πθ 2)
k=1
(
n
1 X
(X k − θ 1)2
exp −
2θ 2
k=1
)
.
Отсюда
n
2
L n(θ) = ln L n(θ; Z n) = − ln(2π) −
n
n
1 X
ln θ 2 −
(X k − θ 1)2 .
2
2θ 2
k=1
Для нахождения максимума функции L n(θ) по θ воспользуемся уравнениями правдоподобия (7.8):

n
∂L n(θ)
1 X


=
(X k − θ 1) = 0

∂θ 1
θ2
k=1
∂L n(θ)
n
1


=−
+ 2

∂θ 2
2θ 2
2θ 2
n
X
2
(X k − θ 1) = 0.
k=1
Решая полученную систему уравнений относительно θ 1 и θ 2, находим
требуемые оценки θb1 и θb2:
1
θb1 =
n
n
X
k=1
X k = X n;
1
θb2 =
n
n
X
МЕТОДЫ ПОСТРОЕНИЯ ТОЧЕЧНЫХ ОЦЕНОК ПАРАМЕТРОВ
45
7.3. Задачи для самостоятельного решения.
Xk
k=1
§ 7.
(X k − X n)2 = S 2n.
k=1
Итак, выборочное среднее X n и выборочная дисперсия S 2n являются
МП-оценками, соответственно, математического ожидания θ 1 и дисперсии θ 2 по гауссовской выборке. Из результатов примеров 5.2 и 5.3 следует,
что θb1 — несмещенная и сильно состоятельная оценка θ 1, θb2 — асимптотически несмещенная и сильно состоятельная оценка для θ 2. Можно
показать, что обе оценки асимптотически нормальны.
1. Доказать, что оценки параметров, построенные в примерах 7.1 и 7.3,
являются асимптотически несмещенными и сильно состоятельными.
У к а з а н и е. Использовать асимптотические свойства выборочных моментов (см. разделы 4 и 5).
2. Выборка объема n порождена СВ X ∼ E(θ), θ > 0. Найти МП-оценку
параметра θ и доказать ее сильную состоятельность.
1
О т в е т. θbn =
.
Xn
3. Выборка объема n соответствует распределению Пуассона Π(θ), θ > 0.
Найти МП-оценку для θ, доказать ее несмещенность, сильную состоятельность
и асимптотическую нормальность.
О т в е т. θbn = X n.
4. Выборка {X k, k = 1, . . . , n} порождена СВ X ∼ E(θ 1, θ 2), θ 2 > 0, т.е.
(
θ 2exp{−θ 2(x − θ 1)} , если x > θ 1,
pX (x) =
0,
если x < θ 1.
Найти оценки параметров θ 1 и θ 2 методом моментов. Доказать сильную состоятельность полученных оценок.
1
.
О т в е т. θb1 = X n − S n; θb2 =
Sn
5. Выборка Z n соответствует
 2 ff распределению Рэлея с функцией распредеx
ления F (x; θ) = 1 − exp −
, x > 0, θ > 0. Найти МП-оценку параметра
θ
θ.
1
О т в е т. θbn =
n
n
X
(X k)2 .
k=1
6. Выборка Z n = {X k, k = 1, . . . , n} объема n = 2m + 1 (m — натуральное)
1
соответствует распределению Лапласа с плотностью p(x; θ) = exp{−|x − θ|}.
2
Найти МП-оценку параметра θ.
О т в е т. θbn = X (m+1).
7. В условиях задачи 6 для случая n = 2m показать, что МП-оценкой для
θ является любая статистика вида θbn = (1 − λ)X (m) + λX (m+1), λ ∈ [0; 1].
8. Пусть θbn — МП-оценка параметра θ распределения Бернулли Bi(1; θ).
√
Показать, что последовательность n(θbn − θ) асимпотически нормальна с
параметрами (0; θ(1 − θ)).
У к а з а н и е. См. пример 7.3.
√ 9. Выборка Z n соответствует нормальному распределению с параметрами
( θ; 2), θ > 0. Найти МП-оценку для θ.
О т в е т. θbn = (X n)2 , если X n > 0 и θbn = 0 в противном случае.
46
§ 8.
ЭФФЕКТИВНОСТЬ ТОЧЕЧНЫХ ОЦЕНОК
10. Выборка Z n = {X k, k = 1, . . . , n} соответствует логнормальному распределению с параметрами (θ 1; θ 2), т.е. ln X k ∼ N (θ 1; θ 2). Найти МП-оценку
параметра θ = M{X k}, доказать ее сильную состоятельность.
n
o
θ
У к а з а н и е. Показать, что θ = exp θ 1 + 2 ; воспользоваться принципом
2
инвариантности.

ff
n
n
2
X
S
1
1 X
О т в е т. θbn = exp Y n + n , где Y n =
Y k, S 2n =
(Y k − Y n)2 ,
2
n
n
k=1
k=1
Y k = ln X k, k = 1, . . . , n.
11. Найти МП-оценку параметра θ = M{X k} по выборке {X k, k =
= 1, . . . , n}, соответствующей распределению R[θ 1, θ 2].
О т в е т. θbn =
X (1) + X (n)
2
.
§ 8.
ЭФФЕКТИВНОСТЬ ТОЧЕЧНЫХ ОЦЕНОК
47
заменяется суммой:
i(θ) =
m
X
k=1
∂ ln p(ξk ; θ)
∂θ
2
P k(θ).
(8.2)
Пусть L n(θ; Z n) — функция правдоподобия выборки Z n (см. определение 7.2), а L n(θ) = ln L n(θ; Z n) — логарифмическая функция правдоподобия.
О п р е д е л е н и е 8.3. Функция
U n(θ; Z n) =
d L n(θ)
dθ
(8.3)
называется вкладом выборки Z n.
О п р е д е л е н и е 8.4. Функция I n(θ), определенная на Θ формулой
Z
I n(θ) = M θ U 2n(θ; Z n) = U 2n(θ; x)L n(θ; x)dx,
(8.4)
§ 8. Эффективность точечных оценок
Rn
8.1. Теоретические положения. Для определенности предположим, что выборка Z n = {X k, k = 1, . . . , n} соответствует абсолютно
непрерывному распределению F (x; θ) c плотностью p(x; θ), где θ ∈ Θ ⊆
⊆ R1 , Θ — произвольный промежуток.
О п р е д е л е н и е 8.1. Распределение F (x; θ) называется регулярным,
если выполнены следующие два условия.
p
p(x; θ) непрерывно дифференцируема по θ на Θ для
R.1) Функция
почти всех x (по мере Лебега).
R.2) Функция
i(θ) = M θ
(
∂ ln p(X; θ)
∂θ
2 )
=
∞
Z
−∞
∂ ln p(x; θ)
∂θ
2
p(x; θ)dx
(8.1)
конечна, положительна и непрерывна по θ на Θ.
В формуле (8.1) СВ X имеет плотность распределения p(x; θ), θ ∈ Θ,
а M θ {ξ} означает усреднение СВ ξ по этому распределению.
О п р е д е л е н и е 8.2. Функция i(θ) называется информационным количеством Фишера одного наблюдения с распределением p(x; θ).
Если СВ X, порождающая выборку Z n, является дискретной, а
{ξ 1, . . . , ξ m} — множество ее допустимых значений, то P(X = ξ k; θ) =
= P k(θ), θ ∈ Θ, p(x; θ) = P(X = x; θ), а в формуле (8.1) интеграл
называется количеством информации Фишера о параметре θ, содержащимся в выборке Z n, соответствующей распределению p(x; θ), θ ∈ Θ.
Т е о р е м а 8.1. Пусть выполнены условия регулярности R.1) и R.2),
тогда I n(θ) = n i(θ), где i(θ) имеет вид (8.1) или (8.2).
Пусть θ 0 ∈ Θ — неизвестное истинное значение параметра θ распределения F (x; θ), а θbn — произвольная
oнесмещенная оценка для θ 0,
n
b
построенная по выборке Z n: M θ n − θ 0 = 0. Пусть также ∆ n =
n
o
= M |θbn − θ 0|2 — с.к.-погрешность оценки θbn.
Т е о р е м а 8.2 (неравенство Рао–Крамера). Пусть выполнены условия регулярности R.1) и R.2), тогда справедливы следующие утверждения.
1)
∆n >
1
= ∆ min
n ,
In (θ0 )
(8.5)
где ∆ min
— нижняя граница Рао–Крамера с.к.-погрешности несмещенn
ной оценки θbn.
2) Если в (8.5) для некоторой оценки θbn достигается равенство, то
ее можно представить в виде
θbn = θ 0 + a(θ 0)U n(θ 0; Z n),
где a(θ) не зависит от Z n, а U n(θ; Z n) — вклад выборки (8.3).
(8.6)
48
§ 8.
ЭФФЕКТИВНОСТЬ ТОЧЕЧНЫХ ОЦЕНОК
О п р е д е л е н и е 8.5. Несмещенная оценка θbn, с.к.-погрешность которой совпадает при всех n > 1 с нижней границей ∆ min
n , называется
эффективной по Рао–Крамеру (R-эффективной).
Из приведенных определений и утверждений следует:
1) эффективная оценка является с.к.-оптимальной на классе всех
несмещенных оценок параметра θ 0;
2) если эффективная оценка существует, то она имеет вид (8.6).
Следующее утверждение поясняет связь между эффективной оценкой
и МП-оценкой.
Т е о р е м а 8.3. Пусть в условиях теоремы 8.2 существует эффективная оценка θbn, тогда она единственна и является МП-оценкой.
Заметим, что с учетом несмещенности эффективной оценки θbn и
утверждения теоремы 8.1
n
o
n o
1
∆ n(θ 0) = M (θbn − θ 0)2 = D θbn =
,
(8.7)
n i(θ0 )
где i(θ) — информация Фишера
наблюдения (8.1) или (8.2).
n o одного
1
b
, т.е. убывает с ростом объема
Из (8.7) видно, что D θ
= O
n
n
выборки со скоростью, пропорциональной
1
. Кроме того, всякая эффекn
n o
тивная оценка с.к.-состоятельна, так как ∆ n = D θbn → 0, n → ∞.
§ 8.
49
ЭФФЕКТИВНОСТЬ ТОЧЕЧНЫХ ОЦЕНОК
смысл: если матрицы A и B симметричны и неотрицательно определены,
то A > B означает, что A − B неотрицательно определена. Матрица I(θ)
называется информационной матрицей Фишера.
1
Если выборка соответствует регулярному распределению,
n o θ ∈ Θ⊆R ,
D θbn
а для некоторой несмещенной оценки θbn выполнено
∆min
n
то θbn называется асимптотически эффективной оценкой.
→ 1, n → ∞,
8.2. Примеры.
П р и м е р 8.1. Выборка Z n соответствует распределению N (θ; σ 2 ),
σ > 0. Доказать, что выборочное среднее X n является эффективной
оценкой математического ожидания θ.
Р е ш е н и е.
По условию p(x; θ) = √
1
2πσ
exp −
(x − θ)2
2σ 2
, поэтому
условие R.1) очевидно выполнено. Проверим условие R.2). Пусть X ∼
∼ N (θ; σ 2 ), тогда
(X − θ)2
1
−
.
l(X; θ) = ln p(X; θ) = ln √
2
2σ
2πσ
∂l(X; θ)
X −θ
=
, и, следовательно,
∂θ
σ2
Для случая θ ∈ Θ ⊆ Rm , m > 1 условия регулярности R.1) и R.2)
принимают следующий вид:
p
p(x; θ) непрерывно дифференцируема по θ j , j = 1, . . . , m на Θ
R.1’)
для почти всех x.
Отсюда ϕ(X; θ) =
R.2’) Матрица I(θ) = {I ij (θ)} с элементами
(8.8)
Итак, информация Фишера для гауссовского распределения i(θ) = 2
σ
удовлетворяет R.2) при любом σ ∈ (0, +∞).
Теперь видно, что нижняя граница в неравенстве (8.5) Рао–Крамера
(8.9)
σ2
1
=
и не зависит от θ.
n i(θ)
n
n
n
1 X
1 X
Так как X n =
X k по определению, то M X n =
M{X k} =
n
n
k=1
k=1
nθ
=
= θ, т.е. X n — несмещенная оценка. При этом
n
I ij (θ) =
∞
Z
−∞
∂ ln p(x; θ) ∂ ln p(x; θ)
·
p(x; θ)dx
∂θi
∂θj
n
ϕ (X; θ) = M θ
2
(X − θ)2
σ4
=
σ2
1
= 2.
σ4
σ
1
∆ min
=
n
непрерывна по θ на Θ и положительно определена.
В этом случае неравенство Рао–Крамера (8.5) принимает вид
o
n
I −1 (θ0 )
,
M (θbn − θ 0)(θbn − θ 0)⊤ >
i(θ) = M θ
где θ 0 — истинное значение вектора параметров θ, а θbn — его произвольная несмещенная оценка. Знак неравенства в (8.9) имеет следующий
(
1
∆n = D X n = D
n
4 А.Р. Панков и Е.Н. Платонов
n
X
k=1
Xk
)
=
nσ 2
σ2
= .
2
n
n
50
§ 8.
ЭФФЕКТИВНОСТЬ ТОЧЕЧНЫХ ОЦЕНОК
Итак, ∆ n = ∆ min
n , поэтому X n — эффективная оценка для θ при любой
величине с.к.о. σ.
П р и м е р 8.2. Показать, что распределение Бернулли Bi(1; θ), θ ∈
∈ (0; 1) является регулярным и найти информацию Фишера i(θ).
Р е ш е н и е. По условию p(x;pθ) = θx (1 − θ)1−x , x = 0, 1, а θ ∈ Θ =
p(x; θ)
∂p(x; θ)
1
p
= −
. Если x =
∂θ
∂θ 2 p(θ; x)
1
непрерывна
= 0, то p(x; θ) = 1 − θ, и, следовательно, f (x; θ) = − √
2 1−θ
1
по θ на (0; 1). Аналогично, для x = 1 p(x; θ) = θ, т.е. f (x; θ) = − √
2 θ
= (0; 1). Обозначим f (x; θ) =
∂
также непрерывна по θ на Θ. Таким образом, условие регулярности R.1)
выполнено.
Теперь найдем i(θ). Если X ∼ Bi(1; θ), то p(X; θ) = θX (1 − θ)1−X .
Отсюда l(X; θ) = ln p(X; θ) = X ln θ + (1 − X) ln(1 − θ). Поэтому ϕ(X; θ) =
=
∂l(X; θ)
X
1−X
X −θ
=
−
=
. Теперь
∂θ
1−θ
θ
θ(1 − θ)
i(θ) = M θ
˘
¯
M (X − θ)2
=
ϕ (X; θ) = θ 2
2
2
θ (1 − θ)
D θ{X}
θ(1 − θ)
1
= 2
= 2
=
.
θ (1 − θ)2
θ (1 − θ)2
θ(1 − θ)
θ(1 − θ)
1
=
. Из примера 8.2 следует, что
= θ, а D{P ∗n(A)} =
n
n
количество информации в выборке Z n = {X kn, k =
o 1, . . . , n} о параметре
1
n
b
. Поэтому D θ
,
= D{P ∗ (A)} =
θ равно I (θ) = n i(θ) =
θ(1 − θ)
n
λ
Доказать, что X n является несмещенной, но не эффективной оценкой
среднего θ при любом известном λ.
Р е ш е н и е. Можно показать, что в условиях примера неравенn
ство (8.5) выполнено, причем I n(θ) = 2 .
λ
Если
X
имеет
распределение
(8.10),
то
M{X}
=
∞
∞
Z
Z
|x − θ|
1
λ
dx = θ +
=
x exp −
y exp{−|y|} dy = θ, поэтому
2λ
2
λ
−∞
−∞
M X n = M{X} = θ (см. решение примера 8.1). Далее D X n =
∞
Z
|x − θ|
D{X}
2λ2
1
(x − θ)2 exp −
=
, так как D{X} =
dx = 2λ2 .
=
n
2λ
n
I n(θ)
т.е. в неравенстве Рао–Крамера достигается нижняя граница. Таким
образом, θbn = P ∗n(A) эффективно оценивает θ = P(A). Применимость
теоремы Рао–Крамера в данном случае обосновывается регулярностью
распределения Bi(1; θ) для всех θ ∈ (0; 1), что было доказано в примере 8.2.
λ
−∞
n
k=1
n
2λ
2λ
Отсюда видно, что ∆ n = D X n =
>
независимые бернуллиевские СВ (см. пример 4.3). Поэтому M{P ∗n(A)} =
D{X }
Следующий пример показывает, что выборочное среднее отнюдь не
всегда является эффективной оценкой математического ожидания.
П р и м е р 8.4. Выборка {X k, k = 1, . . . , n} соответствует распределению Лапласа с параметрами (θ, λ), где λ > 0, т.е.
|x − θ|
1
p(x; θ) =
exp −
, θ ∈ R1 .
(8.10)
2
n
1 X
X k, где X k ∼ Bi(1; θ) —
n
51
ЭФФЕКТИВНОСТЬ ТОЧЕЧНЫХ ОЦЕНОК
n
Видно, что 0 < i(θ) < ∞ при любом θ ∈ Θ и i(θ) непрерывна по θ на Θ,
т.е. условие R.2) также выполнено.
П р и м е р 8.3. Доказать, что частота θbn = P ∗n(A) случайного события
A является эффективной оценкой вероятности θ = P(A) этого события.
Р е ш е н и е. По определению P ∗n(A) =
§ 8.
2
1
λ
=
= ∆ min
n . Таким
I n(θ)
n
образом, с.к.-погрешность ∆ n оценки X n параметра θ в два раза больше
нижней границы Рао–Крамера ∆ min
при любом объеме выборки n и
n
любом θ ∈ R1 . Последнее означает, что X n не может быть эффективной
оценкой для θ. Более того, X n не является даже асимптотически
эффективной, так как
∆n
6→ 1, n → ∞.
∆ min
n
Приведем пример нерегулярного распределения и рассмотрим точность МП-оценки параметра этого распределения.
П р и м е р 8.5. Показать, что распределение R[0; θ], θ > 0 нерегулярно.
Исследовать поведение с.к.-погрешности МП-оценки параметра θ при
n → ∞.
Р е ш е н и е. Зафиксируем любое x > 0. По условию
(
0, если θ < x,
p(x; θ) =
1
, если θ > x.
θ
p
Таким образом, p(x; θ) терпит разрыв в точке θ = x и, естественно,
не является непрерывно дифференцируемой при любом x > 0. Итак,
условие R.1) нарушено.
4*
52
§ 8.
ЭФФЕКТИВНОСТЬ ТОЧЕЧНЫХ ОЦЕНОК
Пусть θbn — МП-оценка параметра θ, тогда θbn = X (n) =
= max{X 1, . . . , X n} (см. пример 7.2). В примере 5.1 было показано, что
X (n) ∼ F (n)(x) =
xn
, если x ∈ [0; θ], поэтому
θn
p(x; θ) =
(
nxn−1
,
θn
0,
0
n
θ.
n+1
n
o Zθ
2
n+1 2
n+1 2
nxn−1
2
e
b
M (θ n) =
=
M θn
x2 n dx =
=
(n + 1)2
nθn
Zθ
xn+1 dx =
0
0
θ
(n + 1)2 2
θ .
n(n + 2)
(n + 1)2
− 1 θ2 =
n o
n
o
θ2
=
Поэтому D θen = M (θen)2 − θ2 =
n(n + 2)
n(n + 2)
1
=O 2 .
n
Итак, мы видим, что для θ найдена несмещенная оценка,
с.к.1
, что
погрешность которой убывает существенно быстрее, чем O
n
разрешено неравенством Рао–Крамера. Указанный эффект вызван нерегулярностью распределения R[0; θ] и известен как “сверхэффективность”
оценки θen.
8.3. Задачи для самостоятельного решения.
1. Выборка соответствует распределению Bi(N ; θ), θ ∈ (0; 1). Проверить
условия регулярности, найти i(θ) и доказать эффективность МП-оценки параметра θ.
X
У к а з а н и е. θb = n .
n
N
1
.
θ
2
.
θ2
4. Проверить регулярность распределения E(θ), θ > 0, вычислить I n(θ).
n−1b
Доказать, что оценка θe =
θ асимптотически эффективна, если θb —
n
n
n
N
.
θ(1 − θ)
2. Показать, что распределение Пуассона Π(θ), θ > 0, регулярно. Найти
i(θ). Доказать эффективность МП-оценки θbn параметра θ.
У к а з а н и е. θbn = X n.
О т в е т. i(θ) =
n+1b
θ n — несмещенная. Найдем
Поэтому “подправленная” оценка θen =
n
теперь дисперсию оценки θe :
n
О т в е т. i(θ) =
3. Для распределения N (µ; θ2 ), θ > 0, где µ — известно, найти информацию
Фишера i(θ).
если x ∈
/ [0; θ].
Отсюда немедленно следует, что для любого θ ∈ Θ
θ
53
ЭФФЕКТИВНОСТЬ ТОЧЕЧНЫХ ОЦЕНОК
О т в е т. i(θ) =
если x ∈ [0; θ],
n o
Zθ
n
b
M θ n = n xn dx =
§ 9.
n
МП-оценка для θ.
1
У к а з а н и е. θbn =
.
Xn
n o
n
О т в е т. I n(θ) = 2 ; D θen =
θ
n
n
θ2
.
n−2
5. Показать, что информация I n(θ), содержащаяся в выборке Z n, соответn
ствующей распределению Лапласа (8.10), равна 2 .
λ
6. Сравнить по точности оценку θ ∗n параметра θ распределения R[0; θ], θ >
> 0, полученную методом моментов, с оценкой θen, рассмотренной в примере 8.5.
У к а з а н и е. θ ∗n = 2X n.
О т в е т.
D{θ ∗n}
n+2
n o =
.
3
e
D θn
7. Пусть выборка соответствует распределению N (µ; θ), θ > 0, µ — известно. Доказать, что МП-оценка дисперсии θ эффективна.
n
1 X
(X − µ)2 .
У к а з а н и е. θb =
n
n
k
k=1
n o
2θ2
1
b
О т в е т. D θ n =
; i(θ) = 2 .
2θ
n
8. Выборка Z n соответствует распределению N (θ 1; θ 22 ). Найти информационную матрицу Фишера I(θ 1, θ 2).
3
2 1
0
2
7
6 θ
.
О т в е т. I(θ 1, θ 2) = 4 2
2 5
0
2
θ2
9. Для оценок, построенных в задачах 1, 2 и 7, найти их представление (8.7)
через вклад выборки.
1
.
О т в е т. Во всех случаях a(θ) =
I n(θ)
54
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
§ 9.
§ 9. Интервальные оценки параметров
9.1. Теоретические положения. Пусть Z n = {X k, k = 1, . . . , n} —
выборка, соответствующая распределению F (x; θ), где θ ∈ Θ ⊆ R1 —
неизвестный параметр. Выберем некоторое малое положительное число
p и предположим, что найдутся статистики T 1 = T 1(Z n) и T 2 = T 2(Z n),
T 1 < T 2, такие, что для любого θ ∈ Θ
P(T 1 6 θ 6 T 2) = 1 − p.
(9.1)
О п р е д е л е н и е 9.1. Промежуток [T 1, T 2] называется доверительным интервалом для θ надежности q = 1 − p. Доверительный интервал
также называют интервальной оценкой параметра θ.
Число p = 1−q называют уровнем значимости и обычно на практике
полагают p = 0,05 или p = 0,01.
Пусть ξ — СВ, имеющая непрерывную функцию распределения Fξ (x).
О п р е д е л е н и е 9.2. Для любого α ∈ (0; 1) число
x α = min{x : Fξ (x) > α}
(9.2)
называется квантилью уровня α распределения Fξ (x).
Из (9.2) следует, что
P(ξ 6 x α) = α,
P(ξ > x α) = 1 − α.
(9.3)
Понятие квантили имеет существенное значение для построения доверительных интервалов и проверки статистических гипотез.
Центральный доверительный интервал. Пусть G(Z n; θ) — такая СВ,
что ее функция распределения F G(x) = P (G(Z n; θ) 6 x) не зависит от θ.
Пусть также для каждой реализации z n выборки Z n числовая функция
G n(θ) = G(z n; θ) непрерывна и строго монотонна по θ на Θ.
О п р е д е л е н и е 9.3. СВ G(Z n; θ) называется центральной статистикой для θ.
Пусть задан уровень значимости p и выбраны произвольно p 1 > 0 и
p 2 > 0 такие, что p = p 1 + p 2 (например, p 1 = p 2 = p2 ). Если g 1 и g 2 —
квантили распределения F G(x) уровней, соответственно, p 1 и 1 − p 2, то
для любого θ ∈ Θ
P (g 1 6 G(Z n; θ) 6 g 2) = 1 − p.
Найдем решения t 1 и t 2 уравнений G(Z n; θ) = g i, i = 1, 2 и положим
T 1 = min{t 1, t 2}, T 2 = max{t 1, t 2}. Тогда
P (T 1 6 θ 6 T 2) = 1 − p = q,
§ 9.
55
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
т.е. [T 1, T 2] — доверительный интервал для θ надежности q.
В силу произвола в выборе p 1 и p 2 интервал [T 1, T 2] определен неоднозначно. Если при построении T 1 и T 2 с помощью G(Z n; θ) дополнительно
предположить, что p 1 = p 2 = p2 , то [T 1, T 2] называют центральным
доверительным интервалом.
В общем случае выбор p 1 и p 2 осуществляется так, чтобы длина
интервала T 2 − T 1 была минимальной при неизменной надежности q (в
этом случае интервальная оценка будет самой точной среди всех оценок
надежности q).
Следующее утверждение дает общий способ построения центральной
статистики.
Т е о р е м а 9.1. Пусть выборка Z n = {X k, k = 1, . . . , n} соответствует функции распределения F (x; θ), удовлетворяющей следующим
требованиям:
1) F (x; θ) непрерывна по x для любого θ ∈ Θ;
2) F (x; θ) непрерывна и монотонна по θ для любого x.
Тогда G(Z n; θ) = −
n
X
ln F (X k; θ) является центральной статистикой
k=1
для θ ∈ Θ.
Асимптотический доверительный интервал. При больших объемах
выборки (n ≫ 1) для построения доверительного интервала можно воспользоваться любой асимптотически нормальной оценкой θbn параметра
θ. Пусть
√
d
n(θbn − θ) −→ ξ ∼ N (0; d(θ)), n → ∞,
(9.4)
где d(θ) — асимптотическая дисперсия оценки θbn.
Зададим надежность q, уровень значимости p = 1 − q и определим
p
(по таблице 13.2) квантиль u α уровня α = 1 − распределения N (0; 1).
2
p
2
Так как функция Лапласа строго монотонна, Φ(u α) = 1 − . Кроме того,
p
если β = , то u β = −u α.
2
Если d(θ) непрерывна по θ ∈ Θ, то из (9.4) следует:
!
r
r
bn )
bn )
d(
θ
d(
θ
6 θ 6 θbn + u α
→ Φ(u α) − Φ(−u α) = q.
P θbn − u α
n
n
Последнее означает, что интервал
#
"
r
r
bn )
bn )
d(
θ
d(
θ
; θb + u
Ib = θb − u
,
n
α
n
n
α
n
α=1−
1+q
p
=
2
2
56
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
§ 9.
§ 9.
при n ≫ 1 накрывает оцениваемый параметр θ с вероятностью, близкой
к q = 1 − p.
Если θb — МП-оценка параметра θ, то в условиях теоремы 7.2 d(θ) =
Обозначение: τ n ∼ Tn .
СВ τ n имеет плотность вероятности
n
=
− n+1
`
´ 2
Γ n+1
x2
2
`n´ 1 +
p τn (x) = √
.
n
nπ Γ 2
1
, где i(θ) — информация Фишера одного наблюдения. Пусть
i(θ)
распределение, определяющее выборку, регулярно (см. определение 8.1),
1
e
тогда i(θ) > 0, d(θ) =
непрерывна по θ, причем d(θ)
> d(θ),
Свойства распределения T n:
1) если n > 2, то M{τ n} = 0, D{τ n} =
i(θ)
e
если d(θ)
— асимптотическая дисперсия любой другой асимптотически
b построенный с
нормальной оценки θen параметра θ. Поэтому интервал I,
b
использованием МП-оценки θ n, будет асимптотически наикратчайшим.
Рассмотрим теперь некоторые специальные вероятностные распределения, необходимые для построения доверительных интервалов.
О п р е д е л е н и е 9.4. Пусть {X k, k = 1, . . . , n} — выборка, соответствующая распределению N (0; 1). Тогда СВ
χ 2n =
n
X
(X k)2
k=1
имеет χ -распределение (“хи-квадрат” распределение) с n степенями
свободы. Обозначение: χ 2n ∼ H n.
СВ χ 2n имеет плотность вероятности

n
o
n−2
1
x

` n ´ x 2 exp −
, x > 0,
2
2n/2 Γ 2
p χ2 (x) =
n
 0,
x < 0,
∞
Z
n
;
n−2
2) если n = 1, то τ n имеет распределение Коши: p τn (x) =
1
;
π(1 + x2 )
d
3) асимптотическая нормальность: τ n −→ ξ ∼ N (0; 1), n → ∞.
Пусть теперь Z n = {X k, k = 1, . . . , n} — выборка, соответствующая
распределению N (θ; σ 2 ), σ > 0, X n =
S 2n
n
1 X
X k — выборочное среднее,
n
k=1
n
1 X
(X k − X n)2 — выборочная дисперсия.
=
n
k=1
2
где Γ(λ) =
57
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
tλ−1 e−t dt — гамма функция.
0
Моментные характеристики: M χ 2n = n, D χ 2n = 2n.
Распределение H n асимптотически нормально (по числу степеней
χ2n − n d
−→ ξ ∼ N (0; 1), n → ∞.
свободы n): √
2n
О п р е д е л е н и е 9.5. Пусть X ∼ N (0; 1), Y n ∼ H n, X и Y — независимы. Тогда СВ
X
τn = r
1
Y
n
n
имеет распределение Стьюдента с n степенями свободы.
Т е о р е м а 9.2. Статистики X n и S 2n независимы и обладают следующими свойствами:
1) X n ∼ N
θ;
σ2
n
;
2
2) g n =
3) τ n−1
n Sn
∼ H n−1;
σ 2√
n − 1(X n − θ)
=
∼T
Sn
n−1.
Утверждения теоремы 9.2 существенно облегчают построение доверительных интервалов для параметров гауссовского распределения.
9.2. Примеры.
П р и м е р 9.1. Выборка Z n = {X k, k = 1, . . . , n} соответствует распределению N (θ; σ 2 ); σ 2 > 0 — известная дисперсия. Построить для θ
доверительный интервал надежности q = 1 − p.
Р е ш е н и е. Пусть G(Z n; θ) =
√
n (X n − θ)
. По теореме 9.2 G(Z n; θ) ∼
σ
∼ N (0; 1). При фиксированном X n G(Z n; θ) монотонно убывает по θ.
Итак, G(Z n; θ) — центральная статистика. Пусть p 1 + p 2 = p, p 1 > 0, p 2 >
> 0. Найдем квантили g 1 и g 2 из соответствующих уравнений Φ(g 1) = p 1
58
§ 9.
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
и Φ(g 2) = 1 − p 2. Тогда P g 1 6
√
n (X n − θ)
6 g2
σ
σ
n
σ
n
P X n − g2 √ 6 θ 6 X n − g1 √
n
(9.5)
= q.
Найдем g 1 и g 2 посредством минимизации длины полученного довеσ
рительного интервала: √ (g 2 − g 1) → min при условии Φ(g 2) − Φ(g 1) = q.
n
Для этого рассмотрим функцию Лагранжа
σ
n
L(g 1, g 2, λ) = √ (g 2 − g 1) + λ (Φ(g 2) − Φ(g 1) − q) , λ > 0.
n − 1 (X n − θ)
, которая является центральной. ДействиSn
тельно, по теореме 9.2 G n(Z n; θ) ∼ T n−1, а монотонность по θ очевидна.
Повторяя практически дословно рассуждения, приведенные в примере 9.1, находим доверительный интервал наименьшей длины:
Sn
Sn
P X n − tα √
6 θ 6 X n + tα √
= q,
(9.7)
n−1
По реализации z n вычисляем реализацию s 2n =
∂L(g 1, g 2, λ)
σ
= √ + λp G(g 2) = 0,
∂g 2
n
n
1 X
(x k −x n)2 = 1,115
n
k=1
где p G(x) — плотность распределения N (0; 1). Отсюда следует, что
p G(g 1) = p G(g 2). Так как, p G(x) = p G(−x) для всех x ∈ R1 , то либо
g 1 = g 2, либо g 1 = −g 2. Первый случай не подходит, так как Φ(g 2) −
− Φ(g 1) = 0 6= q. Отсюда заключаем, что Φ(g 2) − Φ(−g 2) = q. Таким
p
образом, g 2 = u α — квантиль уровня α = 1 − , а g 1 = −u α. Подставляя
2
найденные g 1 и g 2 в (9.5), окончательно имеем
σ
σ
= q.
(9.6)
P X n − uα √ 6 θ 6 X n + uα √
n
p
Заметим, что из g 2 = −g 1 = u α следует, что p 1 = p 2 = . Таким
2
образом, доверительный интервал (9.6) является центральным.
П р и м е р 9.2. Дана реализация z n выборки Z n объема n = 9, порожденной СВ X ∼ N (θ; σ 2 ): z n = {1,23; −1,384; −0,959; 0,731; 0,717; −
−1,805; −1,186; 0,658; −0,439}. Построить для θ доверительные интервалы надежности q = 0,95, если а) σ 2 = 1; б) σ 2 неизвестна.
p
Р е ш е н и е. а) По условию p = 1−q = 0,05, поэтому α = 1− = 0,975.
2
По таблице 13.2 находим: u α = 1,96. По реализации выборки z n вычисляn
1 X
x k = −0,271 выборочного среднего X n. Теперь
n
k=1
G n(Z n; θ) =
где t α — квантиль уровня α = 0,975 распределения Стьюдента T r с r =
= n − 1 = 8 степенями свободы. По таблице 13.4 находим, что t α = 2,306.
∂L(g 1, g 2, λ)
σ
= − √ − λp G(g 1) = 0,
∂g 1
n
ем реализацию x n =
n
Подставляя x n, n = 9, σ = 1 и u α = 1,96, находим, что I 1 = [−
−0,924; 0,382].
б) Теперь √дисперсия σ 2 неизвестна. Воспользуемся статистикой
n−1
Найдем стационарные точки функции L(g 1, g 2, λ):
n
59
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
σ
σ
из (9.6) следует, что искомый интервал I 1 = x n − u α √ ; x n + u α √ .
= q. Отсюда
§ 9.
выборочной дисерсии S 2n. Теперь из (9.7) с учетом n = 9, найденного t α
и того, что s n = 1,056, следует
sn
sn
6 θ 6 xn + tα √
= [−1,132; 0,59]
I 2 = xn − tα √
n−1
n−1
Итак, I 2 = [−1,132; 0,59] — искомый доверительный интервал. Заметим,
что выборка, приведенная в условии, в действительности соответствует
θ 0 = 0 и σ 20 = 1. Видим, что оба полученных интервала “накрывают”
истинное значение θ 0 параметра θ.
Заметим, что I 1 и I 2, конечно, являются лишь реализациями доверительных интервалов, соответствующими конкретной реализации z n
выборки Z n.
П р и м е р 9.3. В условиях примера 9.2 построить доверительный интервал нажежности q = 0,95 для неизвестной дисперсии σ 2 .
Р е ш е н и е. Статистика g n(σ 2 ) =
nS 2n
является центральной для σ 2 ,
σ2
так как g n(σ 2 ) ∼ H n−1 и монотонно убывает по σ 2 . Пусть k α и k β —
p
квантили χ2 -распределения H n−1 уровней, соответственно, α = и β =
2 2
nS 2n
nS n
nS 2n
p
2
= 1 − . Тогда P k α 6 2 6 k β = q. Отсюда P
6σ 6
=
2
= 0,95, если p = 0,05.
σ
kβ
kα
60
§ 9.
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
Итак, искомый интервал для σ 2 имеет вид
2
nS n nS 2n
I2 =
.
;
kβ
n
X
kα
Xn
эффективна. Так как M{X k} = N θ, то из центральной предельной
N
√
d
n (X n − N θ) −→ ξ ∼ N (0; N θ(1 − θ)), где N θ(1 −
√
d
− θ) = D{X k}. Отсюда заключаем, что n (θbn − θ) −→ η ∼ N (0; d(θ)),
теоремы следует:
θ(1 − θ)
— асимптотическая дисперсия. Теперь, если u α —
N
p
квантиль уровня α = 1 − распределения N (0; 1), то искомый интервал
2
где d(θ) =
имеет вид
r
b
I(n)
= θbn − u α
θbn (1 − θbn ) b
; θ n + uα
nN
r
#
θbn (1 − θbn )
,
nN
X
b
→ q, n → ∞.
где θbn = n . При этом P θ ∈ I(n)
N
9.3. Задачи для самостоятельного решения.
1. Выборка {X 1, . . . , X n}, n ≫ 1 соответствует распределению Пуассона
Π(θ), θ > 0. Построить асимптотический доверительный интервал для θ
надежности "q.
#
r
r
О т в е т. X n − u α
Xn
; X n + uα
n
(X k − µ)2
k=1
= [0,71; 2,02]. Заметим, что истинное значение σ 0 = 1 накрывается
найденным интервалом I.
П р и м е р 9.4. Выборка {X k, k = 1, . . . , n}, где n ≫ 1, соответствует
распределению Bi(N ; θ), θ > 0. Построить асимптотический доверительный интервал для θ.
Р е ш е н и е. Известно (см. задачу 1 из раздела 8.3), что оценка θbn =
"
61
ИНТЕРВАЛЬНЫЕ ОЦЕНКИ ПАРАМЕТРОВ
2. Выборка {X 1, . . . , X n} соответствует распределению N (µ; θ), µ — известно. Построить центральный доверительный интервал надежности q для
дисперсии θ.
Для n − 1 = 8, α = 0,025, β = 0,975 по таблице 13.3 находим k α = 2,18,
k β = 17,5. Реализация интервала I 2 с учетом данных примера 9.2 и того,
2
ns n ns 2n
8 · 1,115 8 · 1,115
что s 2n = 1,115, имеет вид
;
;
=
= [0,51; 4,09].
kβ
kα
17,5
2,18
i
hp
p
0,51; 4,09 =
Для с.к.о. σ соответствующий интервал равен I =
=
§ 9.
Xn
1+q
.
,α=
n
2
У к а з а н и е. Показать, что
— центральная статистика с расθ
пределением H n. Воспользоваться примером 9.3.
` ´
3. Выборка {X 1, . . . , X n}, n ≫ 1 соответствует распределению E θ1 , θ >
> 0. Построить асимптотический доверительный интервал надежности q для
параметра θ.
У к а з а н»„
и е. Воспользоваться
МП-оценкой
θbn для θ.
«
«
„
–
О т в е т.
uα
n
1− √
X n;
uα
n
1+ √
Xn ; α =
1+q
.
2
4. По выборке z n = {−0,26; −0,36; 1,83; 0,54; −2,06}, соответствующей распределению N (θ 1; θ 22 ), найти доверительные интервалы надежности q = 0,9
для θ 1 и θ 2.
О т в е т. [−1,41; 1,29] — для θ 1; [0,94; 3,43] — для θ 2.
5. Выборка Z n = {X k, k = 1, . . . , n}, n ≫ 1 соответствует равномерному
распределению R[0; a], a > 0. Построить асимптотический доверительный
интервал надежности q для параметра θ = M{X 1}.
b =X .
У к а з а н»„
и е. Использовать
n
«
„оценку θ«
–n
О т в е т.
uα
1− √
uα
X n;
3n
1+ √
3n
Xn ; α =
1+q
.
2
6. Выборка Z n = {X 1, . . . , X n}, n ≫ 1 соответствует распределению с плотностью вероятности p(x; θ) = exp{θ − x}, x > θ, где θ >
–
» 0. Показать, что доверительным интервалом надежности q для θ является X (1) +
ка.
ln(1 − q)
; X (1) .
n
У к а з а н и е. Показать, что G(Z n; θ) = n(X (1) − θ) — центральная статисти-
7. В условиях задачи 6 построить центральный доверительный интервал
надежности hq для θ.
“1 − q”
“ 1 + q ”i
1
1
О т в е т. X (1) + ln
; X (1) + ln
.
2
n
n
2
8. Пусть выборка {X
. , X n}, n ≫ 1 соответствует распределению R[0; θ],
„ 1 , . .«
θ > 0. Показать, что
X(n)
θ
n
— центральная статистика, и построить для θ
доверительный
длины и надежности q.
» интервал минимальной
–
X (n)
О т в е т. X (n);
.
1/n
(1 − q)
9. Пусть Z (1)
= {X 1, . . . , X n} и Z (2)
= {Y 1, . . . , Y n} — две независиn
n
мые выборки, причем Z (1)
соответствует
распределению
N (θ 1; σ 21 ), а Z (2)
—
n
n
2
N (θ 2; σ 2 ) (σ 1 и σ 2 — известны). Требуется построить доверительный интервал
62
надежности q для параметра θ = θ 1 − θ 2.
У к а з а н и е.
2
§ 10.
ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
σ 21
+
n
Использовать
(2)
G(Z (1)
n ; Z n ; θ)
=
σ 22
Xn − Y n − θ
,
σ
где
.
˜
ˆ
1+q
.
О т в е т. X n − Y n − u ασ; X n − Y n + u ασ , α =
σ =
2
§ 10. Проверка параметрических гипотез
10.1. Теоретические положения. Пусть СВ X имеет закон распределения, заданный функцией распределения F (x; θ) или плотностью
вероятности p(x; θ), где θ — некоторый скалярный или векторный параметр.
О п р е д е л е н и е 10.1. Любое предположение о возможных значениях
параметра θ называется параметрической гипотезой.
О п р е д е л е н и е 10.2. Параметрическая гипотеза, состоящая в том,
что θ = θ 0, где θ 0 — фиксированная величина, называется простой
гипотезой.
О п р е д е л е н и е 10.3. Параметрическая гипотеза называется сложной, если она состоит в том, что θ ∈ Θ 0, где Θ 0 — некоторое фиксированное подмножество, принадлежащее множеству Θ возможных значений
параметра θ и содержащее более одной точки.
Обычно
проверяемая
(основная)
гипотеза
обозначается
H 0 : θ ∈ Θ 0, а гипотеза, обозначаемая H 1 : θ ∈ Θ 1, где Θ 1 ∈ Θ \ Θ 0,
называется альтернативой по отношению к H 0.
О п р е д е л е н и е 10.4. Статистическим критерием называется алгоритм проверки гипотезы H 0 по выборке Z n, соответствующей распределению F (x; θ), θ ∈ Θ.
Рассмотрим общую структуру статистического критерия. Пусть V 0 —
множество всех возможных значений вектора Z n в предположении, что
H 0 — верна. Выберем малое положительное число p ∈ (0; 1) и область
S p ∈ V 0 такую, что
P 0(S p) = P Z n ∈ S p | H 0— верна = p.
О п р е д е л е н и е 10.5. Число p называется уровнем значимости критерия, а множество S p — критической областью уровня p.
§ 10.
ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
63
Пусть z n = {x 1, . . . , x n}⊤ — конкретная реализация выборки Z n.
Предположим, что z n ∈ S p, тогда гипотеза H 0 отвергается на уровне
значимости p. Если же z n ∈ S p = V 0 \S p, то H 0 — принимается. Область
S p обычно называют доверительной областью. Очевидно, что P 0(S p) =
= 1 − p = q, где q — доверительная вероятность или надежность
критерия.
О п р е д е л е н и е 10.6. Ошибкой первого рода называется факт отвержения гипотезы H 0 в случае, когда она верна. Принятие гипотезы H 0
при условии, что верна альтернатива H 1, называется ошибкой второго
рода.
Очевидно, что вероятность ошибки первого рода равна P 0(S p) = p,
т.е. совпадает с уровнем значимости критерия.
Вероятность ошибки второго рода имеет вид
β = P 1(S p) = P Z n ∈ S p | H 1— верна .
О п р е д е л е н и е 10.7. Пусть H γ : θ = γ. Функция W (S p, γ) =
= P Z n ∈ S p | H γ — верна называется мощностью критерия.
Если альтернатива H 1 — простая (θ = θ 1), то вероятность β ошибки
второго рода связана с мощностью критерия очевидным соотношением
β = 1 − W (S p, θ 1). Отсюда следует, что “хороший” критерий проверки
H 0 должен быть устроен так, чтобы при фиксированном p мощность
W (S p, θ 1) была бы как можно ближе к единице. Последнее достигается посредством выбора из множества I p всех возможных критических
областей S p такой области S ∗p , что
W (S ∗p , θ 1) = max W (S p, θ 1).
S p∈I p
(10.1)
Критерий, соответствующий критической области S ∗p , называется
наиболее мощным. В некоторых частных случаях область S ∗p существует
и может быть найдена аналитически (см. далее теорему 10.1).
Обычно на практике критическую область S p задают неявно с помощью некоторой статистики критерия T (Z n). Пусть ∆ p — область на
R1 такая, что
P T (Z n) ∈ ∆ p | H 0— верна = p.
Тогда критическая область S p определяется так:
64
§ 10.
ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
S p = {z : z ∈ V 0 и T (z) ∈ ∆ p}.
(10.2)
Как правило, описать явно одномерную область ∆ p существенно
проще, чем n-мерную область S p. Например, T (z) и ∆ p достаточно
просто определяются с помощью метода доверительных интервалов (см.
пример 10.1).
Рассмотрим общий способ выбора статистики T (z), приводящий к
наиболее мощному критерию для проверки простой гипотезы H 0 : θ = θ 0
против простой альтернативы H 1 : θ = θ 1.
Пусть Z n — выборка, соответствующая распределению с плотностью
p(x; θ), где θ = θ 0 или θ = θ 1, θ 0 6= θ 1, а z n = {x 1, . . . , x n}⊤ — реализация
Z n. Введем статистику правдоподобия:
n
Y
T (z n) =
k=1
n
Y
(10.3)
.
p(x k; θ 0)
65
ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
если u α — квантиль уровня α распределения N (0; 1). Отсюда
σ
σ
= 1 − p.
P X n ∈ θ 0 − uα √ , θ 0 + uα √
n
n
Таким образом, критическая область ∆ p для статистики критерия
T (Z n) = X n принимает вид
σ
,
∆ p = x : |x − θ 0| > u α √
n
а доверительная область ∆ p = R1 \ ∆ p =
σ
x : |x − θ 0| 6 u α √ .
n
Итак, если z n = {x 1, . . . , x n}⊤ — реализация выборки Z n, а x n =
= T (z n) =
p(x k; θ 1)
k=1
n
1 X
x k — соответствующая реализация выборочного среднеn
k=1
го X n (т.е. статистики критерия), то гипотезу H 0 на уровне значимости p
σ
следует отвергнуть, если x n ∈ ∆ p, т.е. |x n −θ 0| > u α √ . Если же x n ∈ ∆ p,
n
Т е о р е м а 10.1. (Нейман-Пирсон). Наиболее мощный критерий для
проверки H 0 на уровне значимости p против H 1 существует и задается оптимальной в смысле (10.1) критической областью S ∗p = {z n :
T (z n) > δ}, где T (z n) имеет вид (10.3), а параметр δ определяется из
условия
P (T (Z n) > δ | H 0— верна) = p.
Заметим, что в условиях теоремы 10.1 критическая область ∆ p для
T (Z n) имеет простой вид: ∆ p = [δ, +∞).
10.2. Примеры.
П р и м е р 10.1. По выборке Z n = {X k, k = 1, . . . , n}, соответствующей распределению N (θ; σ 2 ), где σ 2 > 0 — известна, проверить гипотезу
H 0: θ = θ 0 на уровне значимости p против альтернативы H 1: θ 6= θ 0.
Р е ш е н и е. Для проверки H 0 воспользуемся методом доверительных
интервалов. Рассмотрим статистику T (Z n) = X n =
1
n
n
X
k=1
X k. Из примеp
ра 9.1 следует, что при θ = θ 0 (т.е. H 0 — верна) и α = 1 −
2
σ
σ
= 1 − p,
P X n − uα √ 6 θ 0 6 X n + uα √
n
§ 10.
n
то H 0 следует принять.
П р и м е р 10.2. В условиях примера 10.1 вычислить мощность критерия и вероятность ошибки второго рода, если H 1: θ = γ, γ 6= θ 0.
Р е ш е н и е. По определению 10.7 с учетом (10.2) имеем
W (S p, γ) = P X n ∈ ∆ p | H 1— верна =
√
n|X n − θ0 |
=P
> u α | H 1— верна =
σ
σ
σ
= 1 − P θ 0 − u α √ 6 X n 6 θ 0 + u α √ | H 1— верна .
n
n
Если верна альтернатива H 1, то X n ∼ N
σ2
γ;
n
, поэтому
θ0 + uα √σn − γ
θ0 − uα √σn − γ
=
W (S p, γ) = 1 − Φ
−
Φ
√σ
√σ
n √
n
√
n(θ0 − γ)
n(θ0 − γ)
=1− Φ
= 1 − ϕ n(θ 0, γ).
+ uα − Φ
− uα
σ
σ
Очевидно, что W (S p, θ 0) = 1 − [Φ (u α) − Φ (−u α)] = 1 − (1 − p) = p —
вероятность ошибки первого рода.
5 А.Р. Панков и Е.Н. Платонов
66
ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
§ 10.
По определению 10.7 вероятность ошибки второго рода β = 1 −
− W (S p, γ) = ϕ n(θ 0, γ).
Сделаем некоторые выводы о зависимости ϕ n(θ 0, γ) от величины γ и
объема выборки n (θ 0 — фиксировано).
1) Если n = const, а |θ 0 − γ| → ∞, то ϕ n(θ 0, γ) → 0. Поэтому
W (S p, θ 0) → 1, а β → 0. Последнее означает, что при фиксированном
объеме выборки n хорошо различаются “далекие” гипотезы H0 и H 1 (т.е.
|θ0 − γ| ≫ 0). Если же θ 0 ∼
= γ, то β ∼
= 1 − W (S p, θ 0) = 1 − p, т.е. близка к
единице, так как p мало по условию.√
§ 10.
П р и м е р 10.4. В условиях примера 10.1 построить наиболее мощный
критерий для проверки гипотезы H 0: θ = θ 0 против альтернативы H 1:
θ = γ, γ > θ 0.
Р е ш е н и е. Воспользуемся теоремой 10.1 Неймана-Пирсона. Статистика критерия (10.3) с учетом гауссовости выборки принимает вид
“√
T (z n) = “
√
n|θ − γ|
0
2) Если же θ 0 6= γ, но n → ∞, то
→ ∞. Поэтому ϕ n(θ 0, γ) →
σ
→ 0 при n → ∞, θ 0, γ — фиксированы. Последнее означает, что критерий
будет хорошо различать даже “близкие” гипотезы (θ 0 ∼
= γ), если объем
выборки n достаточно велик. Указанный факт называется свойством
состоятельности критерия против любой простой альтернативы H 1.
П р и м е р 10.3. По реализации z n выборки Z n объема n = 100,
соответствующей распределению N (θ; 1), вычислена реализация выборочного среднего x n = 0,153. На уровне значимости p = 0,05 проверить
гипотезу H 0: θ = 0 против альтернативы H 1: θ = 0,5. Вычислить
мощность критерия и вероятность ошибки второго рода β.
Р е ш е н и е. Воспользуемся результатами примеров 10.1 и 10.2. По
p
условию n = 100, σ = 1, p = 0,05, α = 1 −
= 0,975, u α = 1,96.
> δ 1, где x n =
exp
(
n
X
− 2σ1 2
(x k
k=1
n
X
(x k
− 2σ1 2
k=1
2
− γ)
)
2
− θ 0)
n
1 X
σ 2 ln δ
1
.
x k, а δ 1 = (θ 0 + γ) +
n
2
(γ − θ0 )n
k=1
Найдем теперь δ 1 с учетом того, что X n ∼ N
верна. Из теоремы 10.1 следует:
) =
σ2
θ 0;
n
, если H 0 —
p = P (T(Z n) > δ | H 0— верна) = P X n > δ 1 | H 0— верна =
=1−Φ
n
где учтено, что θ 0 = 0 по условию. Так как x n = 0,153 ∈ ∆ p, гипотеза H 0 принимается. Заметим, что проводя аналогичные выкладки
для гипотезы H 1, мы получили бы доверительную область ∆ (1)
=
p
(1)
/ ∆ p , то ги= [−0,196 + 0,5; 0,196 + 0,5] = [0,304; 0,696]. Так как x n ∈
потезу H 1 следует отвергнуть.
Из примера 10.2 следует, что при θ 0 = 0 и γ = 0,5
2πσ
”n
exp
(
Поэтому неравенство T (z n) > δ эквивалентно ln (T (z n)) > ln δ, т.е. x n >
Доверительная область ∆ p имеет вид
n
2πσ
”n
 n

X




x
(γ
−
θ
)


k
0
n
k=1
2
2
= exp
.
−
γ
−
θ
0
2
2
σ
2σ






2
σ
σ
∆ p = θ 0 − u α √ ; θ 0 + u α √ = [−0,196; 0,196] ,
67
ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
√
n(δ 1 − θ 0)
σ
Отсюда следует, что Φ
√
.
n(δ 1 − θ 0)
σ
= 1 − p, т.е.
√
n(δ 1 − θ 0)
= u α,
σ
где u α — квантиль уровня α = 1 − p распределения N (0; 1). Таким
σ
образом, δ 1 = θ 0 + u α √ . Итак, если реализация выборочного среднего
n
σ
n
x n удовлетворяет неравенству x n > θ 0 + u α √ , то гипотезу H 0 следует
отвергнуть. В заключение заметим, что граница δ 1 зависит от θ 0, но не
зависит от конкретного значения γ (учтено лишь, что γ > θ 0).
W (S p, γ) = 1 − [Φ (5 + 1,96) − Φ (5 − 1,96)] ∼
= Φ (3,04) = 0,9987.
Поэтому вероятность ошибки второго рода весьма мала: β = 1 −
− W (S p, γ) = 0,0013.
5*
68
§ 11.
ПРОВЕРКА ПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
1. Обобщить результат примера 10.1 на случай, когда дисперсия σ 2 неизвестна.
У к а з а н и е. Смотри примеры 9.2 (б) и 10.1. r
О т в е т. H 0 принимается, если |x n − θ 0| 6 t α
, где t
— квантиль
α
n−1
p
уровня α = 1 − распределения Стьюдента с n − 1 степенью свободы, s 2n —
2
реализация выборочной дисперсии S 2n.
2. Выборка Z n соответствует распределению N (θ 1; θ 2). Проверить на
уровне значимости p гипотезу H 0: θ 2 = σ 2 против H 1 : θ 2 6= σ 2 .
У к а з а н и е. Смотри пример 9.3.
–
»
О т в е т. H 0 принимается, если s 2n ∈ k 1
распределения H n−1 уровней
σ2
σ2
, где k 1 и k 2 — квантили
; k2
n
n
p
p
и 1 − соответственно.
2
2
3. Пусть {X k, k = 1, . . . , n} и {Y m, m = 1, . . . , n} — независимые выборки,
порожденные СВ X ∼ N (θ 1; σ 21 ) и Y ∼ N (θ 2; σ 22 ), σ 1 и σ 2 — известны. На
уровне значимости p проверить гипотезу H 0 : θ 1 = θ 2 против H 1 : θ 1 6= θ 2.
У к а з а н и е. Смотри задачу 9 из раздела 9.3. r
О т в е т. H 0 принимается, если |x n − y n| 6 u α
σ 21 + σ 22
, u α — квантиль
n
p
распределения N (0; 1) уровня α = 1 − ; x n и y n — реализации X n и Y n.
2
4. В условиях примера
10.4 найти
« вероятность β ошибки второго рода.
„
√ (θ 0 − γ)
n
+ uα .
О т в е т. β = Φ
σ
5. В условиях предыдущей задачи определить, при каком минимальном
объеме выборки n 0 величина β будет не больше 0,01, если θ 0 = 0, γ = 1, σ 2 = 1,
p = 0,05.
О т в е т. n 0 = 9.
6. В условиях примера 10.4 найти минимальный объем выборки n 0, при
котором вероятности ошибок первого и второго рода не больше заданных
значений, соответственно,
a > 0ff и b > 0.
 2
σ (u a + u b)
+ 1, где {·} — целая часть числа, u a и u b —
О т в е т. n 0 =
2
(θ 0 − γ)
квантили распределения N (0; 1) уровней a и b соответственно.
7. Выборка Z n соответствует распределению N (0; θ2 ), θ > 0. Построить
наиболее мощный критерий для проверки на уровне значимости p гипотезы
H 0 : θ = θ 0 против альтернативы H 1 : θ = σ > θ 0.
О т в е т. H 0 отвергается, если
α = 1 − p распределения H n−1.
n
X
k=1
69
ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
§ 11. Проверка непараметрических гипотез
10.3. Задачи для самостоятельного решения.
s 2n
§ 11.
x 2k > k αθ 20 , где k α — квантиль уровня
11.1. Теоретические положения. Пусть выборка Z n = {X k, k =
= 1, . . . , n} соответствует некоторому распределению с неизвестной
функцией распределения F (x).
О п р е д е л е н и е 11.1. Непараметрической гипотезой называется
предположение H 0: F (x) = F 0(x), где F 0(x) — некоторая известная
функция распределения.
В непараметричемкой гипотеы H 0 функция F 0(x) может содержать
неизвестные параметры.
Пусть F 0(x) задает распределение дискретной СВ X, принимающей
значения {ξ 1, . . . , ξ K } с вероятностями p m = P(X = ξ m), m = 1, . . . , K.
Построим по выборке Z n частоты {p ∗m, m = 1, . . . , K} появления соотn
ветствующих значений: p ∗m = m , где n m — случайное число элементов
n
выборки, равных ξ m, m = 1, . . . , K, а n — объем выборки.
О п р е д е л е н и е 11.2. Статистикой хи-квадрат (статистикой
К. Пирсона) называется функция от выборки Z n вида
G n = T (Z n) = n
K
X
(pm − p∗m )2
pm
m=1
=
K
X
(nm − npm )2
m=1
npm
.
(11.1)
Из (11.1) видно, что G n является некоторой мерой расхождения
между теоретическими вероятностями {p m} и их оценками {p ∗m}, построенными по результатам наблюдений.
На практике G n удобно вычислять по формуле, следующей из (11.1):
Gn =
K
X
(nm )2
m=1
npm
− n.
(11.2)
Т е о р е м а 11.1. Если Z n действительно соответствует распределению F 0(x) (т.е. H 0 — верна), то G n асимптотически распределена
по закону хи-квадрат с r = K − 1 степенью свободы, т.е.
d
G n −→ χ 2r ∼ H r, n → ∞.
Теорема 11.1 является теоретическим обоснованием следующего критерия проверки гипотезы H 0: F (x) = F 0(x) на некотором уровне значимости p ∈ (0; 1).
1) По реализации z n выборки Z n вычисляем соответствующую реализацию g n статистики G n из (11.2).
70
ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
§ 11.
2) По таблице 13.3 находим квантиль k α(r) уровня α = 1 − p распределения χ2 (r), где r = K − 1.
3) Строим критическую ∆ p = (k α(r), +∞) и доверительную ∆ p =
= [0; k α(r)] области.
4) Если g n ∈ ∆ p, то H 0 отвергается на уровне значимости p. Если же
g n ∈ ∆ p , то на указанном уровне значимости H 0 принимается.
Описанный алгоритм называется хи-квадрат критерием (критерием
согласия К. Пирсона) для проверки непараметрической гипотезы H 0. На
практике обычно полагают, что p = 0,05.
Если F 0(x) задает распределение СВ X непрерывного типа, то проверка H 0 по хи-квадрат критерию проводится после предварительной
группировки данных. Для этого область V X всех возможных значений
СВ X, имеющей распределение F 0(x), разбивается на K > 1 непересекающихся интервалов {δ m : m = 1, . . . , K}:
K
[
m=1
δ m = V X , δ m ∩ δ i = ∅,
m 6= i. Статистика G n по-прежнему вычисляется по формуле (11.2), где
n m — число элементов выборки, попавших в промежуток δ m, а p m —
теоретическая вероятность попадания X (т.е. любого элемента выборки)
в δ m (при условии, что H 0 — верна). Например, если δ m = [a m; a m+1), то
p m = F 0(a m+1) − F 0(a m), m = 1, . . . , K.
Далее проверка H 0 проводится точно так же, как и в случае дискретного распределения F 0(x).
Если F 0(x) = f (x; θ), где θ — вектор неизвестных параметров размера
(l × 1), то в критерии Пирсона следует предварительно заменить θ на его
МП-оценку θbn. В этом случае предельное распределение статистики G n
будет (при весьма общих условиях) по-прежнему хи-квадрат распределением H r, но уже с числом степеней свободы r = K − l − 1, где l — число
неизвестных параметров распределения F 0(x).
На практике критерием Пирсона можно пользоваться, если объем
выборки достаточно велик (n > 50), а при проведении группировки
данных соблюдено условие n · p m > 5, m = 1, . . . , K. При выборе числа K
интервалов группировки можно воспользоваться формулой Стерджеса:
K = 1 + {3,32 lg n}, где {a} — целая часть числа a.
Хи-квадрат критерием можно воспользоваться так же для проверки
непараметрической гипотезы H 0 о независимости случайных величин
X и Y дискретного типа.
Пусть СВ X принимает значения {a 1, . . . , a s} с вероятностями p i =
= P(X = a i), i = 1, . . . , s, а СВ Y — значения {b 1, . . . , b t} с вероятностями
q j = P(X = b j ), j = 1, . . . , t. Предположим, что имеется двумерная вы-
§ 11.
71
ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
борка Z n, порожденная случайным вектором W = {X, Y }⊤ . Обозначим
через n ij число опытов, в которых W принимал значение {a i, b j }, i =
= 1, . . . , s; j = 1, . . . , t. Пусть также N i =
t
X
n ij , M j =
j=1
s
X
n ij .
i=1
Рассмотрим статистику хи-квадрат, аналогичную (11.1):
N
M
b =
G
n
s X
t
X
(nij − np∗i qj∗ )2
i=1 j=1
np∗i qj∗
,
(11.3)
где p ∗i = i и q ∗j = j — частоты появления a i и b j соответственно. Если
n
n
гипотеза H 0 о независимости X и Y верна, то можно показать, что
2
b −d
G
n → χ r ∼ H r , n → ∞,
где r = (s − 1)(t − 1).
b
Таким образом, H 0 отвергают, если реализация gbn статистики G
n
попадает в критическую область ∆ p = (k α(r), +∞), где α = 1 − p, p —
уровень значимости критерия.
b удобнее вычислять по формуле
Заметим, что G
n
!
s X
t
2
X
(n
)
ij
b =n
G
−1 .
(11.4)
n
i=1 j=1
Ni Mj
Для случая s = t = 2, часто встречающегося на практике, формула (11.4) принимает весьма простой вид
2
b = n(n11 n22 − n12 n21 ) .
G
n
N1 N2 M1 M2
(11.5)
11.2. Примеры.
П р и м е р 11.1. Монета подброшена n = 4000 раз, в результате чего
“герб” выпал 2028 раз. Проверить на уровне значимости p = 0,05 гипотезу
H 0: монета симметрична.
Р е ш е н и е. Свяжем с k-м подбрасыванием монеты случайную величину X k: {X k = 1} означает, что выпал “герб”, {X k = 0} — выпала
“решка”. Очевидно, что X k ∼ Bi(1; p 1), где p 1 = P(X k = 1) — вероятность
выпадения “герба”. Если гипотеза H 0 справедлива, то p 1 = 21 = p 2, где
p 2 = 1 − p 1 — вероятность выпадения “решки”. Отсюда np 1 = np 2 = 2000.
72
§ 11.
ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
По условию n = 4000, n 1 = 2028, n 2 = n − n 1 = 1972. Вычислим
реализацию g n статистики G n по формуле (11.2):
gn =
n21
n2
19722
20282
+ 2 −n=
+
− 4000 = 0,784.
np 1
np2
2000
2000
Критическая область имеет вид ∆ p = (k α(r), +∞), где k α(r) = k 0,95(1) =
= 3,84 (здесь α = 1 − p = 0,95, r = K − 1 = 1, так как K = 2 по условию).
Итак, ∆ p = (3,84, +∞). Так как g n = 0,784 ∈
/ ∆ p, то H 0 принимается на
уровне значимости p = 0,05.
П р и м е р 11.2. В таблице 11.1 приведена реализация выборки объема
n = 50, соответствующей некоторому распределению F (x). На уровне
значимости p = 0,05 проверить гипотезу H 0: F (x) = R[0; 100].
65
37
72
35
55
48
77
70
9
2
11
69
80
98
10
76
74
15
17
19
74
45
45
77
69
17
80
31
39
91
46
12
82
27
58
Таблица 11.1
85 9 50
43 56 35
23 74 45
72 14 43
17 73 23
Р е ш е н и е. Если H 0 верна, то выборка порождена СВ X ∼ R[0; 100],
множество V X допустимых значений которой есть [0; 100]. Разобьем V X
на K = 5 подынтервалов {δ m, m = 1, . . . , K} одинаковой длины и проведем группировку выборки, результаты которой приведены в таблице
11.2.
m
δm
nm
1
[0, 20)
12
2
[20, 40)
8
3
[40, 60)
11
Таблица 11.2
4
5
[60, 80) [80, 100]
13
6
Так как все подынтервалы δ m одинаковой длины L = 20, а K = 5, то
§ 11.
неизвестных параметров). Квантиль k 0,95(4) = 9,49, поэтому ∆ p =
= (9,49, +∞) — критическая область, а ∆ p = [0, 9,49] — доверительная
область.
Так как g n = 3,4 ∈ ∆ p, то H 0: X ∼ R[0; 100] принимается на 5%-ном
уровне значимости.
П р и м е р 11.3. В условиях примера 11.2 проверить гипотезу H 0:
выборка соответствует гауссовскому распределению.
Р е ш е н и е. Если H 0 верна, то X ∼ N (m X ; D X ). Заметим, что
гипотетическое распределение содержит l = 2 неизвестных параметра,
так как точные значения m X и D X не заданы. По выборке (таблица 11.1)
вычислим соответствующие реализации оценок максимального правдоподобия для m X и D X (см. пример 7.4):
m
b X = xn =
b = s2 = 1
D
X
n
n
n
X
n
1 X
x k = 47,9
n
(выборочное среднее);
k=1
(x k − m
b X )2 = 698,02
k=1
σ
bX =
q
(выборочная дисперсия);
b = s = 26,42.
D
n
X
В силу гауссовости СВ X множество ее значений V X = (−∞, +∞),
поэтому подынтервал δ 1 необходимо расширить до (−∞, 20), а δ 5 — до
[80, +∞). Пусть δ m = [a m, a m+1), тогда оценку pbm вероятности попадания
СВ X в δ m можно вычислить по следующей формуле:
am+1 − xn
am − 47,9
am+1 − 47,9
am − xn
pbm = Φ
−Φ
,
−Φ
=Φ
sn
26,42
sn
gn =
K
X
(nm )2
m=1
np m
−n=
h
i
144 + 64 + 121 + 169 + 36
− 50 = 3,4.
10
Критическая область ∆ p = (k α(r), +∞) = (k 0,95(4), +∞), так как α = 1 −
− p = 0,95, r = K − 1 = 4 (тестируемое распределение не содержит
26,42
где Φ(x) — функция Лапласа, m = 1, . . . , K. Результаты соответствующих вычислений приведены в таблице 11.3.
20
p m = P(X ∈ δ m) =
= 0,2 (при условии, что X ∼ R[0; 100]). Используя
100
результаты, приведенные в таблице 11.2, вычислим g n по формуле (11.2)
с учетом того, что np m = 50 · 0,2 = 10, m = 1, . . . , K:
73
ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
δm
nb
pm
nm
(−∞, 20)
20,25
12
[20, 40)
14,5
8
[40, 60)
10,15
11
Таблица 11.3
[60, 80) [80, +∞)
4,04
1,06
13
6
Вычислим реализацию статистики критерия g n по формуле (11.2),
заменяя p m на pbm:
K
X
(nm )2
64
121
169
36
144
gn =
+
+
+
+
−n=
− 50 = 49,24.
m=1
nb
pm
20,25
14,5
10,15
4,04
1,06
74
ПРОВЕРКА НЕПАРАМЕТРИЧЕСКИХ ГИПОТЕЗ
§ 11.
Найдем критическую область ∆ p для p = 0,05. Так как K = 5, а l = 2,
то число степеней свободы r = K − l − 1 = 2. Отсюда ∆ p = (k α(r), +∞) =
= (k 0,95(2), +∞) = (5,99, +∞). Видим, что g n = 49,24 ∈ ∆ p, поэтому H 0
отвергается на уровне значимости p = 0,05.
П р и м е р 11.4. Имеются две группы данных о приеме в ВУЗы: A —
абитуриент принят (A — не принят), B — абитуриент мужчина (B —
женщина). Всего абитуриентов n = 442, а суммарные данные о сочетании
признаков в обследуемой группе приведены в таблице 11.4:
Таблица 11.4
B
B
A
97
40
A 263 42
Проверить на уровне значимости p = 0,05 гипотезу H 0: признаки A и
B независимы.
Р е ш е н и е. С признаком A свяжем СВ X следующим образом: {X =
= 1} — абитуриент принят, {X = 0} — не принят. Аналогично, {Y = 1} —
абитуриент мужчина, {Y = 0} — женщина. Таким образом, проверка
независимости признаков A и B эквивалентна проверки независимости
СВ X и Y .
Из таблицы 11.4 следует, что n 11 = 97, n 12 = 40, n 21 = 263 и n 22 = 42.
Отсюда N 1 = n 11 + n 12 = 137, N 2 = n 21 + n 22 = 305, M 1 = 97 + 263 = 360,
M 2 = 40 + 42 = 82. В данном примере X и Y принимают только два
значения, т.е. s = t = 2, поэтому реализацию gbn статистики хи-квадрат
b можно вычислить по формуле (11.5):
G
n
gbn =
n(n11 n22 − n12 n21 )2
442(97 · 42 − 40 · 263)2
= 14,89.
=
N1 N2 M1 M2
137 · 305 · 360 · 82
Если H 0 верна, то можно считать, что gbn — реализация СВ χ2 (r), где
r = (s − 1)(t − 1) = 1. Поэтому для α = 0,95 критическая область ∆ p =
= (k α(r), +∞) = (3,84, +∞). Так как gbn ∈ ∆ p, то H 0 следует отвергнуть.
Таким образом, имеющиеся статистические данные свидетельствует в
пользу того, что признаки A и B зависимы.
11.3. Задачи для самостоятельного решения.
1. Среди n = 10000 новорожденных детей мальчиков оказалось 5140. С
помощью хи-квадрат критерия на уровне значимости p = 0,05 проверить
гипотезу H 0: вероятности рождения мальчика и девочки одинаковы.
О т в е т. H 0 отвергается.
§ 12.
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
75
2. Результаты группировки реализаций выборки, порожденной некоторой
СВ X, приведены в таблице:
δ m (−∞; −2) [−2; −1) [−1; 0) [0; 1) [1; 2) [2; +∞)
nm
24
132
351
335
140
18
На уровне значимости p = 0,05 проверить гипотезу H 0: X ∼ N (0; 1).
О т в е т. H 0 принимается.
3. В таблице случайных чисел на 1000 знаков цифры 0, 1, . . . , 9 появлялись
следующее число раз:
0
1
2
3
4
5
6
7
8
9
90 105 112 97 108 101 93 87 103 104
С помощью критерия Пирсона проверить на 5%-ом уровне значимости
гипотезу H 0: цифры появляются равновероятно.
О т в е т. H 0 принимается.
4. Среди 2020 семей, имеющих двух детей, 527 имеют двух мальчиков, а
476 — двух девочек. Пусть СВ X — количество мальчиков в двухдетной семье.
На уровне значимости p = 0,05 проверить гипотезу H 0: X ∼ Bi(2; θ).
О т в е т. θbn = 0,513; H 0 принимается.
5. В таблице приведены 818 случаев, классифицированных по двум признакам: A — наличию прививки против холеры и B — отсутствию заболевания:
B
B
A
276
3
A 473 66
С помощью хи-квадрат критерия на уровне значимости p = 0,05 проверить
гипотезу H 0: признаки A и B независимы.
О т в е т. H 0 отклоняется.
§ 12. Метод наименьших квадратов
12.1. Теоретические положения. Пусть Z n = {X k, k =
= 1, . . . , n} — неоднородная гауссовская выборка, элементы которой заданы соотношениями
X k = h⊤ (t k)θ + ε k,
k = 1, . . . , n,
(12.1)
где θ ∈ Rp — вектор неслучайных неизвестных параметров; h(t) =
= {h 1(t), . . . , h p(t)}⊤ — вектор известных функций; ε k — гаусcовская СВ
с параметрами (0; σ 2 ), σ > 0; t k — момент времени, соответствующей
наблюдению X k; n — общее число наблюдений. Будем предполагать
также, что СВ {ε k, k = 1, . . . , n} независимы в совокупности.
76
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
§ 12.
Введем обозначения: H n — матрица размера (n×p), k-й строкой которой является h⊤ (t k); E n = {ε 1, . . . , ε n}⊤ . Тогда (12.1) можно представит
в виде
Z n = H nθ + E n.
(12.2)
О п р е д е л е н и е 12.1. Модель (12.2), удовлетворяющая всем сделанным выше предположениям, называется линейной гауссовской регрессионной моделью порядка p.
Уравнения (12.1) и (12.2) можно трактовать как математическую
модель процесса наблюдения “полезного сигнала” ϕ(t; θ) = h⊤ (t)θ в дискретные моменты времени {t k} со случайными аддитивными ошибками
наблюдения {ε k, k = 1, . . . , n}.
Рассмотрим задачу оценивания по выборке Z n вектора Y = L θ, где
L — заданная неслучайная матрица размера (q × p). Для построения
оценки Yb n вектора Y воспользуемся методом максимального правдоподобия. По предположению вектор наблюдений Z n в модели (12.2) имеет
гауссовское распределение:
Z n ∼ N (H nθ; σ 2 I).
(12.3)
Т е о р е м а 12.1. Пусть матрица W n = H n⊤ H n — невырожденная.
Тогда МП-оценка Yb n вектора Y по выборке Z n имеет вид
Yb n = L θbn,
(12.4)
⊤
θbn = W −1
n H n Z n.
(12.5)
θbn = arg min |Z n − H nθ|2 .
(12.6)
где θbn — оценка вектора θ вида
Из доказательства теоремы 12.1 (см. пример 12.1) следует, что θbn есть
точка минимума квадратичной функции потерь:
θ
О п р е д е л е н и е 12.2. Оценка θbn вектора, определяемая из условия (12.6) и имеющая вид (12.5), называется оценкой метода наименьших квадратов (МНК-оценкой) вектора θ в модели линейной регрессии (12.2).
§ 12.
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
77
Статистические свойства ошибки ∆Yb n = Yb n − Y оценки Yb n вектора
Y приведены в следующей теореме.
Т е о р е м а 12.2. Оценка Yb n и ее ошибка ∆Yb n обладают следующими
свойствами:
n o
o
n
1) M Yb n = Y , M ∆Yb n = 0 — несмещенность;
b
b
b
b
,
∆
Y
∼
N
0;
K
=
2) Yb n ∼ N Y ; K
n
Yn , где K Yn
Yn
⊤
= cov{∆Yb n, ∆Yb n} = σ 2 LW −1
— ковариационная матрица ошибки
n L
b
b
∆Y n оценки Y n;
3) оценка Yb n эффективна по Рао-Крамеру.
Так как при L = I оценка Yb n превращается в θbn, то справедливо
следующее утверждение.
b
С л е дс т в и е 12.1. Оценка θ n вида (12.5) имеет распределение
b = σ 2 W −1 — ковариационная матрица ее ошибки
b , где K
N θ; K
n
n
n
∆θbn = θbn − θ. МНК-оценка θbn — несмещенная и эффективная по РаоКрамеру.
1
С л е д с т в и е 12.2. СВ ξ = |Z −H θb |2 имеет хи-квадрат распреσ2
n
n n
деление с r = n − p степенями свободы: ξ ∼ H n−p.
Если отказаться от предположения о том, что вектор ошибок E n —
гауссовский, то Yb n теряет свойство эффективности, но остается наилучшей (по с.к.-критерию) среди всех линейных несмещенных оценок.
О п р е д е л е н и е 12.3. Оценка Ye n вектора Y по наблюдениям Z n
называется линейной несмещенной оценкой, если она имеет вид Ye n =
= nA nZon, где A n — неслучайная матрица размера (q × n), причем
=Y.
M Ye
n
b
Т е о р е м а 12.3 (Гаусс-Марков). Пусть K
Yn — ковариационна маb
e
трица ошибки оценки Y n вида (12.4), (12.5), а K
Yn — ковариационная
матрица произвольной линейной несмещенной оценки Ye n вектора Y .
e .
b 6K
Тогда K
Yn
Yn
Таким образом, оценка Yb n является наилучшей линейной несмещенной оценкой вектора Y в модели линейной регрессии (12.2) (НЛНоценкой).
Пусть теперь вектор ошибок наблюдений E n в модели (12.2) имеет
нулевое среднее M{En } = 0 и произвольную невырожденную ковариационную матрицу cov (E n, E n) = V n > 0. Соответствующую модель
78
§ 12.
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
наблюдения обычно называют обобщенной линейной регрессионной моделью.
Т е о р е м а 12.4. Если матрица W n = H ⊤
n H n и матрица ковариаций
V n ошибок наблюдений невырождены, то НЛН-оценка Yb n вектора Y
имеет вид (12.4), где
−1
θbn = H ⊤
n V n Hn
−1
−1
H⊤
n V n Z n.
(12.7)
θbn является НЛН-оценкой для θ, а ковариационная матрица ее ошибки
∆θbn = θbn − θ n равна
b = H ⊤ V −1 H
K
n
n
n n
−1
(12.8)
.
О п р е д е л е н и е 12.4. Оценка (12.7) называется оценкой обобщенного
метода наименьших квадратов (ОМНК-оценкой).
Заметим, что при дополнительном условии E n ∼ N (0; V n) оценка
θbn, определенная в теореме 12.4, является МП-оценкой, эффективной по
Рао-Крамеру.
12.2. Примеры.
П р и м е р 12.1. Доказать теорему 12.1.
Р е ш е н и е. Найдем МП-оценку вектора θ. По условию закон распределения наблюдения X k имеет плотность
(x − h⊤ (tk )θ)2
1
exp −
p k(x; θ) = √
.
2
2σ
2πσ
Поэтому функция правдоподобия выборки Z n принимает вид (см. определение 7.2)
)
(
L n(θ; Z n) =
n
Y
k=1
n
p k(X k; θ) = (2πσ 2 )− 2 exp −
n
1 X
(X k − h⊤ (tk )θ)2
2σ 2
.
k=1
Последнее выражение, используя матричные обозначения в (12.2), можно
представить следующим образом:
n
o
n
1
L n(θ; Z n) = (2πσ 2 )− 2 exp − 2 |Z n − H nθ|2 .
(12.9)
2σ
§ 12.
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
79
Из (12.9) следует, что задача максимизации L n(θ; Z n) по θ эквивалентна
минимизации по θ функции L n(θ) = |Z n − H nθ|2 . Таким образом, МПоценку θbn можно определить из условия
θbn = arg min L n(θ).
θ
Найдем явный вид оценки θbn.
⊤ ⊤
⊤ ⊤
L n(θ) = |Z n − H nθ|2 = Z ⊤
n Z n − 2θ H n Z n + θ H n H nθ.
∂Ln (θ)
, воспользовавшись следующими правилами матрично∂θ
∂(θ⊤ A)
∂(θ⊤ Aθ)
го дифференцирования:
= A;
= 2Aθ, если A = A⊤ .
∂θ
∂θ
∂Ln (θ)
Итак,
= −2H n⊤ Z n + 2H n⊤ H nθ.
∂θ
Вычислим
Необходимое условие экстремума функции L n(θ) дает нам следующие
соотношения:
∂Ln (θ)
⊤
= 0 =⇒ H ⊤
n H nθ = H n Z n.
∂θ
Так как матрица W n = H n⊤ H n > 0 по условию, полученная система
уравнений имеет единственное решение:
⊤
θbn = W −1
n H n Z n.
Заметим, что функция L n(θ) строго выпукла по θ, поэтому θbn —
единственная точка минимума L n(θ), и, следовательно, единственная
МП-оценка вектора θ.
Так как Y = L θ, то МП-оценка для Y имеет вид Yb = L θbn, что
непосредственно следует из принципа инвариантности для МП-оценок
(см. теорему 7.1).
П р и м е р 12.2. Пусть в модели наблюдения (12.2) вектор ошибок
E n имеет ковариационную матрицу K En = σ 2 I, где σ > 0. Показать,
что МНК-оценка θbn является наилучшей линейной несмещенной оценкой
вектора θ.
Р е ш е н и е. Пусть θen = A nZ n — произвольная линейная несмещенная
оценка θ. Тогда
n o
M θen = A nM{Z n} = A n (H nθ + M{E n}) = A nH nθ = θ.
80
§ 12.
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
§ 12.
Отсюда (A nH n − I) θ = 0. Последнее в силу произвольности θ означает,
что
A nH n = I.
⊤
Заметим, что θbn = A 0nZ n, где A 0n = W −1
n H n , причем
n o
⊤
−1
−1
M θbn = W −1
n H n H nθ + W n H nM{E n} = W n W nθ = θ.
Таким образом, θbn — линейная несмещенная оценка. Отсюда следует,
что A 0nH n = I. Обозначим T n = A n − A 0n.
T nH n = (A n −
A 0n)H n
= A nH n −
A 0nH n
⊤
Учитывая, что A n = A 0n + T n и T n A 0n = 0, получаем
⊤
0 ⊤
0 ⊤
e = σ2 A 0 + T
A 0n + T n = σ 2 A 0n A n + T n A n +
K
n
n
n
⊤
⊤ ⊤
b ,
+ σ 2 T n(T n)⊤ = σ 2 A 0n A 0n + σ 2 T n(T n)⊤ > K
+ T n A 0n
n
b = σ 2 A 0 A 0 ⊤ = σ 2 W −1 — ковариационная матрица ошибки
где K
n
n
n
n
∆θbn = θbn − θ МНК-оценки θbn, а σ 2 T n(T n)⊤ > 0 при любой величине
матрицы T n. Итак, наименьшей ковариационной матрицей ошибки среди
всех линейных несмещенных оценок обладает МНК-оценка θbn.
П р и м е р 12.3. Линейная функция ϕ(t; θ) = θ 1 + θ 2t измеряется в
дискретные моменты {t k} по схеме
X k = ϕ(t k; θ) + ε k,
k
tk
xk
k = 1, . . . , 5.
Случайные ошибки измерений {ε k} — независимые центрированные
гауссовские СВ с дисперсией σ 2 = 0,01. Результаты наблюдений {x k}
приведены в таблице 12.1.
1
0
−1,10
2
1
1,15
3
2
3,20
Таблица 12.1
4
5
3
4
4,85 7,10
Найти МНК-оценку ϕ(t;
b θ) наблюдаемой функции.
Р е ш е н и е. По условию ϕ(t; θ) = h⊤ (t)θ, где h⊤ (t) = {1; t}. Поэтому
⊤
h (t k) = {1; t k}. Отсюда

= I − I = 0.
⊤
Отсюда T n A 0n = T nH nW −1
n = 0.
e ошибки ∆θe = θe − θ оценки θe .
Найдем ковариационную матрицу K
n
n
n
Заметим, что θen = θ + A nE n. Отсюда
⊤ o
n
⊤
e = M ∆θe ∆θe
=
K
=
M
A
E
(A
E
)
n
n
n
n n
n n
⊤
2
⊤
= A nM E nE ⊤
n A n = σ A nA n .
81
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ



H⊤
n zn = 

W n = H n⊤ H n = 

n
X
k=1
n
X
k=1

xk
t kx k

=

"
n
X
n
n
X
tk
k=1
k=1
15,2
50,5
k=1
n
X
tk
t 2k


=

5
10
10
30
.
#
, где z n = {x 1, . . . , x n}⊤ — реализация
выборки Z n, приведенная в таблице 12.1.
Реализация МНК-оценки вектора θ = {θ 1; θ 2}⊤ имеет вид
⊤
θbn = W −1
n H n zn =
0,6
−0,2
−0,2
0,1
" 15,2 # " −0,98 #
.
=
·
2,01
50,5
Согласно принципу инвариантности
ϕ(t;
b θ) = ϕ(t; θbn) = h⊤ (t)θbn = −0,98 + 2,01t.
П р и м е р 12.4. В условиях примера 12.3 найти закон распределения
оценки ϕ(t;
b θ) полезного сигнала и построить доверительный интервал
надежности q = 0,95 для ϕ(t; θ) в момент t = 5.
Р е ш е н и е. Так как ϕ(t;
b θ) = h⊤ (t)θbn, то
n o
M{ϕ(t;
b θ)} = h⊤ (t)M θbn = h⊤ (t)θ,
b h(t) = σ 2 h⊤ (t)W −1 h(t),
D{ϕ(t;
b θ)} = h⊤ (t)K
n
n
6 А.Р. Панков и Е.Н. Платонов
82
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
§ 12.
b = σ 2 W −1 — ковариационная матрица ошибки оценки θb (см.
где K
n
n
n
теорему 12.2). Итак,
ϕ(t;
b θ) ∼ N h⊤ (t)θ; σ 2 h⊤ (t)W −1
n h(t) .
При этом ошибка оценки
b θ) = ϕ(t;
b θ) − ϕ(t; θ) имеет распределе ∆ϕ(t;
ние N 0; σ 2 h⊤ (t)W −1
h(t)
.
n
В условиях примера 12.3 для t = 5 находим
⊤ 1
1
0,6
−0,2
σ 2 h⊤ (t)W −1
h(t)
=
0,01
·
·
= 0,011.
n
−0,2
0,1
5
5
Итак, ϕ(5;
b θ) − ϕ(5; θ) ∼ N (0; 0,011). Отсюда
p
P |ϕ(5;
b θ) − ϕ(5; θ)| 6 u α 0,011 = 0,95,
если u α = 1,96 — квантиль уровня α = 0,975 распределения
образом, искомый доверительный
интервал имеет вид
hN (0; 1). Таким
i
p
p
ϕ(5;
b θ) − 1,96 0,011; ϕ(5;
b θ) + 1,96 0,011 . Найдем реализацию этого
интервала, используя результаты примера 12.3. Так как ϕ(5;
b θ) = −0,98+
+ 2,01 · 5 = 9,07, окончательно получаем интервал [8,86; 9,28], который
с высокой надежностью накрывает точное значение ϕ(5; θ) полезного
сигнала в точке t = 5.
§ 12.
83
МЕТОД НАИМЕНЬШИХ КВАДРАТОВ
5. Модель (12.1) имеет следующий частный вид:
X k = θ 1 + kθ 2 + ε k,
k = 1, . . . , n.
Найти явное аналитической выражение для оценки θbn вектора θ = {θ 1, θ 2}⊤ и
доказать ее состоятельность.
b → 0 при
У к а з а н и е. Воспользоваться следствием 12.1. Доказать, что K
n
n → ∞.
6. Модель (12.1) имеет вид
X k = kθ + ε k,
k = 1, . . . , n,
где {ε k} — независимые гауссовские СВ, ε k ∼ N (0; σ 2 ), σ > 0. Используя
МНК-оценку θbn параметра θ, построить для него доверительный интервал
надежности q = 0,95.
h
i
n
p
p
X
О т в е т. θb − 1,96 σ ψ(n); θb + 1,96 σ ψ(n) , где θb = ψ(n)
kX ,
n
2
n
n
k
k=1
−1
ψ(n) = 6(2n + 3n + 1) .
7. В условиях примера 12.3 проверить на уровне значимости p = 0,05
параметрическую гипотезу H 0: θ 2 = 0.
У к а з а н и е. Построить доверительный интервал надежности q = 0,95 для
параметра θ 2.
О т в е т. H 0 отвергается.
12.3. Задачи для самостоятельного решения.
1. Доказать теорему Гаусса-Маркова (теорема 12.3).
У к а з а н и е. См. пример 12.2.
2. Вывести выражение (12.7) для НЛН-оценки θbn в случае произвольной
невырожденной ковариационной матрицы V n вектора ошибок наблюдения E n.
У к а з а н и е. С помощью матрицы Σ n: V n = Σ n(Σ n)⊤ преобразовать обобщенную регрессию к регрессии с некоррелированными ошибками. Воспользоваться следствием 12.1.
3. Доказать, что ОМНК-оценка θbn (12.7) вектора θ в модели обобщенной
линейной регрессии является МП-оценкой, если E n ∼ N (0; V n), V n > 0.
У к а з а н и е. Показать, что θ n = arg min(Z n − H nθ)⊤ V −1
n (Z n − H nθ).
θ
4. Пусть θbn — МНК-оценка вектора θ в модели линейной гауссовской
1
|Z n − H nθbn|2 является несмещенной
регрессии (12.2). Показать, что σ
b 2n =
n−p
оценкой дисперсии σ 2 ошибок наблюдений.
У к а з а н и е. Воспользоваться следствием 12.2.
6*
84
§ 13.
ТАБЛИЦЫ
§ 13. Таблицы
1
2π
0
1
0,0000
,0039
,0398
,0438
,0792
,0831
,1179
,1217
,1554
,1591
,1914
,1949
,2257
,2290
,2580
,2611
,2881
,2910
,3159
,3185
,3413
,3437
,3643
,3665
,3849
,3868
,4032
,4049
,4192
,4207
,4331
,4344
,4452
,4463
,4554
,4563
,4640
,4648
,4712
,4719
,4772
,4777
,4821
,4825
,4861
,4864
,4892
,4895
,4918
,4920
,4937
,4939
,4953
,4954
,4965
,4966
,4974
,4975
,4981
,4981
,49865
,499767
,4999683
,4999966
,49999971
2
,0079
,0477
,0870
,1255
,1627
,1984
,2323
,2642
,2938
,3212
,3461
,3686
,3887
,4065
,4222
,4357
,4473
,4572
,4656
,4725
,4783
,4830
,4867
,4898
,4922
,4941
,4956
,4967
,4976
,4982
3
,0119
,0517
,0909
,1293
,1664
,2019
,2356
,2673
,2967
,3228
,3485
,3707
,3906
,4082
,4236
,4369
,4484
,4581
,4663
,4732
,4788
,4834
,4871
,4901
,4924
,4943
,4957
,4968
,4976
,4983
4
,0159
,0556
,0948
,1330
,1700
,2054
,2389
,2703
,2995
,3263
,3508
,3728
,3925
,4098
,4250
,4382
,4495
,4590
,4671
,4738
,4793
,4838
,4874
,4903
,4926
,4944
,4958
,4969
,4977
,4983
5
,0199
,0596
,0987
,1368
,1736
,2088
,2421
,2733
,3023
,3289
,3531
,3749
,3943
,4114
,4264
,4394
,4505
,4599
,4678
,4744
,4798
,4842
,4877
,4906
,4928
,4946
,4959
,4970
,4978
,4984
Zx
2
e−t
/2
r
dt.
0
6
,0239
,0635
,1025
,1405
,1772
,2122
,2453
,2763
,3051
,3314
,3554
,3769
,3961
,4130
,4278
,4406
,4515
,4608
,4685
,4750
,4803
,4846
,4880
,4908
,4930
,4947
,4960
,4971
,4978
,4984
7
,0279
,0674
,1064
,1443
,1808
,2156
,2485
,2793
,3078
,3339
,3576
,3790
,3979
,4146
,4292
,4417
,4525
,4616
,4692
,4755
,4807
,4850
,4884
,4911
,4932
,4949
,4962
,4972
,4979
,4985
8
,0318
,0714
,1102
,1480
,1843
,2190
,2517
,2823
,3105
,3364
,3599
,3810
,3997
,4162
,4305
,4429
,4535
,4624
,4699
,4761
,4812
,4853
,4887
,4913
,4934
,4950
,4963
,4972
,4980
,4985
9
,0358
,0753
,1140
,1517
,1879
,2224
,2549
,2852
,3132
,3389
,3621
,3829
,4014
,4177
,4318
,4440
,4544
,4632
,4706
,4767
,4816
,4857
,4889
,4915
,4936
,4952
,4964
,4973
,4980
,4986
Таблица 13.2. Квантили uα уровня α распределения N (0; 1).
α
uα
0,6
0,253
0,8
0,842
0,9
1,282
0,95
1,645
0,975
1,960
85
ТАБЛИЦЫ
Таблица 13.3. Квантили kα уровня α хи-квадрат распределения H r.
Таблица 13.1. Функция Φ0 (x) = √
x
0,0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1,0
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0
2,1
2,2
2,3
2,4
2,5
2,6
2,7
2,8
2,9
3,0
3,5
4,0
4,5
5,0
§ 13.
0,99
2,326
0,995
2,576
0,9995
3,291
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
α
0,05
0,1
0,2
0,3
0,5
0,7
0,8
0,9
0,95
0,00
0,10
0,35
0,71
1,15
1,65
2,17
2,73
3,32
3,94
4,58
5,23
5,89
6,57
7,26
7,96
8,67
9,39
10,11
10,85
11,59
12,34
13,09
13,85
14,61
15,38
16,15
16,93
17,71
18,49
0,02
0,21
0,58
1,06
1,61
2,20
2,83
3,49
4,17
4,86
5,58
6,30
7,04
7,79
8,55
9,31
10,08
10,86
11,65
12,44
13,24
14,04
14,85
15,66
16,47
17,29
18,11
18,94
19,77
20,60
0,06
0,45
1,01
1,65
2,34
3,07
3,82
4,59
5,38
6,18
6,99
7,81
8,63
9,47
10,31
11,15
12,00
12,86
13,72
14,58
15,44
16,31
17,19
18,06
18,94
19,82
20,70
21,60
22,50
23,40
0,15
0,71
1,42
2,20
3,00
3,83
4,67
5,53
6,39
7,27
8,15
9,03
9,93
10,82
11,72
12,62
13,53
14,44
15,35
16,27
17,18
18,10
19,02
19,94
20,90
21,80
22,70
23,60
24,60
25,50
0,46
1,39
2,37
3,36
4,35
5,35
6,35
7,34
8,34
9,34
10,34
11,34
12,34
13,34
14,34
15,34
16,34
17,34
18,34
19,34
20,30
21,30
22,30
23,30
24,30
25,30
26,30
27,30
28,30
29,30
1,07
2,41
3,66
4,88
6,06
7,23
8,38
9,52
10,66
11,78
12,90
14,01
15,12
16,22
17,32
18,42
19,51
20,60
21,70
22,80
23,90
24,90
26,00
27,10
28,20
29,20
30,30
31,40
32,50
33,50
1,64
3,22
4,64
5,99
7,29
8,56
9,80
11,03
12,24
13,44
14,63
15,81
16,98
18,15
19,31
20,47
21,62
22,76
23,90
25,04
26,17
27,30
28,43
29,55
30,78
31,80
32,91
34,03
35,14
36,25
2,71
4,60
6,25
7,78
9,24
10,64
12,02
13,36
14,68
15,99
17,28
18,55
19,81
21,06
22,31
23,54
24,78
25,59
27,20
28,41
29,61
30,81
32,01
33,20
34,38
35,56
36,74
37,92
39,09
40,26
3,84
5,99
7,82
9,49
11,07
12,59
14,07
15,51
16,92
18,31
19,68
21,03
22,36
23,69
25,00
26,29
27,60
28,87
30,14
31,41
32,67
33,92
35,17
36,42
37,65
38,89
40,11
41,34
42,56
43,77
86
§ 13.
ТАБЛИЦЫ
Таблица 13.4. Квантили t α уровня α распределения Стьюдента T r.
r
-
α
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
40
60
120
∞
0,6
0,8
0,9
0,95
0,975
0,99
0,995
0,9995
0,325
0,289
0,277
0,271
0,267
0,265
0,263
0,262
0,261
0,260
0,260
0,259
0,259
0,258
0,258
0,258
0,257
0,257
0,257
0,257
0,257
0,256
0,256
0,256
0,256
0,256
0,256
0,256
0,256
0,256
0,255
0,254
0,254
0,253
1,376
1,061
0,978
0,941
0,920
0,906
0,896
0,889
0,883
0,879
0,876
0,873
0,870
0,868
0,866
0,865
0,863
0,862
0,861
0,860
0,859
0,858
0,858
0,857
0,856
0,856
0,855
0,855
0,854
0,854
0,851
0,848
0,845
0,842
3,078
1,886
1,638
1,533
1,476
1,440
1,415
1,397
1,383
1,372
1,363
1,356
1,350
1,345
1,341
1,337
1,333
1,330
1,328
1,325
1,323
1,321
1,319
1,318
1,316
1,315
1,314
1,313
1,311
1,310
1,303
1,296
1,289
1,282
6,314
2,920
2,353
2,132
2,015
1,943
1,895
1,860
1,833
1,812
1,796
1,782
1,771
1,761
1,753
1,746
1,740
1,734
1,729
1,725
1,721
1,717
1,714
1,711
1,708
1,706
1,703
1,701
1,699
1,697
1,684
1,671
1,658
1,645
12,706
4,303
3,182
2,776
2,571
2,447
2,365
2,306
2,262
2,228
2,201
2,179
2,160
2,145
2,131
2,120
2,110
2,101
2,093
2,086
2,080
2,074
2,069
2,064
2,060
2,056
2,052
2,048
2,045
2,042
2,021
2,000
1,980
1,960
31,821
6,965
4,541
3,747
3,365
3,143
2,998
2,896
2,821
2,764
2,718
2,681
2,650
2,624
2,602
2,583
2,567
2,552
2,539
2,528
2,518
2,508
2,500
2,492
2,485
2,479
2,473
2,467
2,462
2,457
2,423
2,390
2,358
2,326
63,657
9,925
5,841
4,604
4,032
3,707
3,499
3,355
3,250
3,169
3,106
3,055
3,012
2,977
2,947
2,921
2,898
2,878
2,861
2,845
2,831
2,819
2,807
2,797
2,787
2,779
2,771
2,763
2,756
2,750
2,704
2,660
2,617
2,576
636,619
31,598
12,941
8,610
6,859
5,959
5,405
5,041
4,781
4,587
4,437
4,318
4,221
4,140
4,073
4,015
3,965
3,922
3,883
3,850
3,819
3,792
3,767
3,745
3,725
3,707
3,690
3,674
3,659
3,646
3,551
3,460
3,373
3,291
www.uchites.ru
СПИСОК ЛИТЕРАТУРЫ
1. Болдин М.В. и др. Методические указания к практическим занятиям
по математической статистике. М.: МАИ, 1988.
2. Боровков А.А. Математическая статистика. М.: Наука, 1984.
3. Ватутин В.А. и др. Теория вероятностей и математическая статистика
в задачах. М.: Агар, 2003.
4. Ивченко Г.И., Медведев Ю.И. Математическая статистика. М.: Высшая
школа, 1984.
5. Кибзун А.И. и др. Теория вероятностей и математическая статистика
в задачах. М.: Физматлит, 2002.
6. Кочетков Е.С. Метод наименьших квадратов. М.: МАИ, 1993.
7. Пугачев В.С. Теория вероятностей и математическая статистика. —
М.: Наука, 1979.
8. Севастьянов Б.А. Курс теории вероятностей и математической статистики. М.: Наука, 1982.
9. Ширяев А.Н. Вероятность. — М.: Наука, 1989.
Найдите больше информации на сайте Учитесь.ру (www.uchites.ru)!