Доверительный интервал . Доверительная вероятность

Лекция 4.33. Статистические испытания. Доверительный интервал. Доверительная вероятность. Выборки. Гистограмма и эмпирическая
функция распределения
6.7. Статистические испытания
Рассмотрим следующую общую задачу. Имеется случайная величина X, закон
распределения которой содержит неизвестный параметр а. Требуется найти подходящую
оценку для параметра а по результатам n независимых опытов, в каждом из которых
величина Х приняла определенное значение.
Обозначим наблюденные значения случайной величины
X 1 , X 2 ,..., X n .
(6.93)
Их можно рассматривать как n «экземпляров» случайной величины X, то есть п
независимых случайных величин, каждая из которых распределена по тому же закону, что и
случайная величина X.
Обозначим a~ оценку для параметра a . Любая оценка, вычисляемая на основе материала
(6.93), должна представлять собой функцию величин X 1 , X 2 ,..., X n :
a~ = a~ ( X 1 , X 2 ,..., X n )
(6.94)
и, следовательно, сама является величиной случайной. Закон распределения а зависит, вопервых, от закона распределения величины Х (и, в частности, от самого неизвестного
параметра а); во-вторых, от числа опытов n. В принципе этот закон распределения может
быть найден известными методами теории вероятностей.
Предъявим к оценке a~ ряд требований, которым она должна удовлетворять, чтобы
быть в каком-то смысле «доброкачественной» оценкой.
Естественно потребовать от оценки a~ , чтобы при увеличении числа опытов п она
приближалась (сходилась по вероятности) к параметру а. Оценка, обладающая таким
свойством, называется состоятельной..
Кроме того, желательно, чтобы, пользуясь величиной a~ вместо a, мы по крайней мере
не делали систематической ошибки в сторону завышения или занижения, т.е. чтобы
выполнялось условие.
M a~ = a .
(6.95)
Оценка, удовлетворяющая такому условию, называется несмещенной. Наконец,
желательно, чтобы выбранная несмещенная оценка обладала по сравнению с другими
наименьшей дисперсией, т. е.
D a~ = min .
(6.96)
Оценка, обладающая таким свойством, называется эффективной.
На практике не всегда удается удовлетворить всем этим требованиям. Например, может
оказаться, что, даже если эффективная оценка существует, формулы для ее вычисления
оказываются слишком сложными, и приходится удовлетворяться другой оценкой, дисперсия
которой несколько больше. Иногда применяются — в интересах простоты расчетов —
незначительно смещенные оценки. Однако выбору оценки всегда должно предшествовать ее
критическое рассмотрение со всех перечисленных выше точек зрения.
Доверительный интервал. Доверительная вероятность
В предыдущих n°n° мы рассмотрели вопрос об оценке неизвестного параметра а одним
числом. Такая оценка называется «точечной». В ряде задач требуется не только найти для
параметра а подходящее численное значение, но и оценить его точность и надежность.
Требуется знать — к каким ошибкам может привести замена параметра а его точечной
оценкой a~ и с какой степенью уверенности можно ожидать, что эти ошибки не выйдут за
известные пределы?
154
Лекция 4.33. Статистические испытания. Доверительный интервал. Доверительная вероятность. Выборки. Гистограмма и эмпирическая
функция распределения
Такого рода задачи особенно актуальны при малом числе наблюдений, когда точечная
оценка a~ в значительной мере случайна и приближенная замена а на a~ может привести к
серьезным ошибкам.
Чтобы дать представление о точности и надежности оценки a~ , в математической
статистике пользуются так называемыми доверительными интервалами и доверительными
вероятностями.
Пусть для параметра а получена из опыта несмещенная оценка a~ . Мы хотим оценить
возможную при этом ошибку. Назначим некоторую достаточно большую вероятность β
(например, β == 0,9, 0,95 или 0,99) такую, что событие с вероятностью β можно считать
практически достоверным, и найдем такое значение ε , для которого
P ( a~ − a < ε = β .
(6.97)
Тогда диапазон практически возможных значений ошибки, возникающей при замене а
~
на a , будет ± ε ; большие по абсолютной величине ошибки будут появляться только с малой
вероятностью α = 1 − β . Перепишем (6.97) в виде:
P ( a~ − ε < a < a~ + ε ) = β .
(6.98)
Равенство (6.98) означает, что с вероятностью β неизвестное значение параметра а попадает
в интервал
I β = (a~ − ε ; a~ + ε ) .
(6.99)
При этом необходимо отметить одно обстоятельство. Ранее мы неоднократно
рассматривали вероятность попадания случайной величины в заданный неслучайный
интервал. Здесь дело обстоит иначе: величина а не случайна, зато случаен интервал I β .
Случайно его положение на оси абсцисс, определяемое его центром a~ , случайна вообще и
длина интервала 2ε , так как величина ε вычисляется, как правило, по опытным данным.
Поэтому в данном случае лучше будет толковать величину β не как вероятность
«попадания» точки а в интервал I β , а как вероятность того, что случайный интервал I β
накроет точку а (рис.6.34).
Рис.6.34
Вероятность β принято называть доверительной вероятностью, а интервал I β —
доверительным интервалом. Границы интервала I a = a~ − ε и a = a~ + ε называются
β
1
2
доверительными границами.
Дадим еще одно истолкование понятию доверительного интервала: его можно
рассматривать как интервал значений параметра а, совместимых с опытными данными и не
противоречащих им. Действительно, если условиться считать событие с вероятностью
α = 1 − β практически невозможным, то те значения параметра а, для которых a~ − a > ε |,
нужно признать противоречащими опытным данным, а те, для которых a~ − a < ε , —
совместимыми с ними. Перейдем к вопросу о нахождении доверительных границ a1 , и a2 .
Пусть для параметра а имеется несмещенная оценка a~ . Если бы нам был известен закон
распределения величины a~ , задача нахождения доверительного интервала была бы весьма
проста: достаточно было бы найти такое значение ε , для которого
P ( a~ − a > ε ) = β .
155
Лекция 4.33. Статистические испытания. Доверительный интервал. Доверительная вероятность. Выборки. Гистограмма и эмпирическая
функция распределения
Затруднение состоит в том, что закон распределения оценки a~ зависит от закона
распределения величины Х и, следовательно, от его неизвестных параметров (в частности, и
от самого параметра а).
Чтобы обойти это затруднение, можно применить следующий грубо приближенный
прием: заменить в выражении для ε неизвестные параметры их точечными оценками. При
сравнительно большом числе опытов п (порядка 20÷30) этот прием обычно дает
удовлетворительные по точности результаты.
В качестве примера рассмотрим задачу о доверительном интервале для
математического ожидания.
Пусть произведено п независимых опытов над случайной величиной X, характеристики
которой - математическое ожидание m и дисперсия D — неизвестны. Для этих параметров
получены оценки:
n
~=
m
∑ Xi
i =1
n
n
~
;D =
∑(X
i =1
Требуется построить доверительный интервал
i
~)
−m
n −1
Iβ
.
(6.100)
соответствующий доверительной
вероятности β , для математического ожидания т величины X.
~ представляет собой
При решении этой задачи воспользуемся тем, что величина m
сумму п независимых одинаково распределенных случайных величин X i и, согласно
центральной предельной теореме, при достаточно большом п, ее закон распределения близок
к нормальному. На практике даже при относительно небольшом числе слагаемых (порядка
10÷20) закон распределения суммы можно приближенно считать нормальным. Будем
~ . распределена по нормальному закону. Характеристики
исходить из того, что величина m
D
этого закона - математическое ожидание и дисперсия — равны соответственно т и
.
n
Предположим, что величина D нам известна, и найдем такую величину ε β , для которой
~ −m <ε )= β .
P( m
(6.101)
β
Выразим вероятность в левой части (6.101) через нормальную функцию распределения
~ − m < ε ) = 2Φ ⋅ ( ε β ) − 1 ,
P( m
β
σ m~
(6.102)
D
~.
— среднее квадратическое отклонение оценки m
n
Из уравнения
где σ m~ =
2Φ ⋅ (
εβ
) −1= β
σ m~
находим значение ε β :
1+ β
),
(6.103)
2
где arg Ф (х) - функция, обратная Ф(х), т. е. такое значение аргумента, при котором
нормальная функция распределения равна х.
Дисперсия D, через которую выражена величина σ m~ , нам в точности не известна; в
~
качестве её ориентировочного значения можно воспользоваться оценкой D (6.100) и
положить приближенно:
ε β = σ m~ arg Φ ⋅ (
156
Лекция 4.33. Статистические испытания. Доверительный интервал. Доверительная вероятность. Выборки. Гистограмма и эмпирическая
функция распределения
~
D
.
(6.104)
n
Таким образом, приближенно решена задача построения доверительного интервала, который
равен:
~ − ε ;m
~ +ε ),
I β = (m
(6.105)
β
β
σ m~ =
где ε β определяется формулой (6.103).
Чтобы избежать при вычислении ε β обратного интерполирования в таблицах функции
Ф(х), удобно составить специальную таблицу (Табл. 1), где приводятся значения величины
1+ β
t β = arg Φ ⋅ (
)
2
в зависимости от β . Величина t β определяет для нормального закона число средних
квадратических отклонений, которое нужно отложить вправо и влево от центра рассеивания
для того, чтобы вероятность попадания в полученный участок была равна β . Через
величину t β доверительный интервал выражается в виде:
~ − t σ ~;m
~ + t σ ~)
I = (m
β
β
m
β
m
Таблица 1.
β
tβ
β
tβ
β
tβ
β
tβ
0,80
0,81
0,82
0,83
0,84
0,85
1,282
1,310
1,340
1,371
1,404
1,439
0,86
0,87
0,88
0,89
0,90
1,475
1,513
1,554
1,597
1,643
0,91
0,92
0,93
0,94
0,95
0,96
1,694
1,750
1,810
1,880
1,960
2,053
0,97
0,98
0,99
0,9973
0,999
2,169
2,325
2,576
3,000
3,290
Пример 1. Произведено 20 опытов над величиной X; результаты приведены в таблице:
i
i
i
i
ti
ti
ti
ti
10,9
16
10,6
11
10,6
1 10,5 6
10,8
17
11,3
12
10,9
2 10,8 7
10,7
18
10,5
13
11,0
3 11,2 8
10,9
19
10,7
14
10,3
4 10,9 9
11,0
20
10,8
15
10,8
5 10,4 10
~
Требуется найти оценку m для математического ожидания т величины Х и построить
доверительный интервал, соответствующий доверительной вероятности β =0,8.
Решение. Имеем:
20
~= 1
m
∑ xi = 10,78
20 i =1
Выбрав за начало отсчета х=10, по второй формуле (6.100) находим несмещенную
~
оценку D :
20
~ 13,38
D=(
− 0,78 2 )
= 0,064;
20
19
~
D
σ m~ =
= 0,0564.
n
По таблице находим t β =1,282;
157
Лекция 4.33. Статистические испытания. Доверительный интервал. Доверительная вероятность. Выборки. Гистограмма и эмпирическая
функция распределения
ε β = t β σ m~ = 0,072.
Доверительные границы:
~ − 0,072 = 10,71;
m1 = m
~ + 0,072 = 10,85.
m2 = m
Доверительный интервал: I β = (10,71;10,85).
Значения параметра т, лежащие в этом интервале, являются совместимыми с
опытными данными, приведенными в таблице.
Аналогичным способом может быть построен доверительный интервал и для
дисперсии.
Пусть произведено п независимых опытов над случайной величиной Х с неизвестными
параметрами m и D, и для дисперсии D получена по (6.100) несмещенная оценка.
Требуется приближенно построить доверительный интервал для дисперсии.
~
Из формулы (6.100) видно, что величина D представляет собой сумму п случайных
~)2
(X − m
. Эти величины не являются независимыми, так как в любую из них
величин вида i
n −1
~ , зависящая от всех остальных. Однако можно показать, что при
входит величина m
увеличении п закон распределения их суммы тоже приближается к нормальному.
Практически при п == 20÷30 он уже может считаться нормальным.
Предположим, что это так, и найдем характеристики этого закона: математическое
~
~
ожидание и дисперсию. Так как оценка D —несмещенная, то M D = D.
[]
~
Вычисление дисперсии D D связано со сравнительно сложными выкладками, поэтому
приведем ее выражение без вывода:
n−3
~ 1
D D = µ4 −
D2,
(6.106)
n
n(n − 1)
где µ 4 —четвертый центральный момент величины X.
Чтобы воспользоваться этим выражением, нужно подставить в него значения µ 4 и D
~
(хотя бы приближенные). Вместо D можно воспользоваться его оценкой D . В принципе
четвертый центральный момент µ 4 тоже можно заменить его оценкой, например величиной
вида:
[]
n
µ4 =
∑(X
i =1
i
~ )4
−m
,
(6.107)
n
но такая замена даст крайне невысокую точность, так как вообще при ограниченном числе
опытов моменты высокого порядка определяются с большими ошибками. Однако на
практике часто бывает, что вид закона распределения величины Х известен заранее:
неизвестны лишь его параметры. Тогда можно попытаться выразить µ 4 через D.
Возьмем наиболее часто встречающийся случай, когда величина Х распределена по
нормальному закону. Тогда ее четвертый центральный момент выражается через дисперсию
µ 4 = 3D 2
и формула (6.106) дает
n−3
~ 3
D D = D2 −
D2 ,
n
n(n − 1)
или
[]
158
Лекция 4.33. Статистические испытания. Доверительный интервал. Доверительная вероятность. Выборки. Гистограмма и эмпирическая
функция распределения
[]
2
D2 .
(6.108)
n(n − 1)
~
Заменяя в (6.108) неизвестное D его оценкой D , получим:
2
~
~
DD =
D2 ,
(6.109)
n(n − 1)
откуда
2 ~
σ D~ =
D.
(6.110)
n −1
Момент µ 4 можно выразить через D также и в некоторых других случаях, когда
распределение величины Х не является нормальным, но вид его известен. Например, для
закона равномерной плотности, имеем:
(β − α ) 4
(β − α ) 2
µ4 =
;D =
,
80
12
где (α , β ) —интервал, на котором задан закон. Следовательно,
µ 4 = 1,8 D 2 .
По формуле (6.106) получим:
~ 0,8n + 1,2 2
DD =
D ,
n(n − 1)
откуда находим приближенно
0,8n + 1,2 ~
σ D~ ≈
D.
n(n − 1)
В случаях, когда вид закона распределения величины Х неизвестен, при
ориентировочной оценке величины σ D~ рекомендуется все же 'пользоваться формулой
~
DD =
[]
(6.110), если нет специальных оснований считать, что этот закон сильно отличается от
нормального (обладает заметным положительным или отрицательным эксцессом).
Если ориентировочное значение σ D~ тем или иным способом получено, то можно
построить доверительный интервал для дисперсии, аналогично тому, как мы строили его для
математического ожидания:
~
~
I β = ( D − t β σ m~ ; D + t β σ m~ ) ,
(6.112)
где величина t β в зависимости от заданной вероятности β находится по таблице.
Пример 2. Найти приближенно 80%-и доверительный интервал для дисперсии
случайной величины Х в условиях примера 1, если известно, что величина Х распределена по
закону, близкому к нормальному.
Решение. Величина t β остается той же, что в примере 1:
t β = 1,282.
По формуле (6.110)
2
σ D~ =
0,064 = 0,0207.
19
По формуле (6.112) находим доверительный интервал:
I β = (0,043;0,085).
Соответствующий
(0,21,0.29).
интервал
значений
среднего
квадратического
отклонения:
159
Лекция 4.33. Статистические испытания. Доверительный интервал. Доверительная вероятность. Выборки. Гистограмма и эмпирическая
функция распределения
Выборки
Задачи математической статистики состоят в том, чтобы на основании знания
некоторых свойств подмножества элементов, взятых из некоторого множества, сделать
какие-нибудь утверждения о свойствах этого множества, называемого генеральной
совокупностью. В генеральной совокупности нас обычно интересует некоторой признак,
который обусловлен случайностью и может иметь качественный или количественный
характер.
Гистограмма и эмпирическая функция распределения
Пусть имеется выборка (x1,….,xn), так называемая таблица наблюденных значений, из
генеральной совокупности с признаком Х. Пусть распределение Х неизвестно. Для того
чтобы получить первое представление об этом распределении в случае количественного
признака, составляют так называемую гистограмму. Производят разбиение действительной
оси на конечное число граничащих друг с другом интервалов ∆l…,∆k. Затем подсчитывают,
как много выборочных значений лежит в ∆j (l ≤ j ≤ k). Пусть эти числа mj. Они называются
групповыми частотами. Над ∆j чертится прямоугольник высоты mj/n (относительные
частоты попадания в интервалы). Возникающий таким образом ступенчатый график
называется гистограммой выборки.
Удобным способом получить представление о распределении Х, приемлемым и при
качественных признаках, является построение эмпирической функции распределения. Для
данного действительного числа х подсчитывается, сколько выборочных значений меньше х.
Обозначим это число через mn(x).
m ( x)
Функция F n ( x) = n
называется эмпирической функцией распределения выборки
n
(x1,…,xn). Она является ступенчатой функцией.
160