Понятия о Проверке статистических гипотез

Понятия о проверке статистических гипотез
Статистические гипотезы касаются поведения наблюдаемых с.в. x1 ,…,xn .

Этот набор можно представить в виде точки x  R n ; i-ой координатной оси

сопоставляется с.в. xi . Случайной величине x соответствует некоторое
распределение вероятностей, и для любой области w R n можно, в принципе,


вычислить вероятность P{ x  w} того, что x попадёт в w. Любая гипотеза,

связанная с P{ x  w} будет называться статистической. Примеры таких

гипотез: (а) нормальная с.в.  , порождающая выборку x , имеет заданные м.о. 0
и дисперсию 02 ; (б)  имеет нормальное распределение. В случае (а)
проверяется гипотеза о значениях параметров известного распределения
(параметрическая гипотеза), а в (б) не идёт речь о параметрах, а о форме
распределения (пример непараметрической гипотезы). Основные понятия
теории проверки статистических гипотез были выработаны для
параметрических
гипотез,
а
впоследствии
распространены
на
непараметрические гипотезы.
Рассмотрим вкратце основную идею и конкретные определения на почти
интуитивном уровне; строгое изложение вы найдёте в рекомендованной
литературе. Пусть проверяется гипотеза H0 о том, что для известного
распределения F(z; ) значение параметра  равно 0 , альтернативой является
K: значение  есть какое-то 1  0 (для определённости пусть предполагается
1  0 ). Эта ситуация иллюстрирует понятия простых и сложных гипотез H0 и
альтернатив K. Гипотеза H простая, если множество возможных (в случае её
справедливости) значений параметра – одноточечное. Если же при верной H
множество значений параметра состоит из более чем одной точки, то гипотеза
сложная. В нашем примере H0 – простая гипотеза ( = 0), а альтернатива K –
сложная (  (0 , +) ).
В зависимости от того, какая гипотеза проверяется, мы можем разумно


выбрать множество w: если x  w, то гипотеза отвергается, а если x  R n \ w ,
то гипотеза принимается. Принцип "разумности" означает, что вероятность

события x  w будет мала, если гипотеза H0 верна; но при альтернативе K

вероятность события x  w значительна. Тогда, если это маловероятное
событие всё же произошло, мы можем заключить, что с большой вероятностью
гипотеза H0 неверна.
Например, пусть с.в.  имеет нормальное распределение  0 2 ,
сделано n = 10 наблюдений x1 , x2 , …, x10 , и нужно проверить гипотезу H0 :  2


= 1. Выборочные точки образуют вектор x ; тогда для компонент xi вектора x
справедливо следующее утверждение: с.в. zi = xi / являются независимыми
нормальными  01 (это следует из усиленной воспроизводимости

нормального распределения). Рассмотрим статистику сумм квадратов T( x ) =
n
 z i2 . По определению  2-распределения статистика

T( x )
имеет
i1
распределение  n 2, и если H0 верна, ( 2 = 1), то

T( x ) =
n
n
i1
i1
 z i2 =  x i2 .
Ф.п.в. f(t)  -распределения – асимметричная унимодальная функция,
определённая на [0, ), и f(t)  0 при t  . Значит, если H0 верна, можно
2
заранее определить число  заранее заданным малым значением (скажем,  =
0.01) и выбрать достаточно большое T0 так, чтобы


f (t ) d t =  .
T0

Геометрически это означает, что если H0 верна, то вектор x с большой
вероятностью лежит внутри n-мерной гиперсферы радиуса R (так, чтобы R 2 =

T0 ) . Тогда разумно отвергнуть H0 , если x оказался вне гиперсферы;

обозначим через w часть R n вне гиперсферы. Но квадрат длины x есть сумма
квадратов величин x1 , …, x n , и это разумная статистика для проверки H0 ; если
H0 верна, то эта сумма имеет распределение  n 2 с n = 10. Выбрав достаточно

большой радиус R, мы будем с высокой вероятностью иметь x внутри
гиперсферы. Скажем, для гиперсферы с R 2 = 23.219 вероятность


p0 = P{ x  w| H0 } = P{ || x || 2 > R 2 | H0 } = 1 – 0.99 = 0.01.
Если же верна альтернатива K (особенно если  2 >> 1), то

P{ || x || 2 > R 2 | K} = p1 >> p0 .
Так, если  2 = 2, то p1 = 0.3, а при  2 = 4 эта вероятность равна 0.8316 (все
числа в нашем примере были вычислены с помощью функций ХИКВ и
ХИКВОБР в Microsoft Excel).
Требуемую вероятность 0.01 при верной H0 можно было бы обеспечить,
взяв шар квадрата радиуса r 2 = 2.358. Тогда

p'0 = P{| x || 2  r 2 | H0 } = 0.01.
Но такой выбор не хорош тем, что при K соответствующая вероятность

p'1 = P{| x || 2  r 2 | K } << p'0 .

Теперь вернёмся от этого маленького примера к изложению основной

идеи проверки параметрических гипотез. Выберем такую статистику T = T( x ) и
такое число T 0 , чтобы вероятность p0 = P{ T  T 0 | H0} была мала: p0 << 1, но
если K:  = 1 , то эта вероятность существенна:
p1 = P{ T  T 0 |  = 1} = 1 –  ,  << 1.
(i)

Мы можем вычислить по наблюдавшимся данным x = (x1 , …, x n) значение T =

T( x ). Будем рассуждать так: если наше предположение H0 :  = 0 верно, то
крайне маловероятно (скажем, p0 = 0.01), чтобы T  T 0 – так будет только в
одном случае из ста. Если, тем не менее, это произошло, то, видимо, наше
предположение не верно, и следует отвергнуть гипотезу H0 . Такова основная
идея правила (критерия) проверки гипотезы H0 .
Говоря подробнее, для задания критерия нужно:
1. Сформулировать проверяемую гипотезу H0 .
2. Задать возможную альтернативу K.

3. Выбрать, какая статистика T( x ) будет использоваться.
4. Задать размер критерия (уровень значимости) – малую вероятность 
5. Указать критическое множество w


p0( x ) = P{ T( x )  w | H0 } 
(ii)

(число p0( x ) называют ошибкой первого рода; величина  в (i)
называется ошибкой второго рода).
6. Формулируется процедура принятия решения: гипотеза H0


отклоняется на основании полученных данных x , если T( x )w ; в
противном случае данные не противоречат H0 .
Оживим это формальное описание демонстрацией конкретного примера.
Пусть наблюдаются значения с.в.  и было получено n = 100
наблюдений x1 , x2 , …, x 100 . Проверяется гипотеза H0 : 0 = 2.5. В качестве
альтернативы рассматривается K : 1 0 . Мы знаем из предшествующих
 , и что
лекций, что x является хорошей оценкой для
x 
1
.
n
Следовательно, Var{ x } = 1/100, а ( x ) = Var{x } = 1/10. "Шкалированная"
статистика
x 
u=
 N(0, 1) .
(iii)
 (x )
Из вида K достаточно очевидно, что критические множества будут
принадлежать верхнему (правому) "хвосту ф.п.в. w(x) для N(0, 1) . Выберем
размер критерия  = 0.01. Вычисляя критическое значение u 1 –  как
u
1


1
2
e x
2
/2
dx = 1 – 
(iv)
(например, вы можете сделать это в Excel, применив функцию НОРМСТОБР),
найдём u1 –  = 2.3263. Пусть данные таковы, что получилось x = 2.8. Если H0
верна, т.е. 0 = 2.5, то u = 3, что превышает критическое значение  H0
отвергается.
На этом же примере можно посмотреть, каковы возможные
альтернативы. Нас интересовала альтернатива больших  , т.е. K :  0 ;
критерий односторонний. Но можно было бы задать альтернативой K ':   0 ,
и в таком случае мы имели бы двусторонний критерий (критическое множество
образуют значения u как на левом, так и на правом хвосте N(0, 1)). В случае
двусторонних критериев обычно придают одинаковое значение как нижнему,
так и верхнему хвосту распределения, так что для вычисления критических
значений величину  "ополовинивают": берут  = /2 и вычисляют пару
критических значений как
u
'


1
2
e x
2
/2
dx =  ,
u
1'


1
2
e x
2
/2
dx = 1 –  .
(v)
Если для вычисленного u будет выполняться одно из неравенств u  u или u
 u1 –  , то H0 отвергается.
Вернёмся ещё раз к нашему примеру. Если бы мы взяли в качестве
критического множества значения u на нижнем хвосте распределения (скажем,
w' = {u < u = – u1 –  = -2.3263}, то вероятность
P{ u  w' | H0 } =,
но нетрудно сообразить, что
P{ u  w' | K } < .
Наш критерий оказался смещённым. Обычно рассматривают несмещённые
критерии, для которых
P{T  w | K } > P{T  w | H0 }.
(vi)
Другое важное свойство "разумного" критерия – состоятельность: для T = T(x1 ,
…, x n ) при возрастании n lim P{T  w | K } = 1.
n 

Выбор используемой статистики T( x ) можно сделать различными
способами, и от него будет зависеть эффективность (мощность – вероятность в
правой части (i)) используемого критерия. Так, в нашем примере вместо x
можно было использовать выборочную медиану. Обычно стремятся
использовать наиболее мощные критерии.
В зависимости от того, является ли множество параметров в гипотезе H0
одноточечным или состоит из более чем одной точки, гипотезы делятся на
простые и сложные; то же самое касается и альтернативы K . Так, гипотеза в
нашем примере простая: 0 = 2.5, зато альтернатива сложная: 1 0 –
целый полубесконечный интервал возможных значений . Мы могли бы взять
простую альтернативу, назначив  какое-то конкретное значение, скажем,
1 = 2.9. Так вот, показано, что наиболее мощные критерии существуют
только в случае, когда проверяется простая гипотеза против простой
альтернативы. В сложных гипотезах или (и) альтернативах наиболее мощных
критериев не существует.
Однако если число наблюдений n , можно указать метод, который
даёт асимптотически наиболее мощные критерии – метод отношения
правдоподобия (ОП). Пусть наша выборка x1 , …, x n порождена непрерывной



 r 
с.в.  с ф.п.в. f(x;  ),  =    – ( r + s) = k-мерный вектор параметров (r 
 s 


1, s  0 ). Мы хотим проверить гипотезу H0 :  r =  r 0 , которая при s  0


является сложной, против H1 :  r   r 0 . По методу ОП вначале требуется найти


оценки максимального правдоподобия (МП-оценки) вектора (  r ,  s ), дающие
безусловный максимум функции правдоподобия (ФП)
n

 
L(  | x ) =  f ( xi ;  ) ;


i 1

 
пусть эти оценки суть  r ,  s , а значение ФП в этой точке равно L(  r ,  s | x ).

Найдём также МП-оценки для  s в предположении, что имеет место H0 , при



которых достигается условный максимум ФП L(  r 0 ,  s | x ).
Рассмотрим теперь отношение правдоподобия
 

L( r0 ,  s | x )
=
   .
L( r ,  s | x )
(vii)
Поскольку это отношение условного максимума к безусловному, очевидно, что
0    1. Интуитивно понятно, что  является разумной статистикой критерия
для проверки H0 . Действительно, она представляет собой максимум
правдоподобия при гипотезе H0 , отнесённый к своей наибольшей возможной
величине, и большое значение  указывает на то, что разумно принять H0 .
Критическая область этого критерия имеет, следовательно, вид
  c ,
(viii)
где c определяется по распределению g() статистики  так, чтобы получить
критерий размера  :
c
 g(l) d l
=.
0
Оказывается, что при n  величина -2 ln  будет иметь  2-распределение.
Но этим асимптотическим результатом не всегда пользуются. Как мы увидим в
дальнейших лекциях, часто поступают так: находят такую функцию h(),
которая 1) является строго монотонной по ; 2) имеет простой вид и известное
(из таблиц или математических программ) распределение, если верна гипотеза
H0 . И тогда принятие решения по критерию ОП, исходя из неравенства (viii)
заменяют проверкой, попадает ли h() в соответствующую критическую
область.