Виды семян

advertisement
5. Проверка статистических гипотез.
5.1. Общие понятия. Методика проверки.
Проверка статистических гипотез – одна из основных задач математической
статистики. Разрабатываемые здесь процедуры позволяют принимать или
отвергать статистические гипотезы, возникающие при обработке или
интерпретации результатов наблюдений во многих практически важных разделах
науки и производства, связанных со случайным экспериментом. Ниже будет
рассмотрена основная методология проверки так называемых параметрических и
непараметрических гипотез.
Статистической гипотезой называется любое предположение о той или
иной характеристике генеральной совокупности, которое можно проверить на
основе выборочных данных. Различают два класса задач, связанных с проверкой
статистических гипотез: проверка гипотез о параметрах или числовых
характеристиках распределения и проверка гипотез о законе распределения.
Параметрической называется гипотеза, для которой необходимы некоторые
предположения о законе распределения генеральной совокупности (как правило,
используется нормальность генерального). Для проверки непараметрических
гипотез такие предположения не используются.
Остановимся более подробно на задачах первого класса. В этих задачах
проверяются либо гипотезы о равенстве тех или иных характеристик
распределения генеральной случайной величины фиксированным значениям
(задача сравнения с эталоном), либо гипотезы о равенстве значений одной и той
же характеристики в двух независимых генеральных.
374
Пусть генеральная X распределена по закону, определяемому семейством
функций распределения FX  x /   , где  - скалярный или векторный параметр.
Относительно параметра  высказывается некоторая основная или проверяемая
гипотеза H 0 :    0 . Все гипотезы, конкурирующие с основной, называются
альтернативами (их может быть несколько). В простейшем случае
рассматривается одна альтернатива из трех возможных вариантов, которые будут
сформулированы позже.
Для проверки основной гипотезы
необходимо построить такой
H0
статистический критерий, который позволит нам заключить, согласуется ли
высказанное в H 0 предположение с тем, что наблюдается в выборке. Построение
критерия определяется выбором подходящей меры расхождения между
гипотетическим значением параметра  (т.е. тем, которое устанавливается в
гипотезе H 0 ) и эмпирическим значением  * , которое оценивается по выборке.


Обозначим эту меру Z  , * . Так как данная мера должна строиться на

основе выборочных данных, то Z  , *
вектора
( X1 , X 2 ,..., X n ).

Следовательно
является функцией от выборочного

Z  , *

-
статистика.
Закон
распределения этой статистики должен быть известен по крайней мере при
условии H 0 и по возможности не зависеть от неизвестного параметра, но это не
всегда возможно, поэтому различают простые и сложные гипотезы.
Определение. Гипотеза H 0 называется простой, если она полностью


определяет закон распределения статистики Z  , * . В противном случае
гипотеза называется сложной.
375
Обозначим через G множество возможных значений статистики Z . Множество G может быть дискретным или непрерывным в зависимости от типа генеральной случайной величины. Если, например, генеральная нормальна, то G будет представлять собой конечный или бесконечный интервал на действительной
оси (в зависимости от конкретного вида статистики Z как функции выборочных
значений). Будем рассматривать различные интервальные события, связанные со


случайной величиной Z , например Z  G ' / G '  G .
В методе проверки статистических гипотез на основе критериев значимости
считается заданной заранее столь малое положительное число  , что интервальные события указанного вида, происходящие с вероятностью  , следует рассматривать как практически невозможные, если верна гипотеза H 0 . Число  при
этом называется уровнем значимости критерия.
Пусть  задано. Разобьем множество G на две непересекающихся
подобласти: G  G  G1 , где обозначены: G - критическая область; G1 допустимая область. Потребуем, чтобы G удовлетворяла уравнению:
P{Z  G / H 0 }  
(5.1.1)
Очевидно, что в этом случае будет автоматически выполнено равенство
P Z  G1 / H 0   1  
Ясно, что выбор критической области только из одного условия (5.1.1) неоднозначен, поэтому нужны дополнительные условия, которые обсудим чуть позже.
Пусть разбивка на области G и G1 так или иначе произведена. Вычислим
выборочное значение статистики, т.е.
Zвыб  Z  x1 , x2 ,..., xn / H 0 
376
В записи Zвыб подчеркнуто, что выборочное значение вычисляется в предположении, что гипотеза H 0 верна. Отсюда следует, что статистика Z при условии
H 0 должна быть полностью определена.
Сформулируем следующее решающее правило: если Zвыб G  H 0 –
опровергается в пользу H 1 как не соответствующая опытным данным. Если же
Zвыб G1  следует принять H 0 на данном уровне значимости .. Основа этого
правила заключается в следующем. Мы сами задали столь малое , чтобы
событие Z  G  имело гарантированно малую вероятность, если справедлива
гипотеза H 0 . Поэтому, если для данной выборки это событие реализовалось, то
следует считать, что расхождение между гипотетическим и выборочным
значением превысило некоторый порог (стало «значимым») и необходимо
отвергнуть H 0 .
5.2. Проверка гипотез о сравнении с эталоном
Прокомментируем теперь более подробно основные этапы всей процедуры
проверки на примере задачи сравнения с эталоном при заданном  .
1. Постановка задачи. Формулируем основную гипотезу: H 0 :    0
(  0 - эталон. В дальнейшем нас будет интересовать проверка гипотез, связанных с тремя основными характеристиками: математическим ожиданием, дисперсией (или среднеквадратичным отклонением) и вероятностью какого либо
 

интересующего нас события:   mX , X2 , p ).
Конкретизируем одну из трех возможных альтернатив:
377
   0  правосторонняя;

H1 :    0  двусторонняя;
    левосторонняя.
0

2) Выбор критической области.
Прежде всего отметим, что в результате применения указанного выше
решающего правила ни в коем случае нельзя установить истинность гипотезы
H 0 . Может найтись другая гипотеза, так же хорошо согласующаяся с
опытными данными, как и первая. С другой стороны, каждая конкретная
процедура проверки статистической гипотезы может привести к ошибочному
решению. Действительно, может оказаться, что выборочное значение
статистики попало в критическую область, и мы отклонили гипотезу H 0 , в то
время как на самом деле она верна. Тем самым мы совершили так
называемую ошибку первого рода: «отвергнуть правильную гипотезу».
Вероятность совершить такую ошибку, как следует из формулы (5.1.1) равна
уровню значимости  .
Наряду с этим может быть совершена так называемая ошибка второго рода:
«принять ложную гипотезу». Это произойдет в том случае, когда Zвыб попадет в
допустимую область G1 и будет принято решение в пользу H 0 , в то время как
на самом деле верна гипотеза H 1 . Вероятность ошибки второго рода
определяется уравнением:
P Z  G1 / H1  
(5.1.2)
Вероятность противоположного события:
P Z  G / H1  1  
378
называют мощностью правила выбора решения. Она определяет вероятность
«отвергнуть ложную гипотезу».
Ошибки при принятии решения принципиально неустранимы, что определяется случайной природой статистики Z , и далеко не равнозначны, так как могут
приводить к различным последствиям. Чтобы проиллюстрировать сказанное,
рассмотрим два примера с различными постановками задачи проверки гипотез.
Пример 5.1.1. В задаче радиолокационного обнаружения цели проверяется
основная гипотеза H 0 , утверждающая, что цель своя. Альтернативой служит
гипотеза H 1 , утверждающая, что цель чужая. Выяснить логику ошибок первого
и второго рода.
◄ Ошибка первого рода, имеющая смысл «отвергнуть правильную гипотезу», в данном случае означает, что своя цель будет принята за чужую, и трактуется как «ложная тревога». Ошибка второго рода, имеющая смысл «принять
ложную гипотезу», в данном случае означает, что чужая цель будет принята за
свою. Предоставляем читателю самостоятельно поразмышлять о сравнительных
последствиях этих двух ошибок.►
Пример 5.1.2. Цех выпустил партию деталей (например, интегральных схем)
с неизвестным процентом брака. Поставщик утверждает, что этот процент
находится в пределах норматива, оговоренного в договоре с заказчиком (равен
эталонному значению). Заказчик, напротив, утверждает, что по некоторым его
наблюдениям этот процент значительно превышен. Возникает конфликт, для
разрешения которого решено провести эксперимент: наудачу отобрать
определенное количество деталей и вычислить процент бракованных.
Договорившись об уровне значимости  , конфликтующие стороны решили
проверить основную гипотезу H 0 против правосторонней альтернативы H 1 и
379
тем самым разрешить свой спор на высоком научно-методическом уровне.
Ответить на следующие вопросы:
1) Каков смысл ошибок первого и второго рода?
2) Каковы возможные последствия для производства от этих ошибок?
◄ 1) Ошибка первого рода: забракована хорошая партия (интерпретируется
как «ложная тревога»),- страдает поставщик. Ошибка второго рода: принята
плохая партия (интерпретируется как «пропуск цели»),- в результате этой
ошибки страдает заказчик.
2) В действительности, если глубже взглянуть на всю проблему производства
и сбыта в целом, получится, что ущерб наносится производству. Если, например,
будет забракована хорошая партия (совершена ошибка первого рода), то
поставщик не выполнит план поставок, что может привести к задержке или
срыву плана производства. Если же будет принята плохая партия (совершена
ошибка второго рода), то это может повредить не только репутации заказчика, но
и той продукции, для которой предназначались закупленные плохие
интегральные схемы.►
Вернемся снова к задаче выбора критической области. Еще раз отметим, что
согласно уравнению (5.1.1) критическая область напрямую зависит от уровня
значимости  . Однако выбор самого  не является задачей математической
статистики. Напротив, метод проверки статистической гипотезы начинает
работать с момента, когда  уже определено. При выборе  в конкретной
физической ситуации обычно руководствуются тем, какие последствия могут
повлечь за собой неправильно принятые решения в пользу конкурирующей
гипотезы. В одних случаях, например, достаточно пренебречь событиями,
имеющими вероятность меньшую, чем 0,05, в других, если речь идет о гибели
380
пассажирского самолета или разрушении железнодорожного моста, нельзя
пренебречь и событием, имеющим вероятность 0,001.
Идеальным было бы такое решение, когда можно одновременно уменьшить
обе ошибки первого и второго рода до нужного уровня. К сожалению, такое
решение неосуществимо, так как попытка уменьшить  за счет уменьшения
критической области G немедленно приведет к увеличению ошибки второго
рода  , поскольку автоматически увеличится допустимая область G1 . Однако
можно, не изменяя размеров критической области, менять ее расположение в G
и тем самым попытаться уменьшить  . Такой подход оправдан в ситуациях,
когда ошибка второго рода не приводит к катастрофическим последствиям.
Поэтому задача выбора критической области ставится как следующая задача
оптимизации:
 P Z  G / H 0    - фиксируется;

 P Z  G / H  1    max

1
 
G G
(5.1.3)
Таким образом, оптимизационная задача состоит в таком выборе
критической области G , чтобы при фиксированном  максимизировать
мощность критерия (минимизировать ошибку II рода). Заметим, что решение
задачи (5.1.3) существенно зависит от двух обстоятельств: от формулировки
альтернативы и характера распределения статистики Z. Приведем
соответствующие результаты для важнейших видов распределений, имея в виду
задачу сравнения с эталоном.
I вид распределения статистики: симметричный относительно начала
координат (нормальный, Стьюдента и т.п.) –.
381
fZ(z/H0)
  0  G   z  z  , Z  t1 / 2

H1 :   0  G   z  z  , z  t1

  0  G   z  z  , z  t
t1-
z
На рисунке заштрихована правосторонняя критическая область,
соответствующая альтернативе: H 1 :    0 .
II вид распределения статистики: несимметричный (распределения  2 ,
Фишера).
fZ(z)
 /2
 /2
G1-
z
   0  G   z / z  z2    z  z1 ,

 где P Z  z / H   P Z  z / H    
2
0
1
0

2

H1 :  z1  t , z 2  t 
1
2
2

    G   z / z  z  , z  t
0

2
2
1

   0  G   z  z2  , z 2  t

На рисунке заштрихована двусторонняя критическая область,
соответствующая альтернатива: H1 :    0 .
3) Выбор подходящей статистики.
Для проверки статистических гипотез о сравнении с эталоном по существу
используются те же статистики, которые использовались для построения
382
доверительного интервала. Эти статистики подробно изучались в гл.4 и
приводятся в сводной таблице (4.5.1).
Напомним вид тех статистик, которые используются для проверки гипотезы
о сравнении с эталоном для трех основных параметров.


N m, 2 . Проверяется основная
Пусть генеральная случайная величина X
гипотеза H 0 : mX=m0 против одной из альтернатив. Рассмотрим два случая:
2

1) вариант:   неизвестно  используем статистику W

2

2) вариант:   известно  используем статистику U
где обозначено U 
x  m0
~N(0,1), (см. формулу (4.5.4), в которой m заме/ n
нено на m0 в силу утверждения гипотезы H 0 );
W
x  m0
~ St (n  1).(см. упражнение (4.5.1)). Напомним, что S2  S22 , где
S2 / n
S22 - так называемая исправленная выборочная дисперсия.
Для проверки основной гипотезы о дисперсии: H 0 :  X2   02 против одной из
альтернатив H 1 рассмотрим также два случая:
1) вариант: mX  неизвестно  используем статистику V2

2) вариант: mX  известно  используем статистику V1
Здесь обозначено V1 
n  S12

2
0
 2 (n) , где S12 - несмещенная выборочная
дисперсия при известном мат.ожидании;
V2 
(n  1) S22

2
0
 2 (n  1) .
383
При аналогичной постановке задачи для параметра p ( H 0 : p  p0 )
используем статистику:
p  p0
Z
p0  q0
n
~ N (0,1);
npq 1
Здесь p* - относительная частота успехов в n опытах по схеме Бернулли.
Закон распределения указанной статистики Z обосновывается в примере 4.6.5.
Рассмотрим несколько характерных примеров на сравнение с эталоном
Пример 5.1.3. Время реакции на световой сигнал среди водителейпрофессионалов должно находиться на уровне 3сек. для безопасной езды в
темное время суток ( m0 =3 сек.). Тестирования, проведенные среди 16
водителей дали следующие результаты: x  4,5 сек., S22  16 сек2 .
1) Следует ли из этих данных, что время реакции испытуемых значимо
больше номинального на уровне значимости   0,05 ?
2) Что изменится если выбрать   0,1 ?
3) Что изменится если известно, что  x  4 сек. ?
4) Можно ли считать, что время реакции водителей значимо отличается
от номинального?
Формулируем задачу проверки следующим образом:
H 0 : mX  m0 ;
H1 : mX  m0 ,  подходящей статистикой является W 
x 3
~ St (15).
S2
n
Как установлено в H 1 , критическая область – правосторонняя  по таблице
квантилей распределения Стьюдента находим
384
t0,95 (15)  1,75;
Wвыб 
4,5  3
 1,5  G1 
4
4
1) H 0 принимается на данном уровне значимости  . Другими словами,
выборочные данные не подтверждают гипотезу H 1 о том, что время реакции
испытуемых значимо больше номинального.
2) Ответ: если   0,1 то H 0 – отвергается.
3) Изменяется статистика (можно использовать U ) и квантиль 
t0,95  1,645 (из таблицы нормального распределения). Т.к. U выб  1,5  G1 , то
H 0 – принимается.
4) Постановка задачи в этом случае имеет вид:
H 0 : mX  m0  3, H1 : mX  m0 ,
 подходящая статистика W 
t
1

x 3
~ St (15).
S2
n
(15)  t0,975 (15)  2,13  H 0 подтверждается с большей степенью
2
надежности.
Пример 5.1.4. В результате длительного хронометража времени сборки узла
различными сборщиками установлено, что дисперсия этого времени  02 =2 мин2.
Проведено двадцать наблюдений за работой новичка, давших следующие
результаты:
Время сборки узла xi , мин
Число случаев mi
56
58
60
62
64
1
4
10
3
2
385
Можно ли на уровне значимости  =0,05 считать, что новичок работает
ритмично (в том смысле, что дисперсия затрачиваемого им времени сборки
значимо не отличается от дисперсии эталонного времени сборки остальных
сборщиков)?
◄ Пусть X время сборки узла новичком. Считаем, что X распределена


нормально N m,  2 . Требуется проверить основную гипотезу H 0 :  2   02 =2
против двусторонней альтернативы H1 :  2  2 . Так как математическое
ожидание неизвестно, то подходящей статистикой является
V2 
(n  1) S22

2
0
, распределенная по закону  2 ( n  1) .
Вычисляем оценки x и S22 по формулам для частотной выборки объема
n =20:
x=
1 5
1 5
2
2
60;
=
m
x

S
 i i
 mi  xi  60  =4.
2
20 i 1
19 i 1
Отсюда получаем выборочное значение статистики Z выб 
19  4
=38.
2
Учитывая, что альтернатива двусторонняя и используя таблицу квантилей
распределения хи-квадрат, находим границы двусторонней критической области:
левая граница: t / 2 (19)=8,91; правая граница: t1 (19)  t0,95 (19) =30,1. Таким
образом, критическая область имеет вид G  v / v  8,91  v  30.1 . Поскольку
V2выб  G , то гипотезу H 0 следует отвергнуть на данном уровне значимости как
не соответствующую опытным данным. Следовательно, новичок работает
неритмично.►
386
Пример 5.1.5. В условиях примера 5.1.4 было получено значение
выборочной дисперсии S22 =4, что в два раза превышает эталонное значение  02 .
Это может служить отправной точкой при формулировании альтернативной
гипотезы. Действительно, для руководства цеха, где работает новичок,
наибольшее опасение должно вызывать то обстоятельство, что дисперсия
времени сборки новичком окажется значимо больше эталонного значения.
Естественно поэтому переформулировать постановку задачи и проверить
основную гипотезу против правосторонней альтернативы. Подтверждается ли
опасение руководства на уровне значимости 0,005?
Ответ: нет, не подтверждается.
Пример 5.1.6. Партия изделий принимается, если дисперсия
контролируемого размера значимо не превышает 0,2 мкм2. Исправленная
выборочная дисперсия, найденная по выборке объема n =121, оказалась равной
0,3 мкм2. Можно ли принять партию
а) на уровне значимости 1%?
б) на уровне значимости 0,1%?
◄ 1) Гипотезы формулируются аналогично примеру 5.1.5 при эталонном
значении  02 =0,2. Основное отличие заключается в том, что число степеней
свободы достаточно велико и соответствующие квантили отсутствуют в таблице.
В этом случае следует использовать асимптотическую нормальность
распределения хи-квадрат. Как показано в параграфе 4.4 стандартизованная
величина
Z
V2  (n  1)
2(n  1)
N (0,1) при достаточно больших n .
387
Отсюда выводится формула (4.4.1), связывающая приближенно квантиль из
распределения хи-квадрат с (n  1) степенями свободы через нормальную
квантиль:
t p (n  1)  n  1  u p 2(n  1) ,
(5.1.4)
где p порядок квантили, а u p - квантиль порядка p из распределения
N (0,1) . В нашем случае имеем: p =1  =0,99; u0,99 =2,326; Далее по формуле
(5.1.4) получаем: t0,99 (120)  120  2,326  240 =156,03. Таким образом,
критическая область G  v / v  156,03 . Находим выборочное значение
статистики: V2выб =180  G  H 0 - отклоняется на данном уровне значимости.
Партию принять нельзя.
2) Ответ: нельзя.►
Пример 5.1.7. Конкретизируем данные в примере 5.1.2, где обсуждался
конфликт между поставщиком и заказчиком. Пусть вероятность получить
бракованную деталь в большой партии деталей согласно договору равна p =0,03
(эталонное значение). Заказчик утверждает, что по его данным p  0,03 . Для
разрешения конфликта было обследовано 400 наудачу отобранных деталей и
обнаружено, что 16 из них бракованные. Обе стороны договорились об уровне
значимости  =0,05. Ответить на следующие вопросы:
1) Чью гипотезу подтверждает эксперимент?
2) Какова вероятность принять партию, в которой в действительности
имеется 6% бракованных деталей?
◄ 1) Проверяется основная гипотеза H 0 : p  p0  0,03 против
правосторонней альтернативы H 1 . Подходящей статистикой является
388
pn*  p0
, которая при достаточно больших значениях np0 q0
Z
p0 q0 / n
приближенно подчиняется закону N (0,1) (см. параграф 4.4). Статистику Z легко
преобразовать к виду
Z
m  np0
, где m - число бракованных деталей в отобранной партии. В
np0 q0
силу выбранной альтернативы, критическая область G  z / z  u0,95 , где
u0,95 =1,65 из таблицы квантилей нормального распределения. Вычисляем
выборочное значение статистики
Z выб 
16  12
 1,172.
400  0,03  0,97
Так как Z выб  1,65, то нет оснований отвергать гипотезу H 0 : выборочные
данные не противоречат утверждению поставщика.
2) Для ответа на поставленный вопрос заметим, что если верна альтернатива
H1' : p  p1  0,6 , то число m бракованных деталей из 400 распределено по
закону B(n, p1 ) , поэтому
M  Z / H1'   np1 =24, D  m / H1'   np1q1 =22,56.
Используя свойства операторов математического ожидания и дисперсии,
получаем
pq
M  Z / H1'   3,52, D  Z / H1'   1 1 =1,94.
p0 q0
Таким образом статистика Z при условии, что H1' верна, распределена по
нормальному закону с параметрами m1 =3,52 и  12 =1,94.
Вероятность принять партию, в которой содержится 6% брака, равна
389
 1,65  3,52 
P Z  G1 / H1'   '  P Z  1,65/ H1'  Φ 
=
1, 4






1  Φ 1,335  0,091, что почти в два раза больше, чем ошибка первого рода,
равная  =0,05.►
Комментарий. В пункте 2) предыдущей задачи была найдена ошибка
второго рода в ситуации, когда альтернатива точно определяет значение
проверяемого параметра. Другими словами, гипотеза H 1 - простая. В случае
сложной альтернативы вычислить точное значение ошибки второго рода не
представляется возможным. Имеется только уверенность в том, что эта ошибка
минимизирована, благодаря оптимизации выбора критической области. Иногда
для получения более полной информации об ошибках второго рода (и
соответственно мощности критерия) вводится так называемая функция
мощности критерия:  (G , )  P Z  G /   и исследуется как функция от  .
Однако это несколько выходит за рамки нашей программы. Интересующимся
предлагаем обратиться к соответствующей литературе [5].
Задание для самостоятельной работы
Для лучшего усвоения материала рекомендуем внимательно прочитать теоретическую преамбулу в параграфе 4 гл.19 задачника [1] вместе с рассмотренными там примерами. Дополнительно решить задачи: 199 – 202, 205, 207, 208.
Замечание. Контрольные упражнения будут приведены в конце параграфа
5.2 по всем задачам проверки гипотез о параметрах.
390
5.3. Проверка гипотез о сравнении характеристик в двух независимых
генеральных.
Сравнение дисперсий.
Постановка задачи. Пусть X ~ N (mX , X2 ) , Y ~ N (mY , Y2 ) причем X и Y –
независимы (параметры m X и mY могут быть известны или неизвестны).
Из этих совокупностей взяты выборки
x1, x2 ,..., xn1 , и y1, y2 ,..., yn2 , после обработки которых получены
соответствующие оценки x , S22 ( x) и y , S22 ( y) .
При заданном уровне значимости  проверяется основная гипотеза
H 0 :  X2   Y2
против одной из альтернатив
 X2   Y2

H1   X2   Y2 .
 2
2
 X   Y
Как следует из общей схемы проверки гипотез, необходимо иметь
подходящую статистику, удовлетворяющую двум обязательным условиям:
1) быть подходящей мерой расхождения между гипотетическим значением,
утверждаемым в H 0 , и соответствующим выборочным значением;
2) Закон распределения этой статистики должен быть полностью определен
по крайней мере при условии H 0 . Структура этой статистики должна быть
такова, чтобы можно было вычислить выборочное значение Zвыб (статистика не
должна содержать мешающих параметров).Другими словами, гипотеза H 0
должна быть простой.
391
Такую статистику для данной постановки задачи можно построить на основе
выборочных несмещенных оценок дисперсии для обеих совокупностей.
Пример 5.3.1. Показать, что при условиях, наложенных на генеральные
совокупности статистика:
S22 ( x)
Q 2
при условии H 0 подчиняется закону Фишера F (n1  1, n2  1)
S2 ( y )
◄ Составим две известные статистики:
V2 ( y ) 
S22 ( y )  (n2  1)

2
Y
~  2 (n2  1), и V2 ( x) 
S22 ( x)  (n1  1)

2
X
~  2 (n1  1).
(эти выборочные статистики изучены в 4.4)
Ясно, что V2 ( x) и V2 ( y ) независимы.  по теореме Фишера (см. (4.5.8))
имеем:
V2 ( x) V2 ( y ) S22 ( x)  Y2
:


~ F (n1  1, n2  1) .
n2  1 n1  1 S22 ( y )  X2
При условии H 0 дисперсии в выражении для Q сокращаются. получаем
требуемый результат.
Замечание 1. Критическая область для проверки гипотезы H 0 выбирается в
соответствии с правилами оптимизации ошибок I и II рода для несимметричных
распределений. При этом следует учитывать, что в таблице квантилей
распределения Фишера приводятся лишь значения > 1. Чтобы получить значения
квантили, меньшее единицы (это необходимо, например, при использовании
левосторонней альтернативы), следует использовать следующее соотношение
между квантилиями, вытекающее из свойств фишеровского распределения
(4.4.6):
392
t p (n1  1, n 2  2) 
1
t1 p (n2  1, n1  1)
Замечание 2. Если в постановке задачи математические ожидания m X и mY
S12 ( x)
известны, то следует использовать статистику Q  2
~ F (n1 , n2 )
S1 ( y )
Сравнение средних (математических ожиданий).
Пусть две генеральные X и Y удовлетворяют тем же условиям, что и при
сравнении дисперсий. Проверяются основная гипотеза H 0 : mX  mY против
одной из альтернатив:
mX  mY

H1  mX  mY
m  m
Y
 X
Рассмотрим два случая.
Случай 1.  X2 и  Y2 известны.
-
Пример 5.3.2.. Показать, что подходящей статистикой для проверки
основной гипотезы в данном случае является статистика
U
xy
 X2
n1

 Y2 H 0
~ N(0,1)
n2
Рассмотрим статистику U 
xy
D x  y  H0
Тот факт, что U является подходящей мерой расхождения, очевидно по ее
построению. Таким образом, условие 1) выполняется. Проверим условие 2).
393
Заметим, что вывод закона распределения этой статистики изучен в 4.4 (см.
равенство (4.5.9)). Из методических соображений мы повторим некоторые детали
доказательства применительно к данной постановке задачи.
Поскольку U является стандартизированной линейной комбинацией
независимых нормальных случайных величин, то очевидно, что U распределена
нормально. Вычислим основные характеристики M[U] и D[U] в предположении,
что H 0 верна. Используя свойства операторов матожидания и дисперсии,
получаем:
M [U / H 0 ] 
1
  M [ x / H 0 ]  M [ y / H 0 ]  0;
D[ x  y ]
D[U / H 0 ] 
1
 D[ x  y ]  1;
D[ x  y ]
Далее имеем:
в силу

 X2  Y2
D[ x  y / H 0 ]  

D
[
x
/
H
]

D
[
y

H
]


;

0
0
независимости
n
n


1
2
Таким образом,
U
xy
xy

~ N(0,1).
D[ x  y ] H 0
 X2  Y2 H 0

m n2
Тем самым установлено выполнение условия 2)
Случай 2.
 X2 и  Y2 - неизвестны. В этом случае статистику U,
определенную в примере 5.2.2., использовать нельзя. Гипотеза о равенстве
маетматических ожиданий проверяется в 2 этапа. На первом этапе необходимо
проверить вспомогательную гипотезу H 0' о равенстве дисперсий. При этом в
394
качестве альтернативы используется как правило двусторонняя или такая,
которая подсказана опытными данными.
Далее возможны два случая.
Случай 2.1 Дисперсии неизвестны, но подтверждается гипотеза об их
равенстве.
H 0' :  X2   Y2 - подтверждается на том же уровне  .
Случай 2.2. Гипотеза H 0' отклоняется.
Рассмотрим случай 2.1.
H 0' :  X2   Y2   2 - В этом случае статистику U можно записать так:
U
xy
~ N(0,1),
1 1


n1 n2
но так как точное значение дисперсии неизвестно, то  - мешающий
параметр.
Пример 5.3.3. Обозначим
S2 
(n1  1)  S22 ( x)  (n2  1)  S 22 ( y )
(n1  n2  2)
(5.3.1)
так называемая несмещенная выборочная дисперсия объединенной выборки.
Покажем, что статистика W , определяемая равенством
W
xy
1 1
S

n1 n2
является подходящей статистикой для проверки основной гипотезы H 0 .
395
Заметим, что S 2 является состоятельной и более эффективной оценкой
неизвестной дисперии ( 2  S 2 ) , чем несмещенные оценки того же параметра,
полученные для каждой из выборок в отдельности (см. параграф 4.4).
Закон распределения статистики W изучен в 4.4, где показано, что при
условии H 0 W
St  n1  n2  2 . При этом W не содержит мешающих
параметров. Таким образом, снова выполняется условие 2) подходящей
статистики ►
Случай 2.2.
Вспомогательная гипотеза H 0' :  X2   Y2   2 - отклоняется на данном уровне
значимости   статистика W – неприменима  используется так называемая
статистика Уэлча:
2
W
 S22 ( x) S22 ( y ) 



n1
n2 
xy
'

~ St ( ) , где  
2
2
 S24 ( x)
S 24 ( y ) 
S2 ( x) S 2 ( y )


 2

2
n1
n2
 n1  (n1  1) n2  (n2  1) 
(5.3.2)
  round  ' .
Это утверждение мы примем без доказательства ввиду его сложности.
Сравнение вероятностей.
Пусть генеральные X и Y представляют собой два индикатора:
X
B 1, p1  , Y
B 1, p2  . Проверяется основная гипотеза о равенстве
вероятностей:
H 0 : p1  p2
против одной из альтернатив:
396
 p1  p2

H1   p1  p2
p  p
2
 1
Взяты две выборки соответственно из X и Y и для каждой из них
вычислены относительные частоты как оценки неизвестных вероятностей
x1 , x2 ,..., xn1 ;  p1* - относительная частота: p1* 
m1
,
n1
y1 , y2 ,..., yn2 ;  p2* - относительная частота: p2* 
m2
,
n2
где m1 и m2 –число единиц в соответствующих выборках.
Пример 5.3.4. Покажем, что при условиях n1 p1q1  1 и n2 p2 q2  1
подходящей статистикой для проверки основной гипотезы является статистика
Z1 
p1*  p2*
1 1
p(1  p)   
 n1 n2 
, где  P 
m1  m2
- оценка неизвестной
n1  n2
вероятности по объединенной выборке.
Подходящей мерой расхождения является статистика, структура которой
определяется формулой
: Z
p1*  p2*
D  [ p1*  p2* ]
Проверим выполнение условия 2).
Так как Z – стандартизованная линейная форма, а p1* и p2* - асимптотически
нормальны по теореме Муавра-Лапласа, то распределение Z – асимптотически
нормально. Остается проверить характеристики и упростить выражение для Z.
Для этого вычислим M[Z] и D[Z] в предположении, что справедлива H 0 :
397
свойства

M [Z / H 0 ]  
  ...  0.
оператора
М


D[Z / H 0 ]  ...  1 . Далее, учитывая, что свойства относительной частоты нам
хорошо известны, получаем:
pq
pq
D  p1*  p2* / H 0   D  p1*H / 0   D  p2* / H 0   1 1  2 2

n1
n2 H 0
 p1  p2  p,

1 1


 q1  q2  1  p
  p  (1  p)     , где р – неизвестная
 n1 n2 
в соответствие с H 
0

вероятность – общая для обеих генеральных  cтатистика:
Z
p1*  p2*
1 1
p (1  p )    
 n1 n2 
при условии H 0 распределена по закону N(0,1) при
n1 p1q1  1,
одновременном выполнении условий: 
n2 p2 q2  1
(5.3.3)
Неизвестное значение вероятности р оценивается по объединенной выборке:
 p
m1  m2
и при условиях (5.3.3) при подстановке в Z не изменяют
n1  n2
закон распределения.
Таким образом, окончательно статистика Z приобретает вид:
Z 
p1*  p2*
1 1
p(1  p)   
 n1 n2 
N  0,1 .
Пример 5.3.5. В двух фирмах, производящих детское питание,
производилась оценка какчества продукции. В фирме A , где проверялось 30
398
единиц продукции, средняя сумма баллов оказалась равной 52. Во второй фирме
B проверялось 36 единиц продукции, и их средняя сумма баллов оказалась
равной 45. Средние квадратичные отклонения суммы баллов, вычисленные для
нескольких тысяч единиц продукции каждой из фирм, равны:  X2 =15 для фирмы
A и  Y2 =12 для фирмы B . Считая, что суммы баллов, определяющие качество
продукции для обеих фирм,-независимые и нормально распределенные
совокупности, установить: можно ли считать, что питание, выпускаемое фирмой
A , обладает значимо лучшим качеством, чем выпускаемое фирмой B ? Принять
уровень значимости равным  =0,05.
◄ Требуется проверить основную гипотезу H 0 : mX  mY против
правосторонней альтернативы H1 : mX  mY .
Так как дисперсии точно изыестны, то имеет место случай 1. Следовательно
подходящей статистикой является статистика U , определенная в примере 5.2.2.:
U
xy
 X2
n1

 Y2 H 0
N (0,1) .
n2
Критическая область определяется условием: G  u / u  u0,95 , где
u0,95 =1,645 – квантиль порядка 1  =0,95 из распределения N (0,1) .
Вычисляем выборочное значение статистики
U выб 
5
5

=1,45.
225 144 3,3911

30
36
Так как U выб <1,645, то нет оснований считать, что качество питания фирмы
A значимо лучше, чем у фирмы B (принимается основная гипотеза).►
399
Пример 5.3.6. Обследование, проведенное на скорость реакции среди молодых водителей по 100-балльной системе, дало следующие результаты: в группе
из 21 человека, проходивших курс интенсивной подготовки на специальном автодроме, получено: x =93, S22 ( x) =8,65. В группе же из 121 человека, проходивших обычные курсы вождения, получено: y =90,5; S22 ( y) =25,35.
Свидетельствуют ли эти данные о том, что интенсивный курс значимо улучшил результаты? Рассмотреть два случая: 1)  =0,002 и 2)  =0,05.
◄ 1)  =0,002. Проверяется основная гипотеза о равенстве матожиданий
против правосторонней альтернативы. Так как дисперсии неизвестны, то вначале
необходимо проверить дополнительную гипотезу H 0' :  X2   Y2 против двусторонней альтернативы H1' :  X2   Y2 . Для проверки используем фишеровскую статистику Q , рассмотренную в примере 5.3.1
Q
S22 ( y )
S22 ( x)
F  n2  1, n1  1 .
Замечание. Для облегчения поиска квантилей из таблицы распределения
Фишера делим большую дисперсию на меньшую. Кроме того, в этом случае,
несмотря на двустороннюю альтернативу, достаточно вычислить лишь правую
часть критической области, определяемую условием: G  q / q  qкр  , где
qкр  t1 / 2  n2  1, n1  1  t0,999 (120, 20) =3,54. Вычисляя выборочное значение
статистики, получаем: Qвыб  2,92  G1 , и таким образом гипотеза H 0'
принимается: дисперсии значимо не различаются.
Подходящей статистикой в этом случае является стъюдентова статистика W
из примера 5.2.3:
400
W
xy
1 1
S

n1 n2
St (n1  n2  2) ,
где S 2 - дисперсия объединенной выборки, определяемая формулой (5.3.2). В
данном случае получаем S 2  22,967  S  4,79. Таким образом, выборочное
значение статистики получается равным Wвыб =2,21. Поскольку критическая
область правосторонняя, то G  w / w  wкр  , где wкр находим, используя
нормальную асимптотику распределения Стьюдента при большом числе
степеней свободы: wкр = t1 (140)  u0,998 =2,88.
Так как Wвыб < wкр , то принимается гипотеза H 0 . Следовательно интенсивные
курсы не привели к значимому улучшению результатов вождения.
2)  =0,05. Проверить самостоятельно, что в этом случае гипотеза H 0' о
равенстве дисперсий отклоняется на данном уровне значимости. Для проверки
основной гипотезы о равенстве математических ожиданий необходимо
воспользоваться статистикой Уэлча (формулы (5.3.2)). Проведя вычисления по
указанным формулам, находим: число степеней свободы :   44. Отсюда по
таблице квантилей распределения Стьюдента t0,95 (44)  1,673.
Вычисляем выборочное значение статистики Wвыб 
93  90,5
=3,169.
8,67 25,35

21
121
Поскольку выборочное значение попало в критическую область, то гипотеза
H 0 отвергается в пользу альтернативы: интенсивные курсы значимо улучшили
скорость реакции водителей.►
Некоторые выводы. Последний пример показывает, насколько сильно
могут различаться результаты проверки основной гипотезы при различных
401
значениях  . Еще раз обращаем внимание, насколько важно выбрать до всякой
проверки такой уровень значимости, который бы удовлетворял всех участников
эксперимента и адекватно учитывал возможные последствия от принятия
решений.
Стоит также обратить внимание на такое обстоятельство. Относительная
разность средних баллов, полученных для двух курсов в данном примере,
составляет всего 2,7%, что часто рассматривается как величина, находящаяся в
пределах так называемой статистической погрешности измерений. Тем не
менее во втором случае был сделан вывод о значимости различия между
результатами вождения. Немалую роль при этом играет дисперсия измерений,
характеризующая их точность. В нашем примере дисперсия S22 ( y) почти в 3 раза
выше, чем дисперсия S22 ( x) . То есть измерения в малой группе проводились с
существенно меньшей точностью. Этим и может быть обусловлен полученный
результат.
Пример 5.3.5. Почва двух участков земли была тщательно проанализирована
и оказалась одинаковой по составу. На этих участках посеяли пшеницу одного
сорта. На участке 1 было внесено удобрение, а на участке 2 – нет. К моменту
сбора урожая с каждого участка была произведена случайная выборка 50
растений и измерена их длина. После статистической обработки выборок были
получены следующие оценки:
x =323 мм,
y =297 мм, S22 ( x) =441 мм2, S22 ( y) =529 мм2.
Можно ли на уровне значимости  =0,05 считать, что внесение удобрений
привело к значимому росту растений?
◄ Очевидно, речь идет о проверке основной гипотезы H 0 : mX  mY против
правосторонней альтернативы H1 : mX  mY .
402
Так как дисперсии неизвестны, то необходимо согласно теории проверить
сначала дополнительную гипотезу H 0' :  X2   Y2 против двусторонней
альтернативы. Используем фишеровскую статистику Q 
S22 ( x)
из примера
S22 ( y )
5.3.1., распределенную по закону F  n1  1, n2  1 . Известно (параграф 4.4), что
при больших числах степеней свободы ( n1

1, n2
1 ) статистика Фишера

асимптотически нормальна N mQ ,  Q2 , где
mQ 
2
   2  1   2  2 
  2 
;
  2  2   1  2  4 
2
2  2
,
2
Q
отсюда следует приближенная формула для квантили порядка p
t p  1 , 2  
2  1   2  2 

up  2 ,
 2  2  1  2  4 
2  2
2
(5.3.4)
где u p - квантиль порядка p из нормального распределения N (0,1) .
Приведенная формула (5.2.4) для фишеровской квантили имеет
относительную точность менее 1% уже при значениях 1 , 2  30 . В нашем
случае, учитывая двустороннюю альтернативу и используя сводку нормальных
квантилей, приведенную в [1], получаем:
u0,975 =1,96; 1   2 =49; далее по формуле (5.2.4) t0,975 (49, 49) =1,85 – грани-
ца части критической области на правом хвосте распределения Фишера.
По той же формуле для левой границы получаем t0,025 (49, 49) =0,4395.
Вычисляем выборочное значение статистики Qвыб =529/441=1,19.
Так как Qвыб  G1 , то гипотеза о равенстве дисперсий принимается.
403
Переходим к проверке основной гипотезы о равенстве математических ожиданий. Подходящей статистикой является стьюдентова статистика из примера
5.2.3.Так как объемы выборок равны, то выражение для статистики упрощается и
приобретает вид:
W
xy
S ( x)  S ( y )
2
2
2
2
n
St  2n  2 
Так как число степеней свободы 2n  2 =98 достаточно велико, то при вычислении критической области используем асимптотическую нормальность распределения Стьюдента: G  w / w  wкр  , где wкр  t0,95 (98)  u0,95 =1,645.
Заметим, что вычисление указанной квантили по уточненной формуле (
)
дает результат t0,95 (98)  1,66, что достаточно близко к полученному выше значению. Вычисляя выборочное значение статистики, получаем Wвыб =5,9. Поскольку
5,9>1,645, то гипотеза H 0 отвергается с высокой надежностью. Внесение удобрений привело к значимому увеличению урожайности.►
Упражнения
5.3.8. Средняя продолжительность службы батареек «крона» при непрерывной работе согласно заводскому стандарту составляет 21,5 часа. Лаборатория
проверила 6 батареек на одном из предприятий и получила следующие данные
продолжительности службы (в часах):
19 18 22 20 16 25
Свидетельствуют ли эти данные, что батарейки, выпускаемые данным предприятием, имеют более короткую продолжительность службы, чем это предписано стандартом изготовления?
Ответить на следующие вопросы.
404
1) Какова постановка задачи (формулировка основной и альтернативной гипотез)?
2) Какую статистику следует использовать в данной задаче? Каковы ее распределение и область изменения?
3) Какую гипотезу подтверждает эксперимент при уровне значимости 5%?
4) Как изменится результат проверки, если увеличить вероятность ошибки
первого рода в два раза?
5) Найти такое наименьшее значение уровня значимости, при котором основная гипотеза будет отвергнута в пользу альтернативы.
5.3.9. По техническим условиям средняя прочность на разрыв троса составляет 2000 кг. В результате испытаний 20 кусков троса было установлено, что
средняя прочность на разрыв равна 1955 кг, а выборочная исправленная дисперсия равна 625 кг2. Удовлетворяет ли образец троса техническим условиям?
5.3.10. По паспортным данным автомобильного двигателя расход топлива на
100 км пробега составляет 10 л. В результате изменения конструкции двигателя
ожидается, что расход топлива уменьшится. Для проверки проведены испытания
25 случайно отобранных автомобилей с новым двигателем, давшие следующие
результаты: выборочное среднее расхода топлива оказалось равным 9,3 л на 100
км пробега. Предполагая, что выборка получена из нормально распределенной
совокупности со средним m =10 л и известной дисперсией  2 =4 л2, проверить на
уровне значимости 5% подтверждаются ли ожидания конструкторов?
5.3.11*. В условиях примера 5.2.10 предположим, что альтернативой основной гипотезе служит H 1 , утверждающая, что m =9 л. Критическую область зададим неравенством x  9,44. Найти вероятности ошибок первого и второго рода
для критерия с такой критической областью.
405
5.3.12. Статистика, собранная в университете в течение многих лет, показывает, что 64% студентов естественных факультетов успешно сдают экзамен по
математике в первую сессию. В осенний семестр 2006/07 у.г. из 400 первокурсников успешно сдали экзамен по математике 280 человек. Показывает ли этот
результат значимое улучшение знаний студентов по математике (принять
 =0,05)?
5.3.13. Высказывается предположение, что выпускники специализированных
физ-мат классов имеют более высокие знания по математике при поступлении в
МИЭТ, чем выпускники обычных классов зеленоградских школ. Наудачу отобрали 10 школьников из 11 класса лицея и 10 школьников из 11 класса школы
№909. После проведения тестового экзамена получены следующие результаты (в
100-балльной шкале оценок):
лицей ( X ): 75 73 100 68 79 76 81 65 82 90
шк.909 ( Y ): 85 84
75 47 80 65 55 45 70 65
1) Согласуются ли эти данные с высказанным предположением на уровне
значимости 2,5%?
2) Для увеличения надежности вывода тестированию была подвергнута
большая группа школьников: из каждой школы по 25 человек. После обработки
выборок получены следующие результаты: x =75,5; S22 ( x) =112,3; y =65,2;
S22 ( y) =220,6. Повторить процедуру проверки при том же уровне значимости.
5.3.14. Лекарства, применяемые обычно после операции, уменьшают болевые
ощущения у 80% пациентов. Испытывается новое лекарство для той же цели.
Для скольких пациентов из 100 оно должно быть эффективным, чтобы отдать
ему предпочтение на 1%-ом уровне значимости?
406
Замечание. Задача считается решенной, если получены правильные ответы
на все поставленные в ней вопросы.
Ответы к упражнениям
5.3.8. 1) H 0 : mX  m0 =21,5; H1 : mX  m0 .
2) Статистику Стьюдента.
3) Гипотезу H 0 .
4) Основную гипотезу с большей надежностью.
5)   0,123 .
5.3.9. Образец троса не удовлетворяет техническим условиям.
5.3.10. Изменение конструкции двигателя привело к уменьшению расхода
топлива.
5.3.11. Вероятность ошибки первого рода  =0,08; второго рода  =0,136.
Указание: Использовать нормальную статистику U (формула (4.5.4)).
5.3.12. Гипотеза H 0 отклоняется в пользу альтернативы: знания студентов
улучшились.
5.3.13. 1) Принимается гипотеза H 0 : высказанное предположение не соответствует опытным данным.
2) Гипотеза H 0 отклоняется: выпускники спецклассов имеют более
высокие знания по математике.
5.3.14. Для 90 пациентов.
Задание для самостоятельной работы
Рекомендуется прочитать теоретическую преамбулу $4, гл.19 с примерами 13 и решить задачи: 201, 202, 206, 231, 236
407
5.4. Проверка гипотез о законе распределения.
5.4.1. Общие положения, постановка задачи.
Пусть закон распределения генеральной случайной величины неизвестен, но
имеются те или иные основания предполагать, что генеральная распределена по
закону, описываемому известной функцией распределения FX ( x / ) , где  вектор параметров, которыми определяется данная функция (например,
высказывается предположение, что X ~ N (m,  2 ) .
Таким образом, формулируем основную гипотезу:
H 0 : X ~ FX ( x / ).
Альтернативной всегда выступает гипотеза H1  H 0 , т.е. отрицающая H 0 .
Критерии, используемые для проверки указанной основной гипотезы, носят
название критериев согласия.
Ниже будут рассмотрены два наиболее важных для практики критерия
согласия: критерий Колмогорова и критерий Пирсона (критерий хи-квадрат).
Вначале обсудим некоторые общие положения, связанные с проблемой
построения критериев согласия. Заметим, что как и в случае проверки уже
известных нам гипотез о параметрах, для реализации критерия согласия нужна
подходящая статистика, являющаяся мерой расхождения в данном случае между
гипотетической функцией, утверждаемой в H 0 и эмпирической функцией
распределения Fn* ( x) (индекс n подчеркивает ее зависимость от объема
выборки). Всякая подходящая статистика Z должна очевидно быть функцией
как от FX ( x) , так и от Fn* ( x) , т.е. Z  Z ( FX ( x / ), Fn* ( x)). . Но т.к. истинная
функция распределения неизвестна, то гипотеза H 0 оказывается сложной, даже
если вектор параметров  - известен. В этом состоит одна из трудностей
408
построения критериев согласия. Основное требование, предъявляемое к
подходящей статистике, заключается в том, чтобы ее закон распределения при
условии H 0 по крайней мере асимптотически (при n   ) не зависел от
гипотетической функции распределения.
5.4.2. Критерий согласия Колмогорова.
Большое значение для построения подходящей статистики имеет факт
применимости закона больших чисел к эмпирической функции распределения,
Именно, имеет место следующая теорема.
Теорема 5.4.1. Пусть Fn* ( x) - эмпирическая функция распределения,
построенная по выборке x1 , x2 ,..., xn из генеральной совокупности X ~ FX ( x) .
Тогда для x  R и   0  Fn* ( x)
p
FX ( x ) .
n
Имеем по определению: Fn* ( x)  P*  X  x , т.е. при каждом
действительном x Fn* ( x) есть относительная частота события  X  x
(«успеха») в n опытах по схеме Бернулли с вероятностью «успеха» Fn* ( x) .
Поэтому утверждение теоремы следует из ЗБЧ в формулировке Бернулли.
Колмогоровым была изучена статистика  n  Sup Fn* ( x)  FX ( x) - точная
xR
верхняя грань отклонения эмпирической функции распределения от
теоретической на всей оси, - и на ее основе разработан критерий согласия. Имеет
место следующая теорема:
409
Теорема 5.4.2 (Колмогоров). Пусть Х-СВНТ с функцией распределения
FX ( x)  t  0 : lim P
n


n   n  t  K (t ) 

 (1)i exp 2i 2  t 2 .
i 
без доказательства [ см. например, [5], §3.2]
Функция K (t ) - функция распределения Колмогорова – табулирована и
может быть использована для проверки гипотезы о законе распределения
непрерывной генеральной случайной величины с помощью статистики
Z n  n   n уже при n  20 .
На практике экстремум заменяется на максимум, который достигается в
одной из точек скачка эмпирической функции распределения (если она строится
для простой выборки). Несколько сложнее осуществляется поиск максимума
отклонения для интервальной выборки. При этом возникает не простой вопрос о
зависимости мощности критерия от числа интервалов, если эти интервалы не
порождены естественной классификацией признаков в номинальной шкале.
5.4.3. Критерий согласия хи-квадрат.
Критерий хи-квадрат более алгоритмичен, чем критерий Колмогорова, и
имеет более широкий спектр приложений, т.к. применяется как для дискретной
так и непрерывной генеральной совокупности. Основан этот критерий на
поразрядном сравнении частот и вероятностей, поэтому предварительно выборка
приводится к частотному виду. При этом в зависимости от типа генерального по
разному трактуется понятие «разряд». Именно:
Если генеральная X является СВДТ, то разрядами являются возможные
значения x  E X в группированной выборке.
Если же генеральная X является СВНТ, то разрядами являются интервалы
при интервальном представлении выборки.
410
Рассмотрим более подробно структуру критерия для непрерывной Х. Пусть
гипотеза H 0 – простая, т.е. полностью определяет закон распределения X.
FX(x)
Разобьем множество значений EX на
l интервалов точками деления
1
a0 , a1 , a2 ,..., al , как показано на рисунке,
так что
IlI K  [ak 1 , ak ], k  2,3,..,l-1; I1  (, a1 ), Il  [ al 1, 
I2 I3
[al 1 , ]
a1 a2 a3
al
x
Т.к. H 0 – простая, то теоретическая вероятность попадания на интервал I K :
P{x  I k }  P{ak 1  x  ak }  FX (ak )  FX (ak 1 )  pk - точно иизвестна.
Пусть получена выборка: x1 , x2 ,..., xn . Распределим ее по интервалам: пусть
mk - число выборочных значений, попавших в I k .
Очевидно должно выполнятся условие:
l
 mk  n
(5.4.1)
k 1
Рассмотрим меру расхождения, основанную на среднеквадратичной
близости:
l
Z   ck  ( pk*  pk ) 2 , где pk* 
k 1
mk
. Имеет место следующая теорема.
n
Теорема 5.4.3. (Пирсон) Если H 0 – простая, ck 
n
, n  1 , то
pk
l
n
 ( pk*  pk ) 2 ~  2 (l  1)
k 1 pk
Z 
411
2
l
n
Преобразуем: Z  
k 1 pk
Обозначим: Z k 
2
l ( m  np ) 2
n  m  np 
 mk

k
k

 pk    k
  k
 .
n
np
npk
k 1 

 k 1

k

l
mk  npk
 Z   Z k2
npk
k 1
(5.4.2)
Можно показать, что при больших n mk ~ Pu (npk ) , т.е. Zk – стандартизованная
пуассоновская величина.
Известно, что пуассоновское распределение асимптотически нормально
(см. задачу 18.572 в [1]). Поэтому при n  1 таких, что K  npK  1 для
всех k  1,2,..., l можно считать, что Z k ~ N (0,1) . Отсюда согласно (5.4.2),
статистика Z представляет собой сумму квадратов стандартизированных
нормальных величин. Если бы Z1 , Z 2 ,.., Z n были независимы в совокупности, то
в соответствии с теоремой Пирсона можно было утверждать, что Z ~  2 (l ) .
Однако утверждение о независимости в данном случае не имеет места, т.к. на
случайные величины Z1 , Z 2 ,.., Z n наложено одно линейное условие связи.
Действительно, как следует из (5.4.2): mk  npk Z k  npk .
Учитывая условие (5.4.1), получаем:
l
l
l
k 1
k 1
k 1
 mk   ( npk Z k  npk )  n   npK Z K  0 - линейная зависимость между
величинами Z1 , Z 2 ,.., Z n . При этом, согласно основной концепции распределения
хи-квадрат, «теряется одна степень свободы», и в результате получаем:
 m  npk
Z   k

npk
k 1

l



2
~  2 (l  1) ,
(5.4.3)
что и требовалось доказать.
412
Замечание 1. Критическую область для проверки основной гипотезы H 0
следует выбирать на правом хвосте распределения  2  l  1 , т.к. это
максимизирует мощность критерия. Действительно, если гипотеза H 0 - ложная,
т.е. Pk не являются истинными вероятностными k-го разряда, то каждое
слагаемое в сумме (5.4.2) будет иметь порядок n и сумма будет неограниченно
возрастать вместе с объемом выборки. Таким образом, если G  z zкр  , то при
достаточно большом n событие Z  zкр H1 будет иметь вероятность, близкую
к единице, и ложная гипотеза будет почти наверняка отвергнута.
Пример 5.4.1. Исследуя вероятностные законы наследственности, Грегор
Мендель проводил в течение 8 лет (с 1857 по 1865г.) эксперименты по селекции
гороха. За это время он вырастил и детально изучил около 10000 растений
гороха, прежде чем решился опубликовать свои результаты в одном из научных
журналов. Однако после этого события потребовалось 35 лет для того, чтобы
ученый мир понял и оценил значение сделанного им открытия. В одном из своих
экспериментов Мендель наблюдал частоты различных видов семян, получаемых
при скрещивании растений с круглыми желтыми семенами и растений с
морщинистыми зелеными семенами. Эти данные наблюдений и теоретически
рассчитанные вероятности приведены в следующей таблице:
Номер
Теоретические
Виды семян
Частота mk
1.
Круглые и желтые
315
9 16
2.
Морщинистые и желтые
101
3 16
разряда
вероятности Pk
413
3.
Круглые и зеленые
108
3 16
4.
Морщинистые и зеленые
32
1 16
Проверить на уровне значимости   0,05 основную гипотезу о соответствии
наблюдаемых частот теоретическим вероятностям.
В данном примере разрядами являются значения качественных признаков:
X 1  форма (круглые или морщинистые), X 2  цвет (желтый или зеленый), по
которым вся популяция гороха (генеральная совокупность) разделилась на 4
непересекающихся класса. Статистика Пирсона принимает вид:
 m  npk
Z   k

npk
k 1

4
2

2
 ~   3 .

Из таблицы квантилей распределения  2  3 находим: t1  3  t0,95  3  7,81 .
Вычисляем выборочное значение статистики: Zвыб  0, 47 . Так как 0,47<<7,81
( Zвыб  G1 ) то гипотеза H 0 принимается с хорошей надежностью.
Замечание 2. Выбор интервалов – не простая задача при практическом
использовании критерия хи-квадрат. Следует иметь в виду, что преобразование
выборки к интервальному виду (в случае непрерывной Х) связано с некоторой
потерей информации. Однако для эффективной работы критерия Пирсона
группировка является необходимой операцией, позволяющей параметризировать
критерий. Но при этом число интервалов l не должно быть ни слишком малым,
иначе будет потерянно слишком много информации о распределении
генеральной совокупности, ни слишком большим, т.к. в этом случае получаются
слабо наполненные разряды, и мощность критерия падает. Теоретически этот
вопрос исследовался в специальной литературе, где было показано, что при
414
проверке на нормальность оптимальное число интервалов группировки
определятся соотношением
l  [1,87  ( n  1) 2 / 5 ] ,
(где [a] – целая часть числа a), которое может служить ориентиром и для
проверки других типов распределений, отличных от нормального.
Замечание 3. Обобщение критерия на случай сложной гипотезы.
Пусть гипотеза H 0 - сложная, т.е. гипотетическая функция распределения
FX ( x / 1 , 2 ...s ) зависит от s неизвестных параметров. В этом случае
теоретические вероятности pk попадания на интервал I k при условии H 0 не
могут быть вычислены точно, т.к. они сами являются функциями этих
неизвестных параметров:
pk  FX  ak / 1 , 2 ...s   FX  ak 1 / 1, 2 ...s  .
Необходимо оценить значения параметров 1 , 2 ,..., s по выборке, что
приведет к оценкам теоретических вероятностей pk вместо точных значений pk .
Возникает вопрос: как это повлияет на закон распределения статистики Z? Как
доказано Фишером, если параметры оцениваются методом максимального
правдоподобия для интервальной выборки, то при достаточно больших n
получим: Z ~  2  l  1  s  , т.е. снова получаем распределение хи-квадрат, но
теряем дополнительно s степеней свободы по числу оцениваемых параметров.
Пример 5.4.2. Для проверки на равномерность распределения
последовательности псевдослучайных чисел, вырабатываемых генератором
(команда rand в пакете MATLAB), взято n =2000 таких чисел и рассортировано
по десяти интервалам равной длины  i =0,1; x  [0,1] . Получен следующий статистический ряд в интервальном представлении:
415
Номер
интервала
1
2
3
4
5
6
7
8
9
10
194
198
193
207
219
184
192
216
199
198
Число
попаданий
На уровне значимости  =0,05 проверить основную гипотезу H 0 ,
утверждающую, что данная выборка принадлежит генеральной совокупности X ,
распределенной по закону R(0,1) .
◄ В нашем случае число интервалов группировки l =10. Гипотеза H 0 простая, поэтому согласно теории статистика Пирсона Z распределена по закону
 2 (9) . Критическая область определяется условием G   z / z  t1 (9) , где
t1 (9)  t0,95 (9) =16,9 – из таблицы квантилей распределения хи-квадрат. Тео-
ретическое число попаданий на интервал I k при условии справедливости гипотезы H 0 равно npk =2000  0,1=200, k =1,2,…,10.
Выборочное значение статистики вычисляем по формуле (5.4.3): Zвыб =5,3.
Т.к. Zвыб
16,9, то выборочные данные хорошо согласуются с гипотезой H 0 .►
Замечание 4. Рассмотренные в настоящем параграфе две задачи
преследовали лишь цель продемонстрировать методику решения задачи
проверки гипотез о законе распределения. Большинство задач такого рода
(например, проверка на нормальность) требуют проведения больших
вычислений, поэтому их рекомендуется выполнять в рамках лабораторных работ.
416
5.5. Контрольные вопросы к главе 5
1. Что называется параметрической гипотезой?
2. Дать определение простой и сложной гипотезы.
3. Написать уравнение, определяющее вероятность ошибки первого рода.
4. Написать уравнение, определяющее вероятность ошибки второго рода.
5. Как ставится задача выбора критической области?
6. Сформулировать решающее правило проверки основной гипотезы.
7. Что такое мощность правила?
8. Выписать подходящую статистику для проверки основной гипотезы о равенстве дисперсии эталонному значению (при известном и неизвестном матожидании).
9. Выписать подходящую статистику для проверки основной гипотезы о равенстве матожидания эталонному значению (при известной и неизвестной дисперсии).
10. Выписать подходящую статистику для проверки основной гипотезы о
равенстве дисперсий (при известных и неизвестных матожиданиях).
11. Выписать подходящую статистику для проверки основной гипотезы о
равенстве матожиданий (при известных и неизвестных дисперсиях).
12. Записать оценку дисперсии объединенной выборки. Указать свойства этой
оценки.
13. Выписать подходящую статистику для проверки основной гипотезы о
равенстве вероятностей. Каков закон распределения этой статистики?
14. Как ставится задача проверки гипотезы о законе распределения ?
417
15. Написать выражение для статистики Пирсона и определить смысл всех
входящих в нее величин. Каков закон распределения этой статистики в случае
простой гипотезы?
16. Чем определяется высокая мощность критерия Пирсона?
17. Как осуществляется выбор интервалов группировки при использовании
критерия Пирсона?
18. Что меняется в критерии Пирсона, если H 0 - сложная гипотеза?
418
Download