МОДЗУ, Лекция 4. C Основы проверки статистических гипотез

CМОДЗУ, Лекция 4.
Основы проверки
статистических гипотез.
Статистическая гипотеза – это утверждение
относительно характера или неизвестных параметров
распределения случайных величин, которое допускает
наблюдения статистической природы.
Из-за невозможности определить истинность
гипотезы прямым путем, мы "проверяем" гипотезу, т.е.
устанавливаем, не противоречит ли высказанная нами
гипотеза имеющимся выборочным данным. Эта
процедура
носит
название
статистической
проверки гипотез.
Результат сопоставления высказанной гипотезы
с
выборочным
данными
может
быть
либо
отрицательным (данные наблюдения противоречат
высказанной гипотезе, а поэтому гипотезу надо
отклонить), либо неотрицательным (данные
наблюдения не противоречат высказанной гипотезе, а
поэтому ее можно принять в качестве одного из
возможных решений).
Задачи, сводящиеся к оценке истинности
нулевой гипотезы Н0 по отношению к конкурирующей
гипотезе Н1 могут быть решены с помощью различного
рода статистических критериев (СК).
Несмотря на разнообразие самих гипотез и
применяемых статистических критериев, их можно
объединить в следующую общую логическую схему.
1. Выдвижение гипотез Н0, Н1.
2. Выбор уровня значимости α – вероятности
ошибочного отклонения нулевой гипотезы. Выбор
величины уровня значимости α зависит от размера
потерь, которые мы понесем в случае ошибочного
решения. В большинстве практических задач
пользуются
стандартными
значениями
уровня
значимости: α =
0.05; 0.01; 0.001. Наиболее
распространенной
является
величина
уровня
значимости α = 0.05 (в среднем в пяти случаях из 100
мы будем ошибочно отклонять высказанную гипотезу).
3. Выбор критической статистики (критерия)
ψk (x1, x2 ,..., xn ) – некоторой функции от результатов
наблюдений. Эта критическая статистика ψk сама
является случайной величиной и в предположении
справедливости нулевой гипотезы Н0 подчинена
некоторому хорошо изученному закону распределения
с плотностью fψ (u) .
4. Определение критической области W
(множества значений критической статистики, при
которых гипотеза отклоняется), исходя из следующего
условия: Р (ψk (x1, x2 ,..., xn )  W│ Н0 ) = α.
Из таблиц распределения fψ (u) находятся
квантили уровня α/2 и уровня 1–α/2, соответственно
равные ψα /2 и ψ1−α /2 . Они разделяют всю область
возможных значений случайной величины ψk на три
части:
1. область неправдоподобно малых (–∞,ψα /2 ],
2. правдоподобных (ψα /2 , ψ1−α /2),
3. неправдоподобно больших [ψ1−α /2,∞)
значений в условиях справедливости нулевой
гипотезы Н0. В тех случаях, когда опасными для
нашего утверждения являются только односторонние
отклонения, т. е. только "слишком маленькие" или
только "слишком большие" значения критической
статистики ψk , находят лишь одну квантиль: либо ψα
/2, которая будет разделять весь диапазон значений
ψk на две части: область неправдоподобно малых и
область правдоподобных значений; либо ψ1−α /2 ; она
будет разделять весь диапазон значений ψk на
область неправдоподобно больших и область
правдоподобных значений.
5. Определение на основе выборочных данных
x1, x2 ,..., xn численной величины статистики ψk .
6. Выработка решения. Если ψk  W, то гипотезу
Н0 рекомендуется отклонить, в противном случае ее
можно принять, так как имеющиеся данные не
противоречат высказанной гипотезе.
Решение, принимаемое на основе статистического
критерия, может оказаться ошибочным в двух случаях:
ошибка
первого
рода,
когда
гипотеза
Н0
справедлива,
но
ошибочно
отклоняется
(с
вероятностью α), и ошибка второго рода, когда
справедлива гипотеза Н1 , но ошибочно принимается
гипотеза Н0 (с вероятностью β). Таким образом
вероятности этих ошибок являются условными
вероятностями:
α = P(ψk  W/ Н0 справедлива);
β = P(ψk  W/ Н1 справедлива);
Пусть f (x; θ0), f (x; θ1) – плотности распределения
критической
статистики
соответственно
при
справедливости
нулевой
гипотезы
Н0
и
альтернативной гипотезы Н1, θ0, θ1 – параметры
распределения при Н0 и Н1. Тогда ошибки I и II рода
определяются выражениями
и
где xk – граница критической области W.
Величина 1 - β – называется мощностью
соответствующего критерия.
Высказываемые в ходе решения задач гипотезы
можно подразделить на следующие типы:
1. об общем виде закона распределения исследуемой
случайной величины;
2. о числовых значениях характеристик исследуемого
явления или процесса;
3. об однородности двух или нескольких выборок;
Критерии согласия.
Проверка гипотез об общем
виде закона распределения осуществляется с
помощью критериев согласия. Далее будут описано
два таких критерия.
Критерий χ2 Пирсона для группированной выборки.
Критерий χ2 Пирсона позволяет проверить гипотезу о
соответствии
группированной
выборки,
т.е.
гистограмы h1,h2,…,hm распределению с плотностью
f(x|θ), где θ – параметр распределения. К.Пирсон
предложил
сравнивать
значения
hk
с
их
теоретическими значениями, т.е. для каждого
интервала гистограммы Δk вычислять вероятность
попадания в него pk, умноженную на общее число
группированых наблюдений n   h . Находка Пирсона
m
k 1
k
состояла в том, что он в качестве критерия согласия
выборки с распределением предложил суммировать
взвешенные квадраты разностей (hk - npk)2 , взяв в
качестве весов величины, обратно пропорциональные
этим теоретическим значениям 1/npk , и доказал, что
при n→∞ полученная сумма
(hk  npk ) 2
 
npk
k 1
m
2
будет
иметь
известное
распределение χ2 с числом степеней свободы, равным
m-1 . Вероятности попадания в интервал Δk
вычисляются как p   f ( x |  )dx , если значение параметра
k
k
θ известно заранее. В противном случае, как доказано
в [11], параметр θ подлежит предварительной оценке
по исходной выборке, так что интеграл при
вычислении вероятностей pk должен браться при
значении параметра, равным полученной оценке  . В
случае, когда плотность распределения зависит от r
m
параметров, число степеней свободы χ2 будет
=m-1-r. Заметим, что потеря этих степеней свободы
связана с зависимостью слагаемых. Следует также
иметь в виду, что из-за асимптотического характера
критерия χ2 следует необходимость такой группировки
выборки, которая должна обеспечить достаточную
заполняемость
интервалов наблюдениями, т.е.
следить, чтобы все hk достаточно велики, обычно
требуют, чтобы было
min hk ≥ 5; (к=1,2,...m). По
заданному уровню достоверности критерия 1- α из
таблиц распределения χ2
нетрудно найти такое
2
критическое значение χ кр , чтобы выполнялось
P{   }   . Поиск критического значения упрощается
при достаточно большом значении числа интервалов
группировки m (m>20) , когда в силу центральной
предельной теоремы распределение χ2, как суммы
большого числа слагаемых, будет нормальным с
большой степенью точности. И поэтому по правилу
"трех сигм" можно считать, что при α~0.001
 2 kp  m  3 2m , где m - число степеней свободы с
учетом числа параметров плотности распределения.
Примеры применения критерия Пирсона.
1. Дана выборка объема n из некоего дискретного
распределения. Требуется проверить гипотезу о том,
что это распределение является распределением
Пуассона. Процедура проверки гипотезы состоит из
следующих шагов.
1) Заносим все выборочные значения в гистограмму
на m=21 интервал (фактически это подсчет числа
случаев hk появления в выборке целочисленных
значений
к=0,1,...20,≥21)
и
одновременно
подсчитываем
среднее
арифметическое
выборочных значений, которое является оценкой
2
2
kp
 максимального правдоподобия для параметра
пуассоновского распределения λ .
2) Вычисляем вероятности
pk 
k
k!
e ,
к=0,1,...20 при
λ=  . Это можно сделать рекуррентно начиная с

p0  e   , после чего pk  pk 1 ; затем вычисляем
k
20
p21  1   pk .
k 1
3) Вычисляется значение критерия
(hk  npk )2
 
npk
k 1
m
2
и
2
его критического значения  kp  m  3 2m , которое
при m=21 будет равно χ2кр=38.97.
4) Сравниваем вычисленное значение χ2 с χ2кр. и.
Если χ2 < 38.97, то гипотеза о том, что
исследуемая случайная величина подчиняется
закону распределения Пуассона, принимается на
уровне значимости α~10-3, в противном случае гипотеза отклоняется.
Замечание. При вычислении χ2 следует следить,
чтобы при вычислении pm эта вероятность не
оказалась машинным нулем, как это бывает при
больших λ. Если этого не удается избежать, то
следует уменьшить m и воспользоваться таблицами
χ2 – распределения для вычисления χ2кр.
2. Требуется проверить на нормальность выборку
х1, х2, …, хn объема n. Нормальное распределение
зависит от двух параметров a и σ , оценками
максимального правдоподобия которых являются
выборочное
значение
s
среднее
2
1 n
( xi  x)

n i 1
x
.
и
Для
среднеквадратичное
сведения
задачи
к
проверке более простой гипотезы о том, что выборка
взята из стандартного нормального распределения
необходимо преобразовать каждое выборочное
значение:
xi  x
s .
xi; i  1,.., n
xi 
Далее,
при
группировке
полученных
на m интервалов разумно
разбить основную область их значений (-3,+3) на m-2
интервала с тем, чтобы в первом интервале
подсчитывать число значений xi  3 , а в последнем –
число случаев xi  3 . Примем равными длины
интервалов
гистограммы:

6
,
m2
тогда
при
вычислении вероятностей pk
попадания в к-й
интервал гистограммы путем интегрирования функции
2
плотности
вероятности
воспользоваться
теоремой
аппроксимировать pk как
3k
pk 

f ( x) 
о
f ( x)dx  f (3  (k  0.5)) .
1  x2
e
2
можно
среднем
После
и
этого
3 ( k 1)
вычисляем концевые вероятности
m 1
p1  pm  0.5(1   pk ) .
k 2
Остальные шаги процедуры аналогичны пунктам 3)-4)
предыдущего примера с тем отличием, что для для
выполнения условия min hk ≥ 5 объем выборки n
следует брать достаточно большим (n>2000), что
позволяет также взять большее число интервалов
гистограммы m=32 , для которого χ2кр=53.24.