Теория вероятностей и медицинская статистика

Теория вероятностей и
медицинская статистика
СТАТИСТИЧЕСКИЕ ГИПОТЕЗЫ
Лекция №6
Кафедра медицинской информатики РУДН
Содержание лекции
1.  Определение термина статистическая гипотеза
2.  Статистические критерии
3.  Алгоритм проверки статистических гипотез
4.  Проверка гипотез о виде распределения,
критерии согласия
5.  Проверка гипотез о параметрах нормально
распределенных совокупностей
Статистическая проверка
статистических гипотез
ПОНЯТИЕ О ГИПОТЕЗЕ
СТАТИСТИЧЕСКИЕ КРИТЕРИИ
АЛГОРИТМ ПРОВЕРКИ ГИПОТЕЗ
Что такое гипотеза?
Статистическая гипотеза – предположение о виде
распределения или о величинах неизвестных параметров
генеральной совокупности.
Примеры статистических гипотез:
1.  генеральная совокупность распределена по закону Пуассона;
2.  дисперсии двух нормальных совокупностей равны между собой.
Нулевая (основная) гипотеза – выдвинутая гипотеза;
гипотеза, истинность которой проверяется.
H0
Конкурирующая (альтернативная) гипотеза – гипотеза,
которая противоречит нулевой.
H1
Примеры:
H0 : µ= 5
(математическое ожидание нормального распределения равно 5)
H1 : µ ≠ 5; µ > 5; µ < 5 (математическое ожидание не равно 5, больше или меньше чем 5) H0 : µ1 = µ2
( математические ожидания двух случайных величин равны)
H1 : µ1 ≠ µ2 ; µ1<µ2 ; µ1>µ2 (математические ожидания двух величин не равны) Простые и сложные гипотезы
Простой называют гипотезу, содержащую только одно предположение.
Сложной называют гипотезу, которая состоит из конечного или
бесконечного числа простых гипотез.
Примеры:
1.  Пример простой гипотезы: если λ - параметр показательного
распределения, то гипотеза H0 : λ = 5 - простая.
2.  Пример сложной гипотезы: сложная гипотеза H : λ > 5 состоит из
бесчисленного множества простых вида Hi: λ = bi, где bi – любое число,
большее 5.
Все мы ошибаемся
В результате статистической проверки гипотезы может быть
принято как правильное, так и неправильное решение:
Гипотеза H0
Верна
Принимается
Отвергается
Правильное решение
Ошибка I рода
Ошибка II рода
Правильное решение
Не верна
Существует два вида (рода) ошибок:
Ошибка первого рода состоит в том, что будет отвергнута правильная нулевая гипотеза.
Ошибка второго рода состоит в том, что будет принята неправильная нулевая гипотеза.
Все мы ошибаемся
Вероятность совершить ошибку I рода принято обозначать через α; ее
называют уровнем значимости.
Вероятность совершить ошибку II рода принято обозначать через β.
Тогда вероятность не допустить ошибку II рода будет равна (1 − β); ее
называют мощностью критерия (или функцией мощности) .
Гипотеза H0
H0 принимается
H1 принимается
H0 верна
P (H0|H0) = 1 - α
P (H0|H1) = α
H1 верна
P (H0|H1) = β
P (H1|H1) = 1 - β
Все мы ошибаемся
Вероятность ошибки I и II рода связаны между собой.
—  При одинаковом размере выборки:
↓α ⇔
↑β
—  Одновременно снизить вероятность ошибки I и II рода
можно только увеличив объем выборки!
—  Выбор α относится к фазе планирования исследования.
Как определить объем выборки?
Пример формулы для расчета минимального объема выборки для сравнения показателя
в двух независимых группах (например, необходимо сравнить достигнутые показатели АД
у двух групп пациентов):
n = (Zα + Z β )
2
Zα
, Zβ
Sxosn , Sx kontr
Δ2
S 2 xosn + S 2 xkontr
Δ2
- Критические значения нормального распределения, соответствующие
заданным уровням ошибок I и II рода.
- Стандартные отклонения сравниваемых параметров в основной и
контрольной группах.
- Требуемая величина различий между средними значениями
Как определить объем выборки?
Пусть СКО в основной и контрольной группах равны 10 и 15 соответственно, величина
различий в АД, которую исследование должно выявить равно 10 мм рт.ст., Zα = 1,96 (для
α = 5%), Zβ = 1,65 (для β = 10%). Тогда:
10 2 + 15 2
100 + 225
n = (1,96 + 1,65)
=
13
⋅
≈ 42
2
10
100
2
Если одновременно уменьшить уровень ошибки I рода до 1%, а ошибки II рода до 5%,
то количество больных, включенную в каждую группу исследования должно быть уже не
менее:
10 2 + 152
100 + 225
n = (2,58 + 1,96 )
=
20
,
6
⋅
≈ 67
2
10
100
2
К чему приводят ошибки
Пример 1:
Проводится диагностическое исследование на наличие вирусного гепатита B.
H0 : человек здоров
H1 : человек инфицирован гепатитом
Ошибка I рода – тест показал, что человек болеет гепатитом, хотя на самом деле он
здоров.
(ложноположительный результат)
Ошибка II рода – инфицированного человека ошибочно посчитали здоровым
(ложноотрицательный результат)
К чему приводят ошибки
Пример 2:
Проводится авторизация пользователя в системе интернет-банкинга.
H0 : пользователь ввел правильные логин и пароль
H1 : введенные логин и пароль не зарегистрированы в системе безопасности
Ошибка I рода – авторизованный (надежный) пользователь классифицируется как
нарушитель (в доступе отказано)
Ошибка II рода – хакер классифицирован как авторизованный пользователь
К чему приводят ошибки
Пример 3:
Работает программа распознавания текста.
H0 : Это буква «А»
H1 : Это другая буква (например, «Н»)
Ошибка I рода – подозрительно много согласных в русском алфавите
Ошибка II рода – программу явно делали в Мааскве
Статистические критерии
Для проверки нулевой гипотезы используют специально подобранную случайную величину, точное
или приближенное распределение которой известно.
В частности, для этой цели можно использовать нормально распределенную случайную величину
(Z), величину, распределенную по закону Фишера (F), Стьюдента (t), Хи-квадрат (χ2) и т.д. В общем виде
обозначим эту величину через K.
Статистическим критерием (или просто критерием) называют случайную
величину K, которая служит для проверки нулевой гипотезы.
Для проверки гипотезы по данным выборок вычисляют частные значения входящих в критерий
величин и таким образом получают частное (наблюдаемое) значение критерия
Наблюдаемым значением Kнабл (или статистикой критерия) называют
значение критерия, вычисленное по выборкам.
Статистические критерии
После выбора определенного критерия множество всех его
возможных значений разбивают на два непере секающихся
подмножества: одно из них содержит значения критерия, при которых
нулевая гипотеза отвергается, а другая – при которых она принимается.
Критической областью называют совокупность значений
критерия, при которых нулевую гипотезу отвергают.
Областью принятия гипотезы (областью допустимых значений)
называют совокупность значений критерия, при которых гипотезу
принимают.
Критическими точками (границами) k cr называют точки,
отделяющие критическую область от области принятия гипотезы.
Критическая
область
Область принятия
гипотезы
Если наблюдаемое значение критерия принадлежит критической
области - гипотезу отвергают, если наблюдаемое значение критерия
принадлежит области принятия гипотезы - гипотезу принимают.
Критическая точка
Общая схема проверки статистических гипотез
1. Формулируем нулевую и альтернативную гипотезы
Определяется не желанием исследователя, а методом
статистического анализа. Обычно за нулевую
гипотезу принимают отсутствие различий.
2. Задаем величину уровня значимости α
Обычно не более 0.05, чем меньше α,
выборка, дороже исследование.
3. Выбираем подходящую функцию – статистику критерия. Находим
закон распределения для обеих гипотез.
В качестве критерия может быть использовано одно из
хорошо изученных распределений. Выбор зависит от
метода анализа и характера выборки.
4. На основе закона распределения и уровня значимости α разбиваем
область значений статистики на критическую и область принятия
гипотезы. (находим критические точки)
Критические значения зависят от выбранной
статистики, параметров выборки (объем), значения
α. Чем больше n, тем меньше Ккрит; чем меньше α, тем
больше Ккрит.
5. На основе выборки вычисляют значение статистики критерия
(Kнабл) и выясняют в какую из областей попадает ее значение. Если
это область принятия гипотезы – нулевую гипотезу принимают,
иначе – отвергают.
Для одностороннего критерия:
если К ≤ Ккрит то принимаем H0
Для двустороннего критерия:
если |К| ≤ Ккрит то принимаем H0
тем больше
Проверка гипотезы о виде
распределения
КРИТЕРИИ СОГЛАСИЯ
Проверка гипотезы о виде распределения
Когда закон распределения параметра генеральной совокупности неизвестен, но по
имеющейся выборке есть основания предположить, что он имеет определенный вид,
необходимо провести проверку гипотезы о виде распределения.
Суть проверки состоит в сравнении
эмпирических (наблюдаемых) частот и
теоретических частот (вычисленных в
предположении, что случайная величина
распределена по определенному закону).
Проверка гипотезы о виде распределения
I. 
Формулируем гипотезы:
H0:
- «случайная величина распределена по закону Гаусса (Пауссона)»
- «между эмпирическим законом распределения и теоретической
моделью закона нет существенных различий»
H1:
- «закон распределения случайной величины (параметра
генеральной совокупности) отличается от закона Гаусса (Пуассона)
II.  Задаем уровень значимости α:
α = 0.05, 0.01, и т.д.
Проверка гипотезы о виде распределения
III.  Выбираем статистику критерия (критерий согласия):
Критерием согласия называют критерий проверки гипотезы о
предполагаемом законе неизвестного распределения.
— критерий согласия Хи-квадрат Пирсона;
— критерий согласия Колмогорова;
— критерий согласия Смирнова;
— другие критерии.
Проверка гипотезы о виде распределения
Объем выборки n > 50
IV.  Проверка гипотезы (критерий χ2-Пирсона):
Значение критерия χ2 набл вычисляем по формуле:
m
(hi − hti )2
χ =∑
,
hti
i=1
2
Теоретическая функция распределения
k=2 для распределения Пуассона
k=3 для распределения Гаусса
H0
S=1-α
Находим χ2 крит :
m≈ n
1. 
Если χ2 набл ≤ χ2 крит , то различия между эмпирическим и
теоретическим распределением не значимо, принимаем
гипотезу H0.
2. 
Если χ2 набл > χ2 крит , то существуют значимые различия,
основная гипотеза (H0) отбрасывается. Принимаем
гипотезу H1.
S=α
Проверка гипотезы о виде распределения
Объем выборки может быть любым
IV.  Проверка гипотезы (критерий Колмогорова-Смирнова):
1. Находим выборочное среднее (x’) и СКО (s)
По таблице находим dкрит:
2. Строим эмпирическую функцию распределения: сортируем xi
и определяем абсолютную и кумулятивную (Yi) частоты.
3. Нормируем значение xi по формуле:
ui =
(xi − x)
s
n
11
12
13
14
15
d
0.251
0.242
0.234
0.226
0.219
n
16
17
18
19
20
d
0.213
0.207
0.202
0.197
0.192
4. По таблице (Лапласа) находим значение функции Гаусса Y (ui)
для каждого ui.
5. Вычисляем различия между наблюдаемой (Yi) и
теоретической Y (ui) частотой распределения признака:
di = Yi −Y (ui )
1. 
Если dнабл ≤ dкрит , принимаем гипотезу H0.
2. 
Если dнабл > dкрит , принимаем гипотезу H1.
Проверка гипотез о параметрах нормально
распределенных совокупностей
ГИПОТЕЗА О РАВЕНСТВЕ СРЕДНЕГО ЧИСЛУ
ГИПОТЕЗЕ О РАВЕНСТВЕ СРЕДНИХ ЗНАЧЕНИЙ
ГИПОТЕЗА О РАВЕНСТВЕ ДИСПЕРСИЙ
Гипотеза о равенстве среднего определенному числовому
значению при известной дисперсии
I. 
Ho: µ=µ0 (среднее значение равно числу µ0)
H1: µ≠µ0
1 n
x = ∑ xi
n i=1
II. 
Находим выборочное среднее:
III. 
В качестве критерия применяем функцию нормального распределения.
Статистика критерия вычисляется по формуле:
U= n
IV. 
Задаем уровень значимости α и находим Uкрит
из уравнения
V. 
α ∞
= ∫ φ (u)du
2 Uêð
Если |U| ≤ Uкрит то принимаем H0
Если |U| > Uкрит то принимаем H1
x − µ0
σ
Гипотеза о равенстве среднего определенному числовому
значению при неизвестной дисперсии
I. 
II. 
Ho: µ=µ0 (среднее значение равно числу µ0)
H1: µ≠µ0
Находим выборочное среднее:
и дисперсию:
III. 
1 n
s =
(xi − x)2
∑
n −1 k=1
1 n
x = ∑ xi
n i=1
2
В качестве критерия применяем распределение Стьюдента с n-1 свободы.
Статистика критерия вычисляется по формуле:
x − µ0
t= n
IV. 
Задаем уровень значимости α и по таблицам находим tкрит
V. 
Если |t| ≤ tкрит то принимаем H0
Если |t| > tкрит то принимаем H1
s
Гипотеза о равенстве средних значений двух нормально
распределенных совокупностей при неизвестных дисперсиях
I. 
Ho: µx=µy ;
H1: µx≠µy
II. 
Находим точечные оценки среднего и дисперсии обеих выборок.
III. 
Статистика критерия вычисляется распределена по закону Стьюдента с (n+m-2) свободы
и вычисляется по формуле:
(µx- µy) = 0
t=
x−y
(n −1)⋅ sx2 + (m −1)⋅ sy2
n⋅m
n+m
(n + m + 2)
IV. 
Задаем уровень значимости α и по таблицам находим tкрит
V. 
Если |t| ≤ tкрит то принимаем H0
Если |t| > tкрит то принимаем H1
Гипотеза о равенстве дисперсий двух нормально
распределенных совокупностей
Ho: σ2x=σ2y
H1: µx≠µy II.  Находим точечную оценку дисперсии обеих выборок
I. 
Средние значения известны
sx2 =
III. 
1 n
∑(xi − x)2
n −1 i=1
sy2 =
1 m
∑(yi − y)2
n −1 i=1
Средние значения не известны
sx2 =
1 n
∑(xi − µ x )2
n −1 i=1
sy2 =
1 n
∑(xi − µ y )2
n −1 i=1
В качестве статистики критерия используется распределение Фишера с (n-1; m-1) степенями свободы.
Fнабл вычисляем по формуле:
sx
F = x2
sy
IV.  Задаем уровень значимости α и по таблицам
находим Fкрит
V.  Если |F| ≤ Fкрит то принимаем H0
Если |F| > Fкрит то принимаем H1
Инструментарий для
статистического анализа
Способы проведения статистического анализа
Ручной (или аналоговый)
Автоматизированный (почти) – с
помощью специальных программ
ПО для статистического анализа
SPSS (IBM)
Возможности почти безграничные. Очень
требовательна к ресурсам системы. Требует спец.
подготовки.
3000 – 20000 $
Statistica (StatSoft)
Мощная, популярная программа с графическим
интерфейсом и большим набором встроенных
модулей. Раюотает только под Windows.
3000 – 10000 $
SAS (SAS Institute
Статистическая обработка данных любой
сложности. Большое количество дополнительных
модулей. Есть режим командной строки и GUI.
2000 - 5000 $
Графический интерфейс, встроенный язык
программирования. Прост в обращении, но
содержит все необходимые аналитические
возможности.
Функциональные возможности небольшие, но
адаптированы для медицинских исследований.
Работает только под Windows&
1500 - 2500 $
Достаточно большой набор функций. Отсутствует
дружественный графический интерфейс – только
командная строка
Бесплатная
STATA (StataCorp)
MedCalc
R
300 $