Лекция № 5 Тема: Статистические методы проверки гипотез 1. Нормальное (Гауссово) распределение 2. Распределение Стьюдента (t – распределение) и Фишера распределение) 3. Понятие о нулевой гипотезе и методах ее проверки 4. Точечная и интервальная оценки параметров распределения (F – 1. Нормальное (Гауссово) распределение Несмотря на случайный характер отдельных значений признака в совокупности, вероятность или частота их встречаемости в ранжированном ряду возрастает от краев к центру, то есть от очень малых и очень больших значений к средним. Эту закономерность стали считать «нормой» распределения значений любой случайной переменной. Нормальное распределение (гауссово) описывается формулой: где: y – вероятность или частота встречаемости отдельных значений переменной; μ – генеральная средняя (математическое ожидание для х); σ – стандартное отклонение генеральной совокупности; π = 3,14 𝑙 = 2,72. График этой функции представляет колокообразная асимптотическая кривая. Площадь под кривой, ограниченную от среднего σ, 2σ или 3σ, выраженную в процентах от всей площади называют статистической надежностью или уровнем вероятности (68,26; 95,46; 99,73) Р, т.е. вероятностью появления значения признака, лежащего в области μ ± tσ (σ; 2σ; 3σ). Вероятность того, что значения варьирующего признака находится вне указанных пределов, называется уровнем значимости Р1 = 100 – Р. В практике агрономических исследований пользуются вероятностями 95% и 99%, которым соответствуют 5% и 1% уровни значимости. Закономерности нормального распределения: - в области μ ± σ лежат 68,26% всех наблюдений; - в области μ ± 2σ – 95,46% всех наблюдений; - в области μ ± 3σ – 99,73% всех наблюдений, т.е. практически все значения признака. Средняя генеральной совокупности μ; дисперсия генеральной совокупности σ2 и стандартное отклонение генеральной совокупности σ имеют соответствующие оценки в выборке: для μ это х, для σ2 это S2 и для σ это S. Доказано, что х и S сосредотачивают в себе всю информацию о параметрах генеральной совокупности μ и σ, и ничего более совершенного для характеристики совокупности по выборочным данным предположить нельзя. Нормальное распределение Гаусса – это наиболее часто встречающийся в практике эксперимента закон распределения случайной величины. Закон Гаусса является предельным законом, к которому приближаются другие законы распределения. 2. Распределение Стьюдента (t – распределение) и Фишера (F – распределение) Распределение Стьюдента открыто в 1908 году английским ученым Госсетом (Стьюдент – псевдоним). Оно является разновидность нормального распределения и используется для работы с малыми выборками (n <20), так как закон нормального распределения Гаусса проявляется лишь при n > 20 – 30. Распределение Стьюдента определяется равенством: t = х – μ , где х – средние выборочные; μ – генеральная средняя; S𝑥 – ошибки выборочных средних. То есть критерий t измеряется отклонением выборочной средней х от средней генеральной совокупности μ, выраженным в долях ошибки выборки𝑆𝑥 , принятой за единицу. Критерий Стьюдента рассчитывается для различного числа наблюдений n и представлен в таблице 1 приложений. Научные исследования можно проводить на разных уровнях статистической надежности или с разным уровнем вероятности: 50, 90, 95, 99 и 99,9%. Уровни вероятности 95, 99 и 99,9% называются доверительными вероятностями. При данных уровнях риск сделать ошибку соответственно составляет 5, 1 и 0,1%, то есть вероятность того, что значение признака выйдет за пределы доверительных интервалов, составляет 5, 1 и 0,1%. Вероятность ошибки называют в статистике уровнем значимости и обозначают буквой α. Все табличные величины критериев сопровождаются уровнем значимости. Распределение Стьюдента имеет очень важное значение при работе с малыми выборками, поскольку позволяет определить доверительный интервал х ± t05 ∙ 𝑆𝑥 , накрывающий среднюю совокупности μ и проверить ту или иную гипотезу относительно генеральной совокупности. Закон F – распределения открыт английским ученым Фишером и позднее дополнен Снедекором. Если из нормально распределенной совокупности взять две независимые выборки объемом n1 и n2 и подсчитать соответствующие дисперсии S1 и S2 со степенями свободы ν1 = n1 – 1 и ν2 = n2 – 1, то можно определить отношение дисперсий F = S1, которое и будет являться критерием F – распределения. Степенью свободы называется максимальное количество отличающихся друг от друга значений в выборке. Теоретические значения F – критерия представлены в таблице 2 приложений. Когда две сравниваемые выборки являются случайными из общей совокупности, то есть между ними нет существенных различий, то фактическое значение F = критерия не превысит теоретическое (Fф<Fтеор). Если генеральные параметры сравниваемых выборок различны, то Fф>Fтеор. F – распределение используют в системном анализе. 3. Понятие о нулевой гипотезе и методах ее проверки Вопрос о статистической проверке гипотез – один из главных в научных исследованиях. Статистические методы или критерии проверки гипотез применяются, когда необходимо: 1) Охарактеризовать исследуемую совокупность по выборке; 2) Оценить существенность различий между выборочными средними; 3) Определить принадлежность варианты к данной совокупности; 4) Выявить соответствие между фактическими и теоретическими распределениями частот. Статистической гипотезой называют научное предположение о тех или иных статистических законах распределения случайных величин, которое может быть проверено на основе выборки. В большинстве случаев задача сводится к проверке гипотезы об отсутствии реального различия между фактическими и теоретически ожидаемыми наблюдениями, о несущественности разности между выборочными средними. Эту гипотезу называют нулевой гипотезой и обозначаютНо, т.е. нулевая гипотеза – это статистическое предположение об отсутствии достоверных различий между фактическими и теоретическими наблюдениями или что распределение генеральной совокупности подчинено нормальному закону распределения. Иными словами нулевая гипотеза предполагает, что между выборками, вариантами или расщеплениями нет существенных различий. При проверке нулевой гипотезы она может приниматься или опровергаться. Нулевая гипотеза принимается, если различия между фактическими и теоретическими наблюдениями близки к нулю или находятся в области допустимых значений. Н 0 не принимается или опровергается, если различия оказываются в критической для данного статистического критерия области, которые несовместимы с нашей гипотезой. Справедливость нулевой гипотезы проверяют вычислением статистических критериев проверки для определенного уровня значимости. Все методы проверки нулевой гипотезы можно разделить на 2 группы: а) методы с использованием параметрических критериев; б) методы с использованием непараметрических критериев. Параметрическими называют критерии, которые основаны на предположении, что распределение частот изучаемых вариантов подчиняется каким–то теоретическим рядам распределения (нормальному, биноминальному, Стьюдента, Пуассона и т.д.). К параметрическим критериям относятся t, F, χ2 , применение которых требует вычисления оценок параметров распределения. Непараметрические критерии – это такие критерии, которые не требуют знаний о законах распределения изучаемых выборок и не требуют расчета статистических характеристик выборок. При их использовании ограничиваются определением ранга или порядка расположения. Ранговыми, порядковыми критериями являются: Х – критерий Ван – дер – Вардена, Т – критерий Уайта, W – критерий Вилкоксона, Z – критерий знаков. Непараметрические критерии могут применяться и тогда, когда распределение сильно отклоняется от нормального. Эти критерии менее эффективны по сравнению с параметрическими критериями. Их целесообразно использовать в предварительных исследованиях. Для проверки нулевой гипотезы надо: 1. Выделить Н0; 2. Убедиться в характере распределения выборок или вариантов и выбрать параметрические или непараметрические критерии; 3. Выбрать уровень значимости и уровень вероятности; 4. Рассчитать статические характеристики изучаемых вариантов или выборок; 5. Рассчитать фактические критерии существенности; 6. В соответствии с уровнем значимости сравнивают фактические критерии с теоретическими; 7. Принять или отвергнуть Н0. 4. Точечная и интервальная оценки параметров распределения Статистические характеристики выборки являются приближенными оценками неизвестных параметров генеральной совокупности. Точечная оценка проводиться по одному числу (точке) – критерию, характеризующему искомый параметр. Так выборочная средняя х является несмещенной и наиболее эффективной оценкой генеральной средней , а выборочная дисперсия S2 – несмещённой точечной оценкой генеральной дисперсии σ2. С учётом ошибки выборочной средней 𝑆х точечную оценку генеральной средней можно записать в виде х ± 𝑆х .Несмещённой оценкой называют точечную оценку, не имеющую систематических ошибок.Интервальной называют оценку, которая характеризуется двумя числами – концами интервала. Интервальная оценка предполагает исчисление некоего интервала, в котором с определенной вероятностью может находиться искомый параметр. Примерами интервальной оценки может служить: 1. Доверительный интервал; 2. Величина НСР – наименьшая существенная разность. Доверительным называют такой интервал, который с заданной вероятностью покрывает оцениваемый параметр. Центр такого интервала – выборочная оценка точки, а пределы, или доверительные границы, интервала определяются средней ошибкой оценки и уровнем вероятности. В общем виде доверительный интервал для генеральной средней записывается так: х – tSx ≤ ≤ х + tSx или х ± tSx Здесь 𝑡𝑆𝑥 – предельная ошибка выборочной средней при данном числе степеней свободы и принятом уровне значимости. Значение критерия Стьюдента берут из таблицы приложений в учебнике. Совместно разберем такой пример: при определении влажности зерна ячменя в момент уборки найдены следующие значения х = 18,50%, 𝑆х = 0,30%, n = 5. Определить 95%-ный и 99%-ный доверительные интервалы для генеральной средней. По табл. 1 для 5 – 1 = 4 степеней свободы t05 = 2,78, а t01 = 4,60. Поэтому 95%-ный доверительный интервал равен: х ± tSx = 18,50 ± 2,78 · 0,30 = 18,50 ± 0,83 и составляет (17,67 ÷ 19,33) а 99%-ный доверительный интервал равен: х ± tSx = 18,50 ± 4,60 · 0,30 = 18,50 ± 1,38 и составляет (17,12 ÷ 19,88) Эти записи означают, что с вероятностью 95% генеральная средняя влажности зерна ячменя заключена в интервале от 17,67 до 19,33% и с вероятностью 99% - от 17,12 до 19,88%. Вероятность выйти за эти интервалы в первом случае составляет 5% (1 из 20), а во втором- 1% (1 из 100). Величина, указывающая границу предельным случайным отклонениям, называется наименьшей существенной разностью. Ее сокращённо обозначаю НСР и определяют по соотношению:НСР = t · Sd Sd – ошибка разности средних Иначе НСР – это величина, показывающая предельное значение ошибки для разности d = х1 – х2 . Если при проведении статистической проверки гипотез при сравнении выборочных средних фактическая разность между выборочными средними больше или равно НСР (d ≥ НСР), то Н0 отвергается, а если меньше (d НСР), то принимается. НСР широко используется при построении доверительных интервалов и проверке статистических гипотез. Доверительный интервал для разности генеральных средних определяется по соотношению d ± НСР.
