Выборки Вторая задача покажет, как определить оптимальный объем выборки и потом провести анализ грубых ошибок. Переходим на лист Ген_выборка и проводим анализ получаемых результатов в зависимости от объемов сделанных выборок. На листе представлена генеральная выборка объемом 1000 элементов (Рис. 1). Готовим комментарии и расчеты статистических характеристики, которые надо найти: Рис. 1. Фрагмент генеральной выборки – Среднее значение µ по известной функции с Диапазоном в 1000 ячеек, строите самостоятельно; – Дисперсия по генеральной выборке ДИСП.Г() с тем же диапазоном; – Стандартное отклонение σ по генеральной выборке СТАНДОТКЛ.Г() с тем же диапазоном; – Определяем генеральную вариацию =σ/µ. В итоге должна быть получена следующая таблица с расчетными данными (Рис. 2). Рис. 2. Результаты расчетов 1 Теперь переходим к непосредственным исследованиям выборок. Для этого воспользуемся инструментов Анализа данных – Выборка. Он позволяет делать выборки из генеральной совокупности данных случайным образом заданного объема или периодическую через заданное число измерений. Введем заголовок Анализ выборок и сформируем 4-5 выборок разного объема, например, 5, 10, 20 и 50. Для этого вызываем надстройку и находим инструмент Выборка (Рис. 3). Рис. 3. Окно инструмента Выборка Вводим необходимые данные: – – – – 2 Входной интервал – указываем нашу генеральную совокупность данных (все 1000 элементов); Меток у нас нет; Выбираем Метод выборки – Случайный и задаем необходимый объем получаемой выборки, например, 5, потом зададим 10, 20 и 50; В Параметрах выборки выбираем выходной интервал и в активированном поле указываем начальную ячейку для формируемых данных; Нажимаем кнопку Ok и получаем необходимую выбору. Повторяем команду и формируем остальные выборки заданных объемов. Получаем следующую заготовку с выборками для их анализа (Рис. 4). Рис. 4. Фрагмент таблицы выборок Переходим к их анализу, сначала получаем полную статистику по этим данным, воспользовавшись инструментом Описательная статистика из надстройки Анализ данных (см. Статистический анализ в Excel). Подробнее о инструменте Описательная статистика смотрите в дополнительных материалах к разделу. Правее наших выборок готовим общий заголовок Описательная статистика, потом вызывает инструмент Описательная статистика и вводим необходимые данные: – Вводим входной диапазон по всем выборкам сразу же вместе с заголовками; – Указываем, что в первом столбце имеются метки; – Выбираем выходной адрес начальной ячейки; – Ставим галочку Итоговая статистика; – Нажимаем Ok. В результате получаем выводы по статистике для наших выборов. Форматируем их как делали в прошлой задаче (убираем лишние заголовки параметров и переносим заголовки выборок в 3 столбцы с данными) (Рис. 5). Рис. 5. Результаты по Описательной статистике На основании полученных данных делаем заключения о точности полученных данных в сравнении с генеральной совокупностью. Например, в данном случае (см. Рис. 5) можно сказать, что наихудшие результаты показала первая выборка, которая имеет максимальное отклонение среднего значения от генерального. Остальные выборки имеют достаточную точность. В тоже время видно, что погрешность среднего уменьшается только для последней выборки. Выборки небольших объемов имеют большие эксцессы и асимметрии, что так же видно из сравнение средних медиан и мод. Вполне возможно, что в первой выборе имеются грубые ошибки. На основании этих данных построим теоретические распределения случайных величин для каждой из выборок, как делали в конце первой работы. Сначала найдем минимальное и максимальное значения из всех выборок и расширим их диапазон на 10-15% от их значений. В данном примере минимальное значение встречается в 3 и 4 выборках и равно 84,5587, а максимальное равно 113,1108 и присутствует в 4 выборке. Примем нижнюю границу – 75 и верхнюю – 150. Для них построим Прогрессию и вычислим 4 теоретические распределение на основании значений параметра Х из членов прогрессии, среднего значения и стандартного отклонения из таблицы описательной статистики для каждой выборки. Для решения этой задачи, как было уже показано выше используем функцию =НОРМ.РАСП(Х; Хср; σ; Ложь) (Рис. 6). Рис. 6. Построение формулы для теоретического распределения Растягиваем формулу вправо на следующие трои столбца и вниз до конца прогрессии. Получаем таблицу (Рис. 7) Рис. 7. Теоретическое распределение На её основе которой строим точечный график со слаженной линией без маркеров (рис. 8). Столбец прогрессии будет 5 столбцом Х и остальные Y рис. 8. График теоретических распределений Сделайте выводы по полученным результатам, например, из графика наглядно видно, что первая выборка сильно выбивается из общей картины. Третья выборка имеет смещение влево, а вторая и четвертая подобны друг другу. Попробуем в этих выборках проверить наличие грубых промахов. Грубая погрешность и критерии их исключения Известно, что вследствие неточности измерительных приборов, несовершенства наших приборов и установок, а также и приемов работы с ними, неполноты наших знаний об объекте исследования и трудности учета всех побочных явлений, при многократном повторении одного и того же измерения получаются разные числовые значения изучаемой физической величины. Так бывает, даже если измерения производить в совершенно одинаковых условиях (равноточные измерения). При практическом использовании результатов тех или иных измерений возникает вопрос об истинном значении изучаемой физической величины, о 6 точности этих измерений. Грубые погрешности измерений – случайные погрешности измерений, существенно превышающие ожидаемые при данных погрешностях. Грубые погрешности (промахи) обычно обусловлены неправильным отсчетом по шкале прибора, ошибкой при записи наблюдений, наличием сильно влияющей величины, неисправностью средств измерений и другими причинами. Как правило, результаты измерений, содержащие грубые погрешности, не принимаются во внимание, поэтому грубые погрешности мало влияют на точность измерения. Обнаружить промах бывает не всегда легко, особенно при единичном измерении; часто трудно бывает отличить грубую погрешность от большой по значению случайной погрешности. Если грубые погрешности встречаются часто, то под сомнения ставятся все результаты измерений. При однократных измерениях обнаружить промах не представляется возможным. Для уменьшения вероятности появления промахов измерения проводят несколько раза и за результат принимают среднее арифметическое полученных отсчетов. Для поиска грубых погрешностей используют методы математической статистики – проверку статистических гипотез. Метод реализуется по следующей схеме – выдвигается нулевая гипотеза относительно результата измерения, который вызывает сомнение и рассматривается как грубый промах в связи с большим отклонением от других результатов измерения. Нулевая гипотеза заключается в утверждении, что «сомнительный» результат в действительности принадлежит к возможной совокупности полученных измерений и его можно оставить. В противном случае он отбрасывается. Пользуясь определенными статистическими критериями, пытаются опровергнуть нулевую гипотезу, т. е. пытаются доказать ее практическую невероятность. Если это удается, то промах исключают, если нет – то результат измерения оставляют. Выбор того или иного критерия основан на принципе практической уверенности. Для этого задаются достаточно малой вероятностью Р того, что сомнительный результат действительно мог бы иметь 7 место. Вероятность Р называется уровнем значимости и обычно выбирается из ряда: 0,1; 0,05; 0,01 и т. д. Для данного Р определяют критическую область значений критерия проверки нулевой гипотезы. Если значение критерия попадает в эту область, то гипотеза отвергается. Известен ряд критериев, которые позволяют исключить грубые промахи. К ним, в частности, можно отнести критерии «Трех сигм», Романовского, Шовене, Шарлье, Диксона. Эти критерии основаны на статических оценках параметров распределения, так как в большинстве случаев действительные значения параметров распределения неизвестны. Критерий «Трех сигм» применяется для погрешностей измерений, распределенных по нормальному закону. По этому критерию считается, что результат, возникающий с вероятностью α < 0,003, маловероятен и его можно считать промахом, если |х̅ хi| > 3 σx, где σx – оценка СКО измерений. Величины х и σx вычисляют без учета экстремальных значений хi. Данный критерий надежен при числе измерений n> 20. Это правило обычно считается слишком жестким, поэтому рекомендуется назначать границу допуска в зависимости от объема выборки: при 6 < n < 100 она равна 4 σx; при 100 < n < 10004,5 σx; при 1000 < n < 10000-5 σx. Данное правило также применимо только для нормального закона. Критерий Романовского при n < 20. Вычисляют отношение x xi (1) и полученное значение сравнивают с теоретическим – при выбираемом уровне значимости Р по таблице. Обычно выбирают α = 0,01…0,05 и если (2) то результат отбрасывают. Таблица 1 Значение критериев Романовского α n = 4 n = 6 n = 8 n = 10 n = 12 n = 15 n = 20 0,01 1,73 2,16 2,43 2,62 2,75 2,90 3,08 8 0,02 0,05 0,10 1,72 1,71 1,69 2,13 2,10 2,00 2,37 2,27 2,17 2,54 2,41 2,29 2,66 2,52 2,39 2,80 2,64 2,49 2,96 2,78 2,62 Критерий Шовине применяется, если число измерений невелико n < 10. В этом случае промахом считается результат xi, если разность x xi превышает значение σ, приведенное ниже, в зависимости от числа измерений 1,6 при 1,7 при x xi 1,9 при 2,0 при n3 n6 n8 (3) n 10 Критерий Шарлье (КШ) используется, если число наблюдений в ряду велико (n > 20). Тогда по теореме Бернулли число результатов, превышающих по абсолютному значению среднее арифметическое значение на величину КШ∙σx, будет n[1 – F(КШ)], где F(КШ) – значение нормированной функции Лапласа для X = КШ. Если сомнительным в ряду результатов наблюдений является один результат, то n[1 – F(КШ)] = 1. Отсюда F(КШ) = (n -1)/n. Пользуясь критерием Шарлье, отбрасывают результат, для значения которого в ряду из n наблюдений выполняется неравенство xi x > КШ∙ σx . Таблица 2 Значения критерия Шарлье n 5 10 20 30 40 50 100 КШ 1,3 1,65 1,96 2,13 2,24 2,32 2,58 Критерий Диксона Zq удобный и достаточно мощный (с малыми вероятностями ошибок). При его применении полученные результаты наблюдений записывают в вариационный возрастающий ряд х1, х2, . . ., xn (x1< х2< . . .<хп). Критерий рассчитывается: КД = (хn - xn-1) / (xn –x1) (4) 9 Критическая область для этого критерия: Р(КД > Zq) = q (5) Таблица 3 Значение критерия Диксона Zq при q равном n 0,10 0,05 0,02 0,01 4 0,68 0,76 0,85 0,89 6 0,48 0,56 0,64 0,70 8 0,40 0,47 0,54 0,59 10 0,35 0,41 0,48 0,53 14 0,29 0,35 0,41 0,45 16 0,28 0,33 0,39 0,43 18 0,26 0,31 0,37 0,41 20 0,26 0,30 0,36 0,39 30 0,22 0,26 0,31 0,34 Применение рассмотренных критериев требует внимательности и учета объективных условий при проведении измерений. Конечно, надо исключать результаты наблюдений с явными грубыми погрешностями и проводить вместо них новые измерения. Но нельзя отбрасывать незначительно отличающиеся от других результаты наблюдения. В сомнительных ситуациях лучше выполнять дополнительные измерения и привлекать другие статистические оценки. Проведем по каждой из выборок проверку на грубые ошибки с использование этих критериев. Внизу под таблицей Описательной статистики готовим данные по критериям. Так как число опытов в выборках у нас не совпадает с табличными значениями критериев, то строим по ним графики и находим наилучшую линию тренда. Через её уравнение вычисляем критическое значение и сравниваем его с расчетным по формулам. Расчетные значения строим для минимального и максимального значений в выборках. Рассмотрим весь ход решения на примере критерия Романовского. Сначала вводим заголовок критерия и ниже вычисляем 10 критические значения. Для этого готовим таблицу с критическими значениями коэффициента (см. Таблица 1) справа от всех наших расчетных данных (Рис. 9) Рис. 9. Критические значения по Романовскому Выделяем первую и вторую строки таблицы и по ним строим точечный график (только точки). После этого, выделив точки на графике ЛКМ, вызываем с помощью ПКМ контекстное меню и выбираем в нем Добавить линию тренда. В отрывшемся меню ставим две галочки: Показать уравнение на диаграмме и Поместить на диаграмму величину достоверности аппроксимации (R^2). Теперь подбираем одну из линий тренда (Линейная, Степенная, Экспоненциальная и Логарифмическая) по условию, что R2 для данной линии будет иметь максимальное значение. В результате должен получиться график (Рис. 10). Рис. 10. Уравнение по критерию Романовского Выделяем легенду и копируем из неё уравнение, начиная со знака равно. Потом вставляем скопированный текст в ячейку под 11 первой выборкой (Ошибка! Источник ссылки не найден.) и исправляем формулу, заменяя Х на ссылку с числом измерений для первой выборки. После формулу растягиваем на остальные выборки. Снова возвращаемся к графику (Рис. 10), выделяем ЛКМ точки данных и потом, схватив данные второй строки на листе (которые будут выделены цветной рамкой) за границу рамки (не за угол) и перетаскиваем на третью строку таблица. Снова подбираем линию тренда и переносим рис. 11. Формула для критерия Романовского во вторую строку критических значений критерия Романовского. Выполняет эти процедуры пока не получим все четыре строки критических значений. Вычисляем расчетные значения критерия Романовского для двух крайних условий – от минимального и максимального значений. Получаем следующую таблицу с данными (рис. 12) рис. 12. Расчеты по критерию Романовского Для расчетов используем формулу (1), а результат определяем по формуле (2) с использование функции ЕСЛИ() =ЕСЛИ(βрасч>=βкрит;"Ошибка";"Принято") По остальным критериям расчеты выполняются по той же 12 методике самостоятельно. Результат должен выглядеть следующим образом (Рис. 13). Рис. 13. Таблицы расчетов по критериям Полученные значения средних и их дисперсий можно проверить с помощью статистических гипотез. Проверка статистических гипотез Под статистической гипотезой принято понимать любое (разумное с точки зрения теории вероятностей) предположение о закономерностях, которым подчиняется исследуемый случайный объект (случайное событие, случайная величина, система случайных величин или случайная функция). Статистическую гипотезу принято обозначать символом H (по первой букве греческого слова hypothesis – предположение). Примерами статистических гипотез могут служить следующие предположительные высказывания: Вероятность случайного события А равна заданному числу p (символическая запись этой гипотезы имеет вид H: P(A) = p). Среднее значение (математическое ожидание) случайной величины X равно μ, где μ – некоторое фиксированное число (H: M (X) = μ). Статистическая гипотеза выдвигается на основании теоретических соображений, вытекающих из сущности исследуемого случайного явления, или исходя из результатов предварительного 13 анализа данных наблюдения над этим явлением. Если исследуемый случайный объект характеризуется l параметрами и гипотеза H задает конкретные числовые значения всех этих параметров, то она называется простой. Если же хотя бы один из l параметров задан не одним конкретным числом, а указанием интервала его возможных значений, то гипотеза называется сложной. Так, например, гипотеза «вероятность случайного события А равна 0.8», однозначно задающая единственный параметр случайного события – его вероятность, является простой гипотезой. Гипотеза «вероятность случайного события А не превышает 0.8» является сложной, так как задает вероятность события А не конкретным числом, а указанием интервала (0, 0.8] ее возможных значений. Статистическая гипотеза, подлежащая проверке, называется основной, или нулевой, гипотезой и обозначается символом H0. Любая другая гипотеза относительно исследуемого случайного объекта называется альтернативной (конкурирующей) гипотезой, или просто альтернативой. Так, например, если основная гипотеза H0 содержит предположение, что среднее случайной величины X равно 2.7 (H0 : M(X) = 2.7), то в качестве альтернативы может фигурировать одно из следующих предположений: а) H1 : M(X) > 2.7; б) H2 : M(X) < 2.7 ; в) H3 : M(X) ≠ 2.7 . Конечная цель проверки всякой статистической гипотезы состоит в том, чтобы принять или отклонить проверяемую гипотезу. Решение этого вопроса зависит от того, согласуется проверяемая гипотеза с фактическими данными наблюдения или нет. Если гипотеза не противоречит опытным данным, то ее принимают, если же она противоречит реальным результатам эксперимента, ее отклоняют. Правило, по которому принимается или отклоняется статистическая гипотеза, называется статистическим критерием. Следует подчеркнуть, что с помощью статистического критерия можно отвергнуть проверяемую гипотезу, но нельзя ее доказать. Самое большое, что можно утверждать относительно при- 14 нятой гипотезы, так это то, что она не противоречит реальным результатам наблюдения. Только в этом смысле и надо воспринимать положительный исход проверки гипотезы. Проверка любой статистической гипотезы основана на случайной выборке, объем которой всегда конечен. Поэтому каким бы статистическим критерием мы не пользовались, при проверке простой гипотезы H0 против простой альтернативы H1 возможны следующие ошибки: – отклонить проверяемую гипотезу H0, когда она верна (ошибка 1-го рода); – принять проверяемую гипотезуH0, когда верна гипотеза H1 (ошибка 2-го рода). Вероятность ошибки 1-го рода равна уровню значимости критерия ( Pош1 = α ). Таким образом, выбирая уровень значимости α , мы тем самым «автоматически» устанавливаем вероятность Pош1 ошибки 1-го рода. Чем меньше уровень значимости α, тем меньше риск ошибочного отклонения проверяемой гипотезы. Ошибка 2-го рода происходит в том случае, когда верна альтернативная гипотеза H1, а выборочное значение u статистики U попало в область Ωпр принятия проверяемой гипотезы, следовательно, вероятность такой ошибки Pош2 = P(U < u(α)) | H1. Вероятность ошибки 2-го рода принято обозначать β (Pош2 ≡ β). Большинство гипотез имеют реализации как в функциях Excel, так и в надстройке Анализ данных. Попробуйте самостоятельно выполнить проверки средних и дисперсий ваших выборок средствами надстройки. Проверка средних значений Для проверки средних можно использовать: Двухвыборочный z-тест для средних (z-Test: Two Sample for Means) – для выборок с известными дисперсиями; Двухвыборочный t-тест для средних с одинаковыми дисперсиями (tTest: Two-Sample Assuming Equal Variances) для выборок с неизвестными и равными дисперсиями; Двухвыборочный t-тест для средних с различными дисперсиями (t15 Test: Two-Sample Assuming Unequal Variances) для выборок с неравными дисперсиями; Парный двухвыборочный t-тест для средних (t-Test: Paired Two Sample for Means) для выборок с предполагаемой гипотетической разницей их дисперсий; Проверка дисперсий Для проверки равенства дисперсий можно использовать: Двухвыборочный F-тест для дисперсий (F-Test: Two Sample for Variances) оценивает равенство дисперсий для двух выборок. Реализация решения в Excel Возьмите данные описательной статистики и сами выборки и сравните между ними равенство средних, например, берем 2 и 3 выборки и проверяем равенство их средних одним из тестов, для двух других выборок – с помощью другого теста и т.д. Всего хотелось бы видит три четыре решения и выводы по ним. 16
