1 Лекция № 6 Элементы математической статистики

Лекция № 6
Элементы математической статистики.
Генеральная дисперсия. Выборочная дисперсия. Вычисление дисперсии. Доверительный интервал.
Цель: изучить элементы математической статистики.
Задачи:
1. Дать понятия генеральной и выборочной совокупности.
2. Рассмотреть статистические оценки параметров распределения.
3. Дать понятия генеральной и выборочной дисперсий.
4. Рассмотреть понятие доверительной вероятности и доверительного интервала
Желаемый результат:
Студенты должны знать понятия генеральной, выборочной дисперсии, доверительного
интервала и уметь находить их.
Учебные вопросы:
1. Элементы математической статистики. Выборный метод.
2. Генеральная и выборочная совокупности.
3. Способы отбора.
4. Статистические оценки параметров распределения.
5. Генеральная дисперсия. Выборочная дисперсия. Вычисление дисперсии.
6. Оценка генеральной дисперсии. Точность оценки.
7. Доверительная вероятность. Доверительный интервал.
Установление закономерностей, которым подчинены массовые случайные явления, основано на изучении методами теории вероятностей статистических данных - результатов наблюдений.
Первая задача математической статистики - указать способы сбора и группировки статистических сведений, полученных в результате наблюдений или экспериментов.
Вторая задача математической статистики - разработать методы анализа статистических данных в зависимости от целей исследования. Сюда относятся:
а) оценка неизвестной вероятности события, оценка неизвестной функции распределения;
оценка параметров распределения, вид которого известен; оценка зависимости случайной величины от одной или нескольких случайных величин и др.
б) проверка статистических гипотез в виде неизвестного распределения или о величине параметров распределения, вид которого известен.
Современная математическая статистика разрабатывает способы определения числа
необходимых испытаний до начала исследования (планирование эксперимента) в ходе исследования (последовательный анализ) и решает многие другие задачи.
Современную математическую статистику определяют как науку о принятии решений
в условиях неопределенности.
Итак, задача математической статистики состоит в создании методов сбора, отбора и
обработки статистических данных для получения научных и практических выводов.
Генеральная и выборочная совокупность.
Пусть требуется изучить совокупность однородных объектов относительно некоторого
качественного и количественного признака, характеризующего эти объекты. При этом не всегда имеется возможность обследовать каждый объект изучаемой совокупности. В таких случаях случайно отбирают из всей совокупности ограниченное число объектов и подвергают их
изучению.
Определение. Множество значений случайной величины, полученное в результате наблюдений над нею, называют случайной выборкой или выборочной совокупностью, или просто
выборкой .
1
Определение. Совокупность всех возможных значений исследуемой случайной величиной или совокупности всех объектов, из которых производится выборка, называется генеральной совокупностью.
При составлении выборки можно поступать двумя способами: после того как объект отобран и над ним произведено исследование или наблюдение, он может быть возвращен
либо нет в генеральную совокупность. Поэтому выборку подразделяют на повторную и бесповторную.
1.Повторной называют выборку, при которой отобранный объект возвращается в генеральную совокупность.
2.Бесповторной называют выборку, при которой отобранный объект в генеральную совокупность не возвращается.
На практике обычно пользуются бесповторной выборкой. Для того, чтобы по данным
можно было достаточно уверенно судить об интересующем нас признаке генеральной совокупности, необходимо, чтобы объекты выборки правильно его представляли, т.е. выборка
должна правильно представлять пропорции генеральной совокупности. Это требование коротко формулируют так: « Выборка должка быть представительной (репрезентативной)»
В силу закона больших чисел можно утверждать, что выборка будет репрезентативной,
если еѐ осуществлять случайно. Если объем генеральной совокупности достаточно велик, а
выборка составляет лишь малую часть еѐ, то различие между повторной и бесповторной выборкой стирается, в предельном случае, когда рассматривается бесконечная генеральная совокупность, а выборка имеет конечный объем, это различие исчезает.
Способы отбора.
Существуют различные способы отбора. В зависимости от способа отбора различают
выборки следующих типов:
1. случайная выборка с возвратом;
2. случайная выборка без возврата;
3. механическая выборка;
4. типическая выборка;
5. серийная выборка.
Рассмотрим образование случайных выборок с возвратом и 6eз возврата. Часто для образования случайной выборки элементы генеральной совокупности предварительно нумеруют
и каждый номер записывают на отдельную карточку. После тщательного перемешивания карточек, наугад вынимают одну, и номер этой карточки совпадает с номером объекта, который
отбирают.
Тогда I способ - вынутая карточка возвращается в пачку, после фиксации номера и карточки
тщательно перемешиваются. Выборочную совокупность, образованную по такой схеме, называют случайной выборкой с возвратом.
Второй способ - вынутая карточка после записи номера в пачку не возвращается. Повторяя по
такой схеме выборки по одной карточке, можно получить выборочную совокупность любого
объема.
Выборочную совокупность, образованную по этому способу, называют случайной выборкой без возврата.
Однако при большом объеме генеральной совокупности описанный выше способ образования случайной выборки I и 2 является очень трудоемким...
В этом случае пользуются таблицами случайных величин, в которых числа расположены в
случайном порядке. Например, если требуется отобрать 50 объектов из пронумерованной генеральной совокупности, то открывают любую страницу таблицы и выписывают подряд 50
чисел: в выборку попадают те объекты, номера которых совпадают с выписанными случайными числами. Если случайное число таблицы окажется больше объема генеральной совокупности, то такое число пропускают.
Отметим, что различие между выборками с возвратом и без возврата стирается, если
они составляют незначительную часть большой генеральной совокупности.
2
3. При механическом способе - образования выборочной совокупности подлежащие обследованию элементы генеральной совокупности отбирают через определенный интервал. Например,
если нужно отобрать 20% изготовленных деталей, то отбирают каждую пятую деталь, если
требуется отобрать 5% деталей, то отбирают каждую 20-ю деталь и т.д.
4. При большем количестве выпускаемой однородной продукции, когда в еѐ изготовлении принимают участие различные станки и даже цехи, то для образования репрезентативной выборки
пользуются типическим способам отбора. В этом случае генеральную совокупность предварительно разбивают на непересекающиеся группы. Затем из каждой группы по схеме случайной
выборки с возвратом или без возврата отбирают определенное число элементов. Они и образуют выборочную совокупность, которая называется типической.
Пусть, например, выборочным путем исследуется продукция цеха, в котором имеется
10 станков, производящих одну и ту же продукцию. Пользуясь схемой случайной выборки с
возвратом или без возврата, отбирают изделия из продукции сделанной на первом, затем втором станке и т.д. Это и будет типическая выборка.
5. Иногда на практике бывает целесообразно использовать серийный способ отбора, идея
которого заключается в том, что генеральную совокупность разбивают на некоторое количество
непересекающихся серий и по схеме I или 2 случайной выборки контролируют все элементы
лишь отобранных серий. Серийным отбором пользуются в случае, если обследуемый признак
колеблется в различных сериях незначительно.
Какому способу отбора следует отдать предпочтение в той или иной ситуации, следует
следить, исходя из требований поставленной задачи и условий производства. Отметим, что на
практике при составлении выборки часто используют одновременно несколько способов отбора
в комплексе.
Статистическое распределение выборки
Пусть из генеральной совокупности извлечена выборка, причем х 1 наблюдалась n1 раз,
х2 - n2 раз и т.д. и ∑nj=n – объем выборки. Наблюдаемые значения хi называются вариантами,
а последовательность вариантов записанных в возрастающем порядке, - вариационным рядом.
n
Число наблюдений называют частотами, а их отношения к объѐму выборки i wi , относиn
тельными частотами.
Статистическим распределением выборки называют перечень вариант и соответствующих им частот или относительных частот. Статистическое распределение можно задать
также в виде последовательности интервалов и соответствующих им частот.
Заметим, что в теории вероятностей под распределением понимают соответствие между возможными значениями случайной величины и их вероятностями, в математической статистике – соответствие между наблюдаемыми вариантами и их частотами, или относительными частотами.
Статистические оценки параметров распределения.
Пусть имеются лишь данные выборки x1, x2,…,xn полученные в результате n наблюдений (независимых). Через эти данные и выражают оцениваемый параметр. Рассматривая
x1, x2,…,xn как независимые случайные x1, x2,…,xn можно сказать, что найти статистическую
оценку неизвестного параметра теоретического распределения – это значит найти функцию
от наблюдаемых случайных величин, которая и даѐт приближенное значение оцениваемого
параметра.
Таким образом, статистической оценкой неизвестного параметра теоретического распределения называют функцию от наблюдаемых случайных величин.
Сформулируем задачу оценки параметров в общем виде. Пусть X случайная величина,
подчиненная закону распределения F(X,θ) где θ (тэта) - параметр распределения, числовые
значение которого неизвестно. Всякую однозначно определенную функцию результатов наблюдений, с помощью которой судят о значении параметра θ называют - оценкой (или статистикой ) параметра – θ. Выбор оценки, позволяющей получить хорошее приближение оцениваемого параметра - основная задача теории оценивания...
3
Основными свойствами оценок являются свойства несмещенности, эффективности
~
и состоятельности. Обозначим выборочную оценку параметра θ через n (иногда, обозначают ˆn ) тогда можно записать
~
f ( x1, x2 ,..., xn )
n
~
Определение. Оценку n параметра θ называют несмещенной, если еѐ математическое ожи~
дание равно оцениваемому параметру θ т.е. M( n )= θ.
~
Если это равенство не выполняется» то оценка n может либо завышать значение θ (т.е.
~
~
M( n )>θ) либо занижать его ( т.е. M( n )<θ). В обоих случаях это приводит к систематическим
(одного знака) ошибкам в оценке параметра θ. Требование несмещенности гарантирует отсутствие систематических ошибок при оценке параметров.
Определение. Смещенной называют оценку, математическое ожидание которой не равно
оцениваемому параметру.
Определение. Несмешанную оценку θ которая имеет наименьшую дисперсию среди всех
возможных несмещенных оценок параметра θ вычисленных по выборкам одного и того же
объема, называют эффективной оценкой.
~
Определение. Оценку n параметра θ называют состоятельной, если она подчиняется закону
больших чисел, т.е. при достаточно большом числе независимых наблюдений n с вероятно~
стью близкой к единице, можно утверждать, что разность между n и θ по абсолютной величине окажется меньше сколь угодного малого положительного числа
~
ε или P{| n - θ |< ε }>1-η, где η - положительное число, близкое к кулю.
Например, если дисперсия несмещенной оценки при n→∞ стремится к нулю, то такая
оценка оказывается и состоятельной.
На практике при оценке параметров не всегда удается удовлетворить одновременно требованиям несмещенности, эффективности и состоятельности оценки.
Оценка математического ожидания и дисперсии по выборке.
Наиболее важными числовыми характеристиками случайной величины является математическое ожидание и дисперсия. Рассмотрим какие выборочные характеристики оценивают мат.ожидание и дисперсию.
Теорема. Средняя арифметическая X вычисленная по "n" независимых наблюдением над
случайной величиной X, которая имеет математическое ожидание μ является несмещенной
оценкой этого параметра т.е. M (x )
Теорема. Средняя арифметическая x вычисленная по " n " независимым наблюдениям над
случайной величиной Х, которая имеет математическое ожидание μ и дисперсию ζ2 является
состоятельной оценкой этого параметра.
Теорема. Если случайная величина Х распределена по нормальному закону с параметрами
(μ, ζ2), то несмещенная оценка x математического ожидания μ имеет минимальную диспер2
сию, равную
поэтому средняя арифметическая x в этом случае является эффективной
n
оценкой математического ожидания.
Теорема. Если случайная выборка состоит из n независимых наблюдений над случайной величиной X c математическим ожиданием μ и дисперсией ζ2, то выборочная дисперсия S2 будет равна
1 n
S2
( xi x ) 2
ni1
и она не является несмещенной оценкой генеральной дисперсии.
Заметим, что оценка S2 эффективна лишь при условии нормальности распределения
случайной величины Х в генеральной совокупности.
4
Величину S 2
1
n 1i
n
( xi x ) 2 называют исправленной выборочной дисперсии.
1
Генеральная средняя.
Пусть изучается дискретная генеральная совокупность относительно количественного
признака Х Тогда справедливо определение
x
Генеральной средней
называют среднее арифметическое значений признака генеxã
ральной совокупности.
Если все значения х1,х2,…,хN признака генеральной совокупности объема N различны, то
x1 x 2 ... x N
xr
N
Если же все значения признака х1,х2,…,хk имеют частоты N1, N2,…, Nk причѐм N1+ N2+…+
Nk=N то
x1 N1 x2 N 2 x k N k
xr
N
т.е. генеральная средняя есть средняя взвешенная значений признака с весами соответствующим частота.
Выборочная средняя
Пусть для изучения генеральной совокупности относительно количественного признака Х извлечена выборка объема n.
Определение. Выборочной средней xb называют среднее арифметическое значение признака
выборочной совокупности.
Если все значения х1,х2,…,хn признака выборки объема различны, то
x1 x2 ... xт
xb
n
Е с л и ж е з н а ч е н и я х1,х2,…,хk имеют соответственно частоты n1,n2,…,nk то
n1 x1 n2 x2 ... nk xk
xb
n
и ли
n
ni xi
xb
i 1
n
т.е. выборочная средняя есть средняя взвешенная значений признака с весами, равными соответствующим частотам.
Групповая и общая средние.
Допустим что все значения количественного признака X совокупности безразлично генеральной или выборочной разбить на несколько групп. Рассматривая каждую группу как
самостоятельную совокупность, можно найти еѐ среднюю арифметическую.
Групповой средней называют среднее арифметическое значений признака, принадлежащих
группе.
Общей средней x называют среднее арифметическое значений признака, принадлежащих
всей совокупности
Зная групповые средние и объемы групп, можно найти общую среднюю: Общая средняя равна средней арифметической групповой средних, взвешенной по объемам группы.
Отклонением называют разность xi x между значением признака и общей средней.
Теорема. Сумма произведений отклонений на соответствующие частоты равна нулю.
5
n
ni ( х i
х)
0
i 1
Следствие. Среднее значение отклонения равно нулю.
Действительно.
ni ( xi x )
0
0
ni
ni
Генеральная дисперсия.
Для того, чтобы охарактеризовать рассеяние значений количественного признака Х генеральной совокупности вокруг своего среднего значения, вводят сводную характеристику генеральную дисперсию.
Определение. Генеральной дисперсией Dg называют среднее арифметическое квадратов отклонений значений признака генеральной совокупности от их среднего значения xã .
Если все значения х1х2,…,хn признака генеральной совокупности объема N различны, то:
n
( õi
Dã
õ2 ) 2
i 1
N
Если же значения признака х1х2,…,хn имеют соответственно частоты: N1,N2,…,Nk причем
N1+N2+…+Nk=N то:
n
N i ( õi
Dã
õ2 ) 2
i 1
N
т.е. генеральная дисперсия есть средняя взвешенность квадратов отклонений с весами, равными соответствующим частотам. Кроме дисперсии для характеристики рассеяния значений
признака генеральной совокупности вокруг своего среднего значения пользуются сводной характеристикой - средним квадратичным отклонением.
Определение. Генеральным средним квадратическим отклонением (стандартом) называют
Dã
квадратный корень из генеральной дисперсии: 2
Выборочная дисперсия. Для того, чтобы охарактеризовать рассеяние наблюдаемых значений
количественного признака выборки вокруг своего среднего значения xb
вводят сводную
характеристику – выборочную дисперсию.
Определение. Выборочной дисперсией Dв называют среднее арифметическое квадратов отклонения наблюдаемых значений признака от их среднего значения xb .
Если все значения признака х1х2,…,хn выборки объема n различны, то
n
( õi
Db
õb ) 2
i 1
n
Если же значения признака х1х2,…,хn имеют соответственно частоты n1,n2,…,nn причем
n1+n2+…+nn=n
ni ( xi xb )2
Db
n
т.е. выборочная дисперсия есть средняя взвешенная квадратов отклонений с весами, равными
соответствующим частотам.
Кроме дисперсии для характеристики рассеяния значений признака выборочной совокупности
вокруг своего среднего значения пользуются сводной характеристикой - средним квадратическим отклонением.
Определение. Выборочным средним квадратически отклонением (стандартом) называется
Db .
квадратный корень из выборочной дисперсии b
Формула для вычисления дисперсии.
6
Вычисление дисперсии, безразлично - выборочной или генеральной, можно упростить, используя теорему: Дисперсия равна среднему квадратов значений признака минус квадрат
2
общей средней: D x 2 x .
n
n
ni xi
Где: x
i 1
ni xi
, x2
2
i 1
.
n
n
Пример. Найти дисперсию по данному распределению:
=1 2 3 4
=20 15 10 5
Решение.
20 1 15 2 10 3 5 4
х
20 15 10 5
2
Найдем:
20 12 15 22 10 32 5 42
5
20 15 10 5
Искомая дисперсия D= x 2-[ x ]2=5-22=1
Допустим, что все значения количественного признака Х совокупности безразличногенеральной или выборочной, разбиты на группы.
Тогда:
Определение. Групповой дисперсией называют дисперсию значений признака, принадлежащих группе, относительно групповой средней.
n i ( xi x j ) 2
D
Nj
Где ni частота значения xi; j-номер группы; x j-групповая средняя группы j;
ni N j
Nj-объем группы j, причем
2
õ
i 1
Зная дисперсию каждой группы, можно найти их среднюю арифметическую:
Определение. Внутригрупповой дисперсией называют среднюю арифметическую дисперсий
взвешенную по объемам групп:
n i ( xi x j ) 2
D
Nj
Где Nj-объем группы j, n=
N j объем всей совокупности.
i 1
Зная групповые средние и общую среднюю, можно найти дисперсию групповых средних относительно общей средней.
Определение. Межгрупповой дисперсией называют дисперсию групповых средних относительно общей средней:
N j (x j x)2
D м ежгр
n
где хj - групповая средняя группы j, Nj- объем группы j, x - общая средняя; n= N j объем всей
i 1
совокупности.
Теперь введем определение для дисперсии всей совокупности.
Определение. Общей дисперсией называют дисперсию значений признака всей совокупности
относительно общей средней
n i ( xi x ) 2
Dобщ
n
7
где ni частота значения xi; x — общая средняя, n-объем всей совокупности. Сложение дисперсии:
Теорема. Если совокупность состоит из нескольких групп, то общая дисперсия равна сумме
внутригрупповой и межгрупповой дисперсий:
Dобщ=Dвн гр +Dмеж гр
Данная теорема имеет не только теоретическое, но и важное практическое значение, а именно, непосредственно вычисление общей дисперсии можно заменить вычислением дисперсий
отдельных групп, что облегчает расчеты.
Оценка генеральной дисперсии по исправленной выборочной.
Пусть из генеральной совокупности в результате n независимых наблюдений над количественным признаком Х извлечена повторная выборка:
значения признака х1х2,…,хn
частоты n1,n2,…,nk
При этом n1+n2+…+nk=n
Если в качестве оценки генеральной дисперсии принять выборочную дисперсию, то
эта оценка будет приводить к систематическим ошибкам, давая заниженное значение генеральной дисперсии. Объясняется это тем, что выборочная дисперсия является смещенной оценкой Dг, другими словами, математическое ожидание выборочной дисперсии , не равно оцениваемой генеральной дисперсии, а равно:
n 1
M Db
Dã
n
Легко "исправить" выборочную дисперсию так, чтобы еѐ математическое ожидание
было равно генеральной дисперсии. Достаточно для этого умножить
Dв на дробь n/(n -1).
Сделав это, получим исправленную дисперсию, которую обычно обозначают через s2
ni ( x xb ) 2
ni ( x xb ) 2
n
n
2
s
Db
n 1
n 1
n
n 1
исправленная дисперсия является, конечно, несмешанной оценкой генеральной дисперсии.
Итак, в качестве оценки генеральной дисперсии примем исправленную дисперсию
n
ni ( xi
s2
xb ) 2
i 1
n 1
Для оценки среднего квадратического отклонения генеральной совокупности использует "исправленное" среднее квадратическое отклонение, которое равно корню квадратному из исправленной дисперсии
s
ni ( xi
xb ) 2
(n 1)
Точность оценки, доверительная вероятность, доверительный интервал.
Точечной называет оценку, которая определяется одним числом. Все оценки рассмотренные
нами ранее - точечные. При выборке малого объема точечная оценка может значительно отличаться от оцениваемого параметра, т.е. приводить к грубым ошибкам. По этой причине при
небольшом объеме выборки следует пользоваться интервальными оценками.
Интервальной называют оценку, которая определяется двумя числами - концами интервала.
Пусть найденная по данным выборки статистическая характеристика θ * служит оценкой неизвестного параметра θ. Будем считать θ постоянным числом, она (θ ) может быть и случайной
величиной. Ясно, что θ* тем точнее определяет параметр θ чем меньше абсолютная величина
разности | θ – θ* |. Другими словами, если δ>0 и | θ – θ* |<δ то чем меньше δ тем точнее оценка.
Таким образом, число δ характеризует точность оценки.
Однако, статистические методы не позволяют утверждать, что оценка θ * удовлетворяет неравенству | θ – θ* | <δ можно лишь говорить о вероятности γ с которой это неравенство осуществляется.
8
Определение. Надежностью (доверительной вероятностью) оценки θ по θ* называют вероятность γ, с которой осуществляется неравенство |θ - θ*|<δ. Обычно надежность оценки задается наперед, причем в качестве γ берут число, близкое к единице. Наиболее часто задают надежность равную 0,95; 0,99; и 0,999.
Пусть вероятность того, что |θ - θ*|<δ равна γ: Р[|θ - θ*|<δ]= γ.
Заменив неравенство |θ - θ*|<δ равносильным ему двойным неравенством -δ< θ -θ*<δ или
θ*-δ< θ < θ*+δ
Тогда имеем: P[θ*-δ< θ < θ*+δ]=γ
Это соотношение следует понимать так: вероятность того, что интервал
(θ*-δ, θ*+δ) заключает в себе (покрывает) неизвестный параметр θ, равна γ. Доверительным
называют интервал (θ*-δ, θ*+δ), который покрывает неизвестный параметр с заданной надежностью γ.
Метод доверительных интервалов разработал американский статистик Ю.Нейман исходя из идеи английского статистика Р.Фишера.
Выбор доверительной вероятности не является математической задачей, а определяется конкретно решаемой проблемой. Покажем это на примере:
Пусть на двух предприятиях вероятность выпуска годных изделий γ=0,92, т.е. вероятность
выпуска бракованных изделий α=0,01.
Пусть одно предприятие выпускает электролампы, а другое парашюты. Если на 100
ламп встретится одна бракованная, то с этим мириться можно при условии, что выбросить 1%
ламп дешевле, чем перестроить технологический процесс. Если же на 100 парашютов встретится 1 бракованный, что может повлечь за собой серьезные последствия, то с таким положением мириться нельзя. Следовательно, в первом случае вероятность брака α приемлема, во
втором нет, поэтому выбор доверительной вероятности γ следует производить исходя из конкретных условий задачи.
Доверительные интервалы для оценки математического ожидания при известном ζ.
Пусть случайная величина Х распределена нормально, причем среднее квадратическое отклонение ζ этого распределения известно. Требуется оценить неизвестное математическое ожидание. Наилучшей оценкой математического ожидания в смысле несмещенности, состоятельности и эффективности, как было указано ранее, является выборочное среднее.
Известно, что выборочное среднее Х распределено нормально с параметрами M[ x ]=μ,
x
D( x )=ζ2/n нормированное отклонение
распределено также нормально и с парамет2
n
рами μ=0, ζ2 =1 поэтому вероятность любого отклонения
| x -μ| может быть вычислена по формуле:
х
Р
п
2Ф
Р
Где t
n
х
п
2Ф
t
. Найдя из последнего равенства
Р х
n

п
2Ф (t)
можно записать
2Ф (t)
Приняв во внимание, что вероятность Р задана и равна γ окончательно имеем:
t
t
P
x
x
2Ô (t )
n
n
9
Смысл полученного соотношения таков: с надежностью γ можно утверждать, что доверительt
t
t
, x
ный интервал x
покрывает неизвестный параметр μ точность оценки
.
n
n
n
Итак, поставленная задача полностью решена. Укажем, что число t определяется из равенства
2Ф(t)=γ или Ф(t)=γ/2 по таблице находят аргумент t, которому соответствует значение функции Лапласа, равное γ/2
Замечание I. Оценку | x -μ|<tζ/√n называют классической. Из формулы δ=tζ/√n, определяющей точность классической оценки, можно сделать следующие выводы:
1) При возрастании объема выборки n число δ убывает и следовательно точность оценки
увеличивается.
2) Увеличение надежности оценки γ=2Ф(t) приводит к увеличению t(Ф(t) возрастная
функция, следовательно, и к возрастанию δ, другими словами, увеличение надежности классической оценки влечет за собой уменьшение еѐ точности.
Доверительные интервалы для оценки математического ожидания нормального распределения при неизвестном ζ.
Пусть количественный признак Х генеральной совокупности распределен нормально,
причем среднее квадратичное отклонение ζ известно. Требуется оценить неизвестное математическое ожидание с помощью доверительных интервалов.
Оказывается, что по данным выборки можно построить случайную величину (еѐ возможные
значения будем обозначать через t ):
x
T
s
n
которая имеет распределение Стьюдента с k=n-1 степенями свободы, где x - выборочная
средняя; s - "исправленное" среднее квадратическое отклонение; n -объем выборки.
Плотность распределения Стьюдента: s (t , n)
t2
Bn 1
n 1
n
2
n
2
Bn
Где
(n 1) Ã (n 1) / 2
Мы видим, что распределение Стьюдента определяется параметром n-объемом выборки или
число степеней свободы n и не зависит от неизвестных параметров μ и ζ, эта особенность является его большим достоинством.
Вероятность определяется так:
Ã
Q
x
1
n
Заменив неравенство в скобках равносильным ему двойным неравенством, получим :
ts
ts
P x
x
n
n
Итак, пользуясь распределением Стьюдента, мы нашли доверительный интервал
ts
ts
x
; x
, покрывающий неизвестный параметр μ с надежностью γ. По таблице по
n
n
заданным n и γ можно найти γ. Таким образом, для оценки математического ожидания случайной величины, распределенной нормально, по малым выборкам при неизвестных ζ следует
пользоваться t распределением Стьюдента.
10
Вопросы для самоконтроля:
1. Что называется выборкой? Напишите формулу для вычисления средней.
2. Какие оценки называются точечными? Дайте определения несмещенной и состо ятельной оценки.
3. Какие оценки называются интервальными? В каких случаях следует использовать
интервальную оценку?
4. Что называется генеральной дисперсией? Выборочной дисперсией? Как они в ычисляются?
5. Как найти доверительные интервалы для оценки математического ожидания но рмального распределения?
Лекция № 7
Статистическая гипотеза
Цель: изучить понятие статистической гипотезы и общую схему проверки статистических гипотез.
Задачи:
1. Дать понятие статистической гипотезы.
2. Рассмотреть общую схему ее проверки.
Желаемый результат:
Студенты должны знать понятие статистической гипотезы и уметь ее проверять.
Учебные вопросы:
1. Принцип практической уверенности.
2. Статистическая гипотеза и общая схема ее проверки.
1. Принцип практической уверенности
Прежде чем перейти к рассмотрению понятия статистической гипотезы, сформулируем
так называемый принцип практической уверенности, лежащий в основе применения выводов и рекомендаций с помощью теории вероятностей и математической статистики:
Если вероятность события А в данном испытании очень мала, то при однократном выполнении испытания можно быть уверенным в том, что событие А не произойдет, и в практической деятельности вести себя так, как будто событие А вообще невозможно.
Этот принцип не может быть доказан математически; он подтверждается всем практическим опытом человеческой деятельности, и мы постоянно (хотя и бессознательно) им руководствуемся. Например, отправляясь самолетом в другой город, мы не рассчитываем на возможность погибнуть в авиационной катастрофе, хотя некоторая (весьма малая) вероятность
такого события все же имеется.
2. Статистическая гипотеза и общая схема ее проверки
С теорией статистического оценивания параметров тесно связана проверка статистических гипотез. Она используется всякий раз, когда необходим обоснованный вывод о преимуществах того или иного способа инвестиций, измерений, стрельбы, технологического процесса, об эффективности нового метода обучения, управления, о пользе вносимого удобрения,
лекарства, об уровне доходности ценных бумаг, о значимости математической модели и т.д.
Определение. Статистической гипотезой называется любое предположение о виде
или параметрах неизвестного закона распределения.
Различают простую и сложную статистические гипотезы. Простая гипотеза, в отличие
от сложной, полностью определяет теоретическую функцию распределения случайной величины. Например, гипотезы «вероятность появления события в схеме Бернулли равна 1/2»,
«закон распределения случайной величины нормальный с параметрами a=0, ζ2=1 являются
11
простыми, а гипотезы «вероятность появления события в схеме Бернулли заключена между
0,3 и 0,6», «закон распределения не является нормальным» — сложными.
Проверяемую гипотезу обычно называют нулевой и обозначают H0. Наряду с нулевой
гипотезой H0 рассматривают альтернативную, или конкурирующую, гипотезу H1, являющуюся логическим отрицанием H0. Нулевая и альтернативная гипотезы представляют собой две
возможности выбора, осуществляемого в задачах проверки статистических гипотез.
Суть проверки статистической гипотезы заключается в том, что используется специально составленная выборочная характеристика (статистика) Ɵn(x1,…, xn), полученная по
выборке x1,…xn, , точное или приближенное распределение которой известно. Затем по этому
выборочному распределению определяется критическое значение Ɵкр— такое, что если гипотеза Н0 верна, то вероятность Р(Ɵn>Ɵкр)=α мала, так что в соответствии с принципом практической уверенности в условиях данного исследования событие Ɵn>Ɵкр можно (с некоторым
риском) считать практически невозможным. Поэтому, если в данном конкретном случае обнаруживается отклонение Ɵn>Ɵкр, то гипотеза Н0 отвергается, в то время как появление значения Ɵn≤Ɵкр считается совместимым с гипотезой Н0, которая тогда принимается (точнее, не
отвергается). Правило, по которому гипотеза Н0 отвергается или принимается, называется
статистическим критерием.
Таким образом, множество возможных значений статистики критерия (критической
статистики) Ɵn разбивается на два непересекающихся подмножества: критическую область
(область отклонения гипотезы) W и область допустимых значений (область принятия гипотезы) G. Если фактически наблюдаемое значение статистики критерия Ɵn попадает в критическую область W, то гипотезу H0 отвергают. При этом возможны четыре случая (таблица 1).
Определение. Вероятность α допустить ошибку 1-го рода, т.е. отвергнуть гипотезу H0,
когда она верна, называется уровнем значимости критерия. Вероятность 1-α не допустить
ошибку первого рода, т.е. принять гипотезу H0, когда она верна, иногда называют оперативной характеристикой критерия.
Вероятность допустить ошибку 2-го рода, т.е. принять гипотезу H0, когда она неверна,
обычно обозначают β..
Определение. Вероятность (1-β) не допустить ошибку 2-го рода, т.е. отвергнуть гипотезу H0, когда она неверна, называется мощностью (или функцией мощности) критерия.
Гипотеза Н0
Верна (1-α)
Неверна β
Принимается
Правильное решение
Ошибка 2-го рода
Таблица 1
Отвергается
Ошибка 1-го рода
Правильное решение
Пользуясь терминологией статистического контроля качества продукции, можно сказать, что вероятность а представляет «риск поставщика», связанный с забраковкой по результатам выборочного контроля изделий всей партии, удовлетворяющей стандарту, а вероятность β — «риск потребителя», связанный с принятием по анализу выборки партии, не удовлетворяющей стандарту.
Возможностью двойной ошибки (1-го и 2-го рода) проверка гипотез отличается от рассматриваемого выше интервального оценивания параметров, в котором имелась лишь одна
возможность ошибки: получение доверительного интервала, который на самом деле не содержит оцениваемого параметра.
Вероятности ошибок 1-го и 2-го рода (α и β ) однозначно определяются выбором критической области. Очевидно, желательно сделать как угодно малыми (α и β). Однако это противоречивые требования: при фиксированном объеме выборки можно сделать как угодно малой лишь одну из величин — а или р, что сопряжено с неизбежным увеличением другой.
Лишь при увеличении объема выборки возможно одновременное уменьшение вероятностей а
и р.
Какими принципами следует руководствоваться при построении критической области W ?
12
Предположим, что используемая для проверки нулевой гипотезы H0 статистика критерия Ɵn имеет нормальный закон распределения N(α0; ζ2). В качестве критической области, отвечающей уровню значимости, можно взять множество областей - таких, что площадь соответствующих им криволинейных трапеций под кривой распределения составляет 5/100 от общей площади под кривой распределения.
В зависимости от вида конкурирующей гипотезы Н1, выбирают правостороннюю, левостороннюю или двустороннюю критическую область.
Границы критических областей Ɵкр при заданном уровне значимости α определяются соответственно из соотношений:
для правосторонней критической области P(Ɵn>Ɵкр)=α,
для левосторонней критической области P(Ɵn<Ɵкр)=α,
для двусторонней критической области P(Ɵn<Ɵкр.1)=P(Ɵn>Ɵкр.2)=α/2.
Принцип проверки статистической гипотезы не дает логического доказательства ее
верности или неверности. Принятие гипотезы Н1 в сравнении с альтернативной Н0 не означает, что мы уверены в абсолютной правильности H0 или что высказанное в гипотезе Н0 утверждение является наилучшим, единственно подходящим; просто гипотеза Н0 не противоречит
имеющимся у нас выборочным данным, таким же свойством наряду с H0 могут обладать и
другие гипотезы. Более того, возможно, что при увеличении объема выборки п либо при испытании Н0 против другой альтернативной гипотезы Н2 гипотеза Н0 будет отвергнута. Так
что принятие гипотезы Н0 следует расценивать не как раз и навсегда установленный, абсолютно верный содержащийся в ней факт, а лишь как достаточно правдоподобное, не противоречащее опыту утверждение.
В описанной выше схеме проверка гипотез основывается на предположении об известном законе распределения генеральной совокупности, из которого следует определенное распределение критерия. Критерии проверки таких гипотез называются параметрическими. Если закон распределения генеральной совокупности неизвестен, то соответствующие критерии
получили название непараметрических. Естественно, что непараметрические критерии обладают значительно меньшей мощностью, чем параметрические. Это означает, что для сохранения той же мощности при использовании непараметрического критерия по сравнению с параметрическим нужно иметь значительно больший объем наблюдений.
По своему прикладному содержанию статистические гипотезы можно подразделить на
несколько основных типов:
• о равенстве числовых характеристик генеральных совокупностей;
• о числовых значениях параметров;
• о законе распределения;
• об однородности выборок (т.е. принадлежности их одной и той же генеральной совокупности).
Вопросы для самопроверки:
1. Что называется статистической гипотезой?
2. Поясните общую схему проверки статистической гипотезы.
Лекции №8-9
Система двух случайных величин. Корреляционный момент. Коэффициент корреляции.
Множественный и частные коэффициенты корреляции.
Двумерная случайная величина
Цель: изучить элементы корреляционного анализа.
Задачи:
1. Рассмотреть основные положения корреляционного анализа.
2. Дать понятие корреляционного момента, коэффициента корреляции, его свойства.
3. Рассмотреть уравнение линейной регрессии.
4. Дать понятие многомерного корреляционного анализа.
13
Желаемый результат:
Студенты должны знать основные понятия корреляционного анализа, уметь вычислять
коэффициенты корреляции.
Учебные вопросы:
1. Основные положения корреляционного анализа.
2. Корреляционный момент.
3. Коэффициент корреляции, его свойства.
4. Линейная регрессия.
5. Множественный и частные коэффициенты корреляции.
До сих пор мы рассматривали дискретные случайные величины, которые называют
одномерными: их возможные значения определялись одним числом. Кроме одномерных величин рассматривают также величины, возможные значения которых определяются
несколькими числами. Двумерную случайную величину обозначают через (X, Y); каждая из
величин X и Y называется компонентой (составляющей). Обе величины Х и Y,
рассматриваемые одновременно, образуют систему двух случайных величин. Например, при
штамповке стальных пластинок их длина и ширина представляют собой двумерную
случайную величину.
Определение 1. Законом распределения двумерной случайной величины (X, Y) называют
множество возможных пар чисел (xi, yj) и их вероятностей p(xi, yj). Двумерную случайную
величину можно трактовать как случайную точку А(Х, Y) на координатной плоскости.
Закон распределения двумерной случайной величины обычно задается в виде таблицы, в
строках которой указаны возможные значения xi случайной величины X, а в столбцах —
возможные значения yj случайной величины Y, на пересечениях строк и столбцов указаны
соответствующие вероятности pij. Пусть случайная величина Х может принимать п значений,
а случайная величина Y - т значений. Тогда закон распределения двумерной случайной
величины (X, Y) имеет вид
y1
y2
…
yj
…
ym
x1
p11
p21
…
pj1
…
pm1
x2
p12
p22
…
pj2
…
pm2
…
…
…
…
…
…
…
xi
p1i
p2i
…
pji
…
pmi
Таблица 1.
…
xn
…
p1n
…
p2n
…
…
…
pjn
…
…
…
pmn
Из этой таблицы можно найти законы распределения каждой из случайных компонент.
Например, вероятность того, что случайная величина Х примет значение хk, равна, согласно
теореме сложения вероятностей независимых событий
P(xk)=p1k+p2k+…+pmk , k=1, 2, …, n.
(2)
Иными словами, для нахождения вероятности Р(хk) нужно просуммировать все т
вероятностей по k-му столбцу таблицы 1. Аналогично получается вероятность того, что
случайная величина Y примет возможное значение уr: Р(уr) получается суммированием всех n
вероятностей r-й строки таблицы1 (r=1,2, ... ,m). Отсюда следует, что сумма всех вероятностей
в законе распределения равна единице.
m
n
pij
1.
i 1 j 1
14
(3)
Пример 1. Задано распределение двумерной случайной величины:
Найти распределения Х, Y и Х + Y.
РЕШЕНИЕ. В нашем случае возможные значения случайной величины X: х1 = 1, х2 = 2, x3 = 3.
Тогда, согласно формуле (2), имеем P(x1) = 0,1 + 0,2 = 0,3, P(x2) = 0,15 + 0,22 = 0,37, Р(x3) =
0,12 + 0,21 = 0,33. Отсюда получаем закон распределения X:
Аналогично получаем и для распределения Y: у1 = 1, y2 = 2; P(y1) = 0,1 + 0,15 + 0,12 = 0,37,
P(y2) = 0,2 + 0,22 + 0,21 = 0,63;
Теперь найдем распределение X+Y. Возможные значения этой случайной величины: 2, 3, 4 и
5. Соответствующие вероятности Р(2) = 0,1, Р(3) = 0,15 + 0,2 = 0,35, Р(4) = 0,12 + 0,22 = 0,34,
Р(5) = 0,21. Отсюда находим искомое распределение:
В случае системы двух случайных величин используются кроме математических ожиданий
и дисперсий еще и другие числовые характеристики, описывающие их взаимосвязь.
Корреляционный момент
Определение 2. Корреляционным моментом случайных величин Х и Y (или ковариацией)
называется математическое ожидание произведений их отклонений:
Корреляционный момент служит для описания связи между случайными величинами Х и Y.
Из свойств математического ожидания легко убедиться в том, что μxy можно записать в
следующем виде:
Для непосредственного вычисления корреляционного момента (ковариации) используется
формула (см. распределение табл. 1)
n
m
xi y j pij
xy
M ( X ) M (Y ).
(4)
i 1 j 1
ТЕОРЕМА 3. Корреляционный момент двух независимых случайных величин Х и Y равен
нулю.
15
Если корреляционный момент μxу не равен нулю, то, стало быть, величины Х и Y являются
зависимыми.
Коэффициент корреляции
Из определения корреляционного момента следует, что его размерность равна
произведению размерностей величин Х и Y; например, если Х и Y измерены в сантиметрах, то
μxy имеет размерность см2.
Это обстоятельство затрудняет сравнение корреляционных моментов различных систем
случайных величин. Для устранения этого недостатка вводят безразмерную числовую
характеристику — коэффициент корреляции, величина которого не зависит от выбора
системы измерения случайных величин.
Определение 3. Коэффициентом корреляции случайных величин Х и Y называется
отношение их корреляционного момента к произведению средних квадратических
отклонений этих величин:
rxy
(5)
xy /( x y )
xy / D( X ) D(Y ).
Из определения и свойств математического ожидания и дисперсии следует важный вывод,
что абсолютная величина коэффициента корреляции не превосходит единицы:
1 rxy 1
(6)
Определение 4. Две случайные величины Х и Y называются коррелированными, если их
корреляционный момент (коэффициент корреляции) отличен от нуля; если же их
корреляционный момент равен нулю, то Х и Y называются некоррелированными.
Таким образом, две коррелированные случайные величины (т.е. при rxy ≠ 0) являются также
и зависимыми. Обратное утверждение неверно, т.е. две зависимые величины могут быть как
коррелированными, так и некоррелированными.
Пример 2. Найти корреляционный момент и коэффициент корреляции двух случайных
величин Х и Y, распределения которых заданы в предыдущем примере 1.
РЕШЕНИЕ. Воспользуемся формулами (4), (6), последовательно вычисляем: М(Х) = 2,03,
М(Y) = 1,63, D(X) = 0,629, D(Y) = 0,233,
В данном случае коэффициент корреляции близок к нулю; это означает, что случайные
величины Х и Y слабокоррелированы.
Линейная регрессия
Пусть (X, Y) — двумерная случайная величина, где Х и Y — зависимые случайные
величины. Оказывается возможным приближенное представление величины Y в виде линейной функции величины X:
Y≈g(x)=aX+b,
(7)
где а и b — параметры, подлежащие определению. Обычно эти величины определяются с
помощью метода наименьших квадратов.
Определение 5. Функция (7) называется наилучшим приближением в смысле метода
наименьших квадратов, если математическое ожидание M[Y — g(Х)] 2 принимает наименьшее
возможное значение. Функцию g(х) называют среднеквадратической регрессией Y на X.
ТЕОРЕМА 4. Линейная средняя квадратическая регрессия Y на Х имеет вид
16
g(X)=my+rxyζy/ζx(X-mx),
(8)
где rxy определяется формулой (5), ту = M(Y) и mx = М(Х) — математические ожидания
соответственно случайных величин Y и X.
Коэффициент b = rxуσу / σx называют коэффициентом регрессии Y на Х, а прямую
реализующую линейную зависимость (8) случайной величины Y от случайной величины X,
называют прямой среднеквадратической регрессии Х на Y. Поскольку зависимость (8)
является приближенной, то существует погрешность этого приближения, называемая
остаточной дисперсией:
ε2=ζ2y(1-(rxy)2)
(9)
Аналогичную форму записи имеет прямая среднеквадратическая регрессия Х на Y:
Пример 3. Найти линейную среднюю квадратическую регрессию и остаточную дисперсию
случайной величины Y на случайную величину Х по данным примеров 1 и 2.
РЕШЕНИЕ. Для двумерной случайной величины (X, Y), приведенной в примере 1, все
необходимые числовые характеристики указаны в решении примера 2: mx = 2,03, ту = 1,63,
rху = -0,023, σx = D(X ) = 0,793, σy = D(Y ) = 0,483. Из уравнения (8) получаем искомое
соотношение:
Остаточная дисперсия рассчитывается по формуле (9):
Для оценки среднеквадратичной погрешности линейной регрессии обычно используют
величину ε, в нашем случае она составляет
Понятие о многомерном корреляционном анализе.
Пусть имеется совокупность случайных переменных Х1, Х2,…Хi…Xр, имеющих совместное нормальное распределение. В этом случае матрицу
1
p12 ... p1 p
Qp
p21
1
...
p2 p
...
...
...
...
p p1
p p2
...
1
Составленную из парных коэффициентов корреляции рij (i,j=1,2…p) называют корреляционной.
Основная задача многомерного корреляционного анализа состоит в оценке корреляционной матрицы по выборке. Эта задача решается определением матрицы выборочных коэффициентов корреляции:
1 r12 ... r1 p
qp
r21
1
... r2 p
...
...
...
...
rp1
rp 2 ...
1
В многомерном корреляционном анализе рассматривают две типовые задачи:
а) Определение тесноты связи одной из переменных с совокупностью остальных (р-1) переменных, включенных в анализ;
17
б) определение тесноты связи между переменными при фиксировании или исключении
влияние остальных q переменных, где q<(p-2).
Эти задачи решаются с помощью множественных и частных коэффициентов корреляции.
Множественный коэффициент корреляции
Теснота линейной взаимосвязи одной переменной Хi с совокупностью других (р-1) переменных Хj , рассматриваемой в целом, измеряется с помощью множественного коэффициента
корреляции рi12…p, который является обобщением парного коэффициента рij. Выборочный
множественный коэффициент корреляции Ri.12…p может быть вычислен по формуле
Ri12….p= 1
qр
q11
где IqI- определитель матрицы qp; qii – алгебраическое дополнение элемента rii той же матрицы.
В частности, в случае трех переменных р=3 следует, что
Rijk
rij2
rik2
2rij rik r jk
1 r jk2
Множественный коэффициент корреляции заключен в пределах 0 R 1 .
С помощью множественного коэффициента корреляции делается вывод о тесноте взаимосвязи, но не о направлении.
Частные коэффициенты корреляции
Выборочным частным коэффициентом корреляции между переменными Хi и Xj при фиксированном значении остальных (р-2) переменных называется выражение
qij
rij12.. p
qii q jj
где qij и qjj алгебраические дополнения элементов rij и rjj матрицы qp. В частности, в случае
трех переменных (р=3) следует, что
rij rik r jk
rijk
1 rik2 1 r jk2
Частный коэффициент корреляции rij12…p , как и парный коэффициент корреляции r, может
принимать значения от -1до 1. Кроме того, rij12..p, вычисленный на основе выборки объема n ,
имеет такое же распределение, что и r, вычисленный по (n-p+2) наблюдениям. Поэтому значимость частного коэффициента корреляции rij12..p оценивают также, как и коэффициент корреляции r, но при этом полагают n’=n-p+2.
Вопросы для самопроверки:
1. В чем заключается основная задача корреляционного анализа?
2. Перечислите свойства коэффициента корреляции. Как находится коэффициент
корреляции?
3. Что называется корреляционным моментом?
4. Как выглядит уравнение линейной регрессии?
5. Как вычислить множественный и частные коэффициенты корреляции?
18
19