Документ 124047

ПРАВИТЕЛЬСТВО РОССИЙСКОЙ ФЕДЕРАЦИИ
Федеральное государственное автономное образовательное учреждение
высшего профессионального образования
Национальный исследовательский университет
«Высшая школа экономики»
Московский институт электроники и математики
Факультет Прикладной математики и кибернетики
Кафедра Высшая математика
Дипломная работа
по специальности 230401.65 «Прикладная математика»
Биномиальная модель: вероятностные и
статистические вопросы ее анализа
Студент группы М105
Руководитель
Зав. Кафедрой
Москва 2014
Лаврентьев А.А.
профессор Ивченко Г.И.
доцент Кузьмина Л.И.
Оглавление
Аннотация ................................................................................................ 2
Аннотация на английском ...................................................................... 3
Введение ................................................................................................... 4
Основные понятия и теоретические сведения .................................. 4
Проверка статистических гипотез ....................................................... 13
Биномиальная модель ........................................................................... 16
Определение и вероятностные свойства ......................................... 16
Асимптотические результаты и приближения ............................... 27
Исторические ремарки и история происхождения ........................... 35
Обобщённое биномиальное распределение .................................... 36
Статистические выводы .................................................................... 40
Моделирование .................................................................................. 49
Заключение ............................................................................................ 50
Литература ............................................................................................. 50
1
Аннотация
Случайные величины играют огромную роль во всех современных областях
знания и практической деятельности человека. Они измеряются и
анализируются в терминах их вероятностных и статистических свойств,
главным выразителем которых является функция распределения. Хотя число
потенциально возможных моделей распределения чрезвычайно велико,
практически относительно небольшое их число занимает особое положение –
либо потому, что они обладают хорошими математическими свойствами,
либо потому, что достаточно адекватно описывают соответствующую
область действительности, либо в силу обеих этих причин. Замечательным
фактом при этом является то, что существует несколько распределений
большой общности, встречающихся в самых разнообразных задачах теории
вероятностей и математической статистики и значение которых для
приложений трудно переоценить. К числу таковых относится и
биномиальное распределение, которому посвящена настоящая работа.
Следует отметить, что за последние десятилетия для этого распределения
получено большое число новых результатов, существенно дополняющих и
развивающих в самых различных направлениях классические достижения,
поэтому их систематизация и единообразное изложение представляется
актуальным и полезным для их практического использования.
В работе с единых позиций и с использованием единых терминологии и
символики детально излагаются известные к настоящему времени
вероятностные и статистические свойства биномиального распределения, и
ее целью является удовлетворение потребности в быстром получении
соответствующей информации о свойствах этого распределения, которая
обычно разбросана по многочисленным и часто трудно доступным
источникам.
При выполнении работы использовались как оригинальные публикации, так
и различная монографическая и учебная литература по теории вероятностей
и математической статистике.
2
Аннотация на английском
Random variables play huge role in all modern areas of knowledge and practical
activities of the person. They are measured and analyzed in terms of their
probabilistic and statistical properties which main spokesman is distribution
function. Though the number of potentially possible models of distribution is
extremely great, practically relatively their small number holds special position –
or because they possess good mathematical properties or because rather adequately
describe untrue area, or owing to both of these reasons. The remarkable fact thus is
that there are some distributions of a big community meeting in the most various
problems of probability theory and mathematical statistics and which value for
appendices it is difficult to overestimate. Binomial distribution to which the real
work is devoted is among those also. It should be noted that for the last decades for
this distribution the large number of the new results significantly supplementing
and developing in the most various directions classical achievements therefore
their systematization and a uniform statement is represented actual and useful to
their practical use is received.
In work from uniform positions and with use of uniform terminology and
symbolics known so far probabilistic and statistical properties of binomial
distribution are in details stated, and its purpose is the satisfaction of requirement
for fast receiving the relevant information on properties of this distribution which
is usually scattered on numerous and it is often difficult for available sources.
When performing work were used both original publications, and various
monographic and educational literature on probability theory and mathematical
statistics.
3
Введение
Основные понятия и теоретические сведения
1. Вероятностно-статистические модели. Математические модели случайных
явлений, изучаемых в теории вероятностей и математической статистике,
основываются на понятии вероятностного пространства  , A ,   , где
   –
непустое множество, называемое пространством элементарных
событий (множество всех возможных исходов изучаемого случайного
явления), A   -алгебра его подмножеств и   вероятностная мера на ней.
Случайная же величина – это функция, отображающая пространство
элементарных событий в множество действительных чисел (её можно
понимать как некоторую числовую характеристику эксперимента (опыта) со
случайным исходом). Случайную величину мы будем обозначать символом
Х = Х   (это может быть число или вектор некоторой размерности), а её
реализацию – соответствующей строчной буквой х (используются также и
другие символы: Y ,  , ,  ,  , и т.д.). Совокупность всех возможных
реализаций случайной величины обозначается  ={х} и называется её
областью значений. В данном пособии мы ограничиваемся рассмотрением
случайных величин лишь дискретного типа, когда  состоит из конечного
или счётного числа точек x1 ,x2 ,....,xn ,... (без точек накопления); в этом случае
распределение случайной величины Х, обозначаемое символом L (Х) ( L –
law (закон)), задаётся вероятностями отдельных её реализаций
f  xn     X  xn  , n  1,2,...;
 f  x   1.
n
n
4
Функцию f  x  , x   , мы будем называть (для краткости) плотностью; в
дальнейшем для неё используются и другие обозначения, связанные со
спецификой конкретных распределений и традиционно используемые в
математической литературе.
Частным случаем дискретных распределений являются решётчатые
распределения и, в частности, распределения, сосредоточенные на множестве
целых чисел или его подмножествах.
Если плотность f x  из каких-то соображений задана, то говорят, что
задана вероятностная модель эксперимента. В вероятностных задачах
плотность наблюдаемой (изучаемой) случайной величины полностью
известна, в статистических же – она известна лишь с той или иной степенью
неопределённости. Часто при этом предполагается, что плотность задана с
точностью до значений тех или иных параметров, от которых зависит
функция f x  , – в таких случаях говорят о параметрических
статистических моделях. В теории вероятностей наиболее часто
встречающиеся распределения (модели) имеют общепринятое наименование
и обозначение – этот «язык» переносится и на соответствующие
статистические модели. Вместе с тем в статистике используется и
специфическая терминология: наблюдаемая в эксперименте случайная
величина Х называется выборкой (синоним термина статистические
данные), а множество её возможных реализаций  ={х} – выборочным
пространством.
На практике часто встречаются ситуации, когда эксперимент состоит в
проведении серии повторных независимых наблюдений над некоторой
случайной величиной  . Если проводится n наблюдений, то выборка
Х=
(Х1,…,Хn) представляет собой n независимых копий величины  , т. е.
является n-мерным случайным вектором с независимыми и одинаково
распределёнными компонентами. В этом случае плотность f X x , x  x1 ,..., xn ,
выборки Х=(Х1,…,Хn) имеет вид f X x   f  x1 ... f  x n , т. е. полностью
5
определяется плотностью наблюдаемой случайной величиной  , и говорят,
что Х=(Х1,…, Хn) есть случайная выборка объёма n из распределения L (  ).
Случайная выборка является математической моделью независимых
измерений, проводимых в одинаковых условиях, и именно такие модели
чаще всего применяются на практике и будут в основном рассматриваться в
последующем. В общем случае параметрическая статистическая модель
случайной выборки задаётся классом F   f  x;  , допустимых
плотностей наблюдаемой случайной величиной  (индекс случайной
величины у плотности обычно опускается, если это не приводит к
недоразумениям), т. е. плотность задаётся с точностью до значений
некоторого параметра  с областью возможных значений  . Говорят, что в
этом случае известен тип распределения наблюдаемой случайной величины,
а неизвестен только параметр, от которого зависит распределение. Параметр
 может быть как скалярным, так и векторным, область (множество)  его
допустимых значений называется параметрическим множеством модели.
Для удобства дальнейшего изложения напомним также определения
моментов случайных величин и основные соотношения между моментами
различных видов.
Если для случайной величиной  существует абсолютный момент порядка
k ,   , то существуют и все обычные моменты m j   j , а также
k
j
центральные моменты  j      , при j  k ; при этом первый момент
m  m1  
называется математическим ожиданием или средним значением
случайной величины  , а второй центральный момент D  2     2 –
её дисперсией.
6
Обычные и центральные моменты связаны соотношениями
k
k    1
k j
j 0
Ckj m j mk  j , k  0,1,...,
k
mk   Ckj  j mk  j ,
k  0,1,...,
j 0
где 0  m0  1 , C kj 
k!
– биномиальный коэффициент, для которого
j!k  j !
k 
используется также обозначение  , j  0,1,..., k.
j
 
Факториальные и биномиальные моменты определяются
соответственно равенствами
mk   k ,
Bk  Ck  
 k  mk ,
k!
k!
k  0,1,...,
где  k     1...  k  1, k  1,  0  1.
Имеют место следующие соотношения:
k
mk   sk , j m j ,
k  0,1,...,
j 0
k
mk    k , j m j , k  0,1,...,
j 0
где sk , j  и  k, j  есть числа Стирлинга первого и второго рода
соответственно, определяемые как коэффициенты разложений
k
k
x k   (k , j )x  j .
( x) k   s ( k , j ) x j ,
j 0
j 0
7
Пусть X – целочисленная неотрицательная случайная величина и
P  z   z X и   t   eitX  P  eit 
есть её производящая и характеристическая функции.
Введём также производящие функции моментов:

M  x    mk
k 0
xk
,
k!

M  x    mk
k 0
xk
,
k!

B x    Bk x k .
k 0
Тогда имеют место соотношения
 
M x   P e x ,
M x   Bx   Px  1 .
Используются также семиинварианты, или кумулянты,
представляющие собой коэффициенты разложения в ряд Тейлора логарифма
характеристической функции:
r  coef it r ln   t  , r  1,2,... ,
 
r!
в частности, 1  X ,  2  DX .
Важную роль играют также следующие моментные характеристики
случайной величины X : коэффициенты вариации v  DX X , асимметрии
 1   3  23 2 , эксцесса  2   4  22 и среднее отклонение  1   X  m .
8
Одной из важных характеристик распределения (случайной величины)
является интенсивность отказов (failure rate)
rx  X  x X  x.
Для многомерных случайных величин определяются также смешанные
моменты и кумулянты. В частности, смешанный центральный момент
второго порядка двух случайных величин 1 и  2 называется их
ковариацией: 11  cov1 ,  2   1  1  2   2  , а величина
korr  1 ,2   cov  1 ,2 
D1D2 – коэффициентом корреляции.
Оценивание
В статистических задачах рассматриваются различные функции T  T  X  от
выборки Х=(Х1,…,Хn), сами являющиеся случайными величинами (т. е. для
которых при всех t определены вероятности (функция распределения)
FT t   T  X   t).
Если при этом функция T  T  X  не зависит от
неизвестного параметра модели, то её принято называть статистикой. В
статистических задачах речь идёт либо об оценивании по наблюдениям
Х=(Х1,…,Хn) той или иной характеристики наблюдаемой случайной
величиной  , которая в параметрической модели всегда является некоторой
функцией    от неизвестного параметра (такие функции называются
параметрическими), либо о проверке тех или иных статистических гипотез
о законе распределения L    (о параметре  – в случае параметрической
модели).
Если для оценивания параметрической функции    используется
некоторая статистика T  T  X  , то она называется оценкой    (для    ).
Обычно в качестве меры точности оценки T  X  используют
9
среднеквадратическую ошибку T  X     2 , и среди всех возможных
оценок ищут такую, для которой среднеквадратическая ошибка минимальна.
При этом часто ограничиваются лишь несмещёнными оценками, т. е. такими
оценками, для которых выполняется условие несмещённости:
 T  X      ,   .
Функция    , для которой это уравнение имеет решение, называется
оцениваемой. Для несмещённой оценки среднеквадратическая ошибка
совпадает с её дисперсией, следовательно, оптимальной оценкой является
оценка с минимальной дисперсией, для неё используется обозначение   .
Оптимальная оценка (в заданной модели и для заданной параметрической
функции    ) существует не всегда, но в тех случаях, когда она существует,
она единственна.
Обязательным для любого правила оценивания является свойство
состоятельности, означающее сходимость по вероятности оценки к
оцениваемой характеристике при неограниченном возрастании объёма
выборки n.
Для удобства дальнейшего изложения напомним кратко некоторые
дополнительные факты из теории статистического вывода.
1. Если в параметрической модели F   f  x;  , наблюдается
случайная выборка Х=(Х1,…,Хn), то функцией правдоподобия данных
n
называется L X ;    f  X i ;  . Если при этом плотность f x;   0 при всех х
i 1
и  , дважды дифференцируема по  , и существует второй момент
 2 ln f  ; 
  ln f  ;  
i    
,
   

 2


2
10
называемый функцией информации, то модель называется регулярной
(большинство рассматриваемых ниже моделей являются таковыми).
Для регулярной модели любая несмещённая оценка T  X 
дифференцируемой функции    удовлетворяет неравенству Рао-Крамера

  2
D T  X  
.
ni  
Оценка T  X  , для которой эта нижняя граница достигается, называется
эффективной (она и является оптимальной оценкой   ).
2. Пусть модель F   f  x;  , обладает полной достаточной
статистикой T  T  X  , т. е. имеет место факторизация
L( x; ) = g (T ( x); ) h( x),
где множитель g может зависеть от  , а от x зависит лишь через T ( x), а
множитель h от параметра  не зависит, и при этом уравнение
E  (T ) = 0, ,
имеет единственное решение  (t )  0 . Тогда всякая функция от T  X 
является оптимальной оценкой своего среднего – этот факт во многих
случаях даёт эффективный способ отыскания оптимальных оценок.
3. Одним из наиболее универсальных методов оценивания неизвестных
параметров распределений является метод максимального правдоподобия.
По этому методу оценкой максимального правдоподобия (далее кратко –
ОМП) ˆn по выборке Х=(Х1,…,Хn) является такая точка параметрического
11
n
множества  , в которой функция правдоподобия L X ;    f  X i ; 
i 1
достигает максимума.
Для произвольной параметрической функции    её ОМП находится по
 
правилу ˆn   ˆn .
Для регулярных моделей оценки максимального правдоподобия
обладают свойствами состоятельности, асимптотической нормальности и
асимптотической эффективности. Это даёт возможность строить
приближённые доверительные интервалы как для самого параметра  : такой
интервал (при больших значениях объёма выборки n и доверительном
уровне  ) имеет вид
ˆ  c
 
ni ˆn , ˆn  c

n
 ,
ni ˆn
так и для любой непрерывно дифференцируемой параметрической функции
   : соответствующий доверительный интервал имеет вид
ˆ  c ˆ 
n

n
 
 
ni ˆn , ˆn  c  ˆn
 ,
ni ˆn
1  
 и x  – стандартная нормальная функция распределения.
 2 

где c   1 
4. При байесовском подходе предполагается, что параметр  – это
случайная величина с некоторым (априорным) распределением L (  ), а о
качестве оценки T  T  X  судят обычно по величине квадратичной функции
риска
RT ,     T   :
2
12
статистика T  , минимизирующая байесовский риск r T   RT , , называется
байесовской оценкой, а минимизирующая максимальный риск
m T   sup R T ,  – минимаксной оценкой. В ряде случаев при отыскании

таких оценок можно руководствоваться следующим принципом: находится
такое априорное распределение L (  ), для которого соответствующая
байесовская оценка T  имеет постоянный риск: R T  ,   const (его
называют наименее благоприятным априорным распределением), тогда T 
является также и минимаксной оценкой.
При построении байесовских оценок важную роль играют
сопряжённые априорные распределения, т.е. такие, для которых
апостериорное распределение L (  X ) принадлежит тому же семейству, что
и априорное распределение L (  ), – обычно наименее благоприятное
априорное распределение находится в этом семействе.
Проверка статистических гипотез
Напомним кратко общую схему постановки задач и принципов их решения
в теории проверки статистических гипотез. В случае параметрической
модели F   f  x;  , статистические гипотезы формулируются в
терминах параметра  , и в общем случае основная (нулевая) гипотеза H 0
имеет вид утверждения H 0 :   0 при задании соответствующего
подмножества 0   , альтернатива же в этом случае имеет вид
H1 :  1    0 . При заданном уровне значимости  (вероятности
ошибочно отвергнуть гипотезу H 0 , когда она верна, или, что то же,
вероятности ошибки первого рода) соответствующий тест имеет вид
H 0 отвергается  X  1 ,
13
где критическое множество 1

 выбирается так, чтобы вероятность
указанного события при гипотезе H 0 не превосходила  :
  X  1    ,  0 .
Такой тест кратко называют критерием 1 и его качество оценивают
величиной его мощности
W  1 ;     X 1 ,  1 :
среди всех критериев с уровнем значимости  наилучшим считается такой,
для которого мощность максимальна. Если такой критерий существует (тогда

он обозначается символом 1 ), то он называется оптимальным или
равномерно наиболее мощным (сокращённо – р.н.м.).
В основе большинства способов построения оптимальных критериев
лежит фундаментальный результат (Ю.Нейман и Э.Пирсон) о существовании
наиболее мощного критерия в задаче проверки простой гипотезы H 0 :    0
при простой же альтернативе H1 :   1 : такой критерий всегда существует и
задаётся критическим множеством


Lx;1 
1   x : l x  
 c  .
Lx;0 



Такой же вид имеет оптимальный критерий и при сложных односторонних
альтернативах H1 :   0 или H1 :   0 (здесь  – скалярный параметр),
если модель F   f  x;  , обладает свойством монотонности
отношения правдоподобия, т. е. когда имеется достаточная статистика T  X 
и функция l x  в  монотонно зависит от T x . Таким свойством
14
обладают, в частности, экспоненциальные модели, т. е. когда плотность имеет
вид
f x;   expA Bx  C   Dx
и при этом функция A  строго монотонна (большинство рассматриваемых
ниже моделей этим свойством обладают).
Более того, для таких моделей наиболее мощный критерий в задаче ( H 0 :
   0 , H1 :   0 ) является одновременно
и в задаче ( H 0 :    0 , H1 :   0 )
наиболее мощным критерием
при том же уровне значимости
(аналогичное утверждение справедливо и для двойственной проблемы
проверки гипотезы H 0 :    0 против альтернативы H1 :   0 ).
При проверке простой гипотезы H 0 :    0 против двусторонней
альтернативы H1 :   0 используется приём объединения двух
односторонних критических областей соответственно для альтернатив
H1 :    0 и H1 :    0 , т. е. используют критерий
1  11  12 при 1   2   .
Одним из наиболее универсальных методов построения критериев
проверки сложных параметрических гипотез является метод отношения
правдоподобия. Общий вид критерия отношения правдоподобия (кратко –
КОП) для проверки гипотезы H 0 :    0 таков:


1   x : n  x   sup L  x;  sup L  x;   c  ,
 0
 


где граница c выбирается из условия
W  1 ;    n  X   c    ,  0 .
Во многих случаях такой подход приводит к удовлетворительным решениям.
Кроме того, при соответствующих условиях КОП обладает свойством
15
асимптотической оптимальности для больших выборок (т. е. при n   ). В
последнем случае для регулярных моделей типичный вид асимптотического
варианта КОП таков:
X1 = {x : 2ln n ( x)  12,r s}
при условии s  dim 0 < r = dim .
Биномиальная модель
Определение и вероятностные свойства
1. Случайная величина (с. в.) X (иногда пишут X n или X n , p ) имеет
биномиальное распределение с параметрами n и p (0< p <1), что кратко
обозначается так: L (X) = Bi n, p  , если её плотность имеет вид:
X  x  bx; n, p   Cnx p x q n  x , x  0,1,..., n, q  1  p.
Для функции распределения используется обозначение
x 
X  x  Bx; n, p   
k 0
Cnk p k q n  k , x  0,
где x – целая часть x .
Термин «биномиальное распределение» связан с тем, что эти вероятности
являются членами знаменитого «бинома Ньютона»:
n
1   p  q    Cnx p x q n  x .
n
x 0
В частном случае n  1 распределение Bi 1, p  называется бернуллиевским в
честь выдающегося швейцарского математика Якоба Бернулли (1654 –1705),
16
впервые изучавшего эту модель. В этом случае с. в. X принимает лишь два
значения 0 и 1, интерпретируемые обычно как «успех» (1) и «неуспех» (0).
Бернуллиевская модель Bi 1, p  является подходящей математической
моделью для любого эксперимента с двумя взаимоисключающими исходами,
т.е. простейшего статистического эксперимента, – в этом её
фундаментальная роль в теории вероятностей и математической статистике.
Если все случайные величины последовательности X1, X 2 ,... (конечной или
бесконечной) независимы и имеют одно и то же распределение Бернулли
Bi 1, p  ,
то мы имеем последовательность испытаний Бернулли, или, кратко,
бернуллиевскую последовательность. В этом случае сумма X  X1  ...  X n –
«число успехов в n испытаниях Бернулли» – имеет биномиальное
распределение Bi n, p  .
Для плотности имеют место соотношение симметрии:
bk; n, p   bn  k; n, q , k  0,1,..., n,
и рекуррентные соотношения: прямое (рекомендуется использовать для
p  0 .5 )
bk  1; n, p  
n  k  p bk ; n, p 
k  1q
и обратное (рекомендуется использовать для p  0.5 )
bk  1; n, p  
kq
bk ; n, p  .
n  k  1 p
При значениях p, близких к 1 2 , удобно использовать следующее
разложение по степеням «малого параметра»   p  q :
17
n
bx; n, p   Cnx  Pk x; n  k ,
k 0
где Pk m; n  – известные в анализе многочлены Кравчука:
Pk m; n    1 Cmj Cnkmj .
j
j
Значения же функции распределения выражаются через неполную бетафункцию:
q
Bk ; n, p   n  k C nk  x nk 1 1  x  dx ,
k
0
1  Bk ; n, p   nC
p
k
n 1
 x 1  x
n  k 1
k
dx
0
и удовлетворяют рекуррентным соотношениям
Bk ; n  1, p   Bk ; n, p   pbk ; n, p ,
Bk  1; n  1, p   Bk ; n, p   qbk  1; n, p .
Также имеет место представление (Bahadur, 1960)
1  B  n;k  1, p   qb  n;k, p  F  n  11;
, k  1, p  ,
где
F  n  1,1;k  1, p   1 
n 1
 n  1 n  2  p 2  ...
p
k 1
 k  1 k  2 
есть гипергеометрическая функция.
18
Биномиальное распределение обладает важным свойством
воспроизводимости по параметру n : если с. в. X1,..., X k независимы и
L(X j) = Bi n j , p , j  1,..., k ,
то
L  X1  ...  X k   Bi n1  ...  nk , p  .
Интенсивность отказов (failure rate) rx  X  x X  x является здесь
возрастающей функцией x и удовлетворяет соотношению
x 1
xq
 
,
n rx x  np
при условии, что x  np (Diaconis and Zabell, 1991).
2. Если L(X) = Bi n, p  , то производящая и характеристическая функции
с. в. X имеют вид соответственно
Pz   z X  q  pz 
n
 
и  t   eitX  P eit ,
а факториальные моменты равны
 mk    X k  Pk  1   n k p k ,
k  1,2,...
В частности, первые четыре момента и некоторые, связанные с ними
характеристики, имеют вид:
X  np, X 2  n2 p 2  npq, DX  npq,
19


X 3 n 3 p 3  3n 2 p 2  np  np n 2 p 2  3npq  q1  2 p  ,
X 4  n 4 p 4  6n 3 p3  7n 2 p 2  np 
n 4 p 4  6n3 p3q  n 2 p 2 q7  11 p   npq1  6 pq ,




DX 2  X 4  X 2  npq 4n2 p 2  2np3  5 p   1  6 pq ,
2
а коэффициенты вариации v  DX X , асимметрии  1   3  23 2 и эксцесса
 2   4  22 равны
12
 q 
q p
6
1
.
v    ,  1 
, 2  3 
n npq
npq
 np 
k
Центральные моменты  k   X  X  можно вычислять здесь по
рекуррентной формуле

d
k 1  pq nkk 1  k
dp


 ,

в частности,
2  DX  npq, 3  npqq  p , 4  npq1  3npq  6 pq  .
Среднее отклонение с. в. X есть (Diaconis and Zabell, 1991)
1   X  np  2nCnnp1 pnp1qn np
и при n  
1
DX

20
2

 0,798...
3. Биномиальные вероятности bx; n, p   C nx p x q n x при изменении х от 0
до n сначала монотонно возрастают, затем монотонно убывают, достигая
своего наибольшего значения при x  m , где m (мода распределения)
определяется неравенствами n  1 p  1  m  n  1 p ; при этом, если m  n  1 p
– целое число, то наибольшее значение достигается дважды: bm  1; n, p =
bm; n, p  .
Если p  n  11 , то мода находится в нуле.
4. Неравенства для bk; n, p . Пусть   np и  k    e 
bk ; n, p 
 k
 1,
1   
nk 
 n   k  1  p  e
k
1)
2)
e k
2
 n  k 2  n  

bk ; n, p 
 k  
 e k n ,
3)
bk ; n, p   e   k   ,
4)
bk ; n, p  
1
2nkpq
,
5. Неравенства для Bk; n, p  .
1)
Bk ; n, p  
n
bk ; n, p , k  np;
np  k
2)
Bk ; n, p  
n  k  p , k  np;
np  k 2
3)
1  Bk  1; n, p  
kq
np  k 2
21
, k  np;
k
k!
, k  0,1,... Тогда
k 1  Bk  1; n, p 
kq


, k  np;
n
bk ; n, p 
k  np
4)
6. Свёртка по модулю. Для любого целого r, 2  r  n, и m  0,1,..., r  1
справедлива следующая формула «свёртки по модулю»:
1 1 r 1  2k  
X  mmod r     
e
r r k 1  r 
2ikm
r
,
где  - характеристическая функция. В частности, при r  2
X  0mod 2 
1 1
n
 q  p  ,
2 2
1 1
n
X  1mod 2   q  p  .
2 2
7. Симметризация. Пусть  Ni ,i  1,2 , обозначают независимые
случайные величины, имеющие одно и то же распределение Bi N , p  . Тогда
их сумма  N   N 1   N 2 имеет распределение Bi 2N , p . Распределение же их
разности  N   N 1   N 2 называется симметризованным биномиальным
распределением и обозначается символом Bis N , p. ( Ивченко Г.И., Медведев
Ю.И., 2011). Это распределение симметрично, имеет среднее 0 и дисперсию
2 Npq . Соответствующие же вероятности имеют вид

 C
pN u     N  u 
pN  u   pN u .
N u
r 0
r
N
C Nr  u p 2 r  u q 2 N  2 r  u ,0  u  N ,
1
Если p  q  , то pN u   C2NN u 22 N ,  N  u  N .
2
22
8. Рандомизация параметра. Пусть параметр p является случайной
величиной, имеющей бета-распределение с плотностью
f  p 
p 1 1  p 
B ,  
 1
,0  p  1,  ,   0,
где B ,   – бета-функция. Тогда составное или биномиальное-бета
распределение (смесь биномиальных распределений) имеет плотность
1
X  x  bbx; n, ,     bx; n, p  f  p dp Cnx
0
B  x, n  x   
, x  0,1,..., n.
B ,  
9. Характеризация. Пусть случайные величины X и Y независимы и
имеют биномиальные распределения с параметрами n, p  и m, p
соответственно. Тогда условное распределение X при заданном значении
суммы X  Y является гипергеометрическим с параметрами n, m (см. гл. 4):
X  x X  Y  k  CnxCmk  x Cnk m .
Верно и обратное: если условное распределение X при заданном значении
X  Y является гипергеометрическим с параметрами n, m , то X и Y имеют
биномиальные распределения с параметрами n, p  и m, p соответственно.
23
10. Ортогональные многочлены. Систему многочленов,
ортогональных относительно биномиального распределения L (X) = Bi n, p  ,
образуют (нормированные) многочлены Кравчука
   pq    1 C
K   x; n   C n
1 2
 2
j
j
x
C nxj p   j q j , x,   0,1,..., n :
j
n
K   X ; n K   X ; n    bx; n, p K  x; n K  x; n     ,  ,
x 0
где   , – символ Кронекера ( Хохлов В.И., 2001).
Биномиальное распределение относится к нескольким классам
распределений и, следовательно, имеет свойства каждого из классов. Далее
поподробнее рассмотрим классы, к которым оно относится.
Оно является распределением с конечной поддержкой. Вероятность
происхождения поделена на n  1 равновероятных событий, соответствующих
значениям: 0,1,..., n .
Соотношение
Рr  X  x  1
Рr  X  x 

n  x p ,
 x  1 q
x  0,1,..., n  1
показывает, что Рr  X  x возрастает по х до тех пор, пока
х  np  q   n  1 p  1 и уменьшается при случае, когда х больше этого
выражения. Распределение унимодально при х   n  1 p  , где от выражения
в квадратных скобках берётся только целая часть. Если (n  1) p - целое число,
то имеем одну и ту же ситуацию при разных значениях: x  np  p, x  np  q.
Когда p  (n  1)1 то процесс начинается в начале координат.
Для медианы, построенной по минимальным значениям k , для которых
k
n
  k p q
j 0
k
 
24
n k

1
2
Позднее было показано, что
mean  median  max  p,1  p.
Известна также более грубая оценка этого выражения цифрой ln 2 . Это было
доказано в двух случаях: когда p  1  ln 2 или p  ln 2 .
Также биномиальное распределение является членом семейства
экспоненциальных распределений с показателем p 1  p  , следовательно


 p 
 n
Pr  X  x   exp  x ln 
  ln    n ln 1  p   .
 1 p 
 x


Известно, что биномиальное распределение относится к одному из 6
подклассов натуральной экспоненциальной семьи у которой вариация в
большинстве своём является квадратичной функцией. В отличие от других 5
подклассов оно не является бесконечно делимым (ни одно распределение с
конечной поддержкой не является бесконечно делимым).
Потому что Pr  X  x является одной из форм
b( x) x
  
,   0, x  0,1,..., n,   p 1  p  ,
Позже была показана справедливость следующего соотношения для
биномиального распределения
  r 1  
   pr ,
  r   
где      х b  x  x .
25
Берг (Berg) в статье 1983 исследовал свойства семейства распределений
факториальных серий с
n x  c  x 
Pr  X  x  
,
x !h  x 
к которым можно отнести биномиальное распределение при с  х    p q  .
x
Трипати и Гурланд(Tripathi and Gurland) (1977) протестировали методы
отбора из тех распределений, имеющих
Pr  X  x  1
Pr  X  x 

A  Bx
C  Dx  Ex 2
как частный случай биномиальное распределение.
Кемп (Kemp,1968) показал, что биномиальное распределение является
обобщённым гипергеометрическим с п.ф.
G( z) 
F0 [n; ; pz  p  1]
.
1 F0 [  n; ; p  p  1]
1
Также, т.к. соотношение последовательных факториальных моментов
является  n  r  p, распределением факториальных моментов, то оно будет
также обобщённым гипергеометрическим с х.ф. 1 F  n; ;p 1  z   (Kemp, 1968).
Этот факт позволил ему получить дифференциальные уравнения и связанные
с ними дифференциальные уравнения для п.ф. и для вариации производящей
функции моментов (п.ф.м.), включающую производящие функции неполных
и абсолютных моментов.
Также биномиальное распределение является монотонным распределением
соотношения правдоподобия. Асимметрия распределения положительна при
p  0.5 и негативна при р  0.5. При р  0.5 оно симметрично.
26
Обозначая Pr  X  c как Ln,c  p  , Ульманн(Uhlmann) (1966) показал, что в
случае n  2,
n 1
 c  1
 c 1 
Ln ,c 
,
  Ln ,c 
,0  c 
2
 n 1  2
 n 1 
n 1
 c  1
 c 1 
Ln ,c 
,
  Ln ,c 
,c 
2
 n 1  2
 n 1 
 c 1  1
 c  n 1
Ln ,c 
 c  n.
  Ln ,c 
,
 n 1 2
 n 1  2
Асимптотические результаты и приближения
1. Теорема Муавра-Лапласа. Если n   , а параметр p фиксирован,
0< p <1, то нормированная с. в. X  
X  np
имеет асимптотически
npq
нормальное распределение с параметрами 0 и 1, т. е. равномерно по
x ,    x  ,
 


 X   x   X  np  x npq  x  o1 ,
где
x  
1
2
x
e
t 2 2
dt. - функция стандартного нормального распределения.

Справедлив также локальный вариант нормальной сходимости:


 X  np  x npq 
2
1
e x 2 1  o1 ,
2npq
при этом последнее соотношение выполняется равномерно по x  on1 6  – эта
область значений x называется (узкой) зоной нормальной сходимости.
Скорость сходимости к нормальному закону определяется
соотношением (теорема Берри-Эссеена)
27


sup  X   x    x   C0
x
p2  q2
,
npq
где С0 - абсолютная постоянная.
Для практических применений нормальной аппроксимацией можно
пользоваться при npq  5 и 0.1  p  0.9 ; при условии же npq  25 – независимо
от значения p .
Теперь рассмотрим более подробно композицию из с.в. распределённых по
биномиальному закону. Если Х1 , Х 2 независимы и параметры их
биномиальных распределений n1 , p и n2 , p соответственно, то п.ф. Х 1  Х 2
имеет вид  q  pz   q  pz    q  pt 
n1
n2
n1  n2
и эта с.в. распределена по
биномиальному закону с параметрами n1  n2 , p.
Условное распределение Х1 при условии Х1  X 2  k имеет вид
 n1  x n1  x  n2  k  x n2  k  x  n1  n2 
 p q 
p q
 

x
k  x
x  k  x 



Pr  X 1  x | k  

,
 n1  n2  k n1  n2 k
 n1  n2 

p q


 k 
 k 
где max  0, k  n2   x  min  n1, k  . Это гипергеометрическое распределение.
Распределение разницы тех же с.в.:
 n  n 
Pr  X1  X 2  x     1  2  p 2 x1  x q n1  n2 2 x1  x ,
x1  x1  x1  x 
где max  0, x   x1  min  n1 , n2  x  .
 n1  n2   n1 n2
, n2  x  n1
2
 n2  x 
Когда p  q  0.5, Pr  X1  X 2  x   
так что разница двух биномиально-распределённых с.в. имеет более общую
форму нежели просто с.в. распределённая по тому же закону.
Из теоремы Муавра-Лапласа и факта независимости пары с.в. следует, что
распределение стандартизированной разницы
28
 X1  X 2  p  n1  n2   pq  n1  n2 
1 2
стремится к стандартному нормальному распределению при n1  , n2   (в
отличие от n1 n2 ).Аналогичные факты справедливы и в случае если не только
количество испытаний у с.в. разное но и когда вероятность успеха в двух
испытаниях разная. Но условное распределение X1 при условии X1  X 2  x
уже не будет гипергеометрическим. Этот факт был исследован в работе
Ханнана и Харкнесса(Hannan and Harkness)(1963). Они же открыли
асимптотику нормальных аппроксимаций.
2. Теорема Пуассона. Если n   , а параметр p  pn  0 так, что
np   ,   const  0, то
X  x  e 
x
x!
, x  0,1,2,...
Сходимость к закону Пуассона остаётся справедливой и при np   ,
но не очень быстро, именно, если np 2  c  0 , то область пуассоновского
приближения имеет вид

 
A k : k   o n ,
если же np 2  0 , то
A  k : 0  k   1  o1 .
Имеют место также различные уточнения этих классических
утверждений (см. ниже).
3. Большие уклонения. Пусть n   , а x  xn изменяется так, что
x   , но x
n  0 . Тогда
  X   x  1    x   e
29
 fn  x 
1  o 1  ,
где

f n x   npq 
j 3
p j 1   q 
j  j  1
j 1
j
 x 


 npq  .


Это представление, полученное А.Я. Хинчиным, позволяет также
выделять зоны изменения x , в которых следует учитывать лишь конечное
число слагаемых в разложении функции f n x  . Так, если x 4 n  0 , то
f n x  
p2  q2
6
x3
 o1 ,
npq
если x5 n3 2  0 , то
p2  q2
f n x  
6
x3
p3  q3 x4

 o1
12 npq
npq
и т. д.
Аналогичная формула (при тех же условиях) справедлива и для
локальных вероятностей:
bk ; n, p  
x2
  f n x
1
e 2
, x  k  np 
2npq
npq .
Для области сверхбольших уклонений: k  k n   так, что при
некоторых  0 ,1  const выполняется условие
p   0    k n  1  1 ,
(*)
для «правого хвоста» X  k  1  Bk  1; n, p имеет место соотношение (А.Н.
Тимашев, 2011)
1  Bk  1; n, p  
q

e  nJ   
  p 2 1   n
2

 2

1
 1  
1  1    10p  p2  12 p 


O
 2  ,
 12n 
 1    
  p 
 n 


30
где
J     ln

p
 1   ln
1
,
q
а также
1  Bk  1; n, p   bk ; n, p 
q 
p1   
 1 
1 
 O   .
2
  p    p  n
 n 
Для «левого хвоста» X  k  Bk; n, p , при замене условия (*) на
симметричное условие 0   0    k n  1  p , выполняются аналогичные
соотношения при замене  на 1   и p на q .
Имеются также результаты, связывающие значения интегральных и
локальных вероятностей в области больших уклонений. Один из них
формулируется следующим образом.
Пусть n   , 0  p  p1  1 . Тогда
 1
a  b d
 ln 4 n  

bd
1  B  np1 ;n, p   b  np1   1;n, p  


 O 2 ,
 1  d n 1  d 3 n 1  d 2
 n  

где a  1 

np1   1 , b 

n 
n
bp
.
, d
np1 
a1  p 
4. Расстояние по вариации до предельных распределений. Пусть   np ,
   nq ,  k    e

k

1
,  k ; n, p  
e
k!
2npq
k  np 2
Положим
31
2 npq
, k  0,1,... .
1 n, p    bk ; n, p    k   ,
k
 2 n, p    bk ; n, p    k ; n, p  ,
k
3 n, p    bk ; n, p    k  .
k
Имеют место следующие соотношения (Ю.В. Прохоров, 1953 ):
1 n, p   c1 p  pOmin 1, 1 2 , c1 
1)
 2 n, p  
2)
2
 0.483...;
e
3
 
 1 
1 
2

, c2 
c2  O
1  4e   0.251... ;
npq
npq
3
2





pq
3) существует такое постоянное число p1  c2 c1 2 3  0.637..., что




 1 n, p 
при p  p1n 1 3  O n 2 3 ,

min  k n, p     2 n, p  при p1n 1 3  O n  2 3  p  1  p1n 1 3  O n  2 3 ,
  n, p 
при p  1  p1n 1 3  O n  2 3 .
 3



при n  
 
sup p min k k n, p   cn1 3  O n 2 3 , c  c11 3c22 3  0.312... ;
если npq  , p  0, то
 2 n, p  
1  4e  3 2
1  o1;
3 2npq
если np  , p  0, то
1 n, p  
2
p1  o1;
e
32

если n  , np    0, то
1 n, p  
2
min 2,  ;
n
при любых целых n и p  0 имеют место также оценки
 bk ; n, p    np   8 p,
k
k  np  n 2
 bk ; n, p    np   4e
k
3
p.
k  np  n 2
Пусть n  , p  pn  
 n 
n
 
,  n   ,  n   O n . Тогда
  2 n   ln 2 n 
 .
n


1 n, p   O


n
n
10) Пусть n  , p  , q  . Тогда
 ln 3 2  
.




 2 n, p   O
Законы больших чисел и повторного логарифма.
n 
Для с. в. X n при
и фиксированном p отношение X n n сходится по вероятности и с
вероятностью 1 к p , т.е. к X n n применим как закон больших чисел, так и
усиленный его вариант. На этом основан метод интерполяции произвольной
непрерывной функции ux, x  0,1, полиномами Бернштейна
n
k
Bn  p    u Cnk p k q n  k :
k 0  n 
при n   равномерно по p
33
Bn  p   u X n n   u p .
Для с. в. X n 
n 
X n  np
выполняется и закон повторного логарифма: при
npq
с вероятностью единица справедливо соотношение (теорема Хинчина)

lim sup X n

2 ln ln n  1,
а также

lim sup X n  2 ln ln n
 ln2lnln lnln nn  32 .
Теорема Хинчина означает, что при   1 с вероятностью единица
происходит лишь конечное число событий
X n  np   2npq ln ln n ,
а при   1 с вероятностью единица это неравенство выполняется для
бесконечного числа значений n .
6. Асимптотическое поведение квантилей.
Пусть
B 1  ; n, p   inf x : Bx; n, p    , 0    1,
есть обратная (квантильная) функция к функции распределения Bx; n, p  (её
значение в заданной точке  называют также  - квантилью или квантилью
уровня  ). Поведение квантилей в «крайних» зонах:  близко к 0 или 1,
описывается следующим образом (Г.И. Ивченко, 1974).
34
Если n   , p  pn  0 так, что   np   и при этом функция
 x 1
n   такова, что  ln n   , то для квантилей уровней 1  e  n  и
 2  1  e x 1 n при любом фиксированном x справедливы представления:
1


 ln  n   ln ln  n  p 

i
2
B 1  i ; n, p     zi 
,    1
x  ln 4  o1 ,

q
2 ln  n 






где z1u, a  0 и z2 u, a  0 - стремящиеся к нулю при u  0 решения
уравнения
1  z ln 1  z   a 1 1  az ln 1  az   u,
a  0.
7. Преобразования. Распределение с. в. Yn  arcsin X n, p n при n  50
хорошо аппроксимируется нормальным распределением со средним
arcsin p и дисперсией
1
; при умеренно больших n n  50 более
4n
подходящим является преобразование
3 
3

Yn  arcsin  X n, p    n   ,
8 
4

удовлетворительно аппроксимирующееся нормальным распределением со
средним arcsin  p 

1
3 
3 
.
 1   и дисперсией
4n  2
8n   4n 
Исторические ремарки и история происхождения
Если в n независимых испытаниях вероятность исхода Е будет равна р, то
число испытаний Х будет распределено по биномиальному закону с
параметрами n и p.
Такая ситуация возникает когда из бесконечного набора, у которого все
элементы независимы и имеют равную вероятность р принять своё значение,
35
выбирают конечную выборку размера n. Такая ситуация также возникает при
выборке из конечного набора большего размера, у которого элементы
независимы и отбираются последовательно с заменой.
Биномиальное распределение одно из самых старых. Случай когда р 
1
был
2
рассмотрен Паскалем, а случай когда р  r (r  s), где
r , s  положительные действительные числа был рассмотрен Джеймсом Бернулли в
далёком 1713 году.
Обобщённое биномиальное распределение
1. Определение и моменты. Если последовательность X1, X 2 ,... состоит из
независимых случайных величин и X k имеет распределение Бернулли
Bi 1, pk , k  1,2,... , то мы имеем неоднородную последовательность Бернулли, и
в этом случае сумма X  X1  ...  X n будет иметь обобщённое биномиальное
распределение Bi n, p1,..., pn  . Это распределение может быть задано
производящей либо характеристической функцией
Pz   z X   qk  pk z  и  t   eitX  Peit  ,
n
k 1
а его среднее и дисперсия имеют вид
n
X   pk  np,
p
k 1
1 n
 pk ,
n k 1
n
n
k 1
k 1
DX   p k q k  n p q    p k  p  .
2. Предельные теоремы и аппроксимация.
36
2
n
1) Если n   , а параметры pk  pk n, k  1,..., n, таковы, что DX   pk qk   ,
k 1
то нормированная с. в. X  
X  X
имеет асимптотически нормальное
DX
распределение с параметрами 0 и 1.
2) Если n   , а параметры pk  pk n, k  1,..., n, меняются так, что
max pk  0, а
n
p
k 1
k
   0 , то с. в. X имеет в пределе распределение
Пуассона с параметром  .
Обозначим дополнительно
bk  bk n   X  k , Bx   X  x, 1  np, 2 

k ; 1  =   j 1 ,  j    e
k
j 0
1 n 2
 pk ,
n k 1
j
.
j!
Имеют место следующие оценки расстояний до пуассоновского и
биномиального распределений:
1 n

bk   k 1   2 1  e  1 ,

2 k 0
p


n 
12   1  1e 
e 
bk   k 1   2 1 

2  k  22   k  2 
k 2
, k  2  1 ,
n 
12  k  1
 e 

Bk    k ; 1   2 1 
e  1  1 
2 
2  k  2  k  1  1e
k 2
2
124 pq
min 1, npq  
1 n
1  p n 1  q n 1


b

b
k
;
n
,
p

n2 .
 k
n  1 pq
2 k 0
37
k 1
, k  1  1e.
Пусть выполняются условия
0  p0  pi  p0  1, i  1,...,n, p0 , p0  const ,
и k  k n меняется так, что
0  0    k n  1  1, 0 , 1  const .
Тогда (А.Н. Тимашев, 2011)
X  k  
1
2n
 02   
где
2
0

 
exp  nI  , p1 ,..., pn 1  O n 1 ,
z02 n
pi2
,

n i 1 1  pi z0  12
I  , p1 ,..., pn    ln z0 
1 n
 ln 1  pi z0  1  0
n i 1
при   p , а z0 – единственный положительный корень уравнения
1 n
z
.

n i 1 z  1  pi1
В частности, если, дополнительно, все pi  p  on 1  , то
X  k  
1
2n 1   
exp nI  , p 1  o1,
где
I  , p    ln

p
при   p , а также
38
 1   ln
1 
0
1 p
X  k   X  k 
 1  p 
1  o1, если   p,
p
и
X  k   X  k 
p1   
1  o1, если   p .
p
Структура центральных же моментов(ц.м.) более сложна, это видно по ц.м.
низших порядков представленных ниже:
2   2  npq, 3  npq(q  p), 4  3(npq) 2  npq(1  6 pq).
Коэффициенты моментов 1 и  2 ищутся по следующим формулам:
1  (q  p)(npq)1 2 , 2  3  (1  6 pq)(npq)1. Также было выведено соотношение
коэффициентов для фиксированных
что при
n  ,
p, q
 2  3 1  6 pq
2 pq

 1
. Заметно,
2
3
(q  p)
(q  p) 2
точки приближаются к пределам: 1 к 0, 2 к 3. Также
интересно, что это соотношение при изменении местами
риq
не меняется.
Два распределения, являющиеся зеркальными отражениями друг друга,
имеют одинаковое значение второго коэффициента и одинаковое абсолютное
значение корня из первого. Также видно что значение дроби всегда меньше
1. Предел отношения достигается(и он равен 1) при принятии р значений 0
или 1. При p  q  0.5 биномиальное распределение симметрично и 1  0 .
Когда n  1, точка (1 , 2 ) ложится на прямую 2  1  1  0 (это выражение
всегда неотрицательно, кстати). Имеется также рекурсивная формула для
центральных моментов: r 1  pq(nr r 1 
d r
).
dp
Аналогичным методом получается и выражение для центральных моментов
около нуля:
 n 
d' 
 '  pq    ' 

dp 
 q 
r
r 1
r
Возможно использование дифференциации центральных моментов для
вывода соотношений:
39
r 2 r  1
 r  1




p

 j

 j 1
j 
j 
j 0 
j 0 
r 2
r  npq 
Есть и более простая рекурсивная форма, содержащая кумулянты
кr 1  pq
кr
, r 1
p
В первоначальной формуле для вычисления ц.м. есть и неполные моменты,
определяемые как
n
n
i k
 
 'j ,k   i j   pi q n i .
i
Главное значение находится по следующей формуле
 n  1 [ np ]1 n[ np ]
q
p
 [np] 
1  E[|X  np |]  2n 
Статистические выводы
1. Модель и её характеристики. Пусть Х=(Х1,…, Хn) есть случайная
выборка объёма n из распределения L (  ) = Bi k , ,   0,1 .
Для этой модели функция информации имеет вид
i  
k
,
 1   
а полная достаточная статистика есть
Tn  Tn  X   X 1  ...  X n  nX ,
при этом
L ( Tn ) = Bi kn,  .
2. Оценивание. Оцениваемыми параметрическими функциями
являются лишь полиномы вида
40
s
     a j  j , s  kn.
j 0
Для любого такого полинома оптимальная несмещённая оценка      Tn 
есть
s
s
j 0
j 0
    a j  Tn  j kn j   a j CTj Cknj .
n
s
В частности, для функций вида  rs     r 1    при целых r , s  0, r  s  kn,
оптимальная оценка имеет вид
 rs  Tn r kn  Tn s knr  s  CknT rr s CknT .
n
n
Отсюда следует, что вероятность   , где   любое подмножество
целых чисел 0,1,..., k оптимальным образом оценивается статистикой
 C C 
r
r
k
Tn  r
k n 1
CknTn .
Эффективная оценка (она же является и оценкой максимального
правдоподобия ˆn ) существует для функции      : она имеет вид
   ˆn  Tn kn
и её дисперсия равна  1    kn  ni 1 .
Преобразование параметра, стабилизирующее дисперсию, имеет
 
вид     arcsin  : асимптотическая дисперсия ОМП ˆn   ˆn не зависит от
параметра  и равна
1
.
4 kn
41
3. Доверительное оценивание. Доверительный интервал 1,2  для
Bi k , 
параметра  в модели
по соответствующей выборке Х=(Х1,…, Хn) и
при доверительном уровне  определяется условиями
kn
C
r  Tn
 1  1 
kn  r
r r
kn 1
Tn
  Cknr  2r 1   2 
kn  r

r 0
1 
,
2
1 

1 

;Tn , kn  Tn  1,  2  z 
;Tn  1, kn  Tn , где z p; a, b есть p
 2

 2

при этом 1  z
- квантиль бета-распределения  a, b .
Если n велико, то приближённый  -доверительный интервал для 
имеет вид (напомним, что    Tn kn )



1  
 c   1     kn,    c   1     kn , c   1 
.
 2 
Асимптотический  -доверительный интервал для произвольной
непрерывно дифференцируемой функции   
имеет вид
    c     1    kn,     c     1    kn,









а для функции     arcsin  – вид
( arcsin   
42
c
2 kn
, arcsin   
c
2 kn
).

4. Байесовское и минимаксное оценивание параметра бернуллиевской
модели. Пусть параметр  случаен и его априорное распределение есть бетараспределения  a, b (оно является сопряжённым распределением для
биномиального распределения). По выборке Х=(Х1,…, Хn) из распределения
Bi 1, 
требуется построить оценку     X  , минимизирующую
среднеквадратическую ошибку    2 . Такая (байесовская) оценка  
существует и имеет вид
 
Tn  a
, Tn  X 1  ...  X n ,
nab
и её функция риска R  ;        есть
2

 a   a  b
R   ; 
При a  b 

 n 1   
.
n  a  b 2
2

n
функция R  ;   const , это означает, что соответствующая
2
байесовская оценка является также и минимаксной – она имеет вид
~ T  n 2
  n
n n
и её риск
 
~
R  ; 
41 n
Для несмещённой оценки   
43

1

2
.
Tn
риск
n


R   ;  D  
1
при    
2

 1   
 
~
 R  ;
n
2 n 1 1
2 n  1 
, 
, и длина этого интервала (где более
2 n  1 2 2 n  1 




точной является оценка ~ ) стремится к нулю при n   ; при всех же
остальных значениях параметра более точной является оценка  , но по
принципу минимакса оценка ~ точнее, нежели  .
5. Проверка гипотез. а) Критерий Неймана-Пирсона. Чтобы
построить критерий в задаче с простыми гипотезами ( H 0 :   0 , H1 :   1
), где, для определённости, 0  0  1  1 , определим целое число t (  заданный уровень значимости) из условия
  
kn
 Cknm0m 1  0 
kn  m
 
m  t 1
kn
C
 1  0 kn  m    .
m m
kn 0
m  t
Если здесь имеет место знак равенства     , то критерий НейманаПирсона задаётся критической областью
1  Tn  X 1  ...  X n  t 
и его мощность есть


W 1 ;1  1 Tn  t  
kn
C
m  t
Если же     , то можно использовать критерии
44
 1  1 kn  m .
m m
kn 1
(*)
1   Tn  t  (с уровнем значимости   )
либо
1   Tn  t  1 (с уровнем значимости   ).


Эти же критерии являются оптимальными и в задач ( H 0 :   0 , H1 :   1 )
со сложными односторонними гипотезами.
Для больших выборок n   асимптотический вариант критерия
Неймана-Пирсона принимает вид


1  Tn  kn0  u kn0 1  0  , u   1    ,
и его мощность при «близкой» альтернативе вида
1  1n  0  
n ,   0,
удовлетворяет предельному (при n   ) соотношению


k
W 1n    
 u  .
 0 1   0 


б) Задача
 H0 :   0 ,
H1 :   0  . В этой задаче с двусторонней
альтернативой асимптотический вариант критерия отношения
правдоподобия при уровне значимости  имеет вид

1  Tn  kn0
45
kn0 1  0   u 2

и его мощность при «близкой» альтернативе вида
      0  
n
n ,   0,
удовлетворяет предельному (при n   ) соотношению




k
k
W  n     
 u 2    
 u 2  .
 0 1   0 
 0 1   0 




 
в) Гипотеза однородности.
Вариант 1. Пусть X 1 ,..., X k - выборочные средние для независимых
выборок объёмов соответственно n1,..., nk из распределений Bi 1,1 ,..., Bi 1,k  .
Для проверки гипотезы однородности H 0 : 1  ...  k в случае больших
выборок n1,..., nk   можно использовать асимптотический вариант
критерия отношения правдоподобия
 k

1  2 n j X j ln X j  ln X   1  X j ln 1  X j   ln 1  X   12 , k 1 
 j 1



либо асимптотически эквивалентный ему критерий однородности хиквадрат:
k


1
2
1  
n j X j  X   12 , k 1 

 X 1  X  j 1

46
(здесь X 
1
n1 X 1  ...  nk X k , n  n1  ...  nk ).
n
Вариант 2. Пусть X 1 ,..., X k - независимые наблюдения из
распределений Bi 1,1 ,..., Bi 1,k  соответственно. Другими словами, имеется
выборка из неоднородной последовательности Бернулли (см. § 3). Для
проверки гипотезы однородности (и равновероятности) H 0 : 1  ...   k 
1
в
2
случае больших выборок k   можно использовать критерий

k
1   Tk 
2


k
 u 2  ,
4

который обладает свойством состоятельности против любой неоднородной
альтернативы при выполнении условия
k
 1      .
i 1
i
i
6. Оценивание для биномиального-бета распределения (см. п. 8 в § 1).
Если X и S 2 есть выборочные среднее и дисперсия выборки из этого
распределения, то оценками по методу моментов параметров  и 
являются статистики соответственно
 

X nX  X 2  S 2
nS 2  nX  X 2

и   
n X
.
X
При больших объёмах выборки эти оценки обладают свойствами
асимптотической несмещённости, асимптотической нормальности и
состоятельности.
47
7. Оценивание для усечённого распределения. Усечённое биномиальное
распределение возникает, когда некоторые значения случайной величины X
«запрещены». В простейшем варианте «запрещённым» является нулевое
значение: в этом случае получается положительное биномиальное
распределение (оно используется в демографических исследованиях),
задаваемое вероятностями


X  x  Cnx p x q n  x 1  q n , x  1,..., n .
Среднее и дисперсия такого распределения равны соответственно np 1  q n 
и npq  n2 p 2  1  q n   n2 p 2 1  q n  , а для отрицательных моментов справедлива
2
аппроксимация (Mendenhall and Lehman, 1960):
 
 X 1 
D  X 1  
1 2 n
,
np  q
1  1 n 1  2 n  q .
2
 np  q   np  q  1
Оценка максимального правдоподобия p̂ параметра p такого
распределения по N независимым наблюдениям из него удовлетворяет
уравнению метода моментов
X
npˆ
n .
1  1  pˆ 
Простая альтернативная оценка имеет вид (Mantel, 1951)
X  f1 N
~
,
p
n  f1 N
48
где f1 есть наблюдаемое число единиц в выборке.
Для больших выборок
Dp̂ 
Dp 
pq 1  q n 
2
Nn 1  q n  npq n1 
,
pq 1  q n 1  2q n1  npq n1  q n 
Nn 1  q n1 
2
,
и асимптотическая эффективность второй оценки равна примерно 95%
(Gart, 1970).
Моделирование
Если U - случайная величина, равномерно распределённая на отрезке 0,1 , и
I  A
- индикатор события A ( I  A =1, если A имеет место, и I  A =0 в
противном случае), то случайная величина I U  p имеет распределение
Бернулли Bi 1, p  . Поэтому, чтобы смоделировать выборку Х=(Х1,…, Хn) из
распределения Bi 1, p  , надо положить
X j  I U j  p , j  1,..., n,
где
U1,U 2 ,...
– последовательность независимых и равномерно распределённых на
отрезке 0,1 случайных величин.
49
Далее, согласно свойству воспроизводимости биномиального
распределения сумма
 I U
k
j 1
j
 p  имеет распределение Bi k , p  . Поэтому,
чтобы смоделировать выборку объёма n из распределения Bi k , p  , надо взять
n
непересекающихся участков длины k последовательности (*) и из
каждого участка построить биномиальную случайную величину указанного
вида. Формально это можно записать так:
X r   I U r 1k  j  p , r  1,..., n.
k
j 1
Заключение
Результатом выполнения дипломной работы является создание справочного
руководства по биномиальной модели и ее статистическим применениям.
Литература
Ивченко Г.И., Медведев Ю.И. (2011). Спектр случайной булевой функции и
его производящая функция. – Математические вопросы криптографии, т. 2.
№2, с. 41-54.
Хохлов В.И. (2001). Многочлены, ортогональные относительно
полиномиального распределения, и факториально-степенной формализм. –
Теория вероятн. и её примен., т. 46, в. 3, с. 585-592.
Прохоров Ю.В. (1953). Асимптотическое поведение биномиального
распределения. – Успехи матем. наук, т. 8, № 3, с. 135-142.
Тимашев А.Н. (2011). Большие уклонения в вероятностной комбинаторике.
– М.: Издательский дом "Академия".
Bahadur R. R. (1960). Some approximations to the binomial distribution function,
Ann. Math. Statist., 31, № 1, 43-54.
Berg, S. (1983a). Factorial series distributions, Encyclopedia of Statistical
Sciences, Vol. 3, S.
50
Diaconis, P., and Zarbell, S. (1991). Closed form summation for classical
distributions: Variations on a theme of De Moivre, Statistical Science, 6, 284–302.
Gart, J. J. (1970). Some simple graphically oriented statistical methods for discrete
data, Random Counts in Scientific Work, Vol. 1: Random Counts in Models and
Structures, G. P. Patil (editor), 171–191. University Park: Pennsylvania State
University Press.
Hannan, J., and Harkness, W. (1963). Normal approximation to the distribution of
two independent binomials, conditional on a fixed sum, Annals of Mathematical
Statistics, 34, 1593–1595.
Kemp, A. W. (1968a). Studies in Univariate Discrete Distribution Theory Based
on the Generalized Hypergeometric Function and Associated Differential
Equations, PhD Thesis, Belfast: The Queen’s University of Belfast.
Mendenhall, W., and Lehman, E. H. (1960). An approximation to the negative
moments of the positive binomial useful in life testing, Technometrics, 2, 233–239.
Mantel, N. (1951). Evaluation of a class of diagnostic tests, Biometrics, 3, 240–
246.
Peizer, D. B., and Pratt, J. W. (1968). A normal approximation for binomial, F,
beta and other common related tail probabilities, I, Journal of the American
Statistical Association, 63, 1416–1456.
Tripathi, R. C., and Gurland, J. (1977). A general family of discrete distributions
with hypergeometric probabilities, Journal of the Royal Statistical Society, Series
B, 39, 349–356.
Uhlmann, W. (1966). Vergleich der Hypergeometrischen mit der BinomialVerteilung, Metrika, 10, 145–158.
51