Теория вероятностей и случайные процессы

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ РФ
ФГОУ ВПО «СИБИРСКИЙ ФЕДЕРАЛЬНЫЙ
УНИВЕРСИТЕТ»
Т. В. Крупкина, С. В. Бабенышев,
А. К. Гречкосеев, Е. С. Кирик
ТЕОРИЯ ВЕРОЯТНОСТЕЙ
И СЛУЧАЙНЫЕ ПРОЦЕССЫ
Часть 1
Учебное пособие
СФУ 2007
УДК
ББК
000.000
22.17я73
К 84
Рецензенты
Т. В. Крупкина
К 84 Теория вероятностей и случайные процессы: учебное пособие / Т. В.
Крупкина, С. В. Бабенышев, А. К. Гречкосеев, Е. С. Кирик. Сибирский федеральный университет. Красноярск: 2007. 149 с.
ISBN 0-0000-0000-0
Учебное пособие посвящено курсу «Теория вероятностей, случайные процессы» и
соответствует первому семестру изучения. Включает в себя теоретическую основу курса и
контрольные вопросы. Предназначено для студентов математических направлений и специальностей.
Предназначено для студентов математических направлений и специальностей.
ISBN 0-0000-0000-0
c Сибирский федеральный университет, 2007
c Т. В. Крупкина, С. В. Бабенышев,
А. К. Гречкосеев, Е. С. Кирик 2007
Принятые обозначения и сокращения.
[x] — целая часть числа x.
exp x, exp{x} — экспонента аргумента x (exp x = exp{x} = ex ).
e — основание натурального логарифма, e = 2, 718 281 828 459 . . .
A, B, . . . , X — события.
A, B, . . . X — отрицания событий A, B, . . . , X.
B ⇔ C, B ⇐⇒ C — «из B следует C и из C следует B».
∃ x — «существует x».
∀ x — «для любого x».
@ x — «не существует x».
def
= — «равно по определению».
≡ — «тождественно равно».
J — начало решения.
I — конец решения.
n, m = n, n + 1, . . . , m при том, что n, m ∈ Z и n < m.
N — множество натуральных чисел.
Z — множество целых чисел.
R — множество вещественных чисел.
R+ — множество вещественных чисел.
3
Предисловие.
Представленное издание является второй частью пособия, предназначенного для
обеспечения самостоятельной работы студентов факультета математики и информатики
Сибирского федерального университета по изучению теоретического материала в курсе
«Теория вероятностей, случайные процессы». Курс занимает два семестра по 4 часа (2 часа
лекций и 2 часа практических занятий) в неделю.
Структура изложения определена структурой лекционных занятий: каждая часть
соответствует стандартному семестру (17 лекций), номер параграфа пособия соответствует
номеру лекции.
Часть 1, представленная в данном издании, охватывает модули «Случайные события» и «Случайные величины», изучаемые в 6 семестре, часть 2 посвящена модулям «Последовательности случайных величин» и «Случайные процессы», изучаемым в 7 семестре.
Модуль «Случайные события» состоит из трех разделов: «1. Введение в теорию вероятностей» (лекции 1, 2, 3); «2. Исчисление вероятностей» (лекции 4, 5); «3. Испытания» (лекции 6, 7). За основу построения теории вероятностей принята система аксиом
А. Н. Колмогорова. В разделе 1 излагаются краткие сведения по истории возникновения
и развития теории вероятностей, приводятся исторические методы решения классических
задач, вводятся понятия элементарного события, σ-алгебры, вероятностного пространства, рассматриваются эквивалентные системы аксиом и основные вероятностные пространства. В разделе 2 вводятся понятия условной вероятности, зависимости и независимости событий, доказывается закон 0 и 1 (лемма Бореля – Кантелли), выводятся основные
формулы исчисления вероятностей, непосредственно вытекающие из аксиом. В разделе 3
вводится прямое произведение вероятностных пространств, рассматриваются схемы испытаний, доказываются предельные теоремы для гипергеометрической схемы и для схемы
Бернулли.
Модуль «Случайные величины» состоит также из трех разделов: «4. Распределения случайных величин» (лекции 8, 9, 10, 11); «5. Числовые характеристики случайной величины» (лекции 12, 13); «6. Характеристики связи случайных величин» (лекции 14, 15,
16, 17). В этом модуле рассматриваются конечномерные случайные величины. Раздел 4
посвящен распределениям одномерных и многомерных случайных величин и их функций.
Вводятся понятия непрерывных и дискретных случайных величин, функции и плотности
распределения, обобщенной плотности, независимости случайных величин, σ-алгебр, порожденных случайными величинами. В разделе 5 на основе интеграла Лебега вводится понятие математического ожидания, изучаются основные свойства математического ожидания, рассматриваются прочие числовые характеристики одномерной случайной величины.
Раздел 6 посвящен изучению связи случайных величин. Вводятся понятия коррелированности, условных распределений, регрессии. Выводятся формулы для нахождения характеристик связи в двумерном и многомерном случаях. В качестве примера рассматривается
нормальное распределение.
Все разделы пособия включают широкий набор примеров и контрольных вопросов,
которые позволят закрепить и углубить теоретические знания и получить навыки практического использования вероятностных методов.
4
1. Введение в теорию вероятностей
Лекция 1
Введение в теорию вероятностей
План лекции: предмет теории вероятностей, история возникновения и развития, классическое определение вероятности, некоторые формулы комбинаторики.
1.1
Предмет теории вероятностей
Предмет теории вероятностей — математический анализ случайных явлений, то есть разработка и применение математического аппарата для изучения явлений, имеющих случайную природу. Основные объекты теории
вероятностей — случайные события, случайные величины, случайные процессы, то есть фактически весь окружающий нас мир.
В основе развития разумной жизни лежит способность замечать в
окружающем изменчивом мире «перманентности» — то, что является хотя бы приблизительно неизменным. Так, размеры и формы предметов,
причинно-следственные связи, физические законы представляют собой
перманентности. Такой же перманентностью, только гораздо менее очевидной, является частота, например, частота выпадения шестерки при бросании игральной кости. Хотя результат отдельного броска предсказать нельзя, частота выпадения шестерки для каждой кости при большом числе
бросков почти постоянна во времени. Это знали еще древние египтяне. Перманентность частот в событиях человеческой жизни была замечена гораздо
позже, при составлении таблиц смертности. Перманентности частот существуют и в функционировании сложных систем, однако чем сложнее система, тем труднее это обнаружить. Именно в этих случаях и используют вероятностные методы, позволяющие выделить закономерности среди массы
случайностей.
«Высшее назначение математики состоит в том, чтобы находить скрытый порядок в хаосе, который нас окружает», так писал Н. Винер1 , и это
в полной мере применимо к теории вероятностей, которую используют для
описания, изучения, прогнозирования поведения сложных систем. Нельзя
предсказать поведение отдельного человека или отдельной молекулы, но
можно предсказать поведение системы в целом. «Реальность такого рода
закономерностей не подлежит никакому сомнению», говорил А. Н. Колмогоров2 .
Теорию вероятностей и математическую статистику широко применяют в экономике, социологии, биологии, генетике, психологии. Вышепере1
Норберт Винер (англ. Wiener Norbert; 1894—1964) — американский учёный, один из создателей кибернетики.
2
Андрей Николаевич Колмогоров (1903—1987) — великий русский математик XX века.
5
1. Введение в теорию вероятностей
численные науки изучают живые организмы. Живые существа являются,
конечно, мощным источником случайностей. Но случайность существовала
и до появления жизни, истоки ее более глубоки. Случайно движение молекул. Статистическая физика, например, рассматривает макроскопическое
тело как систему из очень большого числа частиц, которую можно исследовать вероятностными методами.
Случайность всеобъемлюща. Но существует ли она на самом деле,
или мы используем это слово для маскировки нашего незнания причин?
Ученые-детерминисты Лаплас, Ньютон, Пристли считали, что в будущем,
когда наука установит все связи между причинами и следствиями, случайности не останется места. Если бы в некоторый момент были известны, говорили они, положения и импульсы всех молекул, можно было бы предсказать всю дальнейшую историю вселенной.
Лаплас3 выражал эту мысль так: «Ум, который знал бы все действующие в данный момент силы природы, а также относительное положение всех
составляющих ее частиц и который был бы достаточно обширен, чтобы все
эти данные подвергнуть математическому анализу, смог бы охватить единой
формулой движение как величайших тел природы, так и ее легчайших атомов; для него не было бы ничего неопределенного, он одинаково ясно видел
бы и будущее и прошлое.»
Однако в глубоких корнях случайности в природе убеждает фундаментальное положение квантовой механики, принцип неопределенности,
утверждающий, что нельзя одновременно точно измерить координату и импульс.
Большинство вероятностных школ признает объективное существование случайности, что, впрочем, не является необходимым для развития
теории вероятностей. Примером тому сам Лаплас, с именем которого связаны и принцип классического детерминизма, и замечательная работа «Аналитическая теория вероятностей» (1812 год), в предисловии к которой он
писал: «...нет науки, более достойной наших размышлений и результаты которой были бы более полезны.»
Теория вероятностей занимает в системе математических наук особое
3
Пьер-Симон Лаплас (фр. Pierre-Simon Laplace; 1749—1827) — французский математик, физик и астроном. Родился в бедной семье и попечительством соседей был устроен в школу Ордена Бенедиктинцев, из
которой, однако, вышел убежденным атеистом. Получив в 1771 году место профессора в Париже, он не покидал с тех пор этого города, пережив в нем Великую Французскую революцию, эпоху Наполеона и реставрацию Бурбонов. Вначале он был республиканцем, при Наполеоне — министром внутренних дел. Правда,
Лаплас вскоре был уволен с этого поста за то, что «...вносил слишком много бесконечно малых в дела государства». Однако ему были предоставлены другие почетные посты и титулы. Несмотря на это, в 1814 году
он проголосовал за низложение Наполеона и стал, после Реставрации, пэром и маркизом. Вклад Лапласа
в развитие теории вероятностей весьма велик. В его труде «Аналитическая теория вероятностей» основным
аппаратом служил математический анализ. Сразу после написания (1812 г.) курьер доставил книгу императору Наполеону в Витебск, император собирался посвятить изучению этой работы первые 3 месяца после
взятия Москвы. Эта работа трижды переиздавалась еще при жизни Лапласа.
6
1. Введение в теорию вероятностей
место. Она имеет множество приложений и в некотором смысле является
посредником между другими областями математики и действительностью.
С помощью вероятностных методов можно проверять адекватность математических моделей реальных явлений.
Однако при изучении теории вероятностей надо иметь в виду, что, как
и любая математическая наука, она не несет в самой себе никаких указаний
на возможные области и методы применений. Теоретические вероятностные
модели можно применять многими различными способами. Поэтому изучающему теорию вероятностей, кроме ознакомления с абстрактными моделями, требуется еще развивать вероятностную интуицию и технику приложений.
1.2
История возникновения и развития теории вероятностей
Развитие теории вероятностей как самостоятельной науки началось с середины семнадцатого столетия и связано с именами Ферма4 , Паскаля5 , Гюйгенса6 .
В 1654 г. шевалье де Мере7 задал Паскалю два вопроса, касающихся
азартных игр. Паскаль обсуждал эти вопросы в письмах к Ферма.
Первая задача де Мере состояла в следующем: сколько раз надо бросить две игральные кости, чтобы вероятность выпадения двух шестерок была больше половины? С этой задачей де Мере справился, и Паскаль, обсудив его решение, признал его правильным. Вторая задача оказалась более
сложной. Два игрока играют в азартную игру до n выигрышей. Как следует разделить между ними ставку, если игра прервана, когда первый игрок
выиграл a партий, а второй b партий, a, b < n?
Для решения этой задачи Паскаль ввел основные понятия теории вероятностей. Хотя отправным пунктом для исследований явились задачи,
связанные с азартными играми, он отчетливо сознавал важность новых по4
Пьер Ферма (фр. Pierre de Fermat; 1601—1665) — французский математик, один из создателей теории
чисел, где с его именем связаны две знаменитые теоремы: великая теорема Ферма и малая теорема Ферма.
5
Блез Паскаль (фр. Blaise Pascal; 1623—1662) — французский математик, физик, философ и писатель.
В двенадцать лет самостоятельно открыл геометрию Евклида, в шестнадцать был признан во Франции великим математиком, в двадцать три года изобрел вычислительную машину. Когда врачи запретили ему заниматься умственной работой, разрешив только переписку с друзьями, он посвящал эту переписку вопросам
математики. В возрасте тридцати одного года он принял монашество и отказался от научных занятий, но
до смерти, наступившей в 39 лет, занимался литературными и философскими трудами. Считается одним из
создателей французской классической прозы. Единица давления «паскаль», гидростатический «закон Паскаля», «треугольник Паскаля», «теорема о конических сечениях Паскаля», «распределение Паскаля» носят
его имя, а вот «улитка Паскаля» названа в честь его отца, тоже известного математика Э. Паскаля.
6
Христиан Гюйгенс (Xёйгенс) (нидерл. Huygens Christian; 1629—1695) — голландский механик, физик
и математик.
7
Антуан Гомбо, шевалье де Мере́ (фр. Antoine Gombaud, chevalier de Méré; 1607—1684) — французский писатель и математик.
7
1. Введение в теорию вероятностей
нятий. Это видно из письма Паскаля в Парижскую академию, где он, в частности, писал: «Это учение, объединяющее точность математических доказательств с неопределенностью случая и примиряющее эти, казалось бы,
противоречивые элементы, с полным правом может претендовать на титул — математика случайного, или теория вероятностей».
Первая книга, посвященная теории вероятностей, была написана в
1656 году Христианом Гюйгенсом. Она представляла из себя «рассуждение
о приложении теории вероятностей к азартным играм». Приводя изящные и
точные расчеты, Гюйгенс писал: «Читатель заметит, что имеет дело не только с игрой, но что здесь закладываются основы очень интересной и глубокой
теории».
Через полвека Якоб Бернулли8 написал книгу «Искусство предположений». Важнейшая часть в ней — изложение закона больших чисел,
утверждающего, что статистические характеристики, вычисленные на больших совокупностях, являются устойчивыми. Действительно, при единичных
наблюдениях проявляются индивидуальные особенности, при массовых наблюдениях они взаимокомпенсируются и выявляется сущность процесса.
Статистическая устойчивость средних была замечена давно. Однако Якоб
Бернулли не только сформулировал закон больших чисел, но и выработал условия, при которых суммарное поведение достаточно большого числа
случайных величин становится закономерным. Книга Якоба Бернулли была
издана через восемь лет после его смерти, в 1713 году. С этого времени теория вероятностей получила прочный базис для развития, который, однако,
в полной мере был использован только через сотню лет.
Конечно, нельзя сказать что работы в области теории вероятностей
прекратились. Большой вклад в нее внес Абраам де Муавр9 . В 1764 году
были посмертно опубликованы работы малоизвестного тогда, но очень известного сейчас Томаса Байеса10 , увековечившие его имя.
Бюффон11 расширил область применения теории, построив пример
геометрической вероятности, получивший название «игла Бюффона». Этот
пример позволял экспериментально определить число π, бросая иголку на
8
Якоб Бернулли (нем. Jakob Bernoulli; 1654—1705) — швейцарский математик, выходец из Голландии.
Старший из семьи швейцарских математиков Бернулли, в трех последовательных поколениях которой было восемь математиков (причём имена у них повторялись). Наиболее известен, кроме Якоба Бернулли, его
младший брат Иоганн, сотрудник Г. Лейбница в разработке дифференциального и интегрального исчислений.
9
Абрам (Абраа́м) де Муавр (фр. Abraham de Moivre; 1667—1754) — английский математик, француз по
происхождению. Будучи гугенотом, он покинул Францию после отмены Нантского Эдикта, чтобы избежать
религиозных преследований, и обосновался в Англии, зарабатывая на жизнь частными уроками. Является
не только автором известной всем формулы Муавра для комплексных чисел и исследований степенных рядов, но и соавтором формулы Стирлинга (асимптотическое представление n!). В теории вероятностей Муавр
доказал частный случай теоремы Лапласа (на полвека раньше Лапласа).
10
То́мас Ба́йес (Бейес; англ. Reverend Thomas Bayes; 1702—1761) — английский математик и священник.
11
Жорж-Луи Леќлерк Бюффо́н (фр. Georges-Louis Leclerc de Buffon; 1707—1788) — французский естествоиспытатель, автор знаменитой 36-томной «Естественной истории».
8
1. Введение в теорию вероятностей
плоскость, разграфленную параллельными прямыми, и подсчитывая частоту пересечений иголки с ними. При проведении многочисленных лотерей и
в работе страховых компаний накапливался статистический материал. Но
только в XIX веке теория вероятностей вновь привлекает внимание крупнейших современных математиков, первым из которых следует назвать Лапласа. Уже упоминавшаяся его работа «Аналитическая теория вероятностей» представляет из себя внушительный, богатый содержанием том. В
этом трактате разработан новый математический аппарат (производящие
функции, преобразование Лапласа и др.).
Среди современников Лапласа, оказавших значительное влияние на
развитие теории вероятностей, необходимо указать Гаусса12 и Пуассона13 ,
а во второй половине XIX века появилась блестящая плеяда русских математиков. Ведущими среди них были П. Л. Чебышёв14 , А. А. Марков15 ,
А. М. Ляпунов16 .
Профессор Петербургского университета Пафнутий Львович Чебышёв совершил в теории вероятностей переворот, выдвинув требование абсолютной строгости формулировок и доказательств теорем и получения
точных оценок отклонений от предельных закономерностей. П. Л. Чебышёв
нашел новый путь развития теории вероятностей — всестороннее изучение
последовательностей независимых случайных величин. Сам Чебышёв и его
ученики А. А. Марков и А. М. Ляпунов на этом пути получили фундаментальные результаты (закон больших чисел, предельные теоремы). Их трудами теория вероятностей стала достаточно строгой и разработанной областью науки.
Но еще в начале XX века большинство ученых не признавало ее равноправной ветвью математики. По выражению одного из них, теория вероятностей — нечто среднее между математикой, физикой и шаманством.
Причиной этого было отсутствие аксиоматического обоснования. В 1900
12
Карл Фридрих Гаусс (нем. Carl Friedrich Gauss; 1777—1855) — немецкий математик. Теория вероятностей находилась далеко не в центре научных интересов Гаусса. И все-таки он обогатил ее многими первоклассными результатами и повлиял на дальнейшее развитие ряда важных направлений. Наряду с Лапласом
Гаусс разрабатывал «теорию ошибок», и имя его навечно связано с нормальным распределением.
13
Симео́н-Дени́ Пуассо́н (фр. Siméon-Denis Poisson; 1781—1840) — французский физик, математик. В
теории вероятностей с именем Пуассона связано понятие распределения и процесса, носящих его имя, а
также закона больших чисел в форме Пуассона.
14
Пафнутий Львович Чебышёв (1821—1894) — величайший, наряду с Н. И. Лобачевским, русский математик XIX века. Математическая школа П. Л. Чебышёва, получившая название Петербургской, сыграла
выдающуюся роль в прогрессе математики не только в России, но и в мировом масштабе.
15
Андрей Андреевич Марков (1856—1922) — русский математик. На схеме «испытаний, связанных в
цепь» (цепи Маркова) установил ряд закономерностей, положивших начало всей современной теории марковских процессов.
16
Александр Михайлович Ляпунов (1857—1918) — русский механик и математик. А. М. Ляпунов опубликовал лишь две теоретико-вероятностные работы, но они оказали большое влияние на развитие теории
вероятностей; с его именем связаны «неравенство Ляпунова» и «теорема Ляпунова», для доказательства
которой был применен новый метод исследования — метод характеристических функций.
9
1. Введение в теорию вероятностей
году на Международном конгрессе математиков в Париже Гильберт17 составил список важнейших нерешённых проблем математики. В этот список он включил проблему аксиоматического обоснования теории вероятностей18 .
Наиболее интересные попытки решить эту задачу предпринимались
русским математиком Бернштейном 19 и эмигрантом из Германии Мизесом
20
, однако им не удалось построить удовлетворительную систему аксиом.
В двадцатых годах Э. Борель21 , А. Н. Колмогоров, Е. Е. Слуцкий 22 ,
А. Я. Хинчин23 и Поль Леви24 нашли тесную связь между теорией вероятностей и математическими дисциплинами, изучающими множества и общее
понятие функции (теорией множеств и теорией функций действительного
переменного). Открытие этой связи оказались чрезвычайно плодотворным,
и именно на этом пути советскому математику Андрею Николаевичу Колмогорову в 1933 году удалось решить проблему аксиоматического обоснования теории вероятностей.
«Поставив теорию вероятностей на теоретико-множественную основу, точнее, на фундамент теории множеств и теории мер, Колмогоров одним
махом дал не только логически удовлетворительное обоснование теории вероятностей, но и включил её в кровеносную систему современной математики, позволив тем самым использовать развитые её ветви для нужд теории
вероятностей. По простоте и естественности, а также упомянутым преимуществам теория Колмогорова быстро стала общепринятой и служит твёрдой основой для построения теории вероятностей на протяжении последних
30 лет», — писал в 1969 году А. Реньи25 .
Развитие физики и техники поставило перед теорией вероятностей
большое число совершенно новых проблем, касавшихся изучения процесса, то есть явления, протекающего во времени. Эти задачи не укладывались
в рамки классических схем.
Начало общей теории случайных процессов было положено фун17
Давид Гильберт (Хильберт; нем. David Hilbert; 1862—1943) — немецкий математик.
Подлинные слова Д. Гильберта, сказанные им при постановке проблемы № 6, таковы: «c исследованиями по основаниям геометрии близко связана задача об аксиоматическом построении по этому же образцу тех
физических дисциплин, в которых уже теперь математика играет выдающуюся роль: это в первую очередь —
теория вероятностей и механика.»
19
Сергей Натанович Бернштейн (1880—1968) — русский математик, разработал первую по времени аксиоматику (1917).
20
Рихард Мизес (нем. Richard Mises, 1883—1953) — немецкий математик и механик. В теории вероятностей Мизес ввёл в общее употребление интегралы Стилтьеса и первым подробно разъяснил значение теории
цепей Маркова для физики.
21
Феликс Эдуар Жюстен Эмиль Борель (фр. Félix Edouard Justin Borel Émile, 1871—1956) — французский математик, создатель нескольких отраслей современного математического анализа.
22
Евгений Евгеньевич Слуцкий (1880—1948) — русский математик, статистик и экономист.
23
Александр Яковлевич Хи́нчин (1894—1959) — русский математик.
24
Поль Пьер Леви́ (фр. Paul Pierre Levy; 1886—1971) — французский математик.
25
Альфре́д Ре́ньи (венг. Alfréd Rényi, 1921—1970) — венгерский математик.
18
10
1. Введение в теорию вероятностей
даментальными работами русских математиков А. Н. Колмогорова и
А. Я. Хинчина. Эта теория развивала введенные в первом десятилетии нашего века А. А. Марковым идеи изучения последовательностей зависимых
случайных величин, получивших название цепей Маркова.
С тех пор многие ученые (В. И. Романовский, Г. Адамар, М. Фреше,
Дж. Дуб, В. Феллер, Н. В. Смирнов, Б. В. Гнеденко, А. Н. Ширяев, А. А. Боровков и другие) внесли в теорию вероятностей и в теорию случайных процессов значительный вклад.
Теория вероятностей успешно продолжает развиваться.
1.3
Классическое определение вероятности
Рассмотрим некоторый опыт с конечным числом n взаимоисключающих
друг друга исходов, которые равновозможны. Пусть A — некоторое событие, связанное с этими исходами. Вероятность p (A) можно определить
как долю тех исходов, в результате которых это событие осуществляется:
n(A)
,
n
p (A) =
(1)
где n — число всех исходов, n(A) — число исходов, в результате которых
осуществляется событие A (благоприятных).
Пример 1.1 Какова вероятность, что при бросании игральной кости
выпадет нечетное число очков?
J Рассмотрим множество всех исходов {1, 2, 3, 4, 5, 6}. Исходы несовместны и равновозможны. Обозначим через A событие, состоящее в выпадении
нечетного числа очков: A = {1, 3, 5}. Очевидно, n = 6, n(A) = 3.
p (A) =
3 1
= .
6 2
I
Определение вероятности согласно (1) называется классическим
определением вероятности. Я.Бернулли формулировал его так: «...вероятность события есть отношение числа благоприятствующих случаев к числу всех возможных случаев, все случаи предполагаются равновозможными.» Заметим, что классическое определение вероятности на самом деле не
является определением. Оно дает лишь метод вычисления вероятностей в
простейших случаях, применяемый, однако, очень часто. При вычислении
числа исходов полезны формулы комбинаторики.
11
1. Введение в теорию вероятностей
1.4
Некоторые формулы комбинаторики
Ф.1. Число перестановок. Число перестановок n различных элементов
равно
Pn = n!
(2)
Пример 1.2 Карточки, на которых написано слово «АПЕЛЬСИН»,
перемешаны. Какова вероятность, что при случайном выкладывании их в ряд получится слово «СПАНИЕЛЬ»?
А П Е Л Ь С И Н
J Исходом испытания является любая перестановка карточек. Число всех
исходов n равно P8 = 8!, а слово «СПАНИЕЛЬ» действительно можно
сложить из карточек и, очевидно, единственным способом. Поэтому n(A) =
1.
n(A)
1
p (A) =
= .
n
8!
I
Ф.2. Составные наборы Пусть имеется r групп элементов, причем iя группа содержит ni элементов; i = 1, 2, . . . , n. Число способов, которыми
можно выбрать r элементов по одному из каждой группы, равно
N = n1 · n2 · · · · · nr .
(3)
Пример 1.3 Какова вероятность, что у случайно выбранного трехзначного числа все цифры различны?
J Чтобы найти общее число исходов n, надо сосчитать, сколько существует трехзначных чисел. Первую цифру можно выбрать 9 способами (любая цифра, кроме 0), вторую цифру 10 способами (любая цифра), третью
также 10 способами. По (3) общее количество трехзначных чисел равно
n = 9 · 10 · 10. Для нахождения числа благоприятных исходов надо сосчитать, сколько существует трехзначных чисел, все цифры которых различны. Первую цифру можно выбрать 9 способами (любая цифра, кроме
0), вторую цифру тоже 9 способами (любая цифра, кроме первой), для третьей цифры существует 8 вариантов (любая цифра, кроме первой и второй).
По (3) количество трехзначных чисел, все цифры которых различны, равно
n(A) = 9 · 9 · 8. Тогда искомая вероятность равна
p (A) =
n(A)
9·9·8
=
= 0, 72.
n
9 · 10 · 10
12
1. Введение в теорию вероятностей
I
Важное значение имеет частный случай Ф.2 при n1 = · · · = nr = n.
N = nr .
(4)
Эта формулу часто используют при повторении опытов.
Ф.3. Повторение опытов. Пусть испытание, имеющее n исходов,
независимо повторяется r раз. Число всех возможных наборов исходов
(Ai1 , Ai2 , . . . , Air ) равно
N = nr .
Пример 1.4 Три раза бросают игральную кость. Сколько различных
результатов может получиться?
J Три раза независимо повторяется испытание, имеющее 6 исходов, поэтому число всех возможных результатов равно N = 63 . I
Пример 1.5 Пусть r шаров случайно распределяются по n ящикам.
Какова вероятность того, что все шары попадут в первый ящик?
J n — число исходов испытания, r — число испытаний. Число всех возможных наборов исходов равно N = nr . Благоприятный исход, очевидно,
один.
n(A)
1
= r.
p (A) =
n
n
I
Следующие формулы применимы к схемам выбора. Необходимо
различать выбор с возвращением и выбор без возвращения.
Ф.4. Выбор с возвращением. Из n различных элементов выбирают
с возвращением r элементов, то есть каждый элемент регистрируют и возвращают обратно прежде, чем выбирают следующий. Число всех возможных выборок равно
N = nr .
Замечание 1.1 Это еще одна интерпретация формулы (4). Действительно, при повторении опытов исходы выбираются с возвращением.
Две следующие формулы описывают выбор без возвращения.
Рассмотрим выбор без учета порядка: два набора номеров исходов
считаются различными, если они отличаются составом. Наборы, отличающиеся лишь порядком следования номеров, считаются одинаковыми.
13
1. Введение в теорию вероятностей
Ф.5. Число сочетаний: выбор без возвращения и без учета порядка. Число способов, которыми можно выбрать m из n различных элементов,
равно
n!
Cnm =
(5)
.
m!(n − m)!
Пример 1.6 Из чисел 2, 3, 4, 5, 7, 8 выбирают два числа. Какова вероятность того, что составленная из этих чисел дробь сократима?
J Для того чтобы быть сократимой, дробь должна быть составлена из чисел
2, 4, 8. Число всех исходов равно
n = C62 =
6!
= 15.
2!(6 − 2)!
Число благоприятных исходов
n(A) = C32 =
p (A) =
3!
= 3.
2!(3 − 2)!
n(A)
3
1
=
= .
n
15 5
I
Теперь рассмотрим выбор с учетом порядка: два набора номеров
исходов считаются различными, если они отличаются составом или порядком номеров.
Ф.6. Число размещений: выбор без возвращения и с учетом порядка. Число способов, которыми можно выбрать и разместить по различным местам m из n различных элементов, равно
m
Am
n = Cn · m! =
n!
.
(n − m)!
(6)
Пример 1.7 На карточках написано слово
Ш К О Л А.
Одна за другой случайно вынимают и выкладывают в ряд три
карточки. Найти вероятность, что они лягут в таком порядке
К Л Ш
14
1. Введение в теорию вероятностей
J Число всех исходов равно
n = A35 =
5!
= 60.
(5 − 3)!
Число благоприятных исходов
n(A) = 1.
p (A) =
1
n(A)
= .
n
60
I
Ф.7. Число разбиений на группы.
Число способов, которыми можно разбить n различных элементов на
k групп, содержащих соответственно n1 , n2 , . . . , nk элементов, равно
N=
n!
.
n1 !n2 ! . . . nk !
(7)
Пример 1.8 Колода из 36 карт случайным образом делится на 4 равные части. Найти вероятность того, что тузы окажутся в разных
частях.
J Число способов разбиения 36 элементов на 4 группы по 9 элементов каждая, равно, согласно (7)
n=
36!
36!
=
.
9!9!9!9! (9!)4
Для подсчета числа благоприятных исходов найдем отдельно число n1 (A)
способов разбиения 4 тузов на 4 группы по 1 тузу и число n2 (A) способов
разбиения 32 карт, не являющихся тузами, на 4 группы по 8 карт:
n1 (A) =
4!
= 4!,
1!1!1!1!
n2 (A) =
По Ф.2
n(A) = n1 (A) · n2 (A) =
32!
32!
=
.
8!8!8!8! (8!)4
4! · 32!
.
(8!)4
4! · 94 · 32!
p (A) =
.
36!
I
15
1. Введение в теорию вероятностей
Замечание 1.2 Многие задачи удобно формулировать в терминах
урновой модели: есть урна, содержащая n пронумерованных шаров
определенного состава, мы выбираем из этой урны m шаров. Например, задача «Из чисел 2, 3, 4, 5, 7, 8 выбирают два числа. Какова вероятность того, что составленная из этих чисел дробь сократима?»
может быть переформулирована так: «В урне 3 белых и 3 черных
шара, из урны вынимают два шара, какова вероятность, что оба
они белые?». Очевидно, производится выбор без возвращения, и порядок не важен. Поэтому применяется формула (5).
1.5
Контрольные вопросы
1. Дайте определение классической вероятности.
2. Опишите урновую модель.
3. Сформулируйте в терминах урновой модели задачу: испытание
состоит в случайном выборе одной буквы из букв слова «ВЕРОЯТНОСТЬ»; необходимо найти вероятность события A =
{Вынута гласная буква, но не «Е»}.
4. Чему равно число всех
элементного множества?
k-элементных
подмножеств
n-
5. Чему равно число всех упорядоченных k-элементных подмножеств n-элементного множества?
6. Обоснуйте «правило суммы»: если объект a может быть выбран
m способами, а объект b — другими n способами, то выбор «либо
a, либо b» может быть осуществлен m + n способами.
7. Обоснуйте «правило произведения»: если объект a может быть
выбран m способами, а объект b можно выбрать n способами, то
выбор упорядоченной пары ha, bi может быть осуществлен m · n
способами.
8. Выведите формулы числа перестановок, числа размещений, числа сочетаний.
9. Каким числом способов можно переставить буквы слова «ЗАДАЧА»?
10. Выведите формулу числа перестановок с повторениями.
16
2. Основные понятия теории вероятностей
Лекция 2
Основные понятия теории вероятностей
План лекции: статистическое определение вероятности, пространство элементарных событий, операции над событиями, аксиоматическое определение вероятности, свойства вероятности,
σ-алгебры, свойство непрерывности.
2.1
Статистическое определение вероятности
Определение 2.1 Пусть рассматриваемый опыт можно повторять
многократно, и пусть n — число всех повторений опыта, а n(A) —
число тех из них, в которых осуществлялось событие A. Отношение
n(A)
n называется частотой события A в данной серии испытаний.
Практика показывает,что для многих событий частота n(A)
n
при больших n мало меняется, колеблясь около некоторого постоянного значения p∗ , которое можно назвать вероятностью события
A,
n(A)
p∗ (A) =
.
(8)
n
2.2
Пространство элементарных событий
Будем интерпретировать случайные события как множества. Пространство элементарных событий Ω = {ω} — постулируемое понятие. Элементарные события ω интерпретируют как взаимоисключающие исходы
опыта. Случайное событие A можно рассматривать как подмножество
Ω (интерпретация: A — набор исходов, при которых оно осуществляется),
A = {ωA } ⊆ Ω.
1. Достоверное событие, наступающее при любом исходе, обозначается Ω.
2. Невозможное событие обозначается ∅.
3. A1 = A2 , если A1 ⊆ A2 и A2 ⊆ A1 .
4. A1 и A2 называются несовместными, если множества элементарных исходов {ωA1 } и {ωA2 } не пересекаются.
Пример 2.1 Кость подбрасывают 2 раза.
Ω = {i, j},
Пусть A = {i + j 6 3},
1 6 i 6 6,
B = {j = 6},
1 6 j 6 6.
C = {j четно}.
J Тогда A = {(1, 1), (1, 2), (2, 1)}, B = {(i, 6)}, 1 6 i 6 6,
C = {(i, 2), (i, 4), (i, 6)},
17
1 6 i 6 6.
2. Основные понятия теории вероятностей
События A и B несовместны.I
2.3
Операции над событиями
Определение 2.2 Суммой или объединением A1 , A2 называется событие A, состоящее в осуществлении хотя бы одного из A1 , A2 :
A = A1 + A2 = A1 ∪ A2 ,
(закрашенная область на рис. 1).
A1
A2
Ω
Рис. 1. Объединение событий A1 ∪ A2
S
Аналогично определяется A =
k
Ak .
Определение 2.3 Произведением или пересечением событий A1 , A2
называется событие A, состоящее в осуществлении и A1 и A2 :
A = A1 A2 = A1 ∩ A2 ,
(закрашенная область на рис. 2).
A1
A2
Ω
Аналогично определяется
A=
\
k
18
Ak .
2. Основные понятия теории вероятностей
Рис. 2. Пересечение событий A1 ∪ A2
Определение 2.4 Разностью событий A1 , A2 называется событие A,
которое означает, что происходит A1 , но не происходит A2 :
A = A1 \ A2 ,
(закрашенная область на рис. 3).
A1
A2
Ω
Рис. 3. Разность событий A1 \ A2
Определение 2.5 Противоположным или дополнительным к событию A называется событие Ā, состоящее в том, что событие A
не происходит:
Ā = Ω \ A,
(закрашенная область на рис. 4).
A
Ā
Ω
Рис. 4. Противоположное событие Ā
Определение 2.6 Симметрической разностью событий A и B называется событие
A1 4A2 = A1 Ā2 + A2 Ā1 ,
(закрашенная область на рис. 5).
19
2. Основные понятия теории вероятностей
A1
A2
Ω
Рис. 5. Симметрическая разность событий A1 4A2
Итак, после того, как случайные события интерпретированы в виде
множеств, теоретико-вероятностные понятия, например, несовместимость
событий, их одновременная реализация, противоположное событие, невозможное событие, превратились соответственно в непересечение множеств,
их пересечение, дополнение множества, его пустоту. Тем самым аппарат основных операций над множествами применим к операциям над событиями.
Пример 2.2 Кость подбрасывают 2 раза.
Ω = {i, j},
Пусть A = {i + j 6 3},
1 6 i 6 6,
B = {j = 6},
1 6 j 6 6.
C = {j четно}.
JТогда
B + C = C,
AC = {(1, 2)},
C \ B = {(i, 2), (i, 4)},
C̄ = {(i, 1), (i, 3), (i, 5)},
1 6 i 6 6.
1 6 i 6 6.
I
2.4
Аксиоматическое определение вероятности
Определение 2.7 Вероятностью события называется числовая
функция p (A), удовлетворяющая аксиомам :
1. p (A) > 0.
2. p (Ω) = 1.
20
2. Основные понятия теории вероятностей
3. Для непересекающихся событий {Ai } справедливо:
p(
∞
[
Ai ) =
i=1
∞
X
p (Ai ).
(9)
i=1
Аксиома 3 называется аксиомой счетной аддитивности.
2.5
Свойства вероятности
1. p (∅) = 0.
2. A ⊂ B ⇒ p (A) 6 p (B).
3. p (Ā) = 1 − p (A).
4. p (A) 6 1.
Свойства легко доказать на основе определения. Докажем, например,
свойство 2:
Доказательство. A ⊂ B ⇒ B = A + B Ā. События A и B Ā несовместны, так как AB Ā = ∅. По аксиоме (3) p (A + B Ā) = p (A) + p (B Ā). По
аксиоме (1) p (B Ā) > 0, следовательно
p (B) = p (A + B Ā) = p (A) + p (B Ā) > p (A).
Замечание 2.1 Если пространство элементарных событий Ω = {ω}
счетно, то
X
p (A) =
p (ω)
(10)
ω∈A
и A может быть любым подмножеством Ω.
Если же Ω несчетно, не всякое подмножество Ω является событием. Здесь в качестве событий приходится выделять специальный
класс подмножеств.
2.6 σ-алгебры
Пусть F — некоторая система подмножеств множества Ω.
Определение 2.8 F называется алгеброй, если
1) Ω ∈ F,
2) A ∈ F, B ∈ F ⇒ A ∪ B ∈ F, A ∩ B ∈ F,
3) A ∈ F ⇒ A ∈ F.
21
2. Основные понятия теории вероятностей
Определение 2.9 F называется σ-алгеброй, если выполняются свойства 1, 3, а свойство 2) выполняется для любых счетных последовательностей:
∞
∞
[
\
∗
2 ) A1 , A2 , . . . , An . . . ∈ F ⇒
Ai ∈ F,
Ai ∈ F.
(11)
i=1
i=1
Таким образом, алгебра есть класс множеств, замкнутый относительно конечного числа операций дополнения, пересечения и объединения, а σалгебра — класс, замкнутый относительно счетного числа этих операций.
Рассмотрим некоторые примеры σ-алгебр.
1. {Ω, ∅}.
2. {Ω, A, Ā, ∅}, A — некоторое подмножество Ω.
3. Модель с конечным или счетным числом элементарных событий:
Ω = {ω1 , . . . , ωn },
число случайных событий равно 2n . Для каждого из этих примеров легко
проверить выполнение аксиом 1), 2∗ ), 3).
Множества из σ-алгебры F будем считать событиями. Остальные
подмножества Ω, не входящие в F, событиями не являются.
Выделение той или иной σ-алгебры обусловлено существом рассматриваемой задачи и природой множества F.
Наиболее часто используют борелевские σ-алгебры. Рассмотрим
множество B интервалов из R. Пересечение всех σ-алгебр, содержащих
B, и называется борелевской σ-алгеброй. Ее можно представить как совокупность множеств, полученных из интервалов посредством счетного числа
операций объединения, пересечения и дополнения.
Борелевская σ-алгебра на Ω = R1 содержит все интервалы с различными вариантами включения концов и все одноточечные множества, так как
\
1
1
{x} = {(x − , x + )}.
n
n
n
Пример 2.3 Пусть B∞ , B∈ — σ-алгебры подмножеств пространства
Ω. Являются ли σ-алгебрами классы множеств 1) B1 ∩ B2 ; 2) B1 ∪ B2 ;
3) B1 4 B2 ?
J 1) Да. B1 ∩ B2 замкнуто относительно счетного числа операций объединения, пересечения и дополнения.
2) Вообще говоря, нет. Например, если B1 = {Ω, A, Ā, ∅}, B2 =
{Ω, B, B̄, ∅}, то B1 ∪ B2 = {Ω, A, Ā, B, B̄, ∅} и, очевидно, не обязательно
является σ-алгеброй.
3) Нет. B1 4B2 не содержит Ω. I
22
2. Основные понятия теории вероятностей
Замечание 2.2 В дальнейшем, говоря о совокупности событий, мы будет предполагать (если противное не оговорено), что все они содержатся в одной и той же σ-алгебре F, следовательно, их счетные
объединения и пересечения тоже являются событиями.
Теперь мы можем доказать еще одно важное свойство вероятности.
2.7
Свойство непрерывности
Теорема 2.1 (Свойство непрерывности) Если A1 ⊆ A2 ⊆ · · · ⊆ An ⊆
. . . , то
[
(12)
p ( Ak ) = lim p (An ).
n→∞
k
Доказательство. Рассмотрим {Bn } :
B1 = A1 , B2 = A2 \ B1 . . . , Bn = An \
n−1
[
Bk ;
k=1
[
Ak =
k
n
[
Bk = An ,
[
p(
k=1
k
n
[
Bk .
Bk ) =
k=1
n
X
p (Bk ),
k=1
поскольку события Bk несовместны.
n
[
[
X
X
p ( Ak ) = p ( Bk ) =
p (Bk ) = lim
p (Bk ) = lim p (An ).
k
k
n→∞
k
k=1
n→∞
Теорема 2.2 (Эквивалентная формулировка свойства непрерывности)
Если A1 ⊇ A2 ⊇ · · · ⊇ An ⊇ . . . — монотонно убывающая последовательность событий, то
\
p ( Ak ) = lim p (An ).
(13)
n→∞
k
Доказательство. Перейдем к дополнительным событиям.
Ā1 ⊆ Ā2 ⊆ . . .
Тогда по предыдущему
\
[
p ( Ak ) = 1 − p ( Āk ) = 1 − lim p(Ān ) = lim (1 − p (Ān )) = lim p (An ).
k
k
n→∞
n→∞
23
n→∞
2. Основные понятия теории вероятностей
Этим свойством можно заменить аксиому счетной аддитивности (3) в
определении вероятности (2.7), то есть справедлива следующая теорема.
Теорема 2.3 В определении вероятности (2.7) аксиома счетной аддитивности (3) эквивалентна аксиомам конечной аддитивности
(3∗ ) и непрерывности (4∗ ):
(3∗ ). Для непересекающихся событий A1 , A2 , . . . An
p(
n
[
n
X
Ai ) =
i=1
p (Ai ).
i=1
(4∗ ). Если A1 ⊆ A2 ⊆ · · · ⊆ An ⊆ . . . — монотонно возрастающая
последовательность событий, то
[
p ( Ak ) = lim p (An ).
n→∞
k
Доказательство. Докажем, что из (3∗ ) и (4∗ ) следует (3). Пусть
Bn =
n
[
Ak .
k=1
Тогда
n
[
[
[
p ( Ak ) = p ( Bk ) = lim p (Bn ) = lim p ( Ak ) =
k
= lim
n→∞
2.8
n→∞
k
n
X
p (Ak ) =
k=1
n→∞
∞
X
p (Ak ).
k=1
k=1
Контрольные вопросы
1. Событие A = {Число четное}, событие B = {Число кратно 3}.
Опишите события A + B, AB, AB, A4B.
2. Обязаны ли совпадать события A и B, если B ⊆ A, A ⊆ B?
3. Верно ли равенство (A + B) \ B = A \ A B?
4. Пусть A ⊂ B. Чему равны A B и A + B?
5. Является ли операция симметрической разности коммутативной?
24
3. Вероятностное пространство
6. Является ли операция разности ассоциативной?
7. Опишите σ-алгебру подмножеств отрезка [0, 1], порожденную
множеством {[0; 0, 4], [0, 4; 1]}.
8. Может ли число всех элементов некоторой σ-алгебры равняться 14?
9. Сформулируйте отличия алгебры и σ-алгебры.
10. Приведите пример алгебры, не являющейся σ-алгеброй.
Лекция 3
Вероятностное пространство
План лекции: вероятностное пространство, классическое вероятностное пространство, геометрическое вероятностное пространство, дискретное и непрерывное вероятностное пространство.
3.1
Определение вероятностного пространства
Определение 3.1 Вероятностным пространством называется
тройка
(Ω, F, P),
где Ω — пространство элементарных событий, F — σ-алгебра подмножеств множества Ω, P — вероятностная мера, заданная на F.
Напомним аксиоматическое определение вероятности P (2.7): вероятностью события называется числовая функция p (A), удовлетворяющая
аксиомам:
1. p (A) > 0.
2. p (Ω) = 1.
3. Для непересекающихся событий {Ai } справедливо:
P(
∞
[
Ai ) =
i=1
∞
X
p (Ai ).
i=1
Рассмотрим пример построения вероятностного пространства.
Пример 3.1 Монету бросают до тех пор, пока она не выпадет два
раза подряд одной стороной. Описать вероятностное пространство. Найти вероятность того, что число подбрасываний будет
четным.
25
3. Вероятностное пространство
J Ω — множество всех конечных цепочек длины не менее 2, состоящих
из чередующихся Г, Р и заканчивающихся сочетанием ГГ или РР, а также бесконечных цепочек, состоящих из чередующихся Г, Р; F — совокупность всех подмножеств Ω. Вероятность цепочки длины n равна 21n . Вероятность того, что число подбрасываний будет четным, равна P (ГГ + ГРГГ +
ГРГРГГ + · · · + РР + РГРР + РГРГРР + . . . ) = 212 + 214 + 216 + · · · + 212 + 214 +
1
26
+ ··· = 2 ·
1
4
1− 14
= 23 . I
Рассмотрим в качестве примеров два важных вероятностных пространства.
3.2
Классическое вероятностное пространство
Ω = {ω1 , . . . , ωn }, исходы равновозможны;
F — совокупность всех подмножеств Ω,
A = {ωi1 , . . . , ωik };
kAk
k
= .
(14)
kΩk n
Это определение вероятности совпадает с классическим определением вероятности (1), поэтому примеры (1.1.1)–(1.1.6) по сути являются примерами использования классического вероятностного пространства.
p (A) =
3.3
Геометрическое вероятностное пространство
Эксперимент состоит в случайном выборе точки из ограниченного множества Ω — n-мерного евклидова пространства;
F — система подмножеств Ω, для которых имеет смысл понятие nмерного объема;
kAk
P(A) =
,
(15)
kΩk
где kAk — n-мерный объем множества A.
Рассмотрим более подробно задачи с использованием данного вероятностного пространства. При этом необходимо иметь в виду, что геометрическое определение вероятности (15) применяют только в тех случаях, когда
вероятность попадания точки в любую часть области пропорциональна мере этой части области и не зависит от ее расположения и формы.
Пример 3.2 Эксперимент состоит в случайном выборе точки из
квадрата [0, 1] × [0, 1]. Найти вероятность того, что точка отстоит от всех вершин квадрата не менее, чем на 12 .
26
3. Вероятностное пространство
J Ω — множество точек квадрата (рис. 6); F состоит из областей, для которых имеет смысл понятие площади; A — множество точек квадрата, отстоящих от всех вершин квадрата не менее, чем на 12 (на рисунке A заштриховано).
Y
1
1
2
1
0
X
Рис. 6.
P(A) =
kAk
kΩk
SA
SΩ ,
где SA — площадь области A.
2
π
π
1
SΩ = 1, SA = π ·
= , p (A) = .
2
4
4
=
I
Пример 3.3 На плоскости задан отрезок и рассматривается множество треугольников, у которых этот отрезок является наибольшей
стороной. Какова вероятность, что случайно выбранный из этого
множества треугольник — тупоугольный?
J Будем считать, что третья вершина треугольника находится в верхней полуплоскости (рис. 7).
Y
B
SΩ
SA
0
D
C X
Рис. 7.
Пусть длина отрезка равна 2a. Поскольку это — наибольшая сторона, третья вершина треугольника может располагаться только в криволинейном секторе OBC, ограниченном дугами окружностей радиуса 2a. Если третья вершина треугольника принадлежит полуокружности радиуса a с
27
3. Вероятностное пространство
центром в точке D, то треугольник прямоугольный, если она находится вне
полукруга — остроугольный, если внутри полукруга, то треугольник — тупоугольный. Таким образом, благоприятная область A — полукруг радиуса
a с центром в точке D.
SA =
πa2
,
2
SΩ найдем как
SΩ = S4 + 2(Sсект. − S4 ) = 2Sсект. − S4 .
√
2πa2
S4 = a 3, Sсект. =
.
3
√
2πa2
SΩ = 2 ·
− a2 3.
3
2
Тогда
P (A) =
p (A) =
SA
,
SΩ
πa2
2
2·
2πa2
3
3π
√ .
√ =
− a2 3 8π − 6 3
I
Пример 3.4 Испытание состоит в выборе на отрезке AB длиной l
двух случайных точек: C и D. Найти вероятность того, что длина
отрезка CD меньше 2l .
J Пусть x — длина отрезка AC, y — длина отрезка AD. Переменные x, y
могут принимать значения от 0 до l. Таким образом, можно считать, что
эксперимент состоит в случайном выборе точки из квадрата [0, l] × [0, l] и
Ω — множество точек этого квадрата. Обозначим через A описанное событие: A = {|CD| < 2l }. Запишем A с помощью введенных переменных:
A = {(x, y) : |y − x| < 2l } = {(x, y) : x − 2l < y < x + 2l }. В системе
координат XOY построим области Ω и A.
P(A) =
SΩ = l 2 ,
SA
= SA ,
SΩ
SA = l2 −
3
p (A) = .
4
I
28
l2
3l2
=
,
4
4
3. Вероятностное пространство
3.4
Дискретное и непрерывное вероятностные пространства
Рассмотрим общие определения дискретного и абсолютно непрерывного
вероятностных пространств (их примерами являются соответственно классическое и геометрическое пространства).
Определение 3.2 Пусть пространство элементарных исходов Ω —
счетное множество (Ω = {ω1 , . . . , ωn . . . }) или Ω — конечное множество (Ω = {ω1 , . . . , ωn }), F — множество всех подмножеств Ω, каждому элементарному исходу P
ωi поставлено в соответствие число
p (ωi ) из отрезка [0; 1], причем p (ωi ) = 1 и
i
P(A) =
X
p (ωi ).
(16)
i: ωi ∈A
Тогда (Ω, F, P) есть дискретное вероятностное пространство.
Определение 3.3 Пусть Ω = {(x1 , x2 , . . . , xn )} — n-мерное действительное евклидово пространство, ψ(x1 , x2 , . . . , xn ) — неотрицательная функция, интегрируемая в любой квадрируемой области из
Ω и такая, что
Z
Z
. . . ψ(x1 , x2 , . . . , xn ) dx1 dx2 . . . dxn = 1.
(17)
Ω
F — σ-алгебра, порожденная квадрируемыми областями из Ω,
Z
Z
P(A) = . . . ψ(x1 , x2 , . . . , xn ) dx1 dx2 . . . dxn .
(18)
A
Тогда (Ω, F, P) есть абсолютно непрерывное вероятностное
пространство.
Пример 3.5 Пусть Ω = (0, ∞), S — множество всех подмножеств
Ω, P — числовая функция на S :
X
p (A) =
2−k , A ∈ S,
k∈A∩N
где N = {1, 2, . . . }. Является ли (Ω, S, P ) вероятностным пространством?
J Ω задано; S — σ-алгебра как множество всех подмножеств Ω, остается
проверить выполнение аксиом для P .
1. p (A) > 0.
29
3. Вероятностное пространство
∞
P
2−k = 1.
k=1
S
P −k
P
3. Пусть A =
A
.
p
(A)
=
2
=
2−k =
i
i
k∈A∩N
k∈∩i Ai N
P P −k P
2 = p (Ai ). Следовательно, (Ω, S, P ) является вероятностным
2. p (Ω) =
i k∈Ai ∩N
i
пространством. I
3.5
Контрольные вопросы
1. Дайте определение вероятностного пространства.
2. В чем состоят отличия классического вероятностного пространства от общего дискретного вероятностного пространства?
3. Сформулируйте определение классического вероятностного
пространства как частный случай определения дискретного вероятностного пространства.
4. Испытание состоит в бросании правильной игральной кости.
Постройте классическое вероятностное пространство.
5. Испытание состоит в бросании игральной кости. Укажите хотя бы три способа построить пространство элементарных событий Ω.
6. Испытание состоит в бросании игральной кости, Ω = {A, B},
где A = {1}, B = {2, 3, 4, 5, 6}. Укажите хотя бы три способа построить σ-алгебру.
7. Испытание состоит в бросании игральной кости, Ω = {A, A},
где A = {1}, σ-алгебра F = {Ω, A, A, ∅}. Укажите хотя бы три
способа задать вероятностную меру и уточните, к каким моделям будут применимы полученные вероятностные пространства (кость может быть неправильной).
8. Дайте определение геометрического вероятностного пространства.
9. В чем состоят отличия геометрического вероятностного пространства от общего непрерывного вероятностного пространства?
30
4. Независимые события
10. Сформулируйте определение геометрического вероятностного
пространства как частный случай определения непрерывного
вероятностного пространства.
11. Сформулируйте различия понятий «элементарное событие» и
«случайное событие».
12. Обязательно ли элементарное событие является случайным событием?
13. Может ли в некотором вероятностном пространстве число
элементарных событий быть строго больше, чем число всех событий?
Лекция 4
Независимые события
План лекции: независимость двух событий, независимость попарная и в совокупности, условная вероятность, теорема умножения, лемма Бореля — Кантелли.
4.1
Независимость двух событий
Определение 4.1 События A и B называются независимыми, если
p (AB) = p (A)p (B).
(19)
Свойства независимых событий
1. Если A и B независимы, то независимы A и B̄, Ā и B, Ā и B̄.
2. Если A и B независимы, A и C независимы, BC = ∅, то независимы A и B + C.
Пример 4.1 Монету бросают n раз ( n > 1 ).
A = {герб выпадает не более одного раза},
B = { герб и решка выпадают не менее одного раза каждый }.
Исследовать зависимость событий A и B.
J
1
n
n+1
+
=
,
2n 2n
2n
1
1
1
p (B) = 1 − p (B̄) = 1 − [p (Г = 0) + p (Р = 0)] = 1 − n − n = 1 − n−1 ,
2
2
2
p (A) = p (Г = 0) + p (Г = 1) =
31
4. Независимые события
p (AB) = p (Г = 1, Р > 1) = p (Г = 1).
Поскольку n > 1, то
p (Г = 1, Р > 1) = p (Г = 1)
то есть
n
.
2n
События независимы, если p (AB) = p (A)p (B), то есть,
p (AB) = p (Г = 1) =
1
1
n
(n + 1)( )n · (1 − ( )n−1 ) = n ,
2
2
2
n + 1 = 2n−1 ,
что верно только при n = 3.
Таким образом, события независимы при n = 3, зависимы при остальных n. I
4.2
Независимость попарная и в совокупности
Определение 4.2 События A1 , . . . An называются независимыми (в
совокупности), если для всех 1 6 i1 < i2 < · · · < im 6 n, m 6 n,
p(
m
\
Aik ) =
k=1
m
Y
p (Aik ).
(20)
k=1
Замечание 4.1 Из попарной независимости событий не обязательно
следует независимость в совокупности.
Пример 4.2 Опыт состоит в случайном выборе одной из четырех
карточек:
1 2 3 123
Ai = {на выбранной карточке есть цифра i“}.
”
1
1
p (Ai ) = , i = 1, 2, 3; p (A1 A2 ) = p (A2 A3 ) = p (A1 A3 ) = .
2
4
Для любых i 6= j p (Ai Aj ) = p (Ai )p (Aj ), что означает попарную независимость.
Однако
1
p (A1 A2 A3 ) = 6= p (A1 )p (A2 )p (A3 ),
4
то есть события зависимы в совокупности.
32
4. Независимые события
4.3
Лемма Бореля — Кантелли
Эта лемма носит также название «Критерий 0 и 1». Она является частным
случаем так называемых законов нуля и единицы. Позднее мы познакомимся еще с некоторыми законами из этой большой группы теорем.
Теорема 4.1 (лемма Бореля — Кантелли)
тельность событий
A1 , A2 , . . . , An . . . ;
Если ряд
P
26
Рассмотрим последова-
pk = p (Ak ).
pk сходится, то с вероятностью 1 может произой-
k
ти лишь конечное число
P событий из последовательности событий
A1 , A2 , . . . , а если ряд
pk расходится и события A1 , A2 , . . . незавиk
симы, то с вероятностью 1 происходит бесконечное число событий
из последовательности A1 , A2 , . . . .
P
Доказательство. 1.Пусть pk < ∞. Обозначим
k
Bn =
[
Ak ,
B=
\
Bn =
\[
n k>n
n
k>n
Ak .
Событие B означает, что происходит бесконечное число событий из последовательности A1 , A2 , . . . .
[
Bn =
Ak , ⇒ B1 ⊇ B2 ⊇ . . .
k>n
По свойству непрерывности
p (B) = lim p (Bn ).
n→∞
Но, так как ряд
P
pk сходится,
k
p (Bn ) 6
X
pk → 0
k>n
при n → ∞.
Следовательно,
p (B) = lim p (Bn ) = 0.
n→∞
2.
B̄ =
[\
Āk .
n k>n
26
Франче́ско Па́оло Канте́лли (ит. Francesco Paolo Саntelli; 1875—1966) — итальянский математик.
33
4. Независимые события
Событие B̄ означает, что происходит конечное число событий из последовательности A1 , A2 , . . . .
n+m
\
\
Āk .
Āk ⊆
B̄n =
k=n
k>n
n+m
\
p (B̄n ) 6 p (
Āk ) =
n+m
Y
p (Āk ) = (1 − pn ) . . . (1 − pn+m ) 6
k=n
k=n
−pn
−pn+m
−
Pn+m
6 e ...e
= e k=n pk → 0.
P
P
(Поскольку ряд k pk расходится, n+m
k=n pk → ∞ при m → ∞.)
Тогда p (B̄n ) = 0 для любого n = 1, 2, . . .
p (B̄) 6
X
p (B̄n ) = 0,
n
p (B) = 1 − p (B̄) = 1.
4.4
Условная вероятность
Определение 4.3 Условной вероятностью события A при условии,
что произошло событие B, называется отношение
p (A/B) =
p (AB)
,
p (B)
(p (B) > 0).
(21)
Пример 4.3 Брошены три игральные кости. Какова вероятность того, что на всех костях выпали шестерки, если известно, что по крайней мере на одной кости выпала шестерка?
J Пусть
A = {на всех костях выпали шестерки},
B = {по крайней мере на одной кости выпала шестерка}.
Заметим, что A влечет B, поэтому AB = A.
p (AB)
p (A)
p (A/B) =
=
.
p (B)
p (B)
3
1
5
p (A) = 3 , p (B) = 1 −
.
6
6
1
p (A/B) = .
91
I
34
4. Независимые события
4.5
Теорема умножения
Теорема 4.2 (Теорема умножения) Пусть p (B) 6= 0. Тогда
(22)
p (AB) = p (A/B)p (B).
Эта теорема вытекает из определения (21). Теорему умножения можно
обобщить для n событий:
Теорема 4.3 (Теорема умножения для n событий) Пусть
p (A1 ) 6= 0, . . . , p (An−1 ) 6= 0. Тогда
p (A1 A2 . . . An ) = p (A1 )p (A2 /A1 ) . . . p (An /A1 A2 . . . An−1 ).
(23)
Доказательство. Для n = 1, 2 индуктивное предположение верно. Пусть
верно для n − 1. Обозначим
C=
n−1
\
Ai ;
A1 A2 . . . An = C ∩ An .
i=1
p (A1 A2 . . . An ) = p (C)p (An /C) =
= p (A1 )p (A2 /A1 ) . . . p (An /A1 A2 . . . An−1 ).
Замечание 4.2 Для независимых событий
p (A1 A2 . . . An ) =
n
Y
p (Aik ).
k=1
Пример 4.4 В компьютерной игре каждую секунду с вероятностью
p вылетает пчела, которая поражает игрока, если он находится в
опасной зоне. Вылеты пчелы — независимые события. Для пересечения зоны поражения требуются 3 секунды. Вылеты пчелы видны заранее, поэтому можно дождаться 3 безопасных секунд. Какова вероятность того, что игроку придется ждать 4 секунды?
J Ровно 4 секунды придется ждать в том случае, когда нельзя стартовать
в первые 4 секунды, а пятая, шестая и седьмая секунды будут безопасными. Рассмотрим первые 4 секунды. Заметим, что четвертая секунда не может быть безопасной, так как иначе можно было бы стартовать раньше. В
первые три секунды возможны различные варианты, кроме одного — трех
безопасных секунд. Обозначим
A = {Ждать придется 4 секунды},
35
5. Теоремы исчисления вероятностей
Ai = {Появление пчелы в i − ю секунду},
A = Ā1 Ā2 Ā3 A4 Ā5 Ā6 Ā7 .
p (A) = (1 − (1 − p)3 )p (1 − p)3 .
I
4.6
Контрольные вопросы
1. Может ли событие не зависеть от самого себя?
2. Независимы ли ∅ и любое событие A?
3. Независимы ли Ω и любое событие A?
4. Является ли транзитивным для событий отношение независимости?
5. Является ли транзитивным для событий отношение зависимости?
6. События несовместны. Что можно сказать о их зависимости?
7. События независимы. Что можно сказать о их совместности?
8. Приведите пример, показывающий, что из попарной независимости событий не обязательно следует независимость в совокупности.
9. Сформулируйте теорему умножения для 3 событий.
10. Сформулируйте теорему умножения для независимых событий.
11. Сформулируйте эквивалентное определение независимости
двух событий, использующее условную вероятность.
Лекция 5
Теоремы исчисления вероятностей
План лекции: теорема сложения, формула полной вероятности,
теорема Байеса.
36
5. Теоремы исчисления вероятностей
5.1
Теорема сложения
По аксиоме счетной аддитивности вероятность суммы несовместных событий равна сумме их вероятностей.
p (A1 + A2 + · · · + An ) = p (A1 ) + p (A2 ) + · · · + p (An ).
Но это соотношение справедливо лишь для несовместных событий. В случае совместных событий вероятность суммы событий можно найти с помощью теоремы сложения вероятностей. Рассмотрим вначале теорему сложения вероятностей для двух событий.
Теорема 5.1 (Теорема сложения для двух событий) Для любых событий A и B
p (A ∪ B) = p (A) + p (B) − p (AB).
(24)
Доказательство.
A = A · Ω = A(B + B̄) = AB + AB̄, B = BA + B Ā,
A ∪ B = AB + AB̄ + B Ā.
Все слагаемые в правых частях несовместны, поэтому
p (A) = p (AB) + p (AB̄), p (B) = p (AB) + p (ĀB),
p (A ∪ B) = p (AB) + p (AB̄) + p (ĀB).
Выразим p (AB̄) и p (ĀB) из предыдущих равенств и подставим в
p (A ∪ B) :
p (A ∪ B) = p (A) + p (B) − p (AB).
Пример 5.1 Найти вероятность того, что случайно выбранное натуральное число делится на 2 или на 3.
J Пусть
A = {число делится на 2},
B = {число делится на 3}.
1 1 1 2
p (A ∪ B) = p (A) + p (B) − p (AB) = + − = .
2 3 6 3
I
37
5. Теоремы исчисления вероятностей
Замечание 5.1 Разумеется, теорема (5.1) применима и для несовместных событий.
Пример 5.2 В урне находится 4 белых и 2 черных шара. Наугад вынимают 3 шара. Найти вероятность того, что среди них не меньше
двух белых.
J Пусть
A = {вынуто не меньше 2 белых},
B = {вынуто 2 белых, 1 черный шар},
C = {вынуто 3 белых}.
A = B + C, p (A) = p (B) + p (C) − p (BC),
но события B и C несовместны, поэтому p (BC) = 0 и
p (A) = p (B) + p (C).
Число всех исходов равно
n = C63 =
6!
= 20.
3!3!
Число благоприятных исходов для B:
4!
· 2 = 12.
2!2!
n(B) 12
p (B) =
=
= 0, 6.
n
20
Число благоприятных исходов для C:
4!
n(C) = C43 =
= 4.
3!1!
4
n(C)
=
= 0, 2.
p (C) =
n
20
p (A) = p (B) + p (C) = 0, 6 + 0, 2 = 0, 8.
n(B) = C42 · C21 =
.I
Теорема сложения вероятностей легко обобщается на случай n событий.
Теорема 5.2 (Теорема сложения для n событий) Для любых событий
A1 . . . An
p(
n
[
Ai ) =
i=1
+
X
n
X
p (Ai ) −
i=1
X
p (Ai Aj )+
16i<j6n
p (Ai Aj Ak ) − · · · + (−1)n−1 p (A1 . . . An ).
16i<j<k6n
38
(25)
5. Теоремы исчисления вероятностей
Доказательство. Для n = 1, 2 верно. Пусть верно для n − 1.
p(
n
[
Ai ) =
i=2
n
X
X
p (Ai ) −
i=2
X
p (Ai Aj ) +
26i<j6n
p (Ai Aj Ak ) − . . .
26i<j<k6n
+(−1)n−2 p (A2 . . . An ).
Применим эту формулу к A1 Ai :
p(
n
[
A1 Ai ) =
i=2
n
X
X
p (A1 Ai )−
i=2
X
p (A1 Ai Aj )+
26i<j6n
p (A1 Ai Aj Ak )−. . .
26i<j<k6n
+(−1)n−2 p (A1 . . . An ).
n
n
n
n
[
[
[
[
p ( Ai ) = p (A1 Ai ) = p (A1 ) + p ( Ai ) − p ( A1 Ai ).
i=1
i=2
i=2
Подставим полученные выражения для p (
n
S
Ai ) и p (
i=2
p(
n
[
Ai ) = p (A1
i=1
=
n
X
n
[
p (Ai )−
X
n
[
X
A1 Ai ) в p (
n
S
Ai ):
i=1
Ai ) − p (
i=2
p (Ai Aj )+
16i<j6n
i=1
n
S
i=2
Ai ) = p (A1 ) + p (
i=2
i=2
n
[
A1 Ai ) =
i=2
p (Ai Aj Ak )−· · ·+(−1)n−1 p (A1 . . . An ).
16i<j<k6n
Пример 5.3 (Задача о совпадениях) Случайным образом n писем
вкладываются в n подписанных конвертов. Найти вероятность
того, что хотя бы 1 письмо вложено правильно.
S
J Пусть Ak = {k-е письмо вложено в k-й конверт}, A = nk=1 Ak . По теореме сложения
p(
n
[
Ai ) =
i=1
n
X
X
p (Ai ) −
i=1
X
p (Ai Aj ) +
16i<j6n
p (Ai Aj Ak ) − . . .
16i<j<k6n
+(−1)n−1 p (A1 . . . An ).
Обозначим
p1 =
n
X
p (Ai ),
p2 =
i=1
p3 =
X
p (Ai Aj ),
16i<j6n
X
p (Ai Aj Ak ), . . . .
16i<j<k6n
39
5. Теоремы исчисления вероятностей
Найдем вероятность события Ak1 Ak2 . . . Akm . В наборе из n номеров
k1 , . . . , km фиксированы, а остальные n − m можно произвольно переставлять, поэтому
(n − m)!
.
p (Ak1 Ak2 . . . Akm ) =
n!
Число слагаемых в сумме, составляющей pm , равно числу способов
выбора m индексов среди n индексов, то есть Cnm , а каждое слагаемое равно
(n−m)!
n! . Ввиду этого
1
(n − m)!
=
.
pm = Cnm
n!
m!
Из теоремы сложения следует, что
n
[
p ( Ai ) = p1 − p2 + p3 − · · · + (−1)n−1 pn .
i=1
p (A) = 1 −
1
1
1
+ − · · · + (−1)n−1 .
2! 3!
n!
Легко видеть, что
p (A) → 1 − e−1 при n → ∞.
I
Пример 5.4 Доказать, что для произвольных случайных событий
A, B, C
p (ABC) > p (A) + p (B) + p (C) − 2.
J По теореме сложения для двух событий A и B
1 > p (A + B) = p (A) + p (B) − p (AB) ⇒ p (AB) > p (A) + p (B) − 1.
Применим теперь теорему сложения к событиям AB и C:
1 > p (AB + C) = p (AB) + p (C) − p (ABC) ⇒
p (ABC) > p (AB) + p (C) − 1 > p (A) + p (B) + p (C) − 2.
I
5.2
Формула полной вероятности
Теорема 5.3 (Формула полной вероятности) Пусть A — случайное
событие, H1 , H2 , . . . , Hn —
Snпопарно несовместные случайные события, p (Hi ) > 0 и A ⊂ i=1 Hi . Тогда справедлива формула полной
вероятности:
n
X
p (A) =
p (Hi )p (A/Hi ).
(26)
i=1
40
5. Теоремы исчисления вероятностей
Доказательство.
Используем
аксиому аддитивности и теорему умножения.
Sn
Sn
A = A ∩ ( i=1 Hi ) = i=1 AHi .
p (A) = p (
n
[
AHi ) =
i=1
n
X
p (Hi )p (A/Hi ).
i=1
H2
H1
H3
A
H4
Ω
Рис. 8. Гипотезы Hi .
Пример 5.5 На сборку телевизоров поступают микросхемы от двух
поставщиков, причем 70% микросхем поставляет первый, а 30% —
второй. В продукции первого поставщика бракованные микросхемы
составляют 2%, в продукции второго — 3%. Какова вероятность
того, что взятая наудачу микросхема окажется бракованной?
J Пусть A = {Микросхема является бракованной},
H1 = {Микросхема поступила от первого поставщика},
H2 = {Микросхема поступила от второго поставщика}.
p (H1 ) = 0, 7,
p (H2 ) = 0, 3;
p (A/H1 ) = 0, 02,
p (A/H2 ) = 0, 03.
По формуле полной вероятности
p (A) = p (H1 )p (A/H1 ) + p (H2 )p (A/H2 ) =
0, 7 · 0.02 + 0, 3 · 0.03 = 0, 023.
I
Пример 5.6 (Задача о разорении) Игроки А и В ведут игру до полного разорения одного из них. Капитал первого равняется a, капитал
второго — b. Вероятность выигрыша каждой партии для игрока А
равна p, а для игрока В — q, (p + q = 1). В каждой партии выигрыш
одного (и проигрыш другого) равняется 1. Результаты отдельных
партий независимы. Найти вероятность разорения каждого из игроков при p = q = 21 .
41
5. Теоремы исчисления вероятностей
J Пусть P (x) — вероятность разорения первого игрока, имеющего капитал
x.
H1 = {Выигрыш им очередной партии},
H2 = {Проигрыш им очередной партии}, p (H1 ) = p,
p (H2 ) = q.
По формуле полной вероятности
P (x) = p · P (x + 1) + q · P (x − 1),
P (0) = 1,
P (a + b) = 0.
По условию p = q = 12 .
1
1
P (x) = P (x + 1) + P (x − 1),
2
2
P (x) − P (x + 1) = P (x − 1) − P (x) = c,
P (x + 1) = P (x) − c,
Отсюда
c=
c — const.
P (1) = 1 − c, . . . , P (a + b) = 1 − (a + b)c = 0.
a
b
1
иP (a) = 1 −
=
.
a+b
a+b a+b
I
Пример 5.7 В одной из двух урн, в каждой из которых 10 шаров, один
шар отмечен. С вероятностью 3/4 он находится в первой урне, с
вероятностью 1/4 — во второй. Играющий имеет право последовательно извлекать с возвращением 20 шаров из любой урны. Как следует распорядиться этим правом, чтобы вероятность извлечения
хотя бы один раз отмеченного шара была бы наибольшей?
J
H1 = {Отмеченный шар находится в первой урне},
H2 = {Отмеченный шар находится во второй урне},
A = {Извлечение хотя бы один раз отмеченного шара}.
p (H1 ) = 3/4,
p (H2 ) = 1/4.
Пусть из первой урны извлекают m шаров, а из второй — 20 − m. Тогда
p (A/H1 ) = 1 − (0, 9)m ,
p (A/H2 ) = 1 − (0, 9)20−m .
По формуле полной вероятности
p (A) = 3/4 · (1 − (0, 9)m ) + 1/4 · (1 − (0, 9)20−m ).
42
5. Теоремы исчисления вероятностей
Найдем m, максимизирующее p (A), то есть, минимизирующее y(m) :
y(m) = 3 · (0, 9)m + (0, 9)20−m .
y 0 (m) = (3 · (0, 9)m − (0, 9)20−m ) ln 0, 9.
20 1 ln 3
y 0 (m) = 0 ⇒ (0, 9)2m−20 = 1/3 ⇒ m =
− ·
.
2
2 ln 0, 9
y 00 (m) = (3 · (0, 9)m + (0, 9)20−m ) ln2 0, 9 > 0,
следовательно, это точка минимума y(m).
Таким образом, наибольшая вероятность p при вынимании m = 10 −
1
ln 3
2 · ln 0,9 ≈ 15, 26 ≈ 15 шаров из первой урны. I
5.3
Формула Байеса
Теорема 5.4 (формула Байеса) Пусть
A — случайное
событие,
H1 , HS2 , . . . , Hn попарно несовместны, p (Hi ) > 0, p (A) > 0 и
A ⊂ ni=1 Hi . Тогда справедлива формула Байеса:
p (Hi )p (A/Hi )
.
p (Hi /A) = Pn
p
(H
)p
(A/H
)
i
i
i=1
(27)
Доказательство.
p (AHi ) = p (A/Hi )p (Hi ) = p (Hi /A)p (A) ⇒
p (Hi /A) =
p (Hi )p (A/Hi )
p (Hi )p (A/Hi )
.
= Pn
p (A)
i=1 p (Hi )p (A/Hi )
Пример 5.8 В условиях примера (5.5) взятая наудачу микросхема
оказалась бракованной. Найти вероятность того, что микросхема
поступила от первого поставщика.
J По условию на сборку телевизоров поступают микросхемы от двух поставщиков, причем 70% микросхем поставляет первый, а 30% — второй. В
продукции первого поставщика бракованные микросхемы составляют 2%,
в продукции второго — 3%. Пусть
A = {Микросхема является бракованной},
H1 = {Микросхема поступила от первого поставщика},
H2 = {Микросхема поступила от второго поставщика}.
43
5. Теоремы исчисления вероятностей
p (H1 ) = 0, 7,
p (H2 ) = 0, 3;
p (A/H1 ) = 0, 02,
p (A/H2 ) = 0, 03.
По формуле Байеса
p (H1 )p (A/H1 )
.
p (H1 )p (A/H1 ) + p (H2 )p (A/H2 )
0, 7 · 0.02
p (H1 /A) =
.
0, 7 · 0.02 + 0, 3 · 0.03
0, 014
p (H1 /A) =
≈ 0, 609.
0, 023
p (H1 /A) =
I
Пример 5.9 В техникуме n студентов, из которых nk (k = 1, 2, 3)
человек учатся k-й год. Среди двух наудачу выбранных студентов
оказалось, что один из них учится дольше второго. Какова вероятность того, что этот студент учится третий год?
J Обозначим {i, j} событие,состоящее в том, что один студент учится i-й
год, а другой — j-й год.
H1 = {1, 2}, H2 = {2, 3}, H3 = {1, 3}, A = {(i, j) : i < j или j < i}.
Cn11 · Cn12
2n1 n2
p (H1 ) =
=
,
2
Cn
n(n − 1)
2n1 n3
2n2 n3
, p (H3 ) =
.
p (H2 ) =
n(n − 1)
n(n − 1)
p (A/Hi ) = 1, i = 1, 2, 3.
По формуле полной вероятности
2n1 n2 + 2n2 n3 + 2n1 n3
p (A) =
,
n(n − 1)
p ((H2 + H3 )/A) = p (H2 /A) + p (H3 /A).
По формуле Байеса
p (H2 /A) =
=
2n1 n3
n(n−1)
2n1 n2 +2n2 n3 +2n1 n3
n(n−1)
p (H2 )p (A/H2 )
=
p (A)
=
n2 n3
.
n1 n2 + n2 n3 + n1 n3
n2 n3 + n1 n3
p ((H2 + H3 )/A) =
=
n1 n2 + n2 n3 + n1 n3
I
44
1
n1
1
n1
+
1
n2
+
1
n2
+
1 .
n3
6. Схемы испытаний
5.4
Контрольные вопросы
1. Сформулируйте теорему сложения для 3 событий.
2. Сформулируйте теорему сложения для несовместных событий.
3. Приведите геометрическую интерпретацию теоремы сложения для 4 событий.
4. Приведите интерпретацию теоремы сложения для n событий
как формулы включений и исключений.
5. p (A1 ) = 0, 7, p (A2 ) = 0, 6. Каковы максимальное и минимальное
возможные значения p (A1 A2 )?
6. p (Ai ) = 0, 9, i = 1, 2, 3, 4. Каковы максимальное и минимальное возможные значения p (A1 A2 A3 A4 )?
7. Докажите формулу полной вероятности.
8. Сформулируйте и докажите формулу Байеса.
9. Предложите множество гипотез {Hi } для решения следующей
задачи.
«С вероятностью 0,6 учебник находится на одной из трех полок. После просмотра двух полок учебник не обнаружен. Какова
вероятность того, что учебник на третьей полке?»
10. Предложите множество гипотез {Hi } для решения следующей
задачи. «Два студента сдавали экзамен. Предварительная вероятность сдать экзамен на «отлично» у первого студента 0,9,
у второго 0,6. Известно, что только один из них сдал экзамен на
«отлично». Какова вероятность, что это второй студент?»
Лекция 6
Схемы испытаний
План лекции: независимые испытания, схема Бернулли, свойства биномиальных вероятностей, полиномиальная схема, пример зависимых испытаний, гипергеометрические вероятности,
предельные теоремы для гипергеометрических вероятностей.
45
6. Схемы испытаний
6.1
Независимые испытания
Определение 6.1 Рассмотрим
испытания
S1 , S2 , . . . , Sn ,
соответствующие им вероятностные пространства
и
(Ω1 , F1 , P1 ), (Ω2 , F2 , P2 ), . . . , (Ωn , Fn , Pn ),
а также составное испытание S с вероятностным пространством
(Ω, F, P), где
Ω = Ω1 × Ω2 × · · · × Ωn ,
(элементарное событие интерпретируется как цепочка исходов в n
последовательных испытаниях); F — σ-алгебра, порожденная прямым произведением
F = F1 × F2 × · · · × Fn .
Испытания S1 , S2 , . . . , Sn независимы, если ∀A
A = A1 × A2 × · · · × An ,
Ai ∈ Fi ,
i = 1, 2, . . . , n,
справедливо
p (A) = p1 (A1 ) · p2 (A2 ) · · · · · pn (An ) =
p (A1 × Ω2 × · · · × Ωn ) · p (Ω1 × A2 × · · · × Ωn ) · · · · · p (Ω1 × Ω2 × . . . An ).
6.2
Схема Бернулли
Определение 6.2 Схема n независимых испытаний называется схемой Бернулли, если:
1) испытания одинаковы;
2) каждое испытание имеет два исхода: A (успех) и Ā (неудача);
3) вероятность успеха в каждом испытании постоянна,
p (Ai ) = p,
p (Āi ) = 1 − p = q,
i = 1, . . . , n.
Вероятность элементарного события (цепочки из n исходов, содержащей на
фиксированных местах ровно m успехов) в силу независимости испытаний
равна
p (ω) = pm q n−m .
Теорема 6.1 (Формула Бернулли) Вероятность осуществления ровно m успехов в n испытаниях равна
pn (m) = Cnm pm q n−m .
46
(28)
6. Схемы испытаний
Доказательство. Пусть A есть множество цепочек из n исходов, содержащих на произвольных местах ровно m успехов. Вероятность p (A) в силу
аддитивности равна
X
p (A) = pn (m) =
p (ω) = Cnm pm q n−m , m = 0, 1, . . . , n.
ω∈A
Пример 6.1 В семье 6 детей. Найти вероятность того, что среди
этих детей: а) 2 мальчика; б) не более 2 мальчиков; в) более 2 мальчиков; г) не менее 2 и не более 3 мальчиков. Вероятность рождения
мальчика принять равной 0,515.
J Применим формулу Бернулли при n = 6, p = 0, 515, q = 0, 485:
а) p6 (2) = C62 (0, 515)2 (0, 485)4 ≈ 0, 22;
б) p (m 6 2) = p6 (0) + p6 (1) + p6 (2) = (0, 485)6 + C61 (0, 515)1 (0, 485)5 +
C62 (0, 515)2 (0, 485)4 ≈ 0, 313;
в) p (m > 2) = 1 − p (m 6 2) ≈ 0, 687;
г) (p (2 6 m 6 3) = p6 (2) + p6 (3) ≈ 0, 530. I
6.3
Свойства биномиальных вероятностей
1. Проверим, что p (Ω) = 1.
p (Ω) =
X
p (ω) =
ω∈Ω
X
m n−m
p q
=
Cnm pm q n−m = (p + q)n = 1.
m=0
ω∈Ω
2.
pn (m)
pn (m − 1)
n
X
=

 < 1, m > np + p
= 1, m = np + p

> 1, m < np + p.
Доказательство.
pn (m)
Cnm pm q n−m
n!(m − 1)!(n − m + 1)! p (n − m + 1)p
= m−1 m−1 n−m+1 =
=
=
pn (m − 1) Cn p
q
m!(n − m)!n!
q
mq

 < 1, m > np + p,
=
= 1, m = np + p,

> 1, m < np + p.
3. Наивероятнейшее число успехов m0 : pn (m0 ) = maxm pn (m).
np + p, np + p − 1 при целом np + p,
m0 =
(29)
[np + p] при нецелом np + p.
47
6. Схемы испытаний
Пример 6.2 В семье 6 детей. Считая, что вероятность рождения
мальчика равна 0,515, найти наивероятнейшее число мальчиков в семье.
J Число np+p = 6·0, 515+0, 515 = 3, 605 не является целым. Поэтому
m0 = [np + p] = [3, 605] = 3. I
6.4
Полиномиальная схема
Определение 6.3 Схема n независимых испытаний называется полиномиальной схемой, если:
1) испытания одинаковы;
Sk
2) каждое испытание имеет k исходов A1 , . . . , Ak ,
i=1 Ai = Ω;
любого исхода в каждомPиспытании постоянP3)
Pвероятность
k
на,
p (Ali ) = pi , l = 1, . . . , n, i = 1, . . . , k,
i=1 pi = 1.
Найдем
pn (m1 , . . . , mk ) =
p{A1 произошло m1 раз , . . . , Ak произошло mk раз },
k
X
mi = n.
i=1
Аналогично (28)
pn (m1 , . . . , mk ) =
k
X
n!
mk
1 m2
pm
1 p2 . . . pk ,
m1 !m2 ! . . . mk !
k
X
pi = 1,
i=1
(30)
mi = n.
i=1
Пример 6.3 80 % студентов сдают экзамен с первого раза, 17% —
со второго раза и 3% отчисляются из университета как не сдавшие
экзамен. Трое студентов пришли впервые сдавать экзамен. Какова
вероятность того, что среди них имеется хотя бы один, который
сдаст экзамен с первого раза, и хотя бы один, который сдаст экзамен со второго раза?
J Будем записывать событие {a студентов сдают экзамен с первого раза,
b — со второго раза и c отчисляются из университета как не сдавшие экзамен} в виде (a, b, c). Данным испытаниям соответствует полиномиальная
схема, так как выполняются условия определения (30). При этом
p1 = 0, 8,
p2 = 0, 17,
48
p3 = 0, 03.
6. Схемы испытаний
Событию, вероятность которого надо найти, благоприятствуют исходы
(1, 1, 1), (1, 2, 0), (2, 1, 0).
По (30)
p=
3!
3!
3!
· 0, 8 · 0, 17 · 0, 03 +
· 0, 8 · (0, 17)2 +
· (0, 8)2 · 0, 17 =
1!1!1!
1!2!0!
2!1!0!
= 0, 42024 ≈ 0, 42
I
6.5
Пример зависимых испытаний. Гипергеометрические вероятности
Пусть из совокупности n предметов, среди которых n1 предметов первого
вида и n2 предметов второго вида (n1 + n2 = n) производится выборка без
возвращения m предметов, 1 6 m 6 n. Вероятность того, что в выборке будет m1 предметов первого вида и m2 предметов второго вида (m1 +m2 = m),
согласно классическому определению вероятности (1), выражается формулой
Cnm11 Cnm22
pn1 ,n (m1 , m) =
.
(31)
Cnm
Данные испытания, очевидно, являются зависимыми. Пример легко
обобщается на случай m видов предметов, в результате получаются многомерные гипергеометрические вероятности.
6.6
Предельные теоремы для гипергеометрических вероятностей
Теорема 6.2 Пусть n → ∞ и n1 → ∞ так , что
Тогда
pn1 ,n (m1 , m) → pm (m1 ).
Доказательство.
=
n1
n
→ p,
0 6 p 6 1.
(32)
Cnm11 Cnm22
pn1 ,n (m1 , m) =
=
Cnm
m!(n − m)!
n1 !
n2 !
=
n!
m1 !(n1 − m1 )! m2 !(n2 − m2 )!
m! nn1 ( nn1 − n1 ) . . . ( nn1 − m1n−1 ) nn2 ( nn2 − n1 ) . . . ( nn2 −
=
n n
1
n
m−1
m1 !m2 !
n(n − n) . . . (n − n )
49
m2 −1
n )
7. Предельные теоремы для схемы Бернулли
→
m!
pm1 (1 − p)m2 = pm (m1 ).
m1 !m2 !
Смысл этой теоремы в том, что (при указанных условиях) гипергеометрические вероятности стремятся к биномиальным вероятностям. Многомерный аналог данной теоремы утверждает, что (при аналогичных условиях) многомерные гипергеометрические вероятности стремятся к полиномиальным вероятностям.
6.7
Контрольные вопросы
1. Докажите формулу Бернулли.
2. Применима ли формула Бернулли, если вероятность успеха имеет различные значения в разных опытах?
3. Каким образом с помощью формулы Бернулли можно найти вероятность хотя бы одного появления события?
4. Каким образом в схеме Бернулли можно найти вероятность появления успеха не меньше данного числа раз?
5. Докажите, что pn (m) представляет собой коэффициент при tm
разложения функции (q + p t)n по формуле бинома Ньютона.
6. Может ли наивероятнейшее число успехов в N испытаниях Бернулли равняться N ?
7. Докажите полиномиальную формулу.
8. Приведите пример испытаний, описываемых гипергеометрической схемой, и укажите параметры этой схемы.
9. Приведите пример гипергеометрической схемы испытаний, которая может быть приближенно описана схемой Бернулли.
10. Приведите пример многомерной гипергеометрической схемы испытаний, которая может быть приближенно описана полиномиальной схемой.
Лекция 7
Предельные теоремы для схемы Бернулли
План лекции: теорема Пуассона, локальная предельная теорема Муавра — Лапласа, интегральная предельная теорема Муавра — Лапласа, свойства функций ϕ(x), Φ(x), Φ0 (x).
50
7. Предельные теоремы для схемы Бернулли
7.1
Теорема Пуассона
При числе испытаний, превышающем 20, вычисление точного значения
pn (m) затруднительно из-за расчетов факториалов и степеней. В этих случаях применяют приближенные формулы, вытекающие из соответствующих
предельных теорем. Различают два случая: когда p мало, используют приближение Пуассона, а когда p не мало (и не очень близко к единице), справедливо приближение Муавра — Лапласа. Существует область, в которой
возможно применение обоих приближений.
Теорема 7.1 (Теорема Пуассона) Если n → ∞, p → 0 так, что np →
λ, 0 < λ < ∞, то для любого фиксированного m ∈ N справедливо:
pn (m) =
Cnm pm q n−m
λm e−λ
→ pλ (m) =
.
m!
(33)
Доказательство. Пусть np = λn . Тогда
m n−m
n!
λ
λ
n
n
pn (m) = Cnm pm q n−m =
1−
=
m!(n − m)! n
n
m n−m
n(n − 1) . . . (n − m + 1) λn
λn
=
1−
=
m!
n
n
n −m
λm
λn
1
2
m−1
λn
n
=
1−
1−
1−
... 1 −
1−
.
m!
n
n
n
n
n
При n → ∞, λn = np → λ,
n
λn
1
1−
→ e−λ ,
1−
→ 1,
n
n
−m
2
m−1
λn
1−
→ 1, . . . , 1 −
→ 1,
1−
→ 1.
n
n
n
Следовательно,
λm e−λ
pn (m) → pλ (m) =
.
m!
Рассмотрим скорость сходимости в теореме Пуассона. Поскольку при
n → ∞ сомножители
n
λn
1
−λ
1−
→e ,
1−
→ 1,
n
n
−m
2
m−1
λn
→ 1, . . . , 1 −
→ 1,
1−
→1
1−
n
n
n
51
7. Предельные теоремы для схемы Бернулли
с точностью O( n1 ), то с этой же точностью
λm e−λ
pn (m) → pλ (m) =
.
m!
Эта оценка не может быть существенно улучшена, что показывает, например, разложение в ряд разности pn (0) − pλ (0) при n → ∞ :
λ
pn (0) − pλ (0) = (1 − p)n − e−λ = en ln (1−p) − e−λ ∼ en ln (1− n ) −
λ
λ2
−e−λ ∼ en(− n − 2n ) − e−λ = e−λ (e
−λ2
2n
− 1) ∼ e−λ
1
−λ2
= O( ).
2n
n
Приближенная формула Пуассона
pn (m) ≈ pλ (m) =
λm e−λ
,
m!
(34)
где λ = np. Приближенную формулу Пуассона применяют при n >
30, p < 0, 1, 0, 1 < λ = np < 10.
Пример 7.1 (Задача о днях рождения) Какова вероятность, что среди 500 случайно выбранных людей ни один не родился 1 января?
J По формуле Бернулли
0
p500 (0) = C500
p0 q 500 =
364
365
500
≈ 0, 2537 ≈ 0, 254.
По приближенной формуле Пуассона
λ = np = 500 ×
1
≈ 1, 3699
365
λ0 e−λ
p500 (0) =
≈ e−1,3699 ≈ 0, 2541 ≈ 0, 254.
0!
I Ответ, полученный по формуле Бернулли, более точен, но его получение
затруднительно. Как видим, формула Пуассона в этом примере дает приближенное значение с тремя верными знаками после запятой.
Пример 7.2 (Задача о лотерейных билетах) Сколько надо купить билетов, чтобы вероятность выигрыша была не меньше, чем Р?
J Пусть имеется N билетов, из них M выигрышных, p = M
N — вероятность
выпадения выигрыша на случайно взятый билет, p мало. Покупают n билетов. Случайное число выигрышных билетов среди них приближенно распределено по закону Пуассона, и вероятность того, что среди n билетов m
выигрышных
λm e−λ
,
pn (m) ≈ pλ (m) =
m!
52
7. Предельные теоремы для схемы Бернулли
где λ = n M
N . Вероятность того, что хотя бы один билет выигрышный,
1 − p (0) = 1 − e−λ .
Таким образом, число n можно определить как наименьшее целое число,
при котором
M
1 − e−λ = 1 − e−n N > P.
I
7.2
Локальная предельная теорема Муавра — Лапласа
Теорема 7.2 Если при n → ∞ и постоянном p, не равном 0 или 1, ве√
личина xm = m−np
npq ограничена так, что −∞ < a 6 xm 6 b < +∞,
то
ϕ(xm )
1
pn (m) = √
,
(35)
1+O √
npq
n
2
где ϕ(x) =
x
√1 e− 2
2π
.
Доказательство. Доказательство этой теоремы основано на применении
формулы Стирлинга:
√
1
n! = nn e−n 2πneO( n ) .
(36)
√
√
m = np + xm npq; n − m = nq − xm npq.
n!
pm q n−m .
pn (m) = Cnm pm q n−m =
m!(n − m)!
По формуле Стирлинга
√
1
n! = nn e−n 2πneO( n ) ,
√
1
ln n! = n ln n − n + ln 2πn + O
.
n
Тогда
√
1
√
√
√
ln m! = (np+xm npq) ln (np + xm npq)−(np+xm npq)+ln 2πm+O
,
m
√
√
√
ln (n − m)! = (nq − xm npq) ln (nq − xm npq) − (nq − xm npq)+
p
1
+ ln 2π(n − m) + O
.
n−m
Рассмотрим
r
q
√
ln (np + xm npq) = ln [np (1 + xm
)] =
np
53
7. Предельные теоремы для схемы Бернулли
r
= ln np + ln (1 + xm
q
) = ln np + xm
np
r
q
x2 q
− m
+O
np
2 np
1
.
n3/2
Аналогично,
√
r
ln (nq − xm npq) = ln [nq(1 − xm
r
= ln nq + ln (1 − xm
p
) = ln nq − xm
nq
r
p
)] =
nq
p
x2m p
−
+O
nq
2 nq
1
n3/2
.
Найдем
n!
:
m!(n − m)!
√
n!
1
ln
= n ln n − n + ln 2πn + O
−
m!(n − m)!
n
r
q
x2m q
1
√
−(np + xm npq)(ln np + xm
−
+O
)+
np
2 np
n3/2
r
√
p
x2m p
√
√
+(np + xm npq) − ln 2πm − (nq − xm npq)(ln nq − xm
−
)+
nq
2 nq
p
1
√
+
(nq
−
x
+O
npq)
−
ln
2π(n − m).
m
n3/2
Отсюда
r
√
n
n!
ln
= − ln 2π + ln
+
m!(n − m)
m(n − m)
√
√
√
√
+n ln n − np ln np − nq ln nq −xm ( npq ln np+ npq − npq ln nq − npq)−
1
−x2m (−1/2q − 1/2p + p + q) + O √
.
n
ln
Подставим в ln pn (m) :
√
n!
m n−m
ln
p q
= − ln 2π + ln
m!(n − m)!
r
n
+
m(n − m)
+ n ln n − np ln np − nq ln nq + m ln p + (n − m) ln q−
√
√
√
√
−xm ( npq ln np + npq − npq ln nq − npq) + − 1/2x2m + O
1
√
n
Учитывая, что
√
√
m ln p = (np + xm npq) ln p, (n − m) ln q = (nq − xm npq) ln q,
n ln n − np ln np − nq ln nq = −np ln p − nq ln q,
54
(37)
7. Предельные теоремы для схемы Бернулли
упростим вторую строку в (37):
n ln n − np ln np − nq ln nq + m ln p + (n − m) ln q =
√
√
= −np ln p − nq ln q + (np + xm npq) ln p + (nq − xm npq) ln q =
√
= xm npq(ln p − ln q).
Тогда коэффициент при xm , учитывая (37), равен
√
√
−( npq(ln n + ln p − ln n − ln q) + npq(ln p − ln q) = 0.
Отсюда
√
n!
pm q n−m = − ln 2π+
m!(n − m)!
r
n
1
− 1/2x2 + O √
.
+ ln
m(n − m)
n
ln
(38)
Рассмотрим отдельно
r
r
n
=
m(n − m)
n
:
m(n − m)
n
=
√
(np + xm npq)(nq − xm npq)
s
s
1
1
1
1
1
√ =√
=
=√
(1 + O √ ).
npq 1 + O( √1n )
npq
npq + O( n)
n
r
√
Подставим (39) в (38):
n!
pm q n−m =
m!(n − m)!
√
1
1
1
2
,
= − ln 2π + ln [ √
(1 + O √ )] − 1/2x + O √
npq
n
n
1 − x2 1
1
pn (m) = √ e 2 √
(1 + O √ ).
npq
n
2π
ln pn (m) = ln
и
Используя общепринятое обозначение,
x2
1
ϕ(x) = √ e− 2 ,
2π
получаем утверждение теоремы:
ϕ(xm )
1
pn (m) = √
(1 + O √ ).
npq
n
55
(39)
7. Предельные теоремы для схемы Бернулли
Из нее вытекает удобная для применения асимптотическая формула.
Локальная приближенная формула Муавра — Лапласа
pn (m) ≈
xm =
ϕ(xm )
√
npq ,
m−np
√
npq .
(40)
Локальную приближенную формулу Муавра — Лапласа применяют при
n > 30, 0.1 6 p 6 0.9, npq > 9.
7.3
Интегральная предельная теорема Муавра — Лапласа
Теорема 7.3 При n → ∞ и постоянном p, не равном 0 или 1,
Z x2
x2
m − np
1
lim p (x1 6 √
6 x2 ) = √
e− 2 dx = Φ(x2 ) − Φ(x1 ),
n→∞
npq
2π x1
где
1
Φ(x) = √
2π
x
Z
e
2
− t2
Z
x
dt =
−∞
ϕ(t) dt.
(41)
−∞
Доказательство.
m − np
√
√
p (x1 6 √
6 x2 ) = p (x1 npq + np 6 m 6 x2 npq + np) =
npq
√
x2 npq+np
X
=
√
pn (m) =
m−np
√
npq .
pn (m),
m: xm =x1
m=x1 npq+np
где xm =
xX
m =x2
По локальной предельной теореме (35)
xX
m =x2
xm =x2
x2
1 X
1
− 2m
pn (m) = √
e
(1 + αn ) = In + An .
√
npq
2π
xm =x1
xm =x1
xm =x2
x2
X
x2
1 X
1
1
− 2m
In = √
e
=
ϕ(xm ) √
.
√
npq x =x
npq
2π xm =x1
m
1
Поскольку
m − np
xm = √
,
npq
4xm =
и
In =
m + 1 − np m − np
1
− √
=√
,
√
npq
npq
npq
xX
m =x2
ϕ(xm )4xm ,
xm =x1
56
(42)
7. Предельные теоремы для схемы Бернулли
что представляет из себя (с точностью до двух слагаемых) интегральную
сумму для интеграла
Z x2
ϕ(x) dx.
x1
Рассмотрим второе слагаемое в (42).
An =
xX
m =x2
ϕ(xm )4xm αn ,
xm =x1
|An | 6
xX
m =x2
xm =x1
При n → ∞
An → 0
C
ϕ(xm )4xm |αn | 6 √ In .
n
и
m − np
6 x2 ) = lim (In + An ) =
lim p (x1 6 √
n→∞
n→∞
npq
Z x2
Z x2
x2
1
=
e− 2 dx = Φ(x2 ) − Φ(x1 ).
ϕ(x) dx = √
2π x1
x1
Замечание 7.1 Погрешность имеет порядок O( √1n ). Можно устано1
вить, что порядок O( √npq
) не может быть улучшен.
Интегральная приближённая формула Муавра — Лапласа
m − np
p (x1 6 √
6 x2 ) ≈ Φ(x2 ) − Φ(x1 ).
npq
(43)
Интегральную приближённую формулу Муавра — Лапласа применяют при
n > 30,
0.1 6 p 6 0.9,
npq > 9.
Следствия интегральной приближённой формулы
Следствие 1.
b − np
p (a 6 m 6 b) ≈ Φ √
npq
a − np
−Φ √
.
npq
(44)
Следствие 2.
r r m
n
n
p (α1 6
6 α2 ) ≈ Φ (α2 − p)
− Φ (α1 − p)
.
n
pq
pq
57
(45)
7. Предельные теоремы для схемы Бернулли
Следствие 3.
r r m
n
n
p (β1 6
− p 6 β2 ) ≈ Φ β2
− Φ β1
.
n
pq
pq
(46)
Пример 7.3 Вероятность рождения мальчика равна p = 0, 512. Найти вероятность того, что в группе из 10000 новорождённых число
мальчиков превысит число девочек по крайней мере на 200.
J n = 10000, p = 0, 512, q = 0, 488, np = 5120, npq ≈ 2500.
p (m > 5100) = p (5100 6 m 6 10000) ≈
5100 − 5120
10000 − 5120
√
√
−Φ
Φ
2500
2500
≈ Φ(100) − Φ(−0, 4) ≈ 0, 6554.
I
Пример 7.4 Вероятность появления события в каждом из 9000 независимых испытаний равна 0,85. Найти такое положительное число
ε, чтобы с вероятностью 0, 96 абсолютная величина отклонения относительной частоты появления события от его вероятности не
превышала бы ε.
J По условию n = 9000, p = 0, 85. Воспользуемся следствием 3 интегральной приближенной формулы:
r r m
n
n
p (| − p| 6 ε) ≈ Φ ε
− Φ −ε
=
n
pq
pq
r n
2Φ ε
− 1 = 0, 96.
pq
r n
Φ ε
= 0, 98.
pq
По таблице значений функции Φ(x) находим приближенное значение аргумента, при котором функция принимает значение 0,98: Φ(2, 1) ≈ 0, 98. Решаем уравнение
r
9000
ε
= 2, 1.
0, 85 · 0, 15
ε ≈ 7, 53 · 10−3 .
I
58
7. Предельные теоремы для схемы Бернулли
Замечание 7.2 При небольших npq формулы (44)–(46) заменяют на
(47)–( 7.3):
1∗ .
b − np + 0.5
p (a 6 m 6 b) ≈ Φ
√
npq
a − np − 0.5
−Φ
.
√
npq
(47)
2∗ .
m
p (α1 6
6 α2 ) ≈
n
r
r
1
1
n
n
+ √
− Φ (α1 − p)
− √
.
Φ (α2 − p)
pq 2 npq
pq 2 npq
3∗ .
m
− p 6 β2 ) ≈
n
r
r
n
n
1
1
− Φ β1
.
+ √
− √
Φ β2
pq 2 npq
pq 2 npq
(48)
p (β1 6
(49)
Пример 7.5 К электросети подключено 100 приборов, каждый из которых имеет мощность 2 квт и потребляет в данный момент энергию с вероятностью 0,2. Найти вероятность того, что потребляемая в данный момент мощность не превышает 50 квт.
J n = 100, p = 0, 2, q = 0, 8, np = 20, npq = 16. Пусть x — потребляемая мощность, m — число работающих приборов.
p (x 6 50) = p (m 6 25) = p (0 6 m 6 25) ≈
25 − 20 + 0.5
0 − 20 − 0.5
Φ( √
) − Φ( √
)=
100 · 0, 2 · 0, 8
100 · 0, 2 · 0, 8
Φ(1, 375) − Φ(−5, 125) ≈ 0, 915.
I
7.4
Свойства функций ϕ(x), Φ(x), Φ0 (x)
x2
Свойства функции ϕ(x) = √12π e− 2
(плотность стандартного нормального распределения).
1. ϕ(−x) = ϕ(x).
2. ϕ(0) = √12π ≈ 0, 3989.
3. ϕ(x) → 0 при x → ±∞, ϕ(±4) < 0, 001.
59
7. Предельные теоремы для схемы Бернулли
ϕ(x)
x
0
Рис. 9. График ϕ(x)
Rx
Rx
t2
Свойства функции Φ(x) = √12π −∞ e− 2 dt = −∞ ϕ(t) dt
(функция стандартного нормального распределения).
1. Φ(x) + Φ(−x) = 1.
2. Φ(x) → 1 при x → ∞, Φ(3, 8) > 0, 9999.
3. Φ(x) → 0 при x → −∞, Φ(−3, 8) < 0, 0001.
4. Φ(0) = 1/2.
Rx
R x t2
Свойства функции Φ0 (x) = √12π 0 e− 2 dt = 0 ϕ(t) dt
(функция Лапласа).
1. Φ0 (−x) = −Φ0 (x).
2. Φ0 (x) → 21 при x → ∞.
3. Φ0 (x) → − 21 при x → −∞.
4. Φ0 (0) = 0.
7.5
Контрольные вопросы
1. Каким образом с помощью формулы Пуассона можно найти вероятность хотя бы одного появления события?
2. Каким образом с помощью формулы Пуассона можно найти вероятность появления успеха не меньше данного числа раз?
3. Найдите наивероятнейшее число успехов в схеме Пуассона с параметром λ.
4. Приведите пример испытаний, описываемых схемой Пуассона.
5. Приведите пример схемы испытаний Бернулли, которая может
быть приближенно описана схемой Пуассона.
6. Приведите пример схемы испытаний Бернулли, которая может
быть приближенно описана схемой Муавра — Лапласа.
60
8. Функции распределения. Дискретные случайные величины
7. Каким образом с помощью формул Муавра — Лапласа можно
найти вероятность появления успеха ровно m раз?
8. Каким образом с помощью формул Муавра — Лапласа можно
найти вероятность появления успеха от a до b раз?
9. Каким образом с помощью формул Муавра — Лапласа можно
найти вероятность того, что относительная частота появления события
10. Каким образом с помощью формул Муавра — Лапласа можно
найти вероятность того, что отклонение относительной частоты появления события от его вероятности не превышает
ε?
Лекция 8
личины
Функции распределения. Дискретные случайные ве-
План лекции: определение случайной величины, функция распределения и ее свойства, дискретные случайные величины,
некоторые важные дискретные распределения.
8.1
Определение случайной величины
Пусть (Ω, F, P) — вероятностное пространство.
Определение 8.1 Случайной величиной ξ называется измеримая
функция ξ = ξ(ω), отображающая Ω в R.
Определение означает, что прообраз любого борелевского множества
B является множеством из σ-алгебры F:
{ω : ξ(ω) ∈ B} = ξ −1 (B)
Пример 8.1 Простейшим примером случайной величины является
индикатор события A:
1, ω ∈ A
IA (ω) =
.
0, ω ∈
/A
Пусть B − σ-алгебра на R. Говорят, что задано распределение вероятностей случайной величины ξ, если ∀B ∈ B определены вероятности
Pξ (B) = P (ξ ∈ B). Распределение вероятностей порождает вероятностное
пространство (R, B, Pξ ).
61
8. Функции распределения. Дискретные случайные величины
Замечание 8.1 Так как случайная величина ξ есть отображение Ω в
R, то p (|ξ| < ∞) = 1. Для общности будем рассматривать случайные
величины, которые могут принимать значения ±∞, при этом p (|ξ| =
∞) = 0. Такие величины осуществляют измеримое отображение Ω в
R ∪ ±∞.
8.2
Функция распределения и ее свойства
Определение 8.2 Функцией распределения случайной величины ξ
называется функция
Fξ (x) = p (ξ < x),
∀x ∈ R.
(50)
Функции Fξ (x) достаточно для задания распределения, так как
p (ξ > x) = p(ξ < x) = 1 − Fξ (x),
p (x 6 ξ < y) = p ((ξ < y) \ (ξ < x)) = Fξ (y) − Fξ (x),
!
∞
\
1
p (ξ = x) = p
(x 6 ξ < x + ) =
n
n=1
1
= lim Fξ (x + ) − Fξ (x) = Fξ (x + 0) − Fξ (x).
n→∞
n
Свойства функции распределения
Fξ (x) = p (ξ < x)
1. Если x1 < x2 , то
F (x1 ) 6 F (x2 ).
Доказательство. {ξ < x1 } ⊆ {ξ < x2 } при x1 6 x2 , отсюда p (ξ <
x1 ) 6 p (ξ < x2 ).
2. limx→∞ F (x) = 1,
limx→−∞ F (x) = 0.
Доказательство. Рассмотрим две числовые последовательности :
{xn } → −∞,
{yn } → ∞. Пусть An = {ξ < xn }, Bn = {ξ < yn }.
A1 ⊇ A2 ⊇ · · · ⊇ An ⊇ . . .
— монотонно убывающая последовательность событий,
B1 ⊆ B2 ⊆ · · · ⊆ Bn ⊆ . . .
62
8. Функции распределения. Дискретные случайные величины
— монотонно возрастающая последовательность событий.
По свойству непрерывности
!
p
\
Ak
= lim p (An ),
n→∞
k
!
p
[
Bk
= lim p (Bn ).
n→∞
k
Но
\
{xn } → −∞ ⇒ An → ∅,
Ak → ∅;
k
{yn } → ∞ ⇒
[
Bk → Ω.
k
Поэтому
lim p (An ) = 0,
lim p (Bn ) = 1,
n→∞
n→∞
то есть
lim F (xn ) = 0,
lim F (xn ) = 1.
xn →−∞
xn →∞
По свойству 1
lim F (x) = 0,
lim F (x) = 1.
x→−∞
x→∞
3. F (x) непрерывна слева,
lim F (x) = F (x0 ).
x→x0 −0
Доказательство. Рассмотрим числовую последовательность : {xn } %
x0 . Пусть An = {ξ < xn },
A = {ξ < x0 }.
A1 ⊆ A2 ⊆ · · · ⊆ An ⊆ . . .
— монотонно возрастающая последовательность событий.
[
Ak = A
k
По свойству непрерывности
!
lim p (An ) = p
n→∞
[
Ak
= p (A),
k
то есть
lim F (x) = F (x0 ).
x→x0 −0
63
8. Функции распределения. Дискретные случайные величины
4. 0 6 F (x) 6 1.
Мы доопределяем F (∞) = 1,
F (−∞) = 0.
5. p (x 6 ξ < y) = Fξ (y) − Fξ (x),
Доказательство. Для любых x, y (x < y) (−∞, y) = (−∞, x) ∪ [x, y).
p (ξ < y) = p (ξ < x) + p (x 6 ξ < y). p (x 6 ξ < y) = Fξ (y) − Fξ (x).
Справедлива теорема:
Теорема 8.1 Если функция F (x) обладает свойствами 1, 2, 3, то существует вероятностное пространство (Ω, F, P) и случайная величина ξ на нем такая, что Fξ (x) = F (x).
8.3
Дискретные случайные величины
Определение 8.3 Случайная величина ξ имеет дискретное распределение, если ξ принимает конечное или счетное число различных
значений с соответствующими вероятностями
X
pi = 1.
p (ξ = xi ) = pi ,
i
Они часто задаются рядом распределения
ξ
p
x1 x2 . . .
p1 p 2 . . .
xn
pn
Для дискретных случайных величин
Fξ (x) = p (ξ < x) =
X
pi .
(51)
xi <x
Пример 8.2 Найти функцию распределения случайной величины, заданной рядом распределения
ξ
p
0
1
2
3
0, 2 0, 3 0, 4 0, 1
J Найдем функцию распределения Fξ (x):

0,
x60




0<x61
 0, 2,
Fξ (x) =
0, 5,
1<x62


0, 9,
2<x63



1,
x>3
64
8. Функции распределения. Дискретные случайные величины
I
8.4
Некоторые важные дискретные распределения
1. Вырожденное распределение.
ξ = c,
p (ξ = c) = 1.
2. Распределение Бернулли B(1, p).
Задается законом распределения
ξ
P
0 1
q p
3. Биномиальное распределение B(N, p).
ξ = 0, 1, . . . , N.
p (ξ = m) = pN (m) = CNm pm q N −m ,
m = 0, 1, . . . , N.
N, p — параметры, N — натуральное, 0 < p < 1.
Интерпретация: число успехов в N испытаниях, проводимых по схеме
Бернулли.
4. Распределение Пуассона Pλ .
ξ = 0, 1, . . . .
λm e−λ
p (ξ = m) = pλ (m) =
.
m!
λ — параметр, λ > 0.
Интерпретация: число маловероятных успехов в бесконечном ряду
испытаний; λ — среднее число успехов.
5. Гипергеометрическое распределение.
ξ = 0, 1, . . . , min(M, n).
m n−m
CM
CN −M
.
p (ξ = m) = pM,N (m, n) =
CNn
N, M, n — параметры, n 6 N, m 6 M .
Интерпретация: из совокупности N предметов, среди которых M
предметов первого вида и (N − M ) предметов второго вида производят выборку без возвращения n предметов, 1 6 n 6 N . Случайная величина —
число предметов первого вида в выборке.
65
8. Функции распределения. Дискретные случайные величины
6. Геометрическое распределение Gp .
ξ = 0, 1, . . . .
p (ξ = m) = (1 − p)m p.
p — параметр, 0 < p < 1.
Интерпретация: число испытаний до первого успеха .
7.
Отрицательное
биномиальное
распределение
B(r, p)(распределение Паскаля).
ξ = 0, 1, . . . .
m
p (ξ = m) = Cr+m−1
pr q m ,
m = 0, 1, . . . .
r, p — параметры, r > 0, 0 < p < 1.
Интерпретация при целых r : m — число неудач до r-го успеха.
Замечание 8.2 Для ∀x
m сомножителей
}|
{
z
x(x − 1) · · · · · (x − m + 1)
.
Cxm =
m!
8.5
Контрольные вопросы
1. Дайте определение измеримой функции.
2. Дайте определение функции распределения случайной величины.
3. Какими свойствами необходимо обладать функции F (x), чтобы
являться функцией распределения некоторой случайной величины?
4. У функции распределения дискретной случайной величины известны только точки разрыва и скачки функции в точках разрыва. Как восстановить по этим данным ряд распределения и
функцию распределения?
5. Какими особенностями обладает график функции распределения дискретной случайной величины?
6. Как, используя функцию распределения, вычислить вероятность
того, что значения случайной величины попадают в заданный
интервал?
66
9. Плотность распределения. Непрерывные случайные величины
−1
1
7. Закон распределения имеет вид: p (ξ = m) = 3m e 3 m! . Как

называется это распределение, и каков его параметр?
8. Монету бросают, пока не выпадет решка. Какое распределение
имеет случайная величина, равная числу гербов, выпавших до
первой решки?
9. Если продолжать броски, какое распределение имеет случайная
величина, равная числу гербов, выпавших до третьей решки?
10. Если заранее известно, что бросать монету будут ровно 10 раз,
и случайная величина равна числу гербов, выпавших в 10 бросках,
каков ее закон распределения?
Лекция 9
величины
Плотность распределения. Непрерывные случайные
План лекции: определение плотности, свойства плотности распределения, некоторые важные непрерывные распределения,
обобщение понятия плотности.
Определение 9.1 Случайная величина ξ непрерывно распределена,
если ее функция распределения допускает представление в виде
Z x
Fξ (x) =
fξ (t) dt.
(52)
−∞
Подынтегральная функция fξ (x) называется плотностью распределения случайной величины ξ.
9.1
Свойства плотности
1. Почти всюду fξ (x) = Fξ0 (x).
2. Почти всюду fξ (x) > 0.
R∞
3. −∞ fξ (t) dt = 1.
Rb
4. a fξ (t) dt = Fξ (b) − Fξ (a) = p (a 6 ξ < b).
R x+4x
5. x
fξ (t) dt = f (θ)4x, θ ∈ [x; x + 4x).
67
9. Плотность распределения. Непрерывные случайные величины
Замечание 9.1 Если функция f (x) обладает свойствами 2, 3, то она
является плотностью некоторого распределения.
Пример 9.1 Найти плотность, если известна функция распределения
x−1
, 1 < x 6 4.
Fξ (x) =
3
J
1
fξ (x) = (Fξ (x))0 = , 1 < x 6 4.
3
I
Пример 9.2 Найти функцию распределения, если известна плотность
fξ (x) = xe−x , x > 0.
J
Z
x
Fξ (x) =
fξ (x)dx
−∞
Rx
Для x > 0 Fξ (x) = 0 te−t dt. Возьмем этот интеграл по частям, учитывая
0
что (−e−t ) = e−t :
Rx
Rx
x
x
Fξ (x) = −te−t |0 − 0 (−e−t )dt = −xe−x + 0 e−t dt = −xe−x − e−t |0 =
−xe−x − e−x + e0 = 1 − e−x (x + 1). Таким образом,
Fξ (x) = 1 − e−x (x + 1),
x > 0.
I
9.2
Некоторые важные непрерывные распределения
1. Равномерное распределение R[a, b] (рис. 10).
0,
x∈
/ [a, b];
fξ (x) =
1
x ∈ [a, b].
b−a ,
a, b — параметры , a < b.


0,
x−a
,
Fξ (x) =
 b−a
1,
x 6 a;
a < x 6 b;
x > b.
68
9. Плотность распределения. Непрерывные случайные величины
Рис. 10. Плотность равномерного распределения
f (x)
a
0
b
x
2. Нормальное распределение N (a, σ)
2
1
− (x−a)
2
2σ
fξ (x) = ϕa,σ (x) = √ e
.
σ 2π
a, σ — параметры, σ > 0.
Z x
2
1
− (t−a)
2
2σ
√
e
dt.
Fξ (x) = Φa,σ (x) =
σ 2π −∞
Стандартное нормальное распределение N (0, 1) :
x2
1
fξ (x) = ϕ0,1 (x) = ϕ(x) = √ e− 2 .
2π
Z x
t2
1
Fξ (x) = Φ0,1 (x) = Φ(x) = √
e− 2 dt.
2π −∞
Связь между ними:
Z x
(t−a)2
t
−
a
1
dt
Φa,σ (x) = √
e− 2σ2 dt = y =
, dy = =
σ
σ
σ 2π −∞
Z x−a
2
σ
1
x−a
− y2
=√
e
dy = Φ(
).
σ
2π −∞
3. Показательное (экспоненциальное) распределение Eλ (рис.
11).
0,
x<0
fξ (x) =
λe−λx ,
x>0
λ — параметр, λ > 0.
f (x)
x
0
69
9. Плотность распределения. Непрерывные случайные величины
Рис. 11. Плотность экспоненциального распределения
4. Распределение Коши (рис. 12).
fξ (x) =
1
λ
· 2
.
π λ + (x − a)2
a, λ — параметры, λ > 0.
f (x)
0
a
x
Рис. 12. Плотность распределения Коши
5. Γ - распределение.
(
fξ (x) =
0,
αβ xβ−1 −αx
,
Γ(β) e
x<0
x>0
α, β — параметры , β > 0, α > 0.
6. Распределение Кептейна.
2
g 0 (x) − (g(x)−a)
2
2σ
fξ (x) = √ e
,
σ 2π
где g(x) — монотонная дифференцируемая функция, принимающая значения на (−∞, ∞). a, σ — параметры, σ > 0.
7. Распределение Лапласа.
fξ (x) =
λ −λ|x−α|
e
.
2
α, λ — параметры, λ > 0.
9.3
Обобщение понятия плотности
Дискретные случайные величины. С помощью обобщенных функций понятие плотности можно распространить и на дискретные случайные величины. Плотность дискретной случайной величины ξ, которая принимает
знаP
чения xi с соответствующими вероятностями p (ξ = xi ) = pi ,
i pi = 1,
70
9. Плотность распределения. Непрерывные случайные величины
равна нулю всюду, кроме точек xi . В этих точках плотность равна бесконечности, причем вероятность попадания в интервал (xi − ε, xi + ε) должна
равняться pi при любом достаточно малом ε > 0, так как этот интервал содержит значение xi величины ξ и не содержит других ее значений. С другой
стороны, согласно свойству плотности, вероятность попадания в этот интервал равна интегралу от плотности в пределах от xi − ε до xi + ε:
Z xi +ε
p (xi − ε 6 ξ < xi + ε) =
fξ (t) dt = pi .
xi −ε
Плотность дискретной случайной величины, удовлетворяющая этому соотношению, может быть задана с помощью δ-функции (производной единичной ступенчатой функции):
X
fξ (x) =
pi δ(x − xi ).
(53)
i
Непрерывно-дискретные случайные величины. Кроме дискретных и непрерывных, встречаются также случайные величины смешанного
типа. Плотность непрерывно-дискретной скалярной случайной величины ξ
определяется формулой:
X
fξ (x) = g(x) +
pi δ(x − xi ),
(54)
i
где g(x) соответствует непрерывной части распределения при x 6= xi . Эта
плотность должна удовлетворять условиям:
1. fξ (x) > 0;
R +∞
P
2. −∞ g(x) + i pi δ(x − xi ) = 1.
Любая функция вида (54), удовлетворяющая этим условиям, может быть
плотностью некоторой непрерывно-дискретной величины. Всё множество
случайных величин, встречающихся в задачах практики, исчерпывается
дискретными, непрерывными и непрерывно-дискретными случайными величинами. Таким образом, практически любое распределение полностью
определяется плотностью, возможно, обобщенной, поэтому плотность, как
и функция распределения, является основным способом задания случайной
величины. Однако можно построить и пример случайной величины, не относящейся ни к одному из рассмотренных трех классов случайных величин
(используя канторову функцию, то есть непрерывную монотонную функцию, производная которой равна нулю почти всюду). Величины такого типа называются сингулярными. У сингулярных величин функция распределения F (x) непрерывна, но точки роста F (x) образуют множество нулевой
меры Лебега.
71
9. Плотность распределения. Непрерывные случайные величины
В дальнейшем будем рассматривать только величины, имеющие обобщенную плотность (дискретные, непрерывные,непрерывно-дискретные).
Интеграл Лебега — Стилтьеса. Еще более удобный способ объединения методов изучения дискретных и непрерывных случайных величин дает
интеграл Лебега — Стилтьеса. Представим вероятность p (a 6 ξ < b) как
интеграл Лебега — Стилтьеса:
Zb
p (a 6 ξ < b) =
dFξ (x),
(55)
a
где Fξ (x) = p (ξ < x) — функция распределения ξ.
В случае непрерывного распределения интеграл (55) приводится к
обычному интегралу Римана, а в случае дискретного распределения интеграл приводится к сумме вероятностей.
9.4
Контрольные вопросы
1. Дайте определение плотности распределения вероятностей
случайной величины.
2. Как найти по функции распределения плотность?
3. Какими свойствами необходимо обладать функции f (x),чтобы
являться плотностью распределения непрерывной случайной
величины?
4. Как восстановить по плотности функцию распределения?
q
2
5. Плотность задана функцией fξ (x) = π2 e−2(x−3) . Как называется это распределение, и каковы его параметры?
6. Функция распределения имеет вид: Fξ (x) = 1 − e−5x . Как называется это распределение, и каковы его параметры?
7. Какими особенностями обладает график функции распределения непрерывной случайной величины?
8. Как вычислить вероятность того, что значения случайной величины попадают в заданный интервал, используя плотность
распределения?
9. Покажите на графике плотности вероятность того, что значения случайной величины попадают в заданный интервал.
72
10. Многомерные случайные величины
10. Если случайная величина имеет размерность (см), какова размерность плотности?
11. Может ли непрерывная функция от непрерывной случайной величины быть дискретной случайной величиной?
Лекция 10
Многомерные случайные величины
План лекции: определение n-мерной случайной величины, совместная функции распределения и ее свойства, свойства nмерной плотности, примеры многомерных распределений, независимость случайных величин.
10.1
Определение n-мерной случайной величины
Определение 10.1 n-мерной случайной величиной называется вектор
ξ(ω) = (ξ1 (ω), ξ2 (ω), . . . , ξn (ω)) ,
отображающий Ω в Rn .
Пусть B n есть σ -алгебра в Rn . Для любого B ∈ B n определена функция
Pξ (B) = P (ξ ∈ B).
10.2
Совместная функция распределения и ее свойства
Определение 10.2 Совместной функцией распределения n-мерной
случайной величины ξ называется функция
Fξ1 ,...,ξn (x1 , . . . , xn ) = p (ξ1 < x1 , . . . , ξn < xn , ),
∀x ∈ Rn .
(56)
Свойства совместной функции распределения
1. 0 6 Fξ1 ,...,ξn (x1 , . . . , xn ) 6 1.
2. lim Fξ1 ,...,ξn (x1 , . . . , xn ) = Fξ1 ,,...,ξn−1 (x1 , . . . , xn−1 ).
xn →∞
3.
lim Fξ1 ,...,ξn (x1 , . . . , xn ) = 0.
xn →−∞
4. Fξ1 ,...,ξn (x1 , . . . , xn ) непрерывна слева по каждому из аргументов.
Замечание 10.1 Как и при n = 1, функция Fξ1 ,...,ξn (x1 , . . . , xn ) однозначно определяет распределение Pξ .
73
10. Многомерные случайные величины
Замечание 10.2 Распределения
случайных
величин
ξ1 (ω), ξ2 (ω), . . . , ξn (ω) компонент n-мерной случайной величины
ξ(ω) = (ξ1 (ω), ξ2 (ω), . . . , ξn (ω)) называются маргинальными (частными) распределениями.
Аналогично одномерному случаю определяют и непрерывные распределения.
Определение 10.3 n-мерная случайная величина ξ непрерывно распределена, если ее функция распределения допускает представление в виде
Zx1
Fξ1 ,...,ξn (x1 , . . . , xn ) =
Zxn
...
−∞
fξ1 ,...,ξn (t1 , . . . , tn ) dt1 . . . dtn .
(57)
−∞
Подынтегральная функция fξ1 ,...,ξn (x1 , . . . , xn ) называется плотностью распределения n-мерной случайной величины
ξ = (ξ1 , . . . , ξn ).
10.3
Свойства n-мерной плотности
1. Почти всюду fξ1 ,...,ξn (x1 , . . . , xn ) =
∂ n Fξ1 ,...,ξn (x1 ,...,xn )
.
∂x1 ...∂xn
2. Почти всюду fξ1 ,...,ξn (x1 , . . . , xn ) > 0.
R∞
R∞
3. −∞ . . . −∞ fξ1 ,...,ξn (t1 , . . . , tn ) dt1 . . . dtn = 1.
R
4. P ((ξ1 , . . . , ξn ) ∈ B) = fξ1 ,...,ξn (t1 , . . . , tn ) dt1 . . . dtn .
B
10.4
Примеры многомерных распределений
Пример 10.1 Дискретные двумерные случайные величины часто задают таблицей распределения:
η\ξ
y1
..
.
ym
x1 . . .
p11 . . .
..
..
.
.
pm1 . . .
74
xn
p1n
..
.
pmn
10. Многомерные случайные величины
Пример 10.2 Равномерное n-мерное распределение R[G],
G ⊂ Rn :
0 ,
(x1 , . . . , xn ) ∈
/G
fξ1 ,...,ξn (x1 , . . . , xn ) =
1
(x1 , . . . , xn ) ∈ G,
µ(G) ,
где µ(G) — мера G в Rn .
Пример 10.3 Нормальное n-мерное распределение.
p
|A| − 1 Q(x1 ,...,xn )
2
,
fξ1 ,...,ξn (x1 , . . . , xn ) =
n e
(2π) 2
где Q =
n
P
aij xi xj — положительно определенная квадратичная фор-
i,j
ма, |A| — определитель матрицы A = (aij ).
Пример 10.4 Двумерное нормальное распределение (ξ, η) часто задается в виде:
1
1
p
fξ,η =
· exp −
·
2(1 − ρ2 )
2πσξ ση 1 − ρ2
"
#)
2
2
(x − aξ ) ) 2ρ(x − aξ )(y − aη ) (y − aη )
·
,
+
−
σξ2
σξ ση
ση2
где aξ , aη , σξ , ση , ρ — параметры; σξ > 0, ση > 0, |ρ| 6 1.
10.5
Независимость случайных величин
Определение 10.4 Случайные величины ξ1 , . . . , ξn называются независимыми, если
p (ξ1 ∈ B1 , . . . , ξn ∈ Bn ) = p (ξ1 ∈ B1 ) . . . p (ξn ∈ Bn ),
(58)
где B1 , . . . , Bn — борелевские множества из R.
Свойства независимых случайных величин
1. Fξ1 ,...,ξn (x1 , . . . , xn ) = Fξ1 (x1 ) . . . Fξn (xn ).
Доказательство.
Fξ1 ,...,ξn (x1 , . . . , xn ) = p (ξ1 < x1 , . . . , ξn < xn ) =
= p (ξ1 < x1 ) . . . p (ξn < xn ) = Fξ1 (x1 ) . . . Fξn (xn ).
75
10. Многомерные случайные величины
2. Для дискретных случайных величин
pξ1 ,...,ξn (x1 , . . . , xn ) = p (ξ1 = x1 , . . . , ξn = xn ) =
= p (ξ1 = x1 ) . . . p (ξn = xn ).
3. Для непрерывных случайных величин
fξ1 ,...,ξn (x1 , . . . , xn ) = fξ1 (x1 ) . . . fξn (xn ).
Доказательство.
∂ n Fξ1 ,...,ξn (x1 , . . . , xn )
=
fξ1 ,...,ξn (x1 , . . . , xn ) =
∂x1 . . . ∂xn
∂ n (Fξ1 (x1 ) . . . Fξn (xn ))
=
=
∂x1 . . . ∂xn
∂ (Fξ1 (x1 ) . . . Fξn (xn ))
=
= fξ1 (x1 ) . . . Fξn (xn ) =
∂x1
fξ1 (x1 ) . . . fξn (xn ).
Вышеперечисленные свойства являются необходимыми и достаточными условиями независимости.
Определение 10.5 Классы событий A1 , A2 называются независимыми, если ∀A1 ∈ A1 , A2 ∈ A2
p (A1 A2 ) = p (A1 )p (A2 ).
Определение 10.6 Последовательность классов событий
A1 , . . . , An называется независимой, если для всех 1 6 n1 < · · · < nm ,
p(
m
\
A nk ) =
k=1
m
Y
p (Ank )
k=1
∀Anj ∈ Anj .
Определение 10.7 Класс множеств из F называется σ-алгеброй, порождённой случайной величиной ξ (σ(ξ)), если он образован событиями вида
{ω : ξ(ω) ∈ B} = ξ −1 (B),
где B — борелевское множество.
76
10. Многомерные случайные величины
σ(ξ) совпадает с σ-алгеброй, порождённой событиями вида
{ω : ξ(ω) < x}.
Очевидно, случайные величины ξ1 , . . . , ξn независимы тогда и
только тогда, когда независимы порожденные ими σ-алгебры
σ(ξ1 ), , . . . , σ(ξn ).
Докажем достаточность свойства 1 для независимости случайных величин.
Теорема 10.1 Если
Fξ1 ,...,ξn (x1 , , . . . , xn ) = Fξ1 (x1 ) . . . Fξn (xn ),
то случайные величины ξ1 , . . . , ξn независимы.
Доказательство. Для простоты записи возьмем n = 2. То есть дано:
Fξ1 ,ξ2 (x, y) = Fξ1 (x)Fξ2 (y).
Обозначим X = [x1 , x2 ), Y = [y1 , y2 ). Тогда
p (ξ1 ∈ X, ξ2 ∈ Y ) = F (x2 , y2 ) − F (x1 , y2 ) − F (x2 , y1 ) + F (x1 , y1 ) =
= Fξ1 (x2 )Fξ2 (y2 ) − Fξ1 (x1 )Fξ2 (y2 ) − Fξ1 (x2 )Fξ2 (y1 ) + Fξ1 (x1 )Fξ2 (y1 ) =
= (Fξ1 (x2 ) − Fξ1 (x1 ))(Fξ2 (y2 ) − Fξ2 (y1 )) = p (ξ1 ∈ X)p (ξ2 ∈ Y ).
Для системы непересекающихся интервалов Xi и Yj ,
i = 1, 2, . . . , n; j = 1, 2, . . . , m
[
X
[
p (ξ1 ∈
Xi , ξ2 ∈
Yj ) =
p (ξ1 ∈ Xi , ξ2 ∈ Yj ) =
i
=
X
j
i,j
p (ξ1 ∈ Xi )p (ξ2 ∈ Yj ) =
i,j
X
p (ξ1 ∈ Xi )
X
i
= p (ξ1 ∈
[
Xi )p (ξ2 ∈
i
p (ξ2 ∈ Yj ) =
j
[
Yj ).
j
Тем самым мы доказали независимость алгебр, порожденных случайными
величинами ξ1 , ξ2 . Справедливо утверждение: σ-алгебры, порожденные
независимыми алгебрами, независимы. Доказывается посредством
аппроксимации любого события из σ-алгебры последовательностью
событий из алгебры.
Но если σ-алгебры независимы, это означает независимость случайных величин.
77
10. Многомерные случайные величины
10.6
Контрольные вопросы
1. Дайте определение функции распределения n-мерной случайной
величины.
2. Какими свойствами необходимо обладать функции F (x1 , x2 ),
чтобы являться функцией распределения некоторой двумерной
случайной величины?
3. Известны одномерные плотности независимых случайных величин ξ1 , . . . , ξn . Как по ним найти плотность распределения nмерной случайной величины (ξ1 , . . . , ξn )?
4. Случайные величины ξ1 , ξ2 независимы и имеют одинаковое распределение Бернулли с параметром p. Найти закон распределения двумерной случайной величины (ξ1 , ξ2 ).
5. Найдите lim lim Fξ1 ,ξ2 (x1 , x2 ), lim
x2 →∞ x1 →∞
lim
lim Fξ1 ,ξ2 (x1 , x2 ),
x2 →−∞ x1 →−∞
lim Fξ1 ,ξ2 (x1 , x2 ).
x2 →−∞ x1 →+∞
6. Дайте определение плотности распределения вероятностей nмерной случайной величины.
7. Как найти по n-мерной совместной функции распределения nмерную плотность?
8. Какими
свойствами
необходимо
обладать
функции
f (x1 , x2 ),чтобы являться плотностью распределения непрерывной случайной величины?
9. Как вычислить вероятность того, что значения n-мерной случайной величины попадают в заданную область, используя nмерную плотность распределения?
10. Двумерная случайная величина (ξ, η) равномерно распределена в
треугольнике: {(x, y) : x > 0, y > 0, x + y 6 1.} Найдите плотность распределения (ξ, η).
11. Запишите плотность нормального распределения, приведенную
в примере (10.4), в виде, данном в примере (10.3).
12. Докажите, что при допустимом значении p0 случайные величины ξ и η независимы: а) по определению; б) используя функции
78
11. Функции случайных величин
распределения.
η\ξ
y1
y2
Лекция 11
x1 x2
p0 2p0 .
2p0 4p0
Функции случайных величин
План лекции: функции одномерной случайной величины, функции двумерной случайной величины, распределение суммы двух
независимых случайных величин, распределение произведения
двух независимых случайных величин, функции многомерной
случайной величины.
11.1
Функции одномерной случайной величины
Определение 11.1 Функция ϕ(x) называется борелевской, если прообраз любого борелевского множества из R при отображении ϕ(x)
является борелевским множеством.
Теорема 11.1 Если ϕ — борелевская функция и ξ — случайная величина, то ϕ(ξ) — также случайная величина.
Доказательство. Рассмотрим произвольное борелевское множество B в
R. Чтобы доказать, что ϕ(ξ) — случайная величина, надо показать, что прообраз борелевского множества B при отображении ϕ(ξ(ω)) есть случайное
событие.
Множество
{x : ϕ(x) ∈ B} = B ∗
является борелевским как прообраз борелевской функции. Из определения
случайной величины следует, что прообраз борелевского множества есть
случайное событие. Поэтому множество
{ω : ξ(ω) ∈ B ∗ }
является случайным событием. Но это же самое множество является прообразом B при отображении ϕ(ξ):
{ω : ϕ(ξ) ∈ B} = {ω : ξ ∈ B ∗ }.
Таким образом, распределение борелевской функции от случайной величины ϕ(ξ) определяется распределением ξ.
Рассмотрим примеры нахождения функции распределения η = ϕ(ξ).
79
11. Функции случайных величин
Пример 11.1 η = aξ + b, a 6= 0. Выразить функцию распределения случайной величины η через функцию распределения ξ.
J Fη (y) = p (η < y) = p (aξ + b < y) =
p (ξ < y−b
),
a
>
0;
Fξ ( y−b
a
a ),
=
=
y−b
y−b
p (ξ > a ),
a < 0;
1 − Fξ ( a + 0),
a > 0;
a < 0.
I
Для непрерывной случайной величины этот результат можно было получить и так: пусть aξ + b = ϕ(ξ).
Z
Z
Fη (y) =
fξ (u) du =
fξ (u) du =
au+b<y
ϕ(u)<y
=

y−b

Ra



fξ (u) du,

a > 0;
fξ (u) du,
a < 0;





−∞
R∞
=
Fξ ( y−b
a ),
y−b
1 − Fξ ( a + 0),
a > 0;
a < 0.
y−b
a
Найдем плотность fη (y):
0
fη (y) = Fη (y) =
=
y−b
1
a fξ ( a ),
− a1 fξ ( y−b
a ),
a > 0;
a < 0;
=
1
fξ
|a|
y−b
.
a
Пример 11.2 Пусть g(x) — монотонная неубывающая функция, для
которой определена обратная функция. Найти плотность распределения величины η = g(ξ).
Найдем сначала функцию распределения η.
Fη (y) = p (η < y) = p (g(ξ) < y) = p (ξ < g −1 y) = Fξ (g −1 y).
Чтобы найти плотность распределения, продифференцируем полученную
функцию распределения:
fη (y) = Fξ (g −1 y)(g −1 y)0 .
(59)
Пример 11.3 (Преобразование Смирнова) Пусть ξ — непрерывная
случайная величина, Fξ (x) — ее функция распределения. Рассмотрим
случайную величину η = Fξ (ξ) и найдем Fη (x).
80
11. Функции случайных величин
Fη (x) = P (η < x) = P (Fξ (ξ) < x) =



0, x 6 0,
= P Fξ−1 (Fξ (ξ)) < Fξ−1 (x) , 0 < x 6 1,


1,
x > 1.



0, x 6 0,
0 < x 6 1,
= P ξ < Fξ−1 (x)


1,
x > 1.


x 6 0,


0,
0, x 6 0,
−1
= Fξ (Fξ (x)) 0 < x 6 1, = x, 0 < x 6 1,




1,
x > 1.
1, x > 1.
.
Полученная функция распределения совпадает с функцией распределения R[0, 1]. Поскольку функция распределения однозначно определяет
случайную величину, отсюда следует, что η ∈ R[0, 1].
Таким образом, Fξ (ξ) = r ∈ R[0, 1]. Если уравнение Fξ (ξ) = r разрешимо относительно ξ, то получаем формулу, называемую преобразованием Смирнова:
ξ = Fξ−1 (r) .
Преобразование Смирнова позволяет моделировать непрерывную случайную величину ξ, то есть строить распределение случайной величины ξ с заданным законом распределения с помощью случайной величины, распределенной равномерно.
11.2
Функции двумерной случайной величины
Теорема 11.2 Если ϕ1 , ϕ2 — борелевские функции и ξ1 , ξ2 — независимые случайные величины, то ϕ1 (ξ1 ), ϕ2 (ξ2 ) — также независимые случайные величины.
Доказательство. Рассмотрим
P (ϕ1 (ξ1 ) ∈ B1 , ϕ2 (ξ2 ) ∈ B2 ).
Множества
{x : ϕ1 (x) ∈ B1 } = B1∗ ,
{x : ϕ1 (x) ∈ B2 } = B2∗
81
11. Функции случайных величин
являются борелевскими как прообразы борелевских функций. Из определения случайной величины следует, что прообраз борелевского множества
есть случайное событие. При этом
{ω : ϕi (ξi ) ∈ Bi } = {ω : ξi ∈ Bi∗ }.
p (ϕ1 (ξ1 ) ∈ B1 , ϕ2 (ξ2 ) ∈ B2 ) = p (ξ1 ∈ B1∗ , ξ2 ∈ B2∗ ) =
= p (ξ1 ∈ B1∗ )p (ξ2 ∈ B2∗ ) = p (ϕ1 (ξ1 ) ∈ B1 )p (ϕ2 (ξ2 ) ∈ B2 ).
Таким образом, распределение борелевских функций от независимых случайных величин ϕ1 (ξ1 ), ϕ2 (ξ2 ) полностью определяется одномерными распределениями ξ1 , ξ2 .
Рассмотрим основную задачу, связанную с нахождением закона распределения функции двух независимых случайных величин. Пусть задана
измеримая функция двух независимых случайных величин ζ = g(ξ, η), известны Fξ (x), Fη (x). Требуется найти Fζ (x).
Z
Fζ (x) = p (g(ξ, η) < x) =
dP.
g(ξ,η)<x
Для непрерывных случайных величин
Z
ZZ
Fζ (x) =
dP =
fξ,η (u, v) dudv.
(60)
g(u,v)<x
g(ξ,η)<x
Для независимых непрерывных случайных величин
ZZ
ZZ
Fζ (x) =
fξ,η (u, v) dudv =
fξ (u)fη (v) dudv.
g(u,v)<x
(61)
g(u,v)<x
Распределение суммы двух независимых случайных величин ζ = ξ +η.
ZZ
Fζ (x) =
Z
∞
=
ZZ
fξ,η dudv =
u+v<x
Z x−u
fξ (u) du
−∞
fξ (u)fη (v) dudv =
u+v<x
Z ∞
fξ (u) · Fη (x − u) du =
fη (v) dv =
−∞
−∞
Z
∞
Fη (x − u) dFξ (u).
=
−∞
Если подынтегральная функция и ее частная производная по x непрерывны,
то
Z ∞
fζ (x) =
fξ (u) · fη (x − u) du.
(62)
−∞
82
11. Функции случайных величин
Выражение (62) называется свёрткой функций fξ (x), fη (x) и обозначается fξ ∗ fη :
fξ+η = fξ ∗ fη .
(63)
Распределение произведения двух независимых случайных величин
ζ = ξ · η.
Z
Z Z
Fζ (x) =
fξ,η dudv =
fξ (u)fη (v) dudv =
u·v<x
Z
0
=
fξ (u) du
Z
Z
fη (v) dv +
x
u
−∞
0
=
1 − Fη
−∞
Z
fζ (x) = −
11.3
∞
Z
0
u·v<x
∞
Z
fξ (u) du
u
x
fη (v) dv =
−∞
0
x x
u
Z
∞
fξ (u) du +
Fη
0
Z ∞
x
fξ (u) du.
u
1 x
fη
· fξ (u) du =
u
u
1
fη
· fξ (u) du +
u
−∞ u
0
Z ∞
1
x
=
fη
· fξ (u) du.
u
−∞ |u|
Z ∞
1 x
fη
· fξ (u) du.
fξ·η =
u
−∞ |u|
(64)
Функции многомерной случайной величины
Рассмотрим задачу, связанную с нахождением закона распределения функции n случайных величин. Пусть задана измеримая функция n случайных
величин ζ = g(ξ1 , . . . , ξn ), известны Fξ (x), i = 1, . . . , n. Требуется найти
Fζ (x).
Z
Fζ (x) = p (g(ξ1 , . . . , ξn ) < x) =
dP.
g(ξ1 ,...,ξn )<x
Для непрерывных случайных величин
Z
Z
Z
Fζ (x) =
dP = . . .
g(ξ1 ,...,ξn )<x
fξ1 ,...,ξn (u1 , . . . , un ) du1 . . . dun .
g(u1 ,...,un )<x
(65)
Справедлива теорема, обобщающая теорему (11.2) на случай n случайных
величин.
83
11. Функции случайных величин
Теорема 11.3 Если ϕ1 , . . . , ϕn — борелевские функции и ξ1 , . . . , ξn —
независимые случайные величины, то ϕ1 (ξ1 ), . . . , ϕn (ξn ) — также
независимые случайные величины.
Доказательство теоремы проводится аналогично доказательству теоремы
(11.2).
Таким образом, распределение борелевских функций от независимых
случайных величин ξ1 , . . . , ξn полностью определяется одномерными распределениями Fξ1 , Fξ2 , . . . , Fξn .
Для независимых непрерывных случайных величин формула для нахождения закона распределения функции ζ = g(ξ1 , . . . , ξn ) имеет вид:
Z
Z
Fζ (x) = . . .
fξ1 (u1 ) · . . . · fξn (un ) du1 . . . dun .
(66)
g(u1 ,...,un )<x
11.4
Контрольные вопросы
1. Дайте определение борелевской функции.
2. Обязательно ли |ξ| является случайной величиной, если ξ — случайная величина?
3. Обязательно ли ξ является случайной величиной, если |ξ| — случайная величина?
4. Дан закон распределения (ξ, η). Проверьте, что случайные величины ξ и η независимы. Найдите закон распределения (ξ 2 , η + 1).
На основании какой теоремы можно утверждать, что ξ 2 и η + 1
независимы? Проверьте независимость ξ 2 и η + 1 непосредственно по закону распределения.
η\ξ
3
4
1
2
1/9 2/9
2/9 4/9
5. Дайте определение свертки функций fξ1 (x), fξ2 (x).
6. Пусть g(x) — монотонная убывающая функция Найти плотность распределения величины η = g(ξ) (аналогично (59)).
7. Обобщите формулу (59), используя разбиение на промежутки
монотонности функции.
8. Какое распределение имеет величина Fξ (ξ), если ξ имеет экспоненциальное распределение Eλ с параметром λ = 5?
84
12. Математическое ожидание
9. Запишите преобразование Смирнова для ξ ∈ E5 .
10. Укажите два разных способа найти плотность распределения
суммы трех независимых случайных величин.
11. Если ϕ1 , ϕ2 — борелевские функции и ξ1 , ξ2 — зависимые случайные величины, то могут ли ϕ1 (ξ1 ), ϕ2 (ξ2 ) быть независимыми случайными величинами?.
Лекция 12
Математическое ожидание
План лекции: математическое ожидание дискретной случайной величины, свойства математического ожидания, определение математического ожидания проcтой случайной величины, математическое ожидание произвольной случайной величины, математическое ожидание непрерывной случайной величины, интеграл Лебега, формулы для вычисления математических
ожиданий, примеры вычисления математических ожиданий.
12.1
Математическое ожидание дискретной случайной величины
Рассмотрим дискретную случайную величину ξ с законом распределения
pξ (x) : p (ξ = xi ) = pi , i = 1, 2, . . .
Определение 12.1 Математическим ожиданием дискретной случайной величины ξ называется число
Mξ =
∞
X
xi · p (ξ = xi ).
(67)
i=1
Математическое ожидание существует, если
∞
X
|xi | · pi < ∞.
i=1
Смысл математического ожидания — среднее значение случайной величины.
12.2
Свойства математического ожидания
Приведем простейшие свойства математического ожидания. Предполагается, что все указанные математические ожидания существуют.
1. M c = c (c = const).
85
12. Математическое ожидание
2. M (cξ) = cM ξ.
3. M (ξ1 + ξ2 ) = M (ξ1 ) + M (ξ2 ).
Доказательство. По определению
XX
M (ξ1 + ξ2 ) =
(xi + yj )p (ξ1 = xi , ξ2 = yj ) =
i
X
=
i
xi
X
j
p (ξ1 = xi , ξ2 = yj ) +
X
j
yj
X
j
p (ξ1 = xi , ξ2 = yj ) =
i
= |p (ξ1 = xi , ξ2 = yj ) = p (ξ1 = xi )p (ξ2 = yj /ξ1 = xi )| =
X
X
X
X
=
xi pi
p (ξ2 = yj /ξ1 = xi ) +
y j pj
p (ξ1 = xi /ξ2 = yj ) =
i
j
j
i
X
X
p (ξ2 = yj /ξ1 = xi ) =
p (ξ1 = xi /ξ2 = yj ) = 1 =
=
j
i
X
X
=
x i pi +
yj pj = M (ξ1 ) + M (ξ2 ).
i
j
4. Для независимых случайных величин ξ1 , ξ2
M (ξ1 · ξ2 ) = M (ξ1 ) · M (ξ2 ).
Доказательство. Очевидно,
XX
M (ξ1 · ξ2 ) =
xi yj p (ξ1 = xi , ξ2 = yj ) =
i
XX
i
j
xi yj p (ξ1 = xi )p (ξ2 = yj ) =
X
j
i
xi pi ·
X
yj pj = M (ξ1 ) · M (ξ2 ).
j
5. |M ξ| 6 M |ξ|.
12.3
Определение математического ожидания проcтой случайной
величины
Напомним определение индикатора: индикатором события A называется
случайная величина
(
1, ω ∈ A
IA (ω) =
0, ω ∈
/A
Свойства индикатора
1.M IA = p(A).
86
12. Математическое ожидание
2.IAk = IA для k = 1, 2, . . . .
3.IAB = IA · IB .
4.IA+B = IA + IB .
5.IĀ = 1 − IA .
Определение 12.2 Простой случайной величиной называется величина, представимая в виде
n
X
ξ=
xi IAi ,
i=1
где Ak Aj = ∅ при k 6= j и
Sn
i=1 Ai
= Ω,
xi ∈ R.
Определение 12.3 Математическим ожиданием простой случайной
величины называется число
∞
X
Mξ =
xi · p(Ai ).
i=1
12.4
Определение математического ожидания произвольной случайной величины
Пусть ξ — неотрицательная случайная величина, заданная на (Ω, F, P).
Всякая такая случайная величина ξ может быть как угодно точно аппроксимирована простыми величинами. Например, если разбить действительную
прямую точками xkn так, чтобы при фиксированном n выполнялось неравенство xk+1,n > xkn и
sup(xk+1,n − xkn ) = εn ,
k
и определить простые случайные величины ξn как ступенчатые случайные
величины
ξn = xkn при xkn 6 ξ < xk+1,n ,
то есть
ξn =
X
xkn IAkn ,
k
где Akn = {ω : xkn 6 ξ(ω) < xk+1,n }, то |ξ − ξn | 6 εn . Тогда
|ξm − ξn | 6 |ξm − ξ| + |ξn − ξ| 6 εm + εn .
Возьмем теперь последовательности {xkn } для n = 1, 2, . . . так, чтобы εn →
0. По свойству 4,
|M ξm − M ξn | = |M (ξm − ξn )| 6 M |ξm − ξn | 6 εm + εn → 0 при m, n → ∞.
Следовательно, существует lim M ξn .
n→∞
87
12. Математическое ожидание
Определение 12.4 Математическим ожиданием неотрицательной
случайной величины ξ называется число
(68)
M ξ = lim M ξn .
n→∞
Таким образом определенное математическое ожидание также удовлетворяет свойствам 1–5. Для произвольной случайной величины положим
ξ − = |ξ|I(ξ<0) ,
ξ + = ξI(ξ>0) ,
ξ = ξ + − ξ −,
M ξ = M ξ + − M ξ −.
Если M ξ + = M ξ − = ∞, то M ξ не существует.
12.5
Определение математического ожидания непрерывной случайной величины
Если задана плотность распределения вероятностей fξ (x), то, выбирая в качестве xkn точки непрерывности fξ (x), получим
X
M ξ = lim
xkn p (xk,n 6 ξ < xk+1,n );
n→∞
X
k
xkn p (xk−1,n 6 ξ < xkn ) =
k
X
Z
xkn
k
Z
xk+1,n
fξ (x) dx
xk,n
∞
−→
xfξ (x) dx.
−∞
Последнее выражение и используется в качестве определения математического ожидания.
Определение 12.5 Математическим ожиданием непрерывной случайной величины ξ называется число
Z ∞
Mξ =
xfξ (x) dx.
(69)
−∞
Математическое ожидание существует, если M |ξ| < ∞.
88
12. Математическое ожидание
12.6
Интеграл Лебега
Рассмотренное выше определение 68 соответствует определению интеграла
Лебега от функции ξ(ω) по вероятностной мере. Таким образом,
Z
Mξ =
ξ(ω) dP (ω).
(70)
Ω
Для такого интеграла используют обозначения
Z
Z
Z
Z
ξ(ω) dP (ω), ξ(ω) P (dω), ξ(ω) dP, ξ dP,
Ω
Ω
Ω
Ω
причем при интегрировании по всему пространству Ω часто знак Ω опускается:
Z
M ξ = ξ dP
Случайная величина ξ, заданная на вероятностном пространстве (Ω, F, P)),
вполне характеризуется своим распределением вероятностей, поэтому
ее можно рассматривать определенной
на вероятностном пространстве
R
(R, B, Fξ ). Интеграл Лебега ξ dP в этом случае будет иметь вид
Z ∞
x dFξ .
−∞
Интеграл в правой части называется интегралом Лебега — Стилтьеса. Таким образом, математическое ожидание случайной величины может быть
определено единым образом не только через интеграл Лебега, но и через
интеграл Лебега — Стилтьеса:
Z∞
Mξ =
x dFξ (x).
(71)
−∞
Из определения (70) вытекают формулы (67) для дискретной случайной величины и (69) для непрерывной случайной величины.
12.7
Формулы для вычисления математического ожидания
1. Математическое ожидание дискретной случайной величины ξ:
Mξ =
∞
P
xi · p (ξ = xi ).
i=1
89
(72)
12. Математическое ожидание
2. Найдем математическое ожидание случайной величины вида η =
g(ξ).
X
p (η = y) =
pξ (x).
x: g(x)=y
Mη =
X
yj p (η = yj ) =
X
j
Mη =
X
yj
p ξ (x) =
x:g(x)=yj
X
X
g(xi )p ξ (xi ).
i
g(xi )p ξ (xi ).
(73)
3. Рассмотрим дискретную n-мерную случайную величину с законом распределения p ξ1 ,...,ξn (x1 , . . . , xn ). Математическое ожидание случайной величины вида η = g(ξ1 , . . . , ξn ):
Mη =
∞
X
···
i=1
∞
X
g(xi1 , . . . , xjn )p ξ1 ,...,ξn (xi1 , . . . , xjn ).
(74)
j=1
4. Математическое ожидание непрерывной случайной величины ξ:
R∞
M ξ = −∞ xfξ (x) dx.
(75)
5. Математическое ожидание случайных величин вида η = g(ξ):
Z ∞
Mη =
g(x)fξ (x) dx.
(76)
−∞
6. Математическое ожидание случайной величины вида η =
g(ξ1 , . . . , ξn ), где ξ1 , . . . , ξn ) — непрерывная n-мерная случайная величина с
плотностью fξ1 ,...,ξn (x1 , . . . , xn ):
Z ∞
Z ∞
Mη =
...
g(x1 , . . . , xn )fξ1 ,...,ξn (x1 , . . . , xn ) dx1 . . . dxn .
(77)
−∞
−∞
Математическое ожидание существует, если M |ξ| < ∞. Смысл математического ожидания — среднее значение случайной величины.
12.8
Примеры вычисления математических ожиданий
Пример 12.1 Найти математическое ожидание биномиального распределения B(N, p).
J Случайная величина ξ может быть интерпретирована как число успехов в
N испытаниях Бернулли, ξ = 0, 1, . . . , N . Рассмотрим случайные величины
ξ1 , . . . , ξN , имеющие распределение Бернулли:
90
12. Математическое ожидание
ξi
P
0 1
q p
ξk ∈ B(1, p) — число успехов в k-ом испытании. M ξk = p, k = 1, 2, . . . , N.
Случайная величина ξ представима в виде суммы k величин, имеющих распределение Бернулли :
ξ=
N
X
ξ ∈ B(N, p).
ξk ,
k=1
По свойствам математического ожидания
!
N
N
N
X
X
X
p = N p.
ξk =
M ξk =
Mξ = M
k=1
k=1
k=1
I
Пример 12.2 Найти
Пуассона Pλ .
математическое
J ξ = 0, 1, 2, . . . p (ξ = k) =
Mξ =
∞
X
ожидание
распределения
e−λ λk
k!
∞
X
∞
X
e−λ λk
=
xk pk =
k
k!
k=0
∞
X k
k=0
∞
∞
X λk−1
X λk
λ
−λ
−λ
k =e λ
=e λ
.
=e
k!
(k − 1)!
k!
k=1
k=1
k=0
k=0
P
k
λ
Вспоминая разложение в ряд Тейлора eλ = ∞
k=0 k! , получаем
−λ
λk
k = e−λ
k!
M ξ = e−λ λeλ = λ.
I
Пример 12.3 Найти математическое ожидание геометрического
распределения Gp .
J ξ = 0, 1, 2, . . . , p (ξ = k) = q k p.
Mξ =
∞
X
k=0
= pq
∞
X
k=1
xk pk =
∞
X
kq p = pq
k=0
kq k−1 = pq
k
∞
X
k=1
91
∞
X
kq k−1 =
k=0
(q k )0 = pq
∞
X
k=1
!0
qk
.
12. Математическое ожидание
Используя формулу
суммы геометрической прогрессии со знаменатеP∞ для
q
k
лем q, |q| < 1, k=1 q = 1−q
, находим
0
1
pq
q
q
1(1 − q) − q(−1)
M ξ = pq
=
pq
=
=
.
= pq
1−q
(1 − q)2
(1 − q)2
p2
p
I
Пример 12.4 Найти математическое ожидание равномерного распределения R[a, b].
J
fξ (x) =
Z
1
b−a ,
x ∈ [a, b].
+∞
Mξ =
Z
xfξ (x)dx =
−∞
a
b
b
1 b2 − a2
1
1 x2 a+b
=
x
dx =
=
.
b−a
b − a 2 a b − a 2
2
I
Пример 12.5 Найти математическое ожидание экспоненциального
распределения Eλ .
J fξ (x) = λe−λx ,
x > 0.
Z
Mξ =
+∞
Z
xfξ (x)dx =
−∞
+∞
xλe−λx dx.
0
0
Возьмем этот интеграл по частям, учитывая что −e−λx = λe−λx :
Z +∞
+∞
M ξ = −xe−λx 0 −
−e−λx dx.
0
+∞
Очевидно, что −xe−λx 0 = 0 − 0 = 0.
Z
Mξ =
0
+∞
−λx +∞
e
1
1
=
0
−
=
.
e−λx dx =
−λ 0
−λ λ
I
12.9
Контрольные вопросы
1. Дайте определение математического ожидания.
2. Докажите, что M IA = p(A).
92
13. Числовые характеристики одномерной случайной величины
3. Дайте определение простой случайной величины.
4. Докажите, что M c = c
(c = const).
5. Докажите, что M (cξ) = cM ξ
(c = const).
6. Докажите, что |M ξ| 6 M |ξ|.
7. Приведите формулу для вычисления математического ожидания дискретной случайной величины.
8. Приведите формулу для вычисления математического ожидания непрерывной случайной величины.
9. Укажите два разичных способа найти математическое ожидание функции непрерывной случайной величины.
10. Объясните, почему не существует математическое ожидание
распределения Коши Ka,λ .
Лекция 13
величины
Числовые характеристики одномерной случайной
План лекции: дисперсия случайной величины, примеры вычисления дисперсий, матожидания и дисперсии некоторых важных
распределений, другие числовые характеристики случайной величины.
13.1
Дисперсия случайной величины
Определение 13.1 Дисперсией ξ называется число
Dξ = M (ξ − M ξ)2 .
(78)
Дисперсия характеризует разброс значений случайной величины.
Свойства дисперсии
1. Dc = 0 (c − const).
2. Dcξ = c2 Dξ.
3. D(ξ1 + ξ2 ) = D(ξ1 ) + D(ξ2 ) (для независимых случайных величин).
Доказательство.
D(ξ1 + ξ2 ) = M (ξ1 + ξ2 − M (ξ1 + ξ2 ))2 =
= M [(ξ1 − M ξ1 ) + (ξ2 − M ξ2 )]2 =
93
13. Числовые характеристики одномерной случайной величины
= M (ξ1 − M ξ1 )2 + M (ξ2 − M ξ2 )2 + 2M [(ξ1 − M ξ1 )(ξ2 − M ξ2 )]
= D(ξ1 ) + D(ξ2 ) + 2 M (ξ1 − M ξ1 ) M (ξ2 − M ξ2 ) = D(ξ1 ) + D(ξ2 )
{z
}|
{z
}
|
=0
=0
.
4. Dξ = M ξ 2 − (M ξ)2 .
Доказательство. Dξ = M (ξ − M ξ)2 = M [ξ 2 − 2M ξ · ξ + (M ξ)2 ] =
M ξ 2 − 2M ξ · M ξ + (M ξ)2 = M ξ 2 − (M ξ)2 .
5. minc M (ξ − c)2 = M (ξ − M ξ)2 = Dξ.
Доказательство.
M (ξ − c)2 = M (ξ − M ξ + M ξ − c)2 =
= M (ξ − M ξ)2 + M (M ξ − c)2 + 2 M (ξ − M ξ)(M ξ − c) =
{z
}
|
=0
Dξ + (M ξ − c)2 > Dξ.
Из определения и свойства 4 следуют формулы для вычисления дисперсии.
Dξ = M ξ 2 − (M ξ)2 .
Для дискретной случайной величины
Dξ =
∞
X
2
(xi − M ξ) pi =
i=1
∞
X
∞
X
x2i · pi − (
i=1
2
x i · pi ) =
i=1
∞
X
x2i · pi − (M ξ)2 . (79)
i=1
Для непрерывной случайной величины
Z ∞
Z ∞
2
Dξ =
(x − M ξ) fξ (x) dx =
x2 fξ (x) dx − (M ξ)2 .
−∞
13.2
(80)
−∞
Примеры вычисления дисперсий
Пример 13.1 Найти
B(N, p).
дисперсию
биномиального
распределения
J ξ = 0, 1, . . . , N ; ξ — число успехов в N испытаниях.
Рассмотрим случайную величину ξi , равную числу успехов в i-ом испытании, i = 1, . . . , N .
N
X
ξ=
ξk .
k=1
94
13. Числовые характеристики одномерной случайной величины
Случайные величины ξ1 , . . . , ξN имеют распределение Бернулли:
ξ
P
0 1
q p
M ξk = p, Dξk = M ξ 2 − (M ξ)2 = p − p2 , k = 1, 2, . . . , N.
ξ=
N
X
ξk ,
M ξ = N p,
Dξ =
N
X
Dξk = N (p − p2 ) = N pq.
k=1
k=1
I
Пример 13.2 Найти дисперсию распределения Пуассона Pλ .
J ξ = 0, 1, 2, . . .
−λ k
p (ξ = k) = e k!λ
2
Mξ =
∞
X
x2k pk
=
k=0
−λ
=e λ
∞
X
k=1
∞
X
k
−λ k
2e λ
=e
k!
k=0
−λ
∞
X
k=1
k
k
2λ
k!
−λ
=e λ
∞
X
k=1
λk−1
k
=
(k − 1)!
∞
∞
∞
k=1
k=0
k=0
X λk−1
X λk
X λk
λk−1
−λ
−λ
−λ
(k − 1)
+e λ
=e λ
k +e λ
.
(k − 1)!
(k − 1)!
k!
k!
Выше показано, что
∞
P
k=0
k
k λk! = λeλ ,
P∞
λk
k=0 k!
= eλ .
M ξ 2 = e−λ λλeλ + e−λ λeλ = λ2 + λ,
Dξ = M ξ 2 − (M ξ)2 = λ2 + λ − λ2 = λ.
I
Пример 13.3 Найти дисперсию геометрического распределения Gp
J ξ = 0, 1, 2, . . . , p (ξ = k) = q k p.
2
Mξ =
∞
X
k=0
= pq 2
∞
X
k=2
x2k pk
=
∞
X
2 k
k q p=
k=0
∞
X
k
k(k − 1)q p +
k=0
k(k − 1)q k−2 + M ξ = p2
∞
X
k=2
95
(q k )00 +
∞
X
kq k p =
k=0
q
= pq 2
p
∞
X
k=2
!00
qk
q
+ .
p
13. Числовые характеристики одномерной случайной величины
P
P∞ k
q−q(1−q)
q2
q
k
−
q
=
=
Заметим, что ∞
q
=
q
−
q
=
=
k=2
k=1
1−q
1−q
1−q .
2 00
0
0
q
q2
q
2q
q
2q − q 2
q
2
2
2
2
M ξ = pq
+ = pq
+
=
pq
=
+
+
1−q
p
1 − q (1 − q)2
p
(1 − q)2
p
− 2q)(1 − q)2 − (2q − q 2 )2(1 − q)(−1) q
= pq
+ =
(1 − q)4
p
2(1 − q)(1 − q) + 2q(2 − q) q
+ =
= pq 2
(1 − q)3
p
2 (2
− 4q + 2q 2 + 4q − 2q 2 q
q
2q 2 q
2q 2 + pq
2 2
= pq
+ = pq 3 + = 2 + =
.
(1 − q)3
p
p
p
p
p
p2
2
2
q
q(q + p)
q
2q
+
pq
q 2 + pq
−
=
=
.
Dξ = M ξ 2 − (M ξ)2 =
=
p2
p
p2
p2
p2
22
I
Пример 13.4 Найти дисперсию равномерного распределения R[a, b].
J
fξ (x) =
M ξ2 =
Z
1
,
b−a
x ∈ [a, b], M ξ =
+∞
x2 fξ (x)dx =
−∞
Z
b
a
a+b
2
3 b
1
1
x
=
x2
dx =
b−a
b − a 3 a
(b − a)(b2 + ba + a2 ) b2 + ba + a2
1 b 3 − a3
=
=
.
=
b−a 3
3(b − a)
3
a2 + ab + b2 a2 + 2ab + b2
−
=
3
4
4a2 + 4ab + 4b2 − 3a2 − 6ab − 3b2
a2 − 2ab + b2
(a − b)2
=
=
=
.
12
12
12
Dξ = M ξ 2 − (M ξ)2 =
I
Пример 13.5 Найти дисперсию экспоненциального распределения Eλ .
J fξ (x) = λe−λx ,
x > 0.
Z
M ξ2 =
+∞
Z
2
x fξ (x)dx =
−∞
+∞
x2 λe−λx dx
0
0
Возьмем этот интеграл по частям, учитывая что −e−λx = λe−λx :
Z +∞
+∞
−2xe−λx dx.
M ξ 2 = −x2 e−λx 0 −
0
96
13. Числовые характеристики одномерной случайной величины
+∞
Очевидно, что −x2 e−λx 0 = 0 − 0 = 0.
Z +∞
Z
1 +∞
11
2
1
2
−λx
Mξ =
2xe dx = 2
= 2
xλe−λx dx = 2 M ξ = 2
λ 0
λ
λλ λ
0
Dξ = M ξ 2 − (M ξ)2 ; M ξ =
1
,
λ
Поэтому
2
Dξ = 2 −
λ
2
1
1
= 2.
λ
λ
I
Ниже приведены значения числовых характеристик одномерных случайных величин (в обозначениях 8.4, 9).
13.3
Матожидания и дисперсии некоторых важных распределений
Распределение Бернулли B(1, p)
M ξ = p; Dξ = q.
Биномиальное распределение B(N, p)
M ξ = N p; Dξ = N pq.
Распределение Пуассона Pλ
M ξ = λ; Dξ = λ.
Гипергеометрическое распределение
−M )(N −n)
Mξ = nM
Dξ = nM (N
.
N;
N 2 (N −1)
Геометрическое распределение Gp
M ξ = pq ; Dξ = pq2 .
Отрицательное биномиальное распределение B(r, p) (распределение
Паскаля)
M ξ = rqp ; Dξ = rq
p2 .
Равномерное распределение R[a, b]
(b−a)2
;
Dξ
=
M ξ = a+b
2
12 .
Нормальное распределение N (a, σ)
M ξ = a; Dξ = σ 2 .
Показательное распределение Eλ
M ξ = λ1 ; Dξ = λ12 .
Распределение Коши
M ξ не существует; Dξ не существует.
Γ-распределение
M ξ = αβ ; Dξ = αβ2 .
97
13. Числовые характеристики одномерной случайной величины
Распределение Лапласа
M ξ = α; Dξ = λ22 .
13.4
Другие числовые характеристики случайной величины
Определение 13.2 Начальным моментом порядка k случайной величины ξ называется число
αk = M (ξ)k .
(81)
Определение 13.3 Центральным моментом порядка k случайной величины ξ называется число
µk = M (ξ − M ξ)k .
(82)
Связь между моментами
k
X
µk = M (ξ − M ξ) = M (
Cki ξ i (M ξ)k−i · (−1)k−i =
k
i=0
k
X
Cki αi α1k−i · (−1)k−i .
(83)
i=0
Определение 13.4 Среднеквадратическим отклонением ξ
называется число
p
σ = Dξ.
(84)
Среднеквадратическое отклонение — линейная мера разброса значений случайной величины.
Определение 13.5 Коэффициентом асимметрии (рис.13) называется число
µ3
M (ξ − M ξ)3
A= 3 = p
.
(85)
σ
(Dξ)3
f (x)
(a)
(b)
(c)
x
0
98
13. Числовые характеристики одномерной случайной величины
Рис. 13. (a) : A > 0, (b) : A = 0, (c) : A < 0
Определение 13.6 Коэффициентом эксцесса (рис.14) называется
число
µ4
M (ξ − M ξ)4
E = 4 −3=
− 3.
(86)
σ
(Dξ)2
f (x)
(a)
(b)
x
0
Рис. 14. (a) : E > 0, (b) : E < 0
Определение 13.7 Модой непрерывной случайной величины ξ называется значение mo , при котором плотность fξ (x) достигает максимума:
fξ (m0 ) = max fξ (x).
(87)
x
Модой дискретной случайной величины ξ называется значение mo ,
при котором
p (ξ = mo ) = max pi .
(88)
i
Определение 13.8 Медианой непрерывной случайной величины ξ называется значение me , при котором
Z me
fξ (x) dx = 1/2,
(89)
−∞
то есть F (me ) = 1/2.
Медианой дискретной случайной величины ξ называется значение me , при котором
F (me ) 6 1/2,
F (me + 0) > 1/2.
99
(90)
13. Числовые характеристики одномерной случайной величины
Определение 13.9 Квантилью порядка q, 0 < q < 1 непрерывной случайной величины ξ называется значение xq , при котором
Z xq
fξ (x) dx = q,
(91)
−∞
то есть F (xq ) = q. Квантилью порядка q, 0 < q < 1 дискретной случайной величины ξ называется значение xq , при котором
F (xq ) 6 q,
F (xq + 0) > q.
(92)
Пример 13.6 Найти медиану и моду для ξ ∈ Γ1,2 .
J 1. Мода m0 :
fξ (m0 ) = max fξ (x).
x
f 0 (x) = (xe−x )0 = e−x − xe−x = e−x (1 − x).
f 0 (x) = 0 ⇐⇒ x = 1.
m0 = 1.
2. Медиана me :
1
2
−x
1 − e (x + 1) = 1/2. Численно решая это уравнение методом деления отрезка пополам, получаем
me ≈ 1, 68
Fξ (me ) =
I
Пример 13.7 Найти квантиль порядка 0,1 для ξ ∈ N (−1, 3).
J Квантиль xq порядка q находится как корень уравнения:
Z xq
fξ (x)dx = q
−∞
Пусть q = 0, 1. Тогда
Z
xq
fξ (x)dx = 0, 1
−∞
xq
xq − aξ
fξ (x)dx = Φ
σξ
−∞
Z
= 0, 1
Используем таблицу . Справедливо следующее преобразование:
1
Φ(x) = Φ0 (x) + .
2
100
13. Числовые характеристики одномерной случайной величины
Тогда получаем
Φ0
xq − aξ
σξ
= 0, 1 − 0, 5 = −0, 4
Применив свойство функции Лапласа Φ0 (−x) = −Φ0 (x), найдем
−
x q − aξ
= 1, 3
σξ
x0.1 − aξ = −1, 3σξ
x0.1 = aξ − 1, 3σξ ⇒ x0,1 = −4, 9
I
13.5
Контрольные вопросы
1. Как изменятся дисперсия и среднее квадратическое отклонение
случайной величины ξ, если а) прибавить к ней постоянную c; б)
умножить ее на постоянную c?
2. Докажите, что Dξ = 0 тогда и только тогда, когда p (ξ = c) =
1 (c = const).
3. Докажите, что Dξ < α2 .
4. Пусть 0 < ξ < 1. Докажите, что Dξ < M ξ.
5. Приведите пример распределения, не имеющего моментов второго порядка.
6. Выразите начальный момент 3-го порядка через центральные
моменты.
7. Выразите центральный момент 3-го порядка через начальные
моменты.
8. Как называется точка, в которой функция распределения переходит от значений, меньших 0,2, к значениям, большим 0,2?
9. Верно ли, что медиана существует в любом распределении?
10. Чему равна мода биномиального распределения B(N ; p)?
101
14. Линейная зависимость между случайными величинами
Лекция 14
нами
Линейная зависимость между случайными величи-
План лекции: ковариация, понятие коррелированности, коэффициент корреляции, уравнение линейной регрессии.
14.1
Ковариация
Рассмотрим двумерную случайную величину (ξ, η).
Определение 14.1 Начальными смешанными моментами порядка j = i + k случайной величины (ξ, η) называются величины
αi,k = M (ξ i · η k ).
(93)
Определение 14.2 Центральными смешанными моментами порядка j = i + k случайной величины (ξ, η) называются величины
µi,k = M [(ξ − M ξ)i · (η − M η)k ].
(94)
Определение 14.3 Ковариацией случайной величины (ξ, η) называется центральный смешанный момент второго порядка
cov(ξ, η) = M [(ξ − M ξ) · (η − M η)].
14.2
(95)
Понятие коррелированности
Ковариация есть мера зависимости между ξ, η. Действительно,
D(ξ + η) = M (ξ + η − M (ξ + η))2 = M [(ξ − M ξ) + (η − M η)]2 =
M (ξ − M ξ)2 + M (η − M η)2 + 2M [(ξ − M ξ)(η − M η)] =
= D(ξ) + D(η) + 2M [(ξ − M ξ)(η − M η)] = D(ξ) + D(η) + 2cov(ξ, η).
Для независимых случайных величин
D(ξ + η) = D(ξ) + D(η),
следовательно, cov(ξ, η) = 0.
Величины ξ, η называются
— некоррелированными при cov(ξ, η) = 0,
— положительно коррелированными при cov(ξ, η) > 0,
— отрицательно коррелированными при cov(ξ, η) < 0.
Для вычисления ковариации часто используют формулу
cov(ξ, η) = M (ξ · η) − M ξ · M η.
102
(96)
14. Линейная зависимость между случайными величинами
Докажем ее.
cov(ξ, η) = M [(ξ − M ξ) · (η − M η)] =
M [ξ · η − M η · ξ − M ξ · η + M ξ · M η] =
M (ξ · η) − M ξ · M η − M ξ · M η + M ξ · M η = M (ξ · η) − M ξ · M η.
14.3
Коэффициент корреляции
Определение 14.4 Коэффициентом корреляции между случайными величинами ξ, η называется число
ρξ,η =
cov(ξ,η)
σξ ση
=
M [(ξ−M ξ)·(η−M η)]
√
D(ξ)D(η)
.
(97)
Свойства коэффициента корреляции
1. |ρ| 6 1.
Доказательство. Очевидно,
M
ξ − Mξ η − Mη
p
± p
D(ξ)
D(η)
!2
> 0.
Но
M
!2
!2
ξ − Mξ
η − Mη
=M p
+M p
±
D(ξ)
D(η)
!
M [(ξ − M ξ) · (η − M η)]
p
= 2 ± 2ρ.
D(ξ)D(η)
ξ − Mξ η − Mη
p
± p
D(ξ)
D(η)
±2
!2
Следовательно,
2 ± 2ρ > 0 ⇒ |ρ| 6 1.
2. Если ξ, η независимы, то ρξ,η = 0.
Доказательство.
cov(ξ, η) = M [(ξ − M ξ) · (η − M η)] = M (ξ − M ξ) · M (η − M η) = 0
⇒ ρξ,η = 0.
Обратное, вообще говоря, неверно, что показывает следующий пример.
Пример 14.1 Пусть ξ — случайная величина, такая, что
M ξ = 0 и M ξ 3 = 0. Найти ρξ,ξ 2 .
103
14. Линейная зависимость между случайными величинами
J
ρξ,ξ 2 =
M (ξ · ξ 2 ) − M (ξ) · M (ξ 2 ) M (ξ 3 ) − M (ξ) · M (ξ 2 )
=
= 0.
σξ σξ 2
σξ σξ 2
I
3. ρξ,η = ±1 ⇐⇒ ξ, η линейно зависимы, то есть существуют такие
a 6= 0 и b, что с вероятностью 1
ξ = aη + b.
Доказательство. Пусть ρξ,η = ±1. Тогда 2 ∓ 2ρ = 0.
!2
ξ − Mξ η − Mη
∓ p
= 0.
2 ∓ 2ρ = M p
D(ξ)
D(η)
ξ − Mξ η − Mη
p
∓ p
= 0.
D(ξ)
D(η)
!
!
p
p
D(ξ)
D(ξ)
ξ = η · ±( p
+ ∓M η · p
+ Mξ ,
D(η)
D(η)
|
{z
} |
{z
}
a
b
то есть
ξ = aη + b.
Пусть теперь ξ = aη + b.
ρξ,η
M [(ξ − M ξ) · (η − M η)] M (aη + b) = aM η + b,
p
=
=
D(aη + b)
= a2 Dη
D(ξ)D(η)
=
M [(aη + b − (aM η + b)) · (η − M η)] aM (η − M η)2
a
p
=
=
= sgn a.
|a|D(η)
|a|
a2 D(η)D(η)
Из свойств 1–3 следует, что коэффициент корреляции есть мера линейной зависимости между ξ, η.
Найдем параметры этой линейной зависимости.
14.4
Уравнение линейной регрессии
Определение 14.5 Уравнением линейной регрессии η на ξ называется
уравнение η̂ = aξ+b, параметры которого минимизируют остаточную дисперсию
M (η − η̂)2 ,
(98)
104
14. Линейная зависимость между случайными величинами
M (η − η̂)2 = M (η − (aξ + b))2 → min .
Найдем â, b̂, минимизирующие остаточную дисперсию.
M (η − (aξ + b))2 = M (η − M η −a (ξ − M ξ) +M η − aM ξ − b)2 =
| {z }
| {z }
η1
ξ1
= M η12 + a2 M ξ12 + M (M η − aM ξ − b)2 − 2aM (ξ1 · η1 )+
2(M η − aM ξ − b)M η1 − 2a(M η − aM ξ − b)M ξ1 =
M ξ1 = M η1 = 0, M ξ12 = Dξ = σξ2 , M η1 = Dη = ση2
= M (ξ1 · η1 ) = cov(ξ, η) = ρξ,η σξ ση
=
ση2 + a2 σξ2 + (M η − aM ξ − b)2 − 2aρξ,η σξ ση .
Очевидно, минимум достигается при b̂ = −âM ξ + M η.
Продифференцируем по a:
2âσξ2 − 2ρξ,η σξ ση = 0.
â = ρξ,η
ση
.
σξ
Подставив, получаем уравнение линейной регрессии :
η̂ = ρξ,η
ση
ση
· ξ − ρξ,η · M ξ + M η
σξ
σξ
или
σ
η̂ − M η = ρξ,η σηξ (ξ − M ξ).
(99)
Найдем остаточную дисперсию.
2
Sост
= M (η − η̂)2 = M (η − ρξ,η
= M [(η − M η) − ρξ,η
ση
ση
ξ + ρξ,η M ξ − M η)2 =
σξ
σξ
ση
(ξ − M ξ)]2 =
σξ
ση2
ση
2
= M (η − M η) +
M
(ξ
−
M
ξ)
−
2ρ
M [(ξ − M ξ) · (η − M η)] =
ξ,η
σξ2
σξ
ση
= ση2 + ρ2ξ,η ση2 − 2ρξ,η ρξ,η σξ ση = ση2 (1 − ρ2ξ,η ).
σξ
2
ρ2ξ,η
2
Sост
= ση2 (1 − ρ2ξ,η ).
105
(100)
14. Линейная зависимость между случайными величинами
Пример 14.2 Дискретная двумерная случайная величина
(ξ, η) задана таблицей распределения:
ξ\η
0
1
2
−1 0
1
0, 1 0, 1 0
0 0, 3 0
0 0, 1 0, 4
Найти одномерные законы распределения, коэффициент корреляции и уравнение линейной регрессии η на ξ.
J Найдем одномерные законы распределения.
ξ
P
0
1
2
0,2 0,3 0,5
η
P
-1 0
1
0,1 0,5 0,4
Вычислим числовые характеристики. M η = 0, 3, M ξ = 1, 3
√
Dη = 0, 5 − 0, 09 = 0, 41, Dξ = 2, 3 − 1, 69 = 0, 61. σξ = 0, 61 ≈
√
0, 78, ση = 0, 41 ≈ 0, 64.
M (ξ · η) = 2 · 1 · 0, 4 = 0, 8.
ρξ,η =
0, 8 − 0, 3 · 1, 3
≈ 0, 82.
0, 64 · 0, 78
Уравнение линейной регрессии:
η̂ − 0, 3 = 0, 82
0, 64
(ξ − 1, 3),
0, 78
η̂ = 0, 67ξ − 0, 57.
2
Sост
= 0, 41(1 − 0, 822 ) ≈ 0, 134.
I
14.5
Контрольные вопросы
1. Изменится ли ковариация cov(ξ, η), если к одной из величин прибавить постоянную c?
2. Изменится ли ковариация cov(ξ, η), если одну из величин умножить на постоянную c?
106
15. Условные распределения
3. Докажите формулу D(ξ + η) = Dξ + Dη + 2 cov(ξ, η).
4. Докажите линейное свойство ковариации:
cov(aξ + bη, ζ) = a cov(ξ, ζ) + b cov(η, ζ).
5. Дайте определение положительно коррелированных величин.
6. Изменится ли коэффициент корреляции ρξ,η , если к одной из величин применить линейное преобразование?
7. Как связаны независимость и некоррелированность случайных
величин?
8. Возможно ли, что между величинами ξ, η существует функциональная зависимость, а |ρξ,η | < 1?
9. Может ли ковариация двух случайных величин равняться 11, а
их дисперсии равняться 10 и 12?
10. Пусть даны две случайные величины, η и ξ, и требуется найти среди всех линейных функций aξ + b такую функцию g0 (ξ) =
a0 ξ + b0 , которая дает наилучшее представление η (в смысле
принципа наименьших квадратов). Что представляет из себя
g0 (ξ)?
11. Равносильны ли уравнения линейной регрессии η на ξ и ξ на η?
12. Как можно оценить точность приближения величины η линейной регрессией η̂?
Лекция 15
Условные распределения
План лекции: условные распределения относительно событий,
условное математическое ожидание, условные распределения
относительно случайных величин, линия регрессии, корреляционное отношение.
15.1
Условные распределения относительно событий
Пусть (Ω, F, P) — вероятностное пространство, B ∈ F,
делим меру PB : ∀A ∈ F
PB (A) = p (A/B).
107
p (B) > 0. Опре(101)
15. Условные распределения
Тогда (Ω, F, PB ) — также вероятностное пространство. Пусть ξ — случайная величина в (Ω, F, P). Тогда ξ — случайная величина и в (Ω, F, PB ).
Функция распределения и числовые характеристики ξ в этом пространстве
называются условными относительно B.
Определение 15.1 Условной функцией распределения случайной
величины ξ относительно B (при условии B) называется выражение
Fξ (x/B) =
p ((ξ < x) ∩ B)
.
p (B)
(102)
Определение 15.2 Если условная функция распределения случайной
величины ξ относительно B абсолютно непрерывна и
Z x
Fξ (x/B) =
fξ (t/B) dt,
(103)
−∞
то fξ (x/B) называется условной плотностью распределения случайной величины ξ относительно B (при условии B).
15.2
Условное математическое ожидание
Определение 15.3 Условным математическим ожиданием случайной величины ξ относительно B (при условии B) называется выражение
Z
M (ξ/B) =
(104)
ξ(ω)PB (dω).
Ω
По (101),
PB (dω) = P (dω/B) =
P (dω ∩ B)
,
p (B)
поэтому
1
M (ξ/B) =
p (B)
Z
1
ξ(ω)P (dω ∩ B) =
p (B)
Ω
Обозначив
Z
ξ(ω)P (dω).
B
Z
ξ(ω)P (dω),
M (ξ, B) =
B
получим
1
M (ξ, B).
p (B)
Для непрерывных случайных величин (104) принимает вид:
Z ∞
M (ξ/B) =
xfξ (x/B) dx.
M (ξ/B) =
−∞
108
(105)
(106)
15. Условные распределения
(M (ξ/B) существует, если интеграл в правой части абсолютно сходится).
Условная функция распределения, условная плотность, условное математическое ожидание обладают свойствами функции
распределения, плотности, математического ожидания соответственно.
Отметим еще одно важное свойство.
Формула полной вероятности для математических ожиданий
Пусть B1 , B2 , . . . , Bn — полная группа событий, тогда
Mξ =
n
X
M (ξ/Bi )p (Bi ).
i=1
15.3
Условные распределения относительно случайных величин
Определение 15.4 Условным математическим ожиданием случайной величины ξ относительно η называется случайная величина
g(η) такая, что для любого борелевского множества B
M (g(η), η ∈ B) = M (ξ, η ∈ B).
(107)
Условное математическое ожидание случайной величины ξ относительно η обозначается M (ξ/η). Полагая в (107) B = R = (−∞, ∞), получаем аналог формулы полной вероятности:
M ξ = M [M (ξ/η)].
(108)
Способы вычисления условных распределений
1. Условная функция распределения F (y/x). Обозначим
F (y/x) = Fη/ξ=x (y) = p (η < y/ξ = x).
F (y/x) = p (η < y/ξ = x) = lim p (η < y/x 6 ξ < x + ∆x) =
∆x→0
R y R x+∆x
fξ,η (x, y) dxdy
p (η < y, x 6 ξ < x + ∆x)
lim
= lim −∞ Rx x+∆x
=
∆x→0
∆x→0
p (x 6 ξ < x + ∆x)
f
(x)
dx
ξ
x
Ry
fξ,η (x, y) dy
= −∞
.
fξ (x)
fξ (x) — частная плотность распределения.
Z ∞
fξ (x) =
fξ,η (x, y) dy
−∞
109
15. Условные распределения
Ry
fξ,η (x,y) dy
R−∞
.
∞
f (x,y) dy
−∞ ξ,η
F (y/x) =
(109)
2. Условный закон распределения дискретной случайной величины. Рассмотрим дискретную двумерную случайную величину (ξ, η) с законом распределения:
ξ\η
x1
..
.
xm
y1 . . .
p11 . . .
..
..
.
.
pm1 . . .
yn
p1n
..
.
pmn
Условный закон распределения η/ξ = xk :
η \ ξ = xk
p
y1
p
Pn k1
j=1 pkj
...
...
ym
Pnpkn
j=1 pkj
Условный закон распределения ξ/η = yj :
ξ \ η = yj
p
x1
p1j
Pm
i=1
pij
...
...
xm
p
Pmmj
i=1 pij
3. Условная плотность распределения fη/ξ=x (y).
fη/ξ=x (y) =
∂F (y/x) fξ,η (x, y)
=
.
∂y
fξ (x)
fη/ξ=x (y) =
fξ,η (x,y)
fξ (x) .
(110)
Замечание 15.1 Для fη/ξ=x (y) используется также обозначение
f (y/x); для fξ/η=y (x) обозначение f (x/y).
4. Условное математическое ожидание M (η/x).
Z ∞
Z ∞
M (η/x) = M (η/ξ = x) =
y dF (y/x) =
yfη/ξ=x (y) dy.
−∞
M (η/x) =
−∞
R∞
−∞ yfη/ξ=x (y) dy.
Для дискретной случайной величины
P
M (η/x) = i yi p (η = yi /ξ = x).
110
(111)
(112)
15. Условные распределения
Пример 15.1 Дискретная двумерная случайная величина
(ξ, η) задана таблицей распределения:
ξ\η
0
1
2
−1 0
1
0, 1 0, 1 0
0 0, 3 0
0 0, 1 0, 4
Найти условные законы распределения η/ξ = 0 и ξ/η = 0.
J
η\ξ =0
p
ξ\η =0
p
−1 0
0, 5 0, 5
0
1
2
0, 2 0, 5 0, 2
I
Пример 15.2 Случайная величина (ξ, η) распределена равномерно в
квадрате {(x, y) : |x| + |y| < 1}. Найти fξ,η (x, y), fξ (x), fη (y),
fξ/η=y (x), fη/ξ=x (y).
J Обозначим через S множество точек (x, y), лежащих в квадрате: S =
{(x, y) : |x| + |y| < 1}.
1
fξ , η(x, y) = , (x, y) ∈ S.
2
Z ∞
fξ (x) =
fξ,η (x, y) dy =
−∞
( R
x+1 1
1
−1 6 x 6 0,
−1−x 2 dy = 2 (2x + 2) = x + 1,
R 1−x
=
1
1
06x61
x−1 2 dx = 2 (−2x + 2) = −x + 1,
1 − |x|;
Аналогично, fη (y) = 1 − |y|;
0 6 x 6 1.
0 6 y 6 1.
1
fξ,η (x, y)
2
fη/ξ=x (y) =
=
,
fξ (x)
1 − |x|
1
fξ,η (x, y)
2
fξ/η=y (x) =
=
;
fη (y)
1 − |y|
I
111
(x, y) ∈ S.
15. Условные распределения
15.4
Регрессия
Определение 15.5 Регрессией η на ξ называется случайная величина
r(ξ), равная условному математическому ожиданию случайной величины η относительно ξ
r(ξ) = M (η/ξ).
(113)
Линия регрессии — кривая y = r(x), где r(x) = M (η/ξ = x).
Теорема 15.1 r(ξ) минимизирует среднеквадратичное отклонение:
min M (η − g(ξ))2 = M (η − r(ξ))2 .
g
(114)
Доказательство. Докажем, что
M (η − g(ξ))2 = M (η − r(ξ))2 + M (r(ξ) − g(ξ))2 .
(115)
Для упрощения записи примем, что M η = 0.
M (η − g(ξ))2 = M (η − r(ξ) − (g(ξ) − r(ξ)))2 =
M (η − r(ξ))2 + M (g(ξ) − r(ξ))2 − 2M [(η − r(ξ))(g(ξ) − r(ξ))].
M [(η − r(ξ))(g(ξ) − r(ξ))] = 0,
так как
M [(η − r(ξ))(g(ξ) − r(ξ))] =
∞
Z
Z
Z
∞
(y − r(x))(g(x) − r(x))fξ (x)fη/ξ=x (y) dxdy =
Z ∞
(g(x) − r(x))fξ (x) ·
(y − r(x))fη/ξ=x (y) dy dx.
−∞
∞
−∞
−∞
−∞
Рассмотрим внутренний интеграл.
Z ∞
yfη/ξ=x (y) dy = M (y/x) = r(x).
−∞
Z
∞
−∞
Z
∞
r(x)fη/ξ=x (y) dy = r(x)
fη/ξ=x (y) dy = r(x) ⇒
−∞
Z ∞
(y − r(x))fη/ξ=x (y) dy = 0.
−∞
Таким образом,
M (η − g(ξ))2 = M (η − r(ξ))2 + M (r(ξ) − g(ξ))2 > M (η − r(ξ))2 .
Минимум достигается при g(ξ) = r(ξ).
Из этой теоремы следует, что
регрессия выражает зависимость η от ξ, наилучшую в смысле минимизации
среднеквадратичного отклонения.
112
15. Условные распределения
Пример 15.3 Дискретная двумерная случайная величина (ξ, η) задана таблицей распределения:
ξ\η
0
1
2
−1 0
1
0, 1 0, 1 0
0 0, 3 0
0 0, 1 0, 4
Найти регрессию r(ξ).
J Найдем условные законы распределения η/ξ = x для всех возможных
значений ξ, и по полученным законам обычным образом вычислим математические ожидания; поскольку законы распределения условные, рассчитанные по ним математические ожидания будут условными.
η/ξ = 0:
η\ξ =0
p
−1 0
0, 5 0, 5
M (η/ξ = 0) = −0, 5.
η/ξ = 1:
η\ξ =1
p
0
1
M (η/ξ = 1) = 0.
η/ξ = 2:
η\ξ =2
p
0
1
0, 2 0, 8
M (η/ξ = 2) = 0, 8.
Очевидно, r(ξ) = M (η/ξ) — дискретная функция, определенная только при
ξ = 1, ξ = 2, ξ = 3:

ξ = 0,
 −0, 5,
r(ξ) =
0,
ξ = 1,

0, 8,
ξ = 2.
I
113
15. Условные распределения
15.5
Корреляционное отношение
2
Определение 15.6 Корреляционным отношением θη,ξ
называется
выражение
M (r(ξ) − M η)2
2
θη,ξ =
(116)
.
ση2
Свойства корреляционного отношения
2
6 1.
1. 0 6 θη,ξ
Доказательство. Подставим в (115) g(ξ) = M η:
M (η − M η)2 = M (η − r(ξ))2 + M (r(ξ) − M η))2 .
2
Dη = M (η − r(ξ))2 + θη,ξ
ση2 .
1=
M (η − r(ξ))2
2
2
+ θη,ξ
⇒ 0 6 θη,ξ
6 1.
2
ση
2
2. θη,ξ
> ρ2 .
Доказательство. Подставим в (115) g(ξ) = η̂ = âξ + b̂:
M (η − (âξ + b̂))2 = M (η − r(ξ))2 + M (r(ξ) − (âξ + b̂))2 .
2
ση2 (1 − ρ2 ) = ση2 (1 − θη,ξ
) + M (r(ξ) − (âξ + b̂))2 .
2
θη,ξ
= ρ2 +
M (r(ξ) − (âξ + b̂))2
.
ση2
(117)
2
3. θη,ξ
= ρ2 ⇔ r(ξ) = âξ + b̂.
Это следует из (117).
2
4. θη,ξ
= 0 ⇔ r(ξ) = b = const.
Пример 15.4 Дан закон распределения случайной величины (ξ, η).
2
Найти θξ,η
.
ξ\η
−1
0
1
−2 0
1
0, 2 0
0
0 0, 4 0
0, 1 0, 2 0, 1
114
15. Условные распределения
J Найдем условные законы распределения η/ξ и по ним вычислим условные
математические ожидания.
ξ/η = −2:
ξ \ η = −2
p
−1
1
0, 6(6) 0, 3(3)
M (ξ/η = −2) = −0, 3(3).
ξ/η = 0:
ξ\η =0
p
0
1
0, 6(6) 0, 3(3)
M (ξ/η = 0) = 0, 3(3).
ξ/η = 1:
ξ\η =1
p
1
1
I
M (ξ/η = 1) = 1.
Объединяя полученные результаты, найдем r(η):

η = −2,
 −0, 3(3),
0, 3(3),
η = 0,
r(η) =

1,
η = 1.
2
θξ,η
M (r(η) − M ξ)2
=
.
σξ2
Для вычисления M ξ, σξ2 найдем одномерный закон распределения ξ (что
является не столько необходимым, сколько удобным):
ξ
p
M ξ = 0, 2;
−1 0
1
0, 2 0, 4 0, 4
σξ2 = Dξ = 0, 6 − 0, 04 = 0, 56.
M (r(η) − M ξ)2 ≈ (−0, 33 − 0, 2)2 · 0, 3 + (−0, 33 − 0, 2)2 · 0, 6+
(1 − 0, 2)2 · 0, 1 ≈ 0, 0852 + 0, 0106 + 0, 064 = 0, 1596.
0, 1596
2
θξ,η
=
≈ 0, 285.
0, 56
115
16. Числовые характеристики многомерных случайных величин
15.6
Контрольные вопросы
1. Обязана ли условная плотность обладать
свойствами неотриR∞
цательности и нормированности ( −∞ f (t) dt = 1)?
2. Докажите, что если η и ξ независимы, условная плотность распределения fη/ξ=x (y) = fη (y).
3. Дайте определение условного начального момента порядка k
случайной величины ξ (аналогично определению условного математического ожидания).
4. Пусть даны две случайные величины, η и ξ, и требуется найти
среди всех измеримых функций g(ξ) такую функцию g0 (ξ), которая дает возможно лучшее представление η (в смысле принципа
наименьших квадратов). Что представляет из себя g0 (ξ)?
5. Приведите определение линии регрессии.
6. Совпадают ли линии регрессии y = r(x) и x = r(y)? В выражениях
r(x) и r(y) обозначает ли буква «r» одну и ту же функцию?
7. В каких случаях линии регрессии и прямые линейной регрессии
совпадают?
8. Какие значения может принимать корреляционное отношение?
2
2
9. Верно ли равенство θξ,η
= θη,ξ
?
10. Верно ли, что если регрессия η на ξ линейна, корреляционное отношение равно коэффициенту корреляции?
Лекция 16
величин
Числовые характеристики многомерных случайных
План лекции: ковариационная матрица, уравнение множественной линейной регрессии, остаточная дисперсия, частный коэффициент корреляции, множественный коэффициент корреляции.
16.1
Ковариационная матрица
Определение 16.1 Ковариационной матрицей случайных величин
ξ1 , . . . , ξn называется матрица размерности n × n с конечными эле-
116
16. Числовые характеристики многомерных случайных величин
ментами cov(ξi , ξj ):

σ12
cov(ξ1 , ξ2 )
 cov(ξ2 , ξ1 )
σ22
K=

...
...
cov(ξn , ξ1 ) cov(ξn , ξ2 )

. . . cov(ξ1 , ξn )
. . . cov(ξ2 , ξn ) 
.

...
...
...
σn2
(118)
Пример 16.1 Обычно двумерное нормальное распределение задают с
помощью ковариационной матрицы:
σξ2
cov(ξ, η)
K=
.
cov(ξ, η)
ση2
Таким же образом можно задать и n-мерное распределение
(ξ1 . . . , ξn ).
σξ21
cov(ξ1 , ξ2 )
 cov(ξ2 , ξ1 )
σξ22
K=

...
...
cov(ξn , ξ1 ) cov(ξn , ξ2 )


. . . cov(ξ1 , ξn )
. . . cov(ξ2 , ξn ) 
.

...
...
...
σξ2n
Наряду с ковариационной матрицей рассматривают и корреляционную матрицу R, составленную из коэффициентов корреляции.


ρξ1 ξ1 ρξ1 ξ2 ρξ1 ξ3 . . . ρξ1 ξn
 ρξ2 ξ1 ρξ2 ξ2 ρξ2 ξ2 . . . ρξ2 ξn 

R=
(119)
 ... ... ... ... ... .
ρξn ξ1 ρξn ξ2 ρξn ξ3 . . . ρξn ξn
Если обозначить ρξi ,ξj = ρij , матрицу R можно записать в виде


1 ρ12 ρ13 . . . ρ1n
 ρ21 1 ρ22 . . . ρ2n 

R=
(120)
 ... ... ... ... ... .
ρn1 ρn2 ρn3 . . . 1
Теорема 16.1 Ковариационная и корреляционная матрицы симметричны и неотрицательно определены.
Доказательство. Первое утверждение следует из определений коэффициентов корреляции и ковариаций:
ρij = ρji , cov(ξi , ξj ) = cov(ξj , ξi ).
117
16. Числовые характеристики многомерных случайных величин
Для доказательства второго утверждения рассмотрим функцию действительных аргументов t1 , . . . tn
"
#2
n
X
X
ψ(t1 , . . . tn ) = M
ti (ξi − ai ) =
ti tj cov(ξi , ξj ).
i
i,j=1
Очевидно, что ψ(t1 , . . . tn ) неотрицательна при любых значениях аргументов (как математическое ожидание квадрата некоторой величины). Следовательно, правая часть соотношения представляет собой неотрицательную квадратичную форму от переменных t1 , . . . tn , а матрица коэффициентов этой формы и есть ковариационная матрица. Корреляционной матрице
соответствует квадратичная форма, получаемая линейной заменой ui = ti σi .
Ранг r ковариационной матрицы называется рангом распределения.
Распределение ξ1 , . . . , ξn называется собственным или несобственным в
зависимости от того, имеет ли место r = n или r < n. Для распределения,
имеющего ранг r < n, существует ровно n−r линейных соотношений между
величинами ξi . Например, у несобственного распределение в R3 , имеющего ранг 1, вся масса распределена на некоторой прямой, и существуют два
независимых линейных соотношения между величинами ξ1 , ξ2 , ξ3 , которые
выполняются с вероятностью, равной единице.
Собственное распределение имеет положительно определенные ковариационную и корреляционную матрицы. В этом параграфе дальше рассматриваются собственные распределения.
16.2
Уравнение множественной линейной регрессии
Рассмотрим случайные величины ξ0 , ξ1 , . . . , ξn с математическими ожиданиями M ξ0 = a0 , M ξi = ai , ai < ∞, i = 0, 1, . . . , n, дисперсиями
Dξ0 = σ02 , Dξi = σi2 , i = 1, 2, . . . , n и корреляционной матрицей R.
Определение 16.2 Уравнением линейной регрессии ξ0 на
ξ1 , . . . , ξn называется уравнение
ξˆ0 = b0 + b1 ξ1 + · · · + bn ξn ,
(121)
где bo , b1 , . . . , bn — параметры, минимизирующие остаточную дисперсию
M (ξ0 − ξˆ0 )2 .
(122)
118
16. Числовые характеристики многомерных случайных величин
Центрированную форму множественной линейной регрессии задают уравнением
n
X
ξˆ0 = a0 +
bi (ξi − ai ).
(123)
i=1
Найдем b̂i , минимизирующие остаточную дисперсию (122).
!2
n
X
M ξ 0 − a0 −
bi (ξi − ai ) → min .
i=1
Q=M
ξ 0 − a0 −
= M (ξ0 − a0 )2 +
|
{z
}
σ02
−2
n
X
i=1
σ02
n
X
i=1
+
i=1
−2
n
X
=
b2i M (ξi − ai )2 −
{z
}
|
σi2
X
cov(ξ0 ,ξi )=ρ0i σ0 σi
b2i σi2
bi (ξi − ai )
i=1
n
X
bi M [(ξ0 − a0 )(ξi − ai )] +2
|
{z
}
n
X
!2
i<j
bi bj M [(ξi − ai )(ξj − aj )] =
{z
}
|
bi ρ0i σ0 σi + 2
cov(ξi ,ξj )=ρij σi σj
X
i=1
bi bj ρij σi σj → min .
i<j
Для отыскания минимума выражения Q необходимо найти частные производные по всем неизвестным b1 , b2 , . . . , bn и приравнять их к нулю. Полученные уравнения образуют систему.
Продифференцируем по bk :
X
X
∂Q
= 2bk σk2 − 2ρ0k σ0 σk + 2
bj ρkj σk σj + 2
bj ρkj σk σj = 0.
∂bk
k<j
k>j
Сократим на 2σk :
bk σk − ρ0k σ0 +
X
bj ρkj σj +
k<j
X
bj ρkj σj = 0.
k>j
Все члены, кроме второго, можно объединить в одну сумму, учитывая, что
ρkk = 1:
n
X
bi ρki σi = ρk0 σ0 , k = 0, 1, . . . , n
i=1
Получена система уравнений для нахождения коэффициентов bi . Введем
новые переменные
bi σi
b̄i =
,
σ0
119
16. Числовые характеристики многомерных случайных величин
тогда система примет вид:
n
X
b̄i ρki = ρk0 ,
k = 0, 1, . . . , n
i=1
или, в развернутом виде

ρ11 b̄1 + ρ12 b̄2 + · · · + ρ1n b̄n = ρ10



ρ21 b̄1 + ρ22 b̄2 + · · · + ρ2n b̄n = ρ20
...



ρn1 b̄1 + ρn2 b̄2 + · · · + ρnn b̄n = ρn0
(124)
Расширенная матрица коэффициентов системы представляет из себя корреляционную матрицу R размерности (n + 1) × (n + 1):


1 ρ01 ρ02 . . . ρ0n
 ρ10 1 ρ12 . . . ρ1n 

R=
(125)
 ... ... ... ... ... .
ρn0 ρn1 ρn2 . . . 1
Решение системы имеет вид
R0i σ0
|R0i | σ0
·
= (−1)i+1
× .
(126)
R00 σi
|R00 | σi
Здесь и далее через Rij обозначено алгебраическое дополнение элемента aij матрицы R, |Rij | = detRij .
bi = −
16.3
Остаточная дисперсия
2
= M (ξ0 − ξˆ0 )2 равна
Теорема 16.2 Остаточная дисперсия Sост
|R|
.
R00
Доказательство. Используем полученные
P выражения для коэффициентов
ˆ
уравнения линейной регрессии ξ0 = a0 + bi (ξi − ai ):
R0i σ0
bi = −
· .
R00 σi
2
В определении остаточной дисперсии Sост
= M (ξ0 − ξˆ0 )2 распишем одну из
скобок ξ0 − ξˆ0 :
!#
"
n
X
σ
R
0i
0
2
· (ξi − ai
=
Sост
= M (ξ0 − ξˆ0 )2 = M ξ0 − ξˆ0
ξ 0 − a0 +
R
σ
00
i
i=1
2
Sост
= σ02 ·
= cov(ξ0 − ξˆ0 , ξ0 ) +
n
X
R0i σ0
· cov(ξ0 − ξˆ0 , ξi ).
R00 σi
i=1
120
16. Числовые характеристики многомерных случайных величин
Докажем лемму:
Лемма. Для i = 0, 1, . . . , n
(
0,
cov(ξ0 − ξˆ0 , ξi ) =
σ02 ·
i 6= 0
|R|
R00 , i = 0.
Доказательство.
cov(ξ0 − ξˆ0 , ξi ) = M ((ξ0 − ξˆ0 )(ξi − ai ))
n
X
X R0i σ0
R0k σ0
· (ξk − ak )(ξi − ai )) = ρ0i σ0 σi +
· ρik σi σk =
= M (ξ0 − a0 +
R00 σi
R00 σk
k=1
!
n
X
σ0 σi
Rk0 ρki
=
ρ0i R00 +
R00
k=0
(
0,
i 6= 0
=
|R|
σ02 · R00 , i = 0.
Таким образом остаточная дисперсия равна
|R|
2
.
Sост
= M (ξ0 − ξˆ0 )2 = cov(ξ0 − ξˆ0 , ξ0 ) = σ02 ·
R00
Пример 16.2 Для случайных величин ξ0 , ξ1 , ξ2 известна корреляционная матрица R, а также M ξ0 , M ξ1 , M ξ2 , Dξ0 , Dξ1 , Dξ2 . Найти уравнение линейной регрессии ξ0 на ξ1 , ξ2 и остаточную дисперсию.


1 0, 5 0, 7
R =  0, 5 1 0, 4  ;
0, 7 0, 4 1
M ξ0 = 0, M ξ1 = 2, M ξ2 = 2, Dξ0 = 4, Dξ1 = 1, Dξ2 = 9.
J
η̂ = M ξ0 +
n
X
bi (ξi − M ξi ).
i=1
bi = (−1)i+1
|R
|
σ
01
0
1+1
b1 = (−1)
·
=
|R00 | σ1
|R0i | σ0
· .
|R00 | σi
0, 5 0, 4 0, 7 1 2 0, 44
· =
≈ 0, 525.
1 0, 4 1 0, 84
0, 4 1 121
16. Числовые характеристики многомерных случайных величин
σ
|R
|
0
02
2+1
·
b2 = (−1)
=
|R00 | σ2
0, 5 1 0, 7 0, 4 2
1
· =
≈ 0, 4.
1 0, 4 3 2, 52
0, 4 1 η̂ = 0, 525(ξ1 − 2) + 0, 4(ξ2 − 2) = 0, 525ξ1 + 0, 4ξ2 − 1, 85.
Остаточная дисперсия равна
Q = σ02 ·
|R|
0, 38
=4·
≈ 1, 8.
|R00 |
0, 84
I
Рассмотрим различные виды коэффициентов корреляции.
16.4
Частный коэффициент корреляции
Частный коэффициент корреляции используется как мера линейной зависимости между двумя какими-либо случайными величинами из ξ1 , . . . , ξn
после вычитания эффекта, обусловленного взаимодействием этих двух величин с некоторым непустым подмножеством из оставшихся n − 2 случайных величин.
Определение 16.3 Пусть l и h — две какие-либо величины из набора
ξ1 , . . . , ξn и c — некоторое непустое подмножество из оставшихся n−
2 величин. Определим величины τ1 = l−µl.c и τ2 = h−µh.c . Здесь µl.c = ¯l(c)
, µh.c = h̄(c) — соответственно условные ожидаемые значения l и h
при данном c. Частный коэффициент корреляции между τ1 и τ2 при
фиксированных значениях переменных из c есть
ρlh.c = ρτ1 τ2 ,
(127)
где ρτ1 τ2 — парный коэффициент корреляции между τ1 и τ2 . Если в c
содержится k переменных, то соответствующий частный коэффициент корреляции называется коэффициентом k-го порядка.
Частные коэффициенты корреляции могут быть вычислены на основе
рекуррентных соотношений следующим образом:
ρlh − ρld · ρhd
ρlh.d = p
,
(1 − ρ2ld )(1 − ρ2hd )
122
(128)
16. Числовые характеристики многомерных случайных величин
где все величины в правой части — парные коэффициенты корреляции. Далее, последовательно применяя рекуррентную формулу
ρlh.c − ρld.c · ρhd.c
ρlh.cd = p
,
(1 − ρ2ld.c )(1 − ρ2hd.c )
(129)
где c — любое подмножество оставшихся переменных, можно получить
частные коэффициенты корреляции любого порядка. При рассмотрении линейной регрессии ξ0 на ξ1 , . . . , ξn особое значение имеет частный коэффициент корреляции между ξ0 и ξi за вычетом влияния остальных n − 1 величин
из набора ξ1 , . . . , ξn , исключая ξi . Он равен
ρ0i.1,...,n
−R0i
(−1)i+1 |R0i |
=√
= p
.
R00 Rii
|R00 ||Rii |
(130)
Пример 16.3 Выведем формулу частного коэффициента корреляции
между ξi , ξj без учета влияния ξk .
J
τ1 = ξi − ξ¯i(k) , τ2 = ξj − ξ¯j(k) ;
ρij.1,...,k̂,...,n = ρij.k = ρτ1 τ2 ,
σi
ξ¯i(k) = ai + ρik (ξk − ak ),
σk
σj
ξ¯j(k) = aj + ρjk (ξk − ak ).
σk
σi
σj
cov(τ1 , τ2 ) = M (ξi − ai − ρik (ξk − ak ))(ξj − aj − ρjk (ξk − ak ) =
σk
σk
σi σj
σj
σi σj
= ρij σi σj − ρik
ρkj σk − ρjk ρki σk σi + ρik ρjk 2 σk2 =
σk
σk
σk
= σi σj (ρij − ρik ρkj ).
σi
Dτ1 = M (ξi − ai − ρik (ξk − ak ))2 =
σk
2
σ
σi
= σi2 + ρ2ik i2 σk2 − 2ρik ρik σi σk = σi2 (1 − ρ2ik );
σk
σk
Dτ2 = σj2 (1 − ρ2jk ).
ρij − ρik ρkj
σi σj (ρij − ρik ρkj )
=q
.
ρij.k = q
σi2 (1 − ρ2ik )σj2 (1 − ρ2jk )
(1 − ρ2ik )(1 − ρ2jk )
I
123
16. Числовые характеристики многомерных случайных величин
16.5
Множественный коэффициент корреляции
Множественный коэффициент корреляции ρξ0 (ξ1 ,...,ξn ) является мерой
линейной зависимости между ξ0 и набором переменных (ξ1 , . . . , ξn ).
Определение 16.4 Множественным коэффициентом корреляции называется парный коэффициент корреляции между ξ0 и линейной регрессией ξ0 на ξ1 , . . . , ξn .
Этот коэффициент есть максимальное значение парного коэффициента
корреляции между ξ0 и произвольной линейной комбинацией ξ1 , . . . , ξn , причем 0 6 ρξ0 (ξ1 ,...,ξn ) 6 1. Нулевое значение множественного коэффициента корреляции указывает на отсутствие линейной зависимости, а значение
1 — на то, что переменная ξ0 точно равна линейной комбинации переменных ξ1 , . . . , ξn .
Множественный коэффициент корреляции, как и парный, инвариантен относительно невырожденных линейных преобразований исходных переменных.
Теорема 16.3 Множественный коэффициент корреляции вычисляется с помощью корреляционной матрицы следующим образом:
s
|R|
ρ0.1,...,n = 1 −
.
(131)
|R00 |
Доказательство.
ρo(1,...,n) = ρξ0 ,ξˆ0
ρo(1,...,n) =
cov(ξ0 , ξˆ0 )
σξ0 σξˆ0
Введем величину η = ξ0 − ξˆ0 .
cov(ξ0 , ξˆ0 ) = cov(ξ0 , ξ0 − η) = cov(ξ0 , ξ0 ) − cov(ξ0 , η);
cov(ξ0 , ξ0 ) = σξ20 = σ02 .
По лемме
|R|
,
cov(ξ0 , η) = cov(ξ0 , ξ0 − ξˆ0 ) = σ02
R00
124
16. Числовые характеристики многомерных случайных величин
следовательно
|R|
cov(ξ0 , ξˆ0 ) = σ02 − σ02
.
R00
σξ20 = σ02 , σξ2ˆ = Dξˆ0 = D(ξ0 − η) =
0
|R|
|R|
− 2σ02
=
= Dξ0 + Dη0 − 2 cov(ξ0 , η) = σ02 + σ02
R
R
00
00
s
|R|
2
σ
1
−
0
R00
|R|
|R|
= σ02 1 −
.ρo(1,...,n) = r .
= 1−
R00
R
00
|R|
σ0 σ02 1 − R00
Пример 16.4 Для случайных величин ξ0 , ξ1 , ξ2 известна корреляционная матрица R, а также M ξ0 , M ξ1 , M ξ2 , Dξ0 , Dξ1 , Dξ2 . Найти частный коэффициент корреляции ρ01.2 и множественнный коэффициент
ρ0.1,2 .


1 0, 5 0, 7
R =  0, 5 1 0, 4  ,
0, 7 0, 4 1
M ξ0 = 0, M ξ1 = 2, M ξ2 = 2, Dξ0 = 4, Dξ1 = 1, Dξ2 = 9.
J
ρ01.2
0, 5 0, 4 1+1
0,
7
1
(−1) |R01 |
= p
= s
≈ 0, 34.
|R00 ||R11 |
1 0, 4 1 0, 7 0, 4 1 · 0, 7 1 s
r
|R|
0, 38
ρ0.1,2 = 1 −
= 1−
≈ 0, 74.
|R00 |
0, 84
I
16.6
Контрольные вопросы
1. Какими свойствами обладает ковариационная матрица?
2. Как по заданной ковариационной матрице K найти корреляционную матрицу R?
3. Как по заданной корреляционной матрице R и дисперсиям случайных величин найти ковариационную матрицу K?
125
17. Нормальное распределение
4. Каждую из случайных величин умножили на константу b. Как
изменятся от этого ковариационная и корреляционная матрицы?
5. К каждой из случайных величин прибавили константу c. Как изменятся от этого ковариационная и корреляционная матрицы?
6. Запишите ковариационную матрицу случайных величин ξ, η, если известно, что Dξ = 4, Dη = 9, ρξ,η = −0, 5.
7. Случайные величины ξ1 , ξ2 независимы. Каков ранг распределения
(ξ1 , ξ2 , ξ1 + ξ2 )?
8. Покажите, что коэффициенты уравнения линейной регрессии η
на ξ
ση
η̂ − M η = ρξ,η (ξ − M ξ)
σξ
могут быть получены по формулам (126).
9. Какие значения может принимать частный коэффициент корреляции?
10. Какие значения может принимать множественный коэффициент корреляции?
11. Пусть заданы характеристики совместного распределения
ξ1 , ξ2 , ξ3 , ξ4 . Укажите метод вычисления частного коэффициента корреляции между ξ1 , ξ2 без учета влияния ξ3 , ξ4 .
Лекция 17
Нормальное распределение
План лекции: история нормального закона распределения, одномерное нормальное распределение, двумерное нормальное
распределение.
17.1
История нормального закона распределения
Нормальное распределение было найдено впервые Муавром в 1733
г. при исследовании им предела биномиальных вероятностей (результат,
позднее названный теоремой Муавра — Лапласа, был получен Муавром
для p = 1/2).
Лаплас (1812 г.) доказал эту теорему в общем виде независимо от
Муавра. Напомним, что суть теоремы состоит в возможности аппроксимации биномиального распределения нормальным. Лаплас, а также Гаусс
126
17. Нормальное распределение
(1809 г.), вышли на нормальное распределение в связи со своей работой
по теории ошибок наблюдений (ошибкой называлось отклонение случайной величины от ее среднего значения). Закон распределения ошибок, полученный Гауссом и Лапласом, и был назван нормальным законом распределения. График плотности нормального распределения известен также
как «кривая Гаусса» или «колокол Гаусса». Оказалось, что при увеличении
числа наблюдений многие статистические распределения делаются близки
к нормальному. В 19 веке даже бытовало мнение, что все распределения,
встречающиеся в задачах практики, нормальны. Это не так, но нормальное
распределение действительно очень широко распространено в природе.
Г. Крамер приводит крылатые слова «каждый уверен в справедливости закона ошибок, экспериментаторы — потому, что они думают, что это
математическая теорема, математики — потому, что они думают, что это
экспериментальный факт». Крамер отмечает, что «обе стороны совершенно правы, если только это их убеждение не слишком безусловно: математическое доказательство говорит нам, что при некоторых ограничительных
условиях мы вправе ожидать нормального распределения, а статистический
опыт показывает, что в действительности распределения являются часто
приближенно нормальными».
При каких ограничениях справедлив закон ошибок, мы выясним позднее, а пока что подытожим то, что мы знаем о нормальном распределении, и
выясним новые факты о нем.
17.2
Одномерное нормальное распределение
Нормальное распределение N (a, σ) задается плотностью ϕa,σ (x) (рис. 15).
2
(x−a)
1
−
ϕa,σ (x) = √ e 2σ2 .
σ 2π
a, σ — параметры, σ > 0. Функция распределения обозначается Φa,σ (x):
Z x
2
(t−a)
1
−
2
Fξ (x) = Φa,σ (x) = √
e 2σ dt.
σ 2π −∞
f (x)
0
a
127
x
17. Нормальное распределение
Рис. 15. Плотность нормального распределения N (a, σ)
Стандартным нормальным распределением называется распределение N (0, 1):
1 − x2
ϕ0,1 (x) = ϕ(x) = √ e 2 .
2π
Z x
t2
1
−
e 2 dt.
Φ0,1 (x) = Φ(x) = √
2π −∞
Связь между ними:
x−a
Φa,σ (x) = Φ
.
σ
Для выяснения смысла параметров нормального распределения найдем математическое ожидание и дисперсию N (a, σ).
Математическое ожидание N (a, σ).
Z +∞
Z +∞
(x − a)2
1
dx
Mξ =
xfξ (x)dx =
x √ exp −
2σ 2
σ 2π
−∞
−∞
dx
Сделаем замену переменной y = x−a
σ , x = yσ + a, dy = σ :
Z +∞
1
Mξ = √
(yσ + a) exp −y 2 /2 dy =
2π −∞
Z +∞
Z +∞
σ
a
2
=√
y exp −y /2 dy + √
exp −y 2 /2 dy.
2π −∞
2π −∞
Так как функция y · exp −y 2 /2 нечетна, и интеграл сходится, то
+∞
R
y exp −y 2 /2 dy = 0.
−∞
a
Mξ = √
2π
Сделаем замену переменной t =
Известно равенство
exp −y 2 /2 dy.
−∞
√y ,
2
a
Mξ = √
π
+∞
R
+∞
Z
Z
dy =
√
2dt:
+∞
exp −t2 dt.
−∞
√
exp −t2 dt = π:
−∞
a √
Mξ = √
π = a.
π
128
17. Нормальное распределение
Таким образом, параметр a в выражении одномерной нормальной
плотности представляет собой математическое ожидание случайной величины дисперсию N (a, σ).
Дисперсия N (a, σ). Как известно, M ξ = a. Для этого распределения
дисперсию удобнее находить по определению: согласно (78)
Z ∞
Dξ =
(x − a)2 fξ (x) dx.
−∞
Подставим плотность нормального распределения:
Z ∞
(t−a)2
1
2 − 2σ2
√
dt.
Dξ =
(t − a) e
σ 2π −∞
Сделаем замену переменных. Пусть
y=
t−a
,
σ
dy =
dt
.
σ
Тогда
1
Dξ = √
σ 2π
Z
∞
(t−a)
2 − 2σ2
2
(t − a) e
−∞
σ2
dt = √
2π
Z
∞
2
2 − y2
y e
dy.
−∞
Проинтегрируем по частям. Пусть
y2
y = u, ye− 2 = dv;
тогда
y2
dy = du, −e− 2 = v;
Z ∞
Z ∞
2
2
2
σ2
σ2
2 − y2
− y2 ∞
− y2
√
y e
dy = √
−ye |−∞ +
e
dy .
2π −∞
2π
−∞
Первое из слагаемых вычислено раньше, оно равно 0. Второе представляет
из себя известный интеграл, также встречавшийся нам ранее, он равен
Z ∞
√
y2
e− 2 dy = 2π.
−∞
Окончательно
σ2 √
Dξ = √ · 2π = σ 2 .
2π
Таким образом, мы выяснили значение второго параметра нормального распределения: это корень из дисперсии.
Отсюда следует, что нормальное распределение полностью определяется моментами первого и второго порядков. Зная математическое ожидание и дисперсию нормально распределенной случайной величины, можно
найти ее плотность.
129
17. Нормальное распределение
Медиана me .
Z
me
fξ (x)dx = 1/2.
−∞
Z
me
−∞
Z me
(x−a)2
1
exp− 2σ2 dx =
f (x)dx = √
σ 2π −∞
me − a
=Φ
= 1/2.
σ
По свойствам функции Φ(x): Φ(0) = 1/2. Отсюда следует, что
me − a
= 0 =⇒ me = a.
σ
Мода m0 .
Согласно определению, mo — абсцисса точки максимума функции
плотности
(x−a)2
1
fξ (x) = √ exp− 2σ2 .
σ 2π
Очевидно, что fξ (x) достигает максимума при x = a, поэтому m0 = a.
Замечание 17.1 Полученные ответы очевидны из графика нормальной плотности (рис.15) — в нормальном распределении мода, медиана и математическое ожидание совпадают.
Правило трех сигм.
Вероятность того, что значения нормальной случайной величины ξ ∈
N (a, σ) попадают в заданный интервал (x, y], равна
p (x 6 ξ < y) = Φa,σ (y) − Φa,σ (x) = Φ(
x−a
y−a
) − Φ(
).
σ
σ
(вероятности попадания в интервалы (x, y], (x, y), [x, y], [x, y) равны, так
как распределение непрерывно).
Рассмотрим интервал [a − kσ, a + kσ] при k = 1, 2, 3.

k = 1,
 0, 6827,
p (a − kσ 6 ξ 6 a + kσ) = Φ(k) − Φ(−k) = 2Φ0 (k) =
0, 9545,
k = 2,

0, 9973,
k = 3.
17.3
Двумерное нормальное распределение
Случайная величина (ξ, η) имеет двумерное нормальное распределение, если
130
17. Нормальное распределение
fξ,η
1
1
p
=
· exp −
·
2(1 − ρ2 )
2πσξ ση 1 − ρ2
"
(x − aξ )2 ) 2ρ(x − aξ )(y − aη ) (y − aη )2
·
−
+
σξ2
σξ ση
ση2
#)
,
где aξ , aη , σξ , ση , ρ — параметры; σξ > 0, ση > 0, |ρ| 6 1. Найти одномерную плотность fξ (x), математические ожидания M ξ, M η, дисперсии Dξ, Dη,
условную плотность fη/ξ=x (y), регрессию r(ξ), ковариацию cov(ξ, η), коэффициент корреляции ρξ,η , корреляционное отношение Θ2ηξ .
1. Частные (одномерные) плотности fξ (x), fη (y).
"
#
Z ∞
x − aξ
y − aη
fξ (x) =
fξ,η (x, y)dy = √
= u, √
=v =
2σξ
2ση
−∞
Z ∞
1
2 2ρuv
1
1
u2
− 1−ρ
2 v + 1−ρ2
p
dv =
=√
exp −
·
e
1 − ρ2
2πσξ 1 − ρ2
−∞
Z ∞
1
1
2
− 1 (v−ρu)2
p
=√
e−u
e 1−ρ2
dv =
2πσξ 1 − ρ2
−∞

Z ∞ v−ρu 2
− √ 2
1−ρ

e
dv =
−∞
Z ∞
v − ρu
dv p
2
= t, dt = p
e−t dt =
p
= 1 − ρ2
1 − ρ2
1 − ρ2 −∞
p
√ i
2
1−ρ π =
p
√
1
1
1
2
−u2
√
p
e
1 − ρ2 π = √ e−u =
2πσξ 1 − ρ2
σξ 2π
=
1
√
σξ 2π
e
−
(x−aξ )2
2σ 2
ξ
.
Таким образом,
fξ (x) =
1
√
σξ 2π
e
−
(x−aξ )2
2σ 2
ξ
−
(y−aη )2
2
2ση
Аналогично
fη (y) =
1
√
ση 2π
e
.
.
2. Математические ожидания M ξ, M η, дисперсии Dξ, Dη.
131
17. Нормальное распределение
Найденная плотность fξ (x) совпадает с плотностью одномерного распределения N (aξ , σξ ). Отсюда следует, что
p
aξ = Mξ , σξ = Dξ .
Аналогично
aη = Mη , ση =
p
Dη .
Замечание 17.2 Пусть (ξ1 , . . . , ξn ) — n-мерная случайная величина.
Математические ожидания и дисперсии ее компонент можно найти либо путем нахождения одномерных плотностей и дальнейшего
применения соответствующих одномерных формул:
Z ∞
M ξi =
xfξi (x)dx, Dξi = M ξi2 − (M ξi )2 ,
−∞
либо с помощью n-мерных плотностей и n-мерных интегралов:
Z ∞
Z ∞
M ξi =
...
xi fξ1 ,...,ξn (x1 , . . . , xn )dx1 . . . dxn .
−∞
−∞
3. Условная плотность fη/ξ=x (y):
fη/ξ=x (y) =
fη/ξ=x (y) =
1
√
ση 2π
fξ,η (x, y)
.
fξ (x)
1
p
1 − ρ2
exp −
1
×
2(1 − ρ2 )
"
(x − aξ )2 2ρ(x − aξ )(y − aη )
−
+
σξ2
σξ ση
#)
(y − aη )2
(x − aξ )2
−
(1 − ρ2 )
=
2
2
ση
σξ
1
1
1
√ p
· exp −
×
2(1 − ρ2 )ση2
ση 2π 1 − ρ2
#)
σ
η
(x − aξ )2 − 2ρ (x − aξ )(y − aη ) + (y − aη )2
=
σξ
(
2 )
1
1
1
ση
√ p
exp −
×
y
−
a
−
ρ
(x − aξ )
.
η
2(1 − ρ2 )ση2
σξ
ση 2π 1 − ρ2
"
ση
ρ
σξ
2
4. Регрессия r(ξ).
132
17. Нормальное распределение
Мы привели плотность к виду:
(y−a)2
1
fη/ξ=x (y) = f1 (y) = √ e− 2σ2 ;
σ 2π
это плотность N (a, σ), причем математическое ожидание равно a, дисперсия — σ 2 .
σ
Отсюда следует, что M (η/ξ = x) = aη + ρ σηξ (x − aξ ),
D(η/ξ = x) = σ 2 (1 − ρ2 )
σ
r(ξ) = M (η/ξ = x) = aη + ρ σηξ (ξ − aξ ).
Заметим, что r(ξ) совпадает с уравнением линейной регрессии.
5. Ковариация cov(ξ, η).
Z ∞Z ∞
M (ξ · η) =
xyfξ,η (x, y)dxdy =
−∞ −∞
Z ∞
Z ∞
yfη/ξ=x (y)dy dx.
xfξ (x) ·
=
−∞
−∞
Заметим, что
Z
∞
yfη/ξ=x (y)dy = M (η/ξ = x) = aη + ρ
−∞
Поэтому
∞
ση
(x − aξ ).
σξ
ση
M (ξ · η) =
xfξ (x) aη + ρ (x − aξ ) dx =
σξ
−∞
Z ∞
Z ∞
ση
= aη
x(x − aξ )xfξ (x)dx =
xfξ (x)dx +ρ
σ
ξ
−∞
}
| −∞ {z
Z
aξ
ση
= aξ aη + ρ
σξ
Z
∞
ση
(x − aξ ) fξ (x)dx +ρ aξ
σξ
{z
}
| −∞
2
Z
∞
(x − aξ )fξ (x)dx =
−∞
σξ2
ση
= aξ aη + ρσξ ση + ρ
σξ
Z
∞
−∞
|
(x − aξ )fξ (x)dx = aξ aη + ρσξ ση .
{z
}
M (ξ−aξ )=0
cov(ξ, η) = M (ξ · η) − M ξ · η = aξ aη + ρσξ ση − aξ aη = ρσξ ση .
6. Коэффициент корреляции ρξ,η.
cov(ξ, η)
;
σ ξ ση
ρσξ ση
=
= ρ.
σξ ση
ρξ,η =
ρξ,η
133
17. Нормальное распределение
Таким образом, мы выяснили смысл всех параметров в задании двумерной плотности.
7. Корреляционное отношение Θ2ηξ .
M (r(ξ) − Mη )2 = M (aη + ρ
ση
(ξ − aξ ) − Mη )2 =
σξ
σ2
ση
2
2 η 2
= M (ρ (ξ − aξ )) = ρ 2 σξ = ρ2 ση2 .
σξ
σξ
Θ2η,ξ
M (r(ξ) − Mη )2
=
= ρ2 .
2
ση
8. Связь некоррелированности и независимости.
Для нормального распределения справедливо:
некоррелированность ⇒ независимость.
Действительно, пусть ρ = 0.
1
1 (x − aξ )2 (y − aη )2
fξ,η (x, y) =
exp −
+
=
2πσξ ση
2
ση2
ση2
−
1
e
=√
2πσξ
ξ, η — независимы.
17.4
(x−aξ )2
2σ 2
ξ
2
(y−aη )
−
1
2
√
e 2ση = fξ (x)fη (y) ⇒
2πση
Контрольные вопросы
1. Как связаны с моментами параметры одномерного нормального
распределения?
2. Докажите, что эксцесс нормального распределения равен нулю.
3. Докажите, что асимметрия нормального распределения равна
нулю.
4. Докажите, что все нечетные центральные моменты нормально
распределенной случайной величины равны нулю.
5. Докажите, что четный центральный момент µk нормально распределенной случайной величины N (a, σ) равен µk = (2k − 1)!!σ 2k .
6. Объясните, почему обычно в учебниках по теории вероятностей приводятся таблицы значений ϕ(x), содержащие только
положительные аргументы, не превышающие 3 или 4?
134
17. Нормальное распределение
7. Какое линейное преобразование переводит нормальное распределение N (a, σ) в стандартное нормальное распределение?
8. Как связаны с моментами параметры двумерного нормального
распределения?
9. Какое распределение имеют координаты нормально распределенного случайного вектора?
10. Двумерное нормальное распределение задано с помощью ковариационной матрицы:
2 3
.
K=
3 8
Запишите плотность этого распределения, если aξ = aη = 0.
135
17. Нормальное распределение
Приложение.
x2
1
Таблица 1. Значения функции ϕ (x) = √ e− 2
2π
x
0, 0
0, 1
0, 2
0, 3
0, 4
0, 5
0, 6
0, 7
0, 8
0, 9
1, 0
1, 1
1, 2
1, 3
1, 4
1, 5
1, 6
1, 7
1, 8
1, 9
2, 0
2, 1
2, 2
2, 3
2, 4
2, 5
2, 6
2, 7
2, 8
2, 9
3, 0
x
3
Сотые доли x
4
5
39862 39844
39505 39448
38762 38667
37654 37524
36213 36053
34482 34294
32506 32297
30339 30114
28034 27798
25647 25406
23230 22988
20831 20594
18494 18265
16256 16038
14146 13943
12188 12001
10396 10226
08780 08628
07341 07207
06077 05960
04980 04879
04041 03955
03246 03174
02582 02522
02033 01984
01585 01545
01223 01191
00935 00910
00707 00687
00530 00514
00393 00381
Десятые доли x
0
1
2
3
4
5
00443 00327 00238 00172 00123 00084
0
39894
39695
39104
38139
36827
35207
33322
31225
28969
26609
24197
21785
19419
17137
14973
12952
11092
09405
07895
06562
05399
04398
03548
02833
02240
01753
01358
01042
00792
00595
00443
1
39892
39654
39024
38023
36678
35029
33121
31006
28737
26369
23955
21546
19186
16915
14764
12758
10915
09246
07754
06438
05292
04307
03470
02768
02186
01710
01323
01014
00770
00578
00430
2
39886
39608
38940
37903
36526
34849
32918
30785
28504
26129
23713
21307
18954
16694
14556
12566
10741
09089
07614
06316
05186
04217
03394
02705
02134
01667
01289
00987
00748
00562
00417
3
39876
39559
38853
37780
36371
34667
32713
30563
28269
25888
23471
21069
18724
16474
14350
12376
10567
08933
07477
06195
05082
04128
03319
02643
02083
01625
01256
00961
00727
00545
00405
6
39822
39387
38568
37391
35889
34105
32086
29887
27562
25164
22747
20357
18037
15822
13742
11816
10059
08478
07074
05844
04780
03871
03103
02463
01936
01506
01160
00885
00668
00499
00370
7
39797
39322
38466
37255
35723
33912
31874
29659
27324
24923
22506
20121
17810
15608
13542
11632
09893
08330
06943
05730
04682
03788
03034
02406
01889
01468
01130
00861
00649
00485
00358
8
39767
39253
38361
37115
35553
33718
31659
29431
27086
24681
22265
19886
17585
15395
13344
11450
09728
08183
06814
05618
04586
03706
02966
02349
01842
01431
01100
00837
00631
00471
00348
9
39733
39181
38251
36973
35381
33521
31443
29200
26848
24439
22025
19652
17360
15183
13147
11270
09566
08038
06687
05508
04492
03626
02899
02294
01797
01394
01071
00814
00613
00457
00337
6
7
8
9
00061 00043 00029 00020
Замечание. В таблице даны значения, округленные до пятого знака после запятой.
Указание. Пусть необходимо получить значение ϕ (0, 62). На пересечении столбца 2 («Сотые доли x») и строки 0, 6 («x») получаем значение 32918, т. е.
ϕ (0, 62) = 0, 32918.
136
17. Нормальное распределение
1
Таблица 2. Значения функции Φ0 (x) = √
2π
Zx
t2
e− 2 dt
0
x
0
0, 0 0, 0000
0, 1 03983
0, 2 07920
0, 3 11791
0, 4 15542
0, 5 19146
0, 6 22575
0, 7 25804
0, 8 28814
0, 9 31594
1, 0 34134
1, 1 36433
1, 2 38493
1, 3 40320
1, 4 41924
1, 5 43319
1, 6 44520
1, 7 45543
1, 8 46407
1, 9 47128
2, 0 47725
2, 1 48214
2, 2 48610
2, 3 48928
2, 4 49180
2, 5 49379
2, 6 49535
2, 7 49653
2, 8 49744
2, 9 49813
3, 0 49865
x
0
3
49865
1
00399
04380
08317
12172
15910
19497
22907
26115
29103
31859
34375
36650
38686
40490
42073
43447
44630
45637
46485
47193
47778
48257
48645
48956
49202
49396
49547
49664
49752
49819
49869
2
00798
04776
08700
12552
16276
19847
23237
26424
29389
32121
34614
36864
38877
40658
42220
43574
44738
45728
46562
47257
47831
48300
48679
48983
49224
49413
49560
49674
49760
49825
49874
1
2
49903 49931
Сотые доли x
3
4
5
01197 01595 01994
05117 05567 05962
09095 09483 09871
12930 13307 13683
16640 17003 17365
20194 20540 20884
23565 23891 24215
26731 27035 27337
29673 29955 30234
32381 32639 32894
34850 35083 35314
37076 37286 37493
39065 39251 39435
40824 40988 41149
42634 42507 42647
43699 43822 43943
44845 44950 45053
45819 45907 45994
46638 46712 46784
47320 47381 47441
47882 47932 47982
48341 48382 48422
48713 48745 48778
49010 49036 49061
49245 49266 49286
49430 49446 49461
49573 49586 49598
49683 49693 49702
49767 49774 49781
49830 49836 49841
49878 49882 49886
Десятые доли x
3
4
5
49952 49966 49977
6
02392
06356
10257
14058
17724
21226
24537
27637
30511
33147
35543
37698
39617
41309
42786
44062
45154
46080
46856
47500
48030
48461
48809
49086
49305
49477
49609
49711
49788
49846
49889
7
02790
06749
10642
14431
18082
21566
24857
27935
30785
33398
35769
37900
39796
41466
42922
44179
45254
46164
46926
47558
48077
48499
48839
49111
49324
49491
49621
49720
49795
49851
49893
8
03188
07142
11026
14803
18439
21904
25175
28230
31057
33646
35993
38100
39973
41621
43056
44295
45352
46246
46995
47615
48124
48537
48870
49134
49343
49506
49632
49728
49801
49856
49897
9
03586
07535
11409
15173
18793
22241
25490
28524
31328
33891
36214
38298
40148
41774
43189
44408
45449
46327
47062
47671
48169
48574
48899
49158
49361
49520
49643
49737
49807
49861
49899
6
7
8
9
49984 49989 49993 49995
Замечание. В таблице даны значения, округленные до пятого знака после запятой.
Указание. Пусть необходимо получить значение Φ0 (1, 57). На пересечении столбца 7 («Сотые доли x») и строки 1, 5 («x») получаем значение 44179, т. е.
Φ0 (1, 57) = 0, 44179.
137
138
ξ = 0, 1, . . . , min (M, n)
ξ = 0, 1, . . .
ξ = 0, 1, . . .
Gp — Геометрическое
B (r, p) — Отрицательное
биномиальное (Паскаля)
ξ = 0, 1, . . .
ξ = 0, 1, . . . , N
ξ = 0, 1
p (ξ = 1) = p
1
n
λm e−λ
,
m!
m6M
m n−m
CM
CN −M
,
CNn
m = 0, 1, . . . ; r > 0; 0 < p < 1
m
p (ξ = m) = Cr+m−1
pr (1 − p)m ,
0<p<1
p (ξ = m) = p(1 − p)m ,
n 6 N,
pM, N (m, n) =
p (ξ = m) = pM, N (m, n);
p (ξ = m) = pλ (m) =
λ>0
m = 0, 1, . . . , N ; N ∈ N;
0<p<1
p (ξ = m) = CNm pm (1 − p)N −m .
p (ξ = 0) = 1 − p,
p (ξ = xi ) =
p (ξ = c) = 1
ξ≡c
ξ = xi ;
i = 1, 2, . . . , n
Закон распределения
Значения
GG (N, M, n) —
Гипергеометрическое
Pλ — Пуассона
B (N, p) — Биномиальное
B (1, p) — Бернулли
Дискретное равномерное
Вырожденное
Обозначение
Интерпретация
Если r ∈ Z, то m — число неудач до r-го
успеха
Число неудач до первого успеха
Из совокупности N предметов, среди которых M предметов первого вида и (N − M )
предметов второго вида, производят выборку без возвращения n предметов, где
1 6 n 6 N . Случайная величина — число
предметов первого вида в выборке
Число маловероятных успехов в бесконечном ряду испытаний (λ — среднее число
успехов)
Число успехов в N испытаниях, проводимых по схеме Бернулли
Число успехов в одном испытании
Величина с равновероятными значениями
Случайная величина — постоянная c
Таблица 3. Некоторые важные дискретные распределения
17. Нормальное распределение
139
α > 0,
p>0
β>0
Парето
Логистическое
σ>0
σ>0
β>0
λ>0
λ>0
a,
a,
σ>0
λ>0
a > 0,
a,
a<b
Параметры
Лапласа
[частный случай распределения Кэптейна при g (x) = ln x]
Логарифмически нормальное
Кэптейна
Γα, β — Γ-распределение
Ca, λ — Коши
Eλ — Показательное (экспоненциальное)
N (0, 1) — стандартное нормальное распределение,
причем fξ (x) = ϕ (x), Fξ (x) = Φ (x)
N (a,
σ) — Нормальное
R [a, b] — Равномерное
Обозначение
0 при x < 0
e
при x > 0
β β−1 −αx
Γ (β)α x
−1
1
λ
· 2
π λ + (x − a)2
0 при x < 0,
λe−λx при x > 0
0 при x < 1,
p x−(p+1) при x > 1.
n
o
x−α
exp − β
1
·
n
o2
β
x−α
1 + exp − β
λ
exp {−λ|x − α|}
2
n
o
g 0 (x)
(g (x)−a)2
√ exp − 2σ2
σ 2π
n
o
1
x−a)2
√
exp − (ln 2σ
, x>0
2
σ 2πx
n
o
2
1
√ · exp − (x−a)
= ϕa, σ (x)
2σ 2
σ 2π
Плотность распределения
0 при x ∈
/ [a, b],
1/(b − a) при x ∈ [a, b]
Таблица 4. Некоторые важные непрерывные распределения
17. Нормальное распределение
17. Нормальное распределение
Таблица 5. Матем. ожидания и дисперсии некоторых важных распределений
Распределение
Mξ
Dξ
Бернулли
B (1, p)
p
pq
Биномиальное
B (N, p)
Np
N pq
λ
λ
M
N
nM (N − M )(N − n)
N 2 (N − 1)
Пуассона
Pλ
Гипергеометрическое Gm, n (M, N )
n
Геометрическое
Gp
q
p
q
p2
Паскаля27
B (r, p)
rq
p
rq
p2
Равномерное
R[a, b]
a+b
2
(b − a)2
12
Нормальное
N (a, σ)
a
σ2
Показательное
Eλ
1
λ
1
λ2
Коши
Ca, λ
не ∃
не ∃
Γ (Гамма)
Γα, β
β
α
β
α2
α
2
λ2
Лапласа
140
17. Нормальное распределение
Таблица 6. Греческий алфавит
Буква
A α
B β
Γ γ
∆ δ
E ε
Z ζ
H η
Θ ϑ
I ι
K κ
Λ λ
M µ
N ν
Ξ ξ
O o
Π π
P ρ
Σ σ
T τ
Υ υ
Φ ϕ
X χ
Ψ ψ
Ω ω
Название
альфа
бета
гамма
дельта
эпсилон
дзета
эта
тета
йота
каппа
лямбда
мю
ню
кси
омикрон
пи
ро
сигма
тау
ипсилон
фи
хи
пси
омега
141
Литература
[1] Боровков, А. А. Теория вероятностей:. Учебное пособие. — Изд. 2-е, перераб. и
доп. /А. А. Боровков. — М.:Наука. Гл. ред. физ.-мат. лит., 1986.
[2] Вентцель, Е. С. Теория вероятностей: Учебное пособие. — Изд. 6-е, перераб. и
доп. / Е. С. Вентцель, Л. А. Овчаров. — М.: Наука. Гл. ред. физ.-мат. лит., 1969.
[3] Гихман, И. И., Скороход, А. В., Ядренко, М. И. Теория вероятностей и математическая статистика: Учебник. — Изд. 2-е, перераб. и доп. / И. И. Гихман, А. В.
Скороход, М. И. Ядренко. — К.: Выща шк., 1988.
[4] Гнеденко, Б. В. Курс теории вероятностей: Учебник. — Изд. 6-е, перераб. и доп. /
Б. В. Гнеденко. — М.: Наука. Гл. ред. физ.-мат. лит., 1988.
[5] Кибзун, А. И. Теория вероятностей и математическая статистика. Базовый курс
с примерами и задачами: Учебное пособие. / А. И. Кибзун, Е. Р. Горяинова, А. В.
Наумов, А. Н. Сиротин. — М.: ФИЗМАТЛИТ, 2002.
[6] Колмогоров, А. Н. Основные понятия теории вероятностей/ А. Н. Колмогоров —
М.: Наука, 1974.
[7] Козлов, М. В. Элементы теории вероятностей в примерах и задачах: Учебное пособие. / М. В. Козлов. — М.: Изд-во МГУ, 1990.
[8] Крупкина, Т. В. Теория вероятностей, математическая статистика и эконометрика: Учеб. пособие. В 2-х кн. Кн. 1. / Т. В. Крупкина, А. К. Гречкосеев. — Красноярск: Красноярский гос. ун-т, 1999.
[9] Крупкина, Т. В. Теория вероятностей и математическая статистика: Учеб. пособие. В 2-х ч. Ч. 1. / Т. В. Крупкина, В. П. Малый. — Красноярск: Красноярский гос.
ун-т, 1991.
[10] Пугачев, В. С. Теория вероятностей и математическая статистика: Учебное пособие. / В. С. Пугачев. — М.: ФИЗМАТЛИТ, 2002.
[11] Севастьянов, Б. А. Курс теории вероятностей и математической статистики:
Учебник. — / Б. А. Севастьянов. — М.: Наука. Гл. ред. физ.-мат. лит., 1982.
[12] Тутубалин, В. Н. Теория вероятностей и случайных процессов: Учебное пособие. — / В. Н. Тутубалин М.: изд-во МГУ, 1992.
[13] Феллер, В. Введение в теорию вероятностей и ее приложения: Учебник. — Изд.
2-е, перераб. и доп. В 2-х т. Т. 1. / Вильям Феллер. — М.: Мир, 1964.
[14] Ширяев, А. Н. Вероятность: Учебное пособие. — /А. Н. Ширяев. — М.: Наука,
1989.
142
Предметный указатель
σ-алгебра, 23
борелевская, 23
порождённая, 77
аксиома
конечной аддитивности, 25
счетной аддитивности, 22
аксиомы
вероятности, 21
алгебра, 22
величина
случайная, см. случайная величина
вероятности
свойства, 22
непрерывности, 24
вероятность события, 18, 21
условная, 35
дисперсия, 94
распределения
биномиального, 95
геометрического, 96
нормального, 130
Пуассона, 96
экспоненциального, 97
равномерного, 97
зависимость
линейная, 123
задача
о днях рождения, 53
о лотерейных билетах, 53
о разорении, 42
о совпадениях, 40
закон
0 и 1, 34
индикатор
события, 62
интеграл
Лебега, 90
Лебега — Стилтьеса, 73, 90
Римана, 73
испытания
независимые, 47
ковариация, 103
коэффициент
корреляции, 104
множественный, 125
парный, 123
частный, 123
критерий
0 и 1, 34
лемма
Бореля-Кантелли, 34
математическое ожидание
распределения
биномиального, 91
геометрического, 92
нормального, 129
Пуассона, 92
экспоненциального, 93
равномерного, 93
случайной величины, 89
дискретной, 86
неотрицательной, 89
непрерывной, 89
простой, 88
условное, 109, 110
матрица
ковариационная, 117
корреляционная, 118
медиана
распределения
нормального, 131
мода
распределения
нормального, 131
момент
начальный
смешанный, 103
центральный, 103
отношение
143
Предметный указатель
корреляционное, 115
плотность
обобщенная, 72
распределения, 68
n-мерной случайной величины, 75
свойства, 68
плотность распределения
условная, 109
преобразование
Смирнова, 81, 82
пространство
вероятностное, 26
геометрическое, 27
дискретное, 30
классическое, 27
непрерывное, 30
элементарных событий, 18
несчетное, 22
счетное, 22
ранг
распределения, 119
распределение
Бернулли, 66
биномиальное, 66
отрицательное, 67
вырожденное, 66
Гамма, 71
геометрическое, 67
гипергеометрическое, 66
дискретное
2-мерное, 75
Кептейна, 71
Коши, 71
Лапласа, 71
маргинальное, 75
несобственное, 119
нормальное, 70
n-мерное, 76
2-мерное, 76
стандартное, 70
Паскаля, 67
Пуассона, 66
показательное, 70
экспоненциальное, 70
равномерное, 69
n-мерное, 76
случайной величины, 62
дискретное, 65
непрерывное, 68
собственное, 119
стандартное нормальное, 61
плотность, 60
частное, 75
регрессия, 113
свёртка, 84
случайная величина, 62
n-мерная, 74
квантиль порядка q, 101
коэффициент
асимметрии, 99
эксцесса, 100
медиана, 100
мода, 100
момент
начальный порядка k, 99
центральный порядка k, 99
непрерывная
n-мерная, 75
непрерывно-дискретная, 72
отклонение
среднеквадратическое, 99
простая, 88
сингулярная, 72
случайные величины
независимые, 76
свойства, 76
событие
дополнительное, 20
достоверное, 18
невозможное, 18
противоположное, см. дополнительное
элементарное, 18
событий
классы
независимые, 77
объединение, см. сумма
пересечение, см. произведение
последовательности классов
независимые, 77
произведение, 19
разность, 20
симметрическая, 20
сумма, 19
события
вероятность, 21
индикатор, 87
независимые, 32
в совокупности, 33
144
Предметный указатель
несовместные, 18
схема
Бернулли, 47
полиномиальная, 49
теорема
Муавра — Лапласа
интегральная предельная, 57
локальная предельная, 54
Пуассона, 52
сложения, 38
для n событий, 39
умножения, 36
для n событий, 36
уравнение
линейной регрессии, 105, 119
форма
центрированная
множественной линейной регрессии,
119
формула
Байеса, 44
Бернулли, 47
Муавра — Лапласа
интегральная приближённая, 58
локальная приближённая, 57
Пуассона
приближённая, 53
полной вероятности, 41
полной вероятности для матожиданий,
110
функция
δ-функция, 72
Φ, 61
борелевская, 80
Лапласа, 61
распределения
свойства, 63
случайной величины, 63
совместная, 74
условная, 109
частота события, 18
145
Оглавление
Принятые обозначения и сокращения . . . . . . . . . . . . . . . . . .
Предисловие . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1
Введение в теорию вероятностей . . . . . . . . . . . . . . . . . .
1.1
Предмет теории вероятностей . . . . . . . . . . . . . . .
1.2
История возникновения и развития теории вероятностей
1.3
Классическое определение вероятности . . . . . . . . .
1.4
Некоторые формулы комбинаторики . . . . . . . . . . .
1.5
Контрольные вопросы . . . . . . . . . . . . . . . . . . . .
2
Основные понятия теории вероятностей . . . . . . . . . . . . . .
2.1
Статистическое определение вероятности . . . . . . . . .
2.2
Пространство элементарных событий . . . . . . . . . . .
2.3
Операции над событиями . . . . . . . . . . . . . . . . . .
2.4
Аксиоматическое определение вероятности . . . . . . .
2.5
Свойства вероятности . . . . . . . . . . . . . . . . . . . .
2.6
σ-алгебры . . . . . . . . . . . . . . . . . . . . . . . . . .
2.7
Свойство непрерывности . . . . . . . . . . . . . . . . . .
2.8
Контрольные вопросы . . . . . . . . . . . . . . . . . . . .
3
Вероятностное пространство . . . . . . . . . . . . . . . . . . . .
3.1
Определение вероятностного пространства . . . . . . . .
3.2
Классическое вероятностное пространство . . . . . . . .
3.3
Геометрическое вероятностное пространство . . . . . . .
3.4
Дискретное и непрерывное вероятностные пространства
3.5
Контрольные вопросы . . . . . . . . . . . . . . . . . . . .
4
Независимые события . . . . . . . . . . . . . . . . . . . . . . . .
4.1
Независимость двух событий . . . . . . . . . . . . . . . .
4.2
Независимость попарная и в совокупности . . . . . . . .
4.3
Лемма Бореля — Кантелли . . . . . . . . . . . . . . . . .
4.4
Условная вероятность . . . . . . . . . . . . . . . . . . . .
4.5
Теорема умножения . . . . . . . . . . . . . . . . . . . . .
4.6
Контрольные вопросы . . . . . . . . . . . . . . . . . . . .
5
Теоремы исчисления вероятностей . . . . . . . . . . . . . . . . .
5.1
Теорема сложения . . . . . . . . . . . . . . . . . . . . . .
5.2
Формула полной вероятности . . . . . . . . . . . . . . .
5.3
Формула Байеса . . . . . . . . . . . . . . . . . . . . . . .
5.4
Контрольные вопросы . . . . . . . . . . . . . . . . . . . .
6
Схемы испытаний . . . . . . . . . . . . . . . . . . . . . . . . . .
6.1
Независимые испытания . . . . . . . . . . . . . . . . . .
6.2
Схема Бернулли . . . . . . . . . . . . . . . . . . . . . . .
6.3
Свойства биномиальных вероятностей . . . . . . . . . .
6.4
Полиномиальная схема . . . . . . . . . . . . . . . . . . .
146
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
3
4
5
5
7
11
12
16
17
17
17
18
20
21
21
23
24
25
25
26
26
29
30
31
31
32
33
34
35
36
36
37
40
43
45
45
46
46
47
48
Оглавление
7
8
9
10
11
12
13
6.5
Пример зависимых испытаний. Гипергеометрические вероятности . . 49
6.6
Предельные теоремы для гипергеометрических вероятностей . . . . . 49
6.7
Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
Предельные теоремы для схемы Бернулли . . . . . . . . . . . . . . . . . . . 50
7.1
Теорема Пуассона . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
7.2
Локальная предельная теорема Муавра — Лапласа . . . . . . . . . . 53
7.3
Интегральная предельная теорема Муавра — Лапласа . . . . . . . . 56
7.4
Свойства функций ϕ(x), Φ(x), Φ0 (x) . . . . . . . . . . . . . . . . . . . 59
7.5
Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
Функции распределения. Дискретные случайные величины . . . . . . . . . . 61
8.1
Определение случайной величины . . . . . . . . . . . . . . . . . . . . 61
8.2
Функция распределения и ее свойства . . . . . . . . . . . . . . . . . . 62
8.3
Дискретные случайные величины . . . . . . . . . . . . . . . . . . . . 64
8.4
Некоторые важные дискретные распределения . . . . . . . . . . . . 65
8.5
Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Плотность распределения. Непрерывные случайные величины . . . . . . . . 67
9.1
Свойства плотности . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
9.2
Некоторые важные непрерывные распределения . . . . . . . . . . . . 68
9.3
Обобщение понятия плотности . . . . . . . . . . . . . . . . . . . . . . 70
9.4
Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Многомерные случайные величины . . . . . . . . . . . . . . . . . . . . . . . 73
10.1 Определение n-мерной случайной величины . . . . . . . . . . . . . . 73
10.2 Совместная функция распределения и ее свойства . . . . . . . . . . . 73
10.3 Свойства n-мерной плотности . . . . . . . . . . . . . . . . . . . . . . 74
10.4 Примеры многомерных распределений . . . . . . . . . . . . . . . . . 74
10.5 Независимость случайных величин . . . . . . . . . . . . . . . . . . . 75
10.6 Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Функции случайных величин . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
11.1 Функции одномерной случайной величины . . . . . . . . . . . . . . . 79
11.2 Функции двумерной случайной величины . . . . . . . . . . . . . . . . 81
11.3 Функции многомерной случайной величины . . . . . . . . . . . . . . 83
11.4 Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Математическое ожидание . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
12.1 Математическое ожидание дискретной случайной величины . . . . . 85
12.2 Свойства математического ожидания . . . . . . . . . . . . . . . . . . 85
12.3 Определение математического ожидания проcтой случайной величины 86
12.4 Определение математического ожидания произвольной случайной
величины . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
12.5 Определение математического ожидания непрерывной случайной
величины . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
12.6 Интеграл Лебега . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
12.7 Формулы для вычисления математического ожидания . . . . . . . . . 89
12.8 Примеры вычисления математических ожиданий . . . . . . . . . . . 90
12.9 Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Числовые характеристики одномерной случайной величины . . . . . . . . . . 93
13.1 Дисперсия случайной величины . . . . . . . . . . . . . . . . . . . . . 93
13.2 Примеры вычисления дисперсий . . . . . . . . . . . . . . . . . . . . . 94
13.3 Матожидания и дисперсии некоторых важных распределений . . . . 97
13.4 Другие числовые характеристики случайной величины . . . . . . . . 98
13.5 Контрольные вопросы . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
147
Оглавление
14
Линейная зависимость между случайными величинами . . . . . .
14.1 Ковариация . . . . . . . . . . . . . . . . . . . . . . . . . .
14.2 Понятие коррелированности . . . . . . . . . . . . . . . . .
14.3 Коэффициент корреляции . . . . . . . . . . . . . . . . . .
14.4 Уравнение линейной регрессии . . . . . . . . . . . . . . . .
14.5 Контрольные вопросы . . . . . . . . . . . . . . . . . . . . .
15 Условные распределения . . . . . . . . . . . . . . . . . . . . . . .
15.1 Условные распределения относительно событий . . . . . .
15.2 Условное математическое ожидание . . . . . . . . . . . . .
15.3 Условные распределения относительно случайных величин
15.4 Регрессия . . . . . . . . . . . . . . . . . . . . . . . . . . .
15.5 Корреляционное отношение . . . . . . . . . . . . . . . . .
15.6 Контрольные вопросы . . . . . . . . . . . . . . . . . . . . .
16 Числовые характеристики многомерных случайных величин . . .
16.1 Ковариационная матрица . . . . . . . . . . . . . . . . . . .
16.2 Уравнение множественной линейной регрессии . . . . . .
16.3 Остаточная дисперсия . . . . . . . . . . . . . . . . . . . .
16.4 Частный коэффициент корреляции . . . . . . . . . . . . .
16.5 Множественный коэффициент корреляции . . . . . . . . .
16.6 Контрольные вопросы . . . . . . . . . . . . . . . . . . . . .
17 Нормальное распределение . . . . . . . . . . . . . . . . . . . . . .
17.1 История нормального закона распределения . . . . . . . .
17.2 Одномерное нормальное распределение . . . . . . . . . .
17.3 Двумерное нормальное распределение . . . . . . . . . . .
17.4 Контрольные вопросы . . . . . . . . . . . . . . . . . . . . .
Приложение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . . . . .
Оглавление . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
148
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
102
102
102
103
104
106
107
107
108
109
112
114
116
116
116
118
120
122
124
125
126
126
127
130
134
136
142
142
146
Учебное издание
Татьяна Валерьевна КРУПКИНА
Сергей Валерьевич БАБЕНЫШЕВ
Александр Кузьмич ГРЕЧКОСЕЕВ
Екатерина Сергеевна КИРИК
ТЕОРИЯ ВЕРОЯТНОСТЕЙ И СЛУЧАЙНЫЕ ПРОЦЕССЫ
Часть1
Учебное пособие
Редактор — А. А. Назимова
Корректор — Т. Е. Бастрыгина
Лицензия ЛР № 020372 от 29.01.1997
Печать офсетная. Подписано в печать 00.00.07. Формат 60 × 84 / 16.
Бумага типографская. Гарнитура литературная.
Усл. печ. л. 0,0. Уч.-изд. л. 0,0. Тираж 000 экз.
Заказ № 0000.
Цена договорная.
Издательский центр Института естественных и гуманитарных наук
Сибирского федерального университета.
660041 Красноярск, пр. Свободный, 79.
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ РФ
ФГОУ ВПО «СИБИРСКИЙ ФЕДЕРАЛЬНЫЙ
УНИВЕРСИТЕТ»
Т. В. Крупкина, С. В. Бабенышев,
А. К. Гречкосеев, Е. С. Кирик
ТЕОРИЯ ВЕРОЯТНОСТЕЙ
И СЛУЧАЙНЫЕ ПРОЦЕССЫ
Часть 2
Учебное пособие
СФУ 2007
УДК 000.000
ББК 22.17я73
К 84
Рецензенты
Т. В. Крупкина
К 84 Теория вероятностей и случайные процессы: учебное пособие / Т. В. Крупкина, С. В. Бабенышев, А. К. Гречкосеев, Е. С. Кирик. Сибирский федеральный университет. Красноярск: 2007. 126 с.
ISBN 0-0000-0000-0
Учебное пособие посвящено курсу «Теория вероятностей, случайные
процессы» и соответствует второму семестру изучения. Включает в себя
теоретическую основу курса и контрольные вопросы. Предназначено для
студентов математических направлений и специальностей.
Предназначено для студентов математических направлений и специальностей.
ISBN 0-0000-0000-0
© Сибирский федеральный университет, 2007
© Т. В. Крупкина, С. В. Бабенышев,
А. К. Гречкосеев, Е. С. Кирик 2007
Принятые обозначения и сокращения.
[x] — целая часть числа x.
exp x, exp{x} — экспонента аргумента x (exp x = exp{x} = ex ).
e — основание натурального логарифма, e = 2, 718 281 828 459 . . .
A, B, . . . , X — события.
A, B, . . . X — отрицания событий A, B, . . . , X.
B ⇔ C, B ⇐⇒ C — «из B следует C и из C следует B».
∃ x — «существует x».
∀ x — «для любого x».
@ x — «не существует x».
def
= — «равно по определению».
≡ — «тождественно равно».
J — начало решения.
I — конец решения.
n, m = n, n + 1, . . . , m при том, что n, m ∈ Z и n < m.
N — множество натуральных чисел.
Z — множество целых чисел.
R — множество вещественных чисел.
R+ — множество вещественных чисел.
3
1. Производящие функции
1. Производящие функции
План лекции: определение и свойства производящих функций,
примеры вычислений производящих функций, примеры применения производящих функций, сумма случайного числа случайных величин, бесконечно делимые распределения,
1.1. Определение и свойства производящих функций
Введём понятие комплексной случайной величины. Пусть ξ, η — пара действительных случайных величин. Комплексной случайной величиной
называется величина ζ = ξ + iη. Если математические ожидания ξ и η существуют, то определим математическое ожидание комплексной случайной
величины ζ как сумму
M ζ = M ξ + iM η.
Математическое ожидание комплексной случайной величины обладает обычными свойствами.
Определение 1.1. Производящей функцией случайной величины ξ,
принимающей целые неотрицательные значения, называется функция комплексного аргумента z
ξ
ψξ (z) = M z ,
ξ
Mz =
∞
X
z k pk ,
|z| 6 1.
k=0
Величины, принимающие целые неотрицательные значения, будем в этом
параграфе называть целочисленными.
Пример 1.1. Случайная величина ξ задана законом распределения:
ξ 0
2
8
p 0, 2 0, 4 0, 4
Найти производящую функцию случайной величины ξ.
J
ψξ (z) = z 0 · 0, 2 + z 2 · 0, 4 + z 8 · 0, 4 = 0, 4z 8 + 0, 4z 2 + 0, 2.I
Свойства производящей функции
1. ψ(1) = 1.
Доказательство.
2. ψ(0) = p0 ,
ψ(1) =
P
1k pk =
0 6 p0 6 1.
4
P
pk = 1.
1. Производящие функции
3. pk =
ψ (k) (0)
k! .
Доказательство.
Разложим ψ(z) в степенной ряд по степеням z в окрестности нуля, получим:
∞
X
ψ (k) (0) k
ψ(z) =
z .
k!
k=0
С другой стороны, по определению,
ψ(z) =
∞
X
pk z k .
k=0
Из единственности разложения функции в степенной ряд следует: pk =
ψ (k) (0)
k! . (Это свойство означает, что производящая функция однозначно
определяет распределение.)
Q
4. Если ξi независимы, то ψP ξi (z) = ψξi (t).
Доказательство.
ψP
ξi (z) = M z
P
ξi
=M
Y
z
ξi
=
Y
M z ξi =
Y
ψξi (z).
Использовано свойство математического ожидания произведения
независимых случайных величин.
5. M ξ = ψ 0 (1).
Доказательство.
ψ(z) =
ψ 0 (z) =
∞
X
z k pk ;
k=0
∞
X
kz k−1 pk ;
k=1
0
ψ (1) =
∞
X
kpk =
k=1
∞
X
kpk = M ξ.
k=0
6. ψ (l) (1) = M ξ [l] , где M ξ [l] = M [ξ(ξ −1) . . . (ξ −l+1)] (l-й факториальный
момент).
Доказательство.
00
ψ (1) =
∞
X
k=2
k(k − 1)pk =
∞
X
k(k − 1)pk = M [ξ(ξ − 1)] = M ξ [2] ;
k=0
5
1. Производящие функции
(l)
ψ (1) =
∞
X
k(k −1) . . . (k −l +1)pk = M [ξ(ξ −1) . . . (ξ −l +1)] = M ξ [l] .
k=l
7. Dξ = ψ 00 (1) + ψ 0 (1) − [ψ 0 (1)]2 .
Доказательство.
Dξ = M ξ 2 − (M ξ)2 ;
ψ 00 (1) = M [ξ(ξ − 1)] = M ξ 2 − M ξ ⇒ M ξ 2 = M ξ + ψ 00 (1);
ψ 0 (1) = M ξ.
Подставляем в формулу дисперсии:
Dξ = ψ 0 (1) + ψ 00 (1) − [ψ 0 (1)]2 .
1.2. Примеры вычислений производящих функций
Пример 1.2. Найти производящую функцию для распределения Бернулли B(1, p).
J Запишем ряд распределения Бернулли:
ξ
P
0 1
q p
ψ(z) = qz 0 + pz 1 = q + pz.
I
Пример 1.3. Найти производящую функцию биномиального распределения B(N, p).
J
ξ=
N
X
ξi ,
ξi ∈ B(1, p),
i=1
ξi - независимые случайные величины. Пользуясь свойствами производящей функции и предыдущим примером, получим:
Y
ψP ξi =
ψξi = (q + pz)N .
I
6
1. Производящие функции
Пример 1.4. Найти производящую функцию распределения Пуассона Pλ .
J
ψ(z) =
∞
X
k
z pk =
∞
X
k=0
k=0
z
ke
∞
−λ k
X (λz)k
λ
= e−λ
= e−λ eλz = eλ(z−1) .
k!
k!
k=0
I
1.3. Примеры применения производящих функций
Пример 1.5. Найдём
Пуассона Pλ .
J
математическое
ожидание
распределения
M ξ = ψ 0 (1) = (eλ(z−1) )0 = λeλ(z−1) z=1 = λ.
I
Пример 1.6. Найдём дисперсию распределения Пуассона Pλ .
J
Dξ = ψ 0 (1) + ψ 00 (1) − [ψ 0 (1)]2 ;
ψ 0 (1) = λ, ψ 00 (1) = λ2 eλ(z−1) = λ2 ;
z=1
2
2
Dξ = λ + λ − λ = λ.
I
Пример 1.7. Найти закон распределения суммы двух независимых
случайных величин, имеющих распределения Пуассона.
J Пусть ξ ∈ Pλ1 , η ∈ Pλ2 , ξ, η независимы; найдём производящую функцию
ξ + η:
ψξ+η = ψξ ψη = eλ1 (z−1) ψη = eλ2 (z−1) = e(λ1 +λ2 )(z−1) .
Найденная производящая функция соответствует распределению
Пуассона с параметром λ1 + λ2 , а поскольку она однозначно определяет
распределение, отсюда следует, что ξ + η ∈ Pλ1 +λ2 . I
Пример 1.8. Случайные величины ξ, η независимы и принимают целые
неотрицательные значения, и ξ + η ∈ B(N, p). Докажем, что каждая
из величин ξ и η биномиально распределена с параметром p.
7
1. Производящие функции
J
ψξ+η (z) = (q + pz)N .
С другой стороны,
ψξ+η (z) = ψξ ψη .
Поскольку сумма неотрицательных величин принимает значения, не превышающие N , каждая из величин ξ, η также принимает значения, не превышающие N . Следовательно, их производящими функциями являются многочлены кратности N1 и N2 = N − N1 , при этом многочлены должны иметь
единственный корень суммарной кратности N . Таким образом,
ψξ+η (z) = (q + pz)N = ψξ ψη = (c(q + pz)N1 ) · (c−1 (q + pz)N2 ).
Из условия ψξ (1) = ψη (1) = 1 находим: c = 1. Окончательно получаем:
ψξ (z) = (q + pz)N1 , ψη (z) = (q + pz)N2 , что соответствует биномиальным
распределениям.I
1.4. Сумма случайного числа случайных величин
Пусть {ξn } — последовательность независимых одинаково распределенных целочисленных случайных величин, принимающих целые неотрицательные значения с производящей функцией ψξ , и ν — независимая от них
целочисленная случайная величина с производящей функцией ψν . Определим сумму случайного числа случайных величин равенствами
ξν = ξ1 + ξ2 + . . . ξν , при ν > 0, ξν = 0 при ν = 0.
Теорема 1.1. Производящая функция ψξν равна суперпозиции производящих функций:
ψξν = ψν (ψξ ).
Доказательство. Заметим сначала, что производящая функция ψξn = ψξn , и
воспользуемся формулой полной вероятности для математических ожиданий:
∞
∞
X
X
ξν
ξn
ψξν = M z =
M z p(ν = n) =
ψξn p(ν = n) = ψν (ψξ ).
n=1
n=1
Пример 1.9. Найти производящую функцию ξν , если ξ имеет распределение Бернулли B(1, p), а ν распределено по закону Пуассона с параметром λ.
8
2. Характеристические функции
J Производящая функция распределения Пуассона: ψ(z) = eλ(z−1) , производящая функция распределения Бернулли: ψ(z) = q + pz. Тогда
ψξν = ψν (ψξ ) = eλ(q+pz−1) .
I
1.5. Безгранично делимые распределения
Определение 1.2. Распределение вероятностей с функцией распределения F (x) называется безгранично делимым, если для любого
целого положительного n существует функция распределения Fn (x),
такая, что
F () = Fn (x) ∗ . . . ∗ Fn (x) .
{z
}
|
n раз
Напомним, что знак ∗ в этом определении означает свёртку распределений.
Соответствующая производящая функция называется безгранично
делимой. Таким образом, распределение c производящей функцией ψ безгранично делимо, если для любого целого положительного n существует
производящая функция ψn , такая, что ψ = ψnn .
Пример 1.10. Докажем
Пуассона Pλ .
безграничную
делимость
распределения
n
J ψ(z) = eλ(z−1) = e(λ/n(z−1)) . I
Справедлива следующая теорема.
Теорема 1.2. Для того, чтобы неотрицательная целочисленная случайная величина ξ, p (ξ = 0) > 0, имела безгранично делимое распределение, необходимо и достаточно, чтобы ее производящая функция допускала представление
ψ(z) = eλ(h(z)−1) ,
где h(z) — производящая функция некоторой целочисленной неотрицательной случайной величины, а λ — положительное число.
2. Характеристические функции
План лекции: определение и свойства характеристических
функций, примеры вычисления характеристических функций,
формула обращения, теоремы единственности и непрерывности,
9
2. Характеристические функции
2.1. Определение и свойства характеристических функций
Определение 2.1. Характеристической функцией ϕξ (t), −∞ < t < ∞
вещественной сл. в. ξ называется
ϕξ (t) = M eitξ .
ϕξ (t) = M eitξ = M (cos tξ) + iM (sin tξ).
Для непрерывной сл. в.
Z
∞
ϕξ (t) =
e
itx
Z
∞
dF (x) =
−∞
eitx f (x) dx.
−∞
Свойства характеристических функций.
1. | ϕξ (t)| 6 1.
Доказательство.
Z
Z
Z
itx
itx
|ϕξ (t)| = e dF (x) 6 |e | dF (x) =
dF (x) = 1.
2. ϕξ (0) = 1.
Доказательство. ϕξ (0) = M e0 ≡ 1.
3. Характеристическая функция равномерно непрерывна.
Доказательство.
|ϕ(t + ∆t) − ϕ(t)| = Z
=
Z
(ei(t+∆t)x − eitx ) dF (x) 6
i∆tx
e
− 1| dF (x) +
|x|>A
Z
Z
|ei∆tx − 1| dF (x)
|ei∆tx − 1|dF (x)
|x|<A
Z
62
Z
dF (x) +
|x|>A
Возьмем A таким, что
|ei∆tx − 1| dF (x).
|x|<A
R
dF (x) < 4ε , тогда первое слагаемое меньше
|x|>A
ε
i∆tx
−1|
2 ; во втором интеграле возьмем ∆t настолько малым, что |e
ε
тогда этот интеграл < 2 .
< 2ε ,
Таким образом, ∀t ∀ ε > 0 ∃ ∆0 такое, что как только ∆t < ∆0 , так
ε ε
|ϕ(t + ∆t) − ϕ(t)| < + = ε.
2 2
10
2. Характеристические функции
4. Если η = aξ + b, то ϕη (t) = eitb ϕξ (at).
Доказательство.
ϕη (t) = M eiηt = M ei(aξ+b)t = eitb ∗ M ei(at) = eitb ϕξ (at).
5. Связь характеристической функции с моментами случайной величины:
Если существует k-й абсолютный момент M |ξ|k , то существует непрерывная ϕ(k) (t), и ϕ(k) (0) = ik M ξ k = ik αk .
Доказательство.
Продифференцируем по параметру t функцию
R i(tx
ϕ(t) = e dF (x) :
R
0
ϕ (t) = ixeitx dF (x). Рассмотрим полученный интеграл.
Z
Z
itx
ixe dF (x) 6 |x| dF (x) = M |ξ| < ∞,
R
следовательно, ixeitx dF (x) сходится равномерно относительно t и
дифференцирование по t под знаком интеграла правомерно. Тогда
Z
ϕ0 (t) = ixeitx dF (x), ϕ0 (0) = iM ξ = iα1 .
Проводя далее рассуждения методом индукции, получим
ϕ(k) (t) = ik
Z
xk eitx dF (x), ϕ(k) (0) = ik
Z
xk dF (x) = ik M ξ k = αk .
Заметим, что если существует абсолютный момент порядка k, то существуют и абсолютные моменты меньших порядков (в силу мажорирования).
Следствие. M ξ k =
ϕ(k) (0)
;
ik
часто используются формулы:
M ξ = −iϕ0 (0),
Dξ = M ξ 2 − (M ξ)2 = −ϕ00 (0) + (ϕ0 (0))2 .
6. Характеристическая функция суммы независимых случайных величин
равна произведению характеристических функций слагаемых.
Доказательство.
n
n
n
h Pn i
Y
Y
Y
it· k=1 ξk
itξk
itξk
P
ϕ ξi (t) = M e
=M
e =
Me =
ϕξk (t).
k=1
k=1
k=1
7. Связь характеристической и производящей функций.
ϕ(t) = ψ(eit ).
11
2. Характеристические функции
2.2. Примеры вычислений характеристических функций
Пример 2.1. Распределение Бернулли.
k
ϕξ (t) = M eitξ = Σeitξk pk = eit·o q + eit·1 = q + peit .
Пример 2.2. B(N, p).
P (ξ P
= k) = CNk pk q N −k.
ξ= N
i=0 ξi .
Q
ϕξ (t) = ϕΣξi (t) = i ϕξi = (q + peit )N .
Пример 2.3. Распределение Пуассона.
−λ k
P (ξ = n) = e nλ , n = 0, 1, . . .
P
P∞ (λeit )k
−λ
−λ λeit
λ(eit −1)
ikt e−λ λk
ϕξ (t) = M eiξt = ∞
e
=
e
=
e
·e
=
e
.
k=0
k=0 k!
k!
Пример 2.4. Равномерное распределение на [a, b).
Z
∞
b
Z
1
ϕξ (t) =
eitx fξ (x)dx =
b−a
−∞
1
eitb − eita
itx b
e dx =
e a=
.
it(b − a)
it(b − a)
itx
a
Пример 2.5. Нормальное распределение N (0, 1).
1
ϕξ (t) = √
2π
Z
∞
itx
2
− x2
e e
−∞
t2
e− 2
√
2π
Z
∞
e−
(x−it)2
2
Z
∞
e
x2
t2
2 +itx− 2
dx =
−∞
dx =
−∞
2
− t2
e
√
t2
e− 2
√
dx =
2π
Z
N
lim
e−
2π N →∞ −N
Сделаем замену z = x − it. Тогда
Z N
Z
2
− (x−it)
e 2 dx =
−N
(x−it)2
2
N −it
dx.
z2
e− 2 dz.
−N −it
Чтобы вычислить последний интеграл, рассмотрим интеграл по замкнутому прямоугольному контуру Γ, включающему отрезок [−N − it; N −
it].
12
2. Характеристические функции
t2
Функция e− 2 — аналитическая, следовательно,
z2
e− 2 dz = 0. Поэто-
Γ
му
N
Z−it
ZN
Z
=
Γ
лю
R
+
−N
−N
Z −it
+
+
N −it
N
Z−N
= 0.
−N −it
Это равенство будет справедливо и в пределе при N → ∞.
Поскольку в силу стремления модуля подынтегральной функции к ну
 N −it
−N
Z
Z
2
2
− z2
− z2

e dz +
e dz  = 0,
lim
N →∞
−N −it
N
то
N
Z−it
lim
N →∞
−N −it
e
2
− z2
ZN
dz = lim
N →∞
−N
2
− z2
e
Z∞
dz =
z2
e− 2 dz =
√
2π.
−∞
Тогда
2
t
t2
e− 2 √
ϕξ (t) = √ · 2π = e− 2 .
2π
Пример 2.6. Нормальное распределение N (a, b).
Величины ξ ∈ N (0, 1) и η ∈ N (a, σ) связаны линейным соотношением
η = σξ + a, поэтому применим свойство (4):
ϕη (t) = eiat ϕξ (σt) = eiat e−
σ 2 t2
2
= iiat−
σ 2 t2
2
.
2.3. Формула обращения, теоремы единственности и непрерывности
Рассмотрим задачу нахождения плотности и функции распределения
по характеристической функции.
Пусть существует функция плотности f (x). Тогда
Z ∞
ϕ(t) =
eitx f (x) dx
−∞
— преобразование Фурье фукции f (x), и если ϕ(t) интегрируема, то f (x)
можно найти по обратному преобразованию Фурье:
Z ∞
1
e−itx ϕ(t) dt.
f (x) =
2π −∞
В общем случае справедлива теорема обращения:
13
2. Характеристические функции
Теорема 2.1. Пусть ϕ(t) — характеристическая функция, F (x) —
функция распределения случайной величины ξ. Если x, y — точки
непрерывности F (x), (x < y), то
Z A −itx
1
e
− e−ity
F (y) − F (x) =
lim
ϕ(t) dt.
2π A→∞ −A
it
Доказательство.
Z ∞
Z A −itx
e
− e−ity
1
lim
eitz dF (z) dt
2π A→∞ −A
it
−∞
Z A Z ∞ it(z−x)
1
e
− eit(z−y)
=
lim
dF (z) dt = 1
2π A→∞ −A −∞
it
Вспомним, что
Z bZ
∞
Z
∞
Z
g(z, t) dF (z) dt =
a
−∞
b
g(z, t) dF (z) dt,
−∞
a
если
1. g(z, t) непрерывна по t на [a, b],
2. |g(z, t)| < G(z), для любого t.
В нашем случае легко увидеть непрерывность подынтегральной функции.
Проверим выполнение второго условия.
sin ht cos t(z − x) sin t(z − x)
eit(z−x) − eit(z−y)
6 h,
=
+
, it
it
it
t cos ht − cos lt (1 − cos ht) − (1 − cos lt) 2 sin2 ht2 − 2 sin2 lt2 =
=
6 2(h+l).
t
t
t
14
2. Характеристические функции
Поэтому
1
1 =
lim
2π A→∞
Z∞ ZA
eit(z−x) − eit(z−y)
dt dF (z) =
it
−∞ −A
Z∞
ZA
cos t(z − x) − cos t(z − y) sin t(z − x) − sin t(z − y)
+
it
t
−∞ −A


cos at
— нечётная функция

 t
Z A
=
=
cos at
=⇒
dt = 0
t
−A
Z∞ ZA
1
sin t(z − x) − sin t(z − y)
=
lim
dt dF (z)
2π A→∞
t
1
lim
2π A→∞
dt dF (z)
−∞ −A
Z∞ ZA
sin t(z − x) − sin t(z − y)
dt dF (z) =
t
−∞ 0


Z∞
ZA
Z∞
sin
at
π
sin t(z − x) sin t(z − y)
sin
at
dt =
dt = sgn a =
−
dt =
=  lim
A→∞
t
t
2
t
t
0
0
0


Z
0, z 6 x < y
1 y
= 0, z > y > x =
π dF (z) = F (y) − F (x).

π x

π, x 6 z 6 y
1
= lim
π A→∞
В доказательстве использовано значение интеграла Дирихле
Z∞
sin at
π
dt = sgn .
t
2
0
Теорема 2.2 (Теорема единственности). Функция распределения однозначно определяется своей характеристической функцией.
Доказательство.
1
F (y) = lim (F (y) − F (x)) =
lim lim
x→−∞
2π x→−∞ A→∞
A
e−itx − e−ity
ϕ(t) dt.
it
−A
Z
15
3. Некоторые важные неравенства
Теорема 2.3 (Теорема непрерывности). Пусть имеются характеристические функции {ϕn (t)} и cоответствующие функции распределения {Fn (x)}. Тогда Fn (x) −→ F (x) в любой точке непрерывности F ,
n→∞
если и только если ϕn (t) −→ ϕ(t) в любой точке t.
n→∞
3. Некоторые важные неравенства
План лекции: неравенство Маркова, неравенство Чебышева, неравенство Иенсена, неравенство Ляпунова, неравенство Коши-Буняковского-Шварца, неравенство ГельдераМинковского, теорема Колмогорова о продолжении меры,
3.1. Неравенство Маркова
Теорема 3.1. Для любой случайной величины ξ и для любых k > 0, ε > 0
M |ξ|k
.
p (|ξ| > ε) 6
εk
(1)
Доказательство.
M |ξ|k > M (|ξ|k ; |ξ| > ε) > εk M (1; |ξ| > ε) > εk p (|ξ| > ε).
Следовательно,
M |ξ|k
.
p (|ξ| > ε) 6
εk
3.2. Неравенство Чебышева
Теорема 3.2. Для любой случайной величины ξ и для любого ε > 0
p (|ξ − M ξ| > ε) 6
Dξ
.
ε2
Доказательство. Положим в (2 ) k = 2 и заменим ξ на ξ − M ξ.
(2)
3.3. Неравенство Иенсена
Теорема 3.3. Пусть ϕ(x) — числовая выпуклая книзу функция. Если
существуют M ξ и M ϕ(ξ), то
ϕ(M ξ) 6 M ϕ(ξ).
16
(3)
3. Некоторые важные неравенства
Доказательство. Запишем уравнение касательной к графику функции ϕ(x) :
f (y) = ϕ(x) + ϕ0 (x)(y − x).
Поскольку функция ϕ(x) выпукла книзу, то для любого x найдется такое y,
что
ϕ(y) > ϕ(x) + ϕ0 (x)(y − x).
Подставим вместо x − M ξ, а вместо y − ξ:
ϕ(ξ) > ϕ(M ξ) + ϕ0 (M ξ)(ξ − M ξ).
Возьмем математические ожидания от обеих частей:
M ϕ(ξ) > M ϕ(M ξ) +ϕ0 (M ξ) M (ξ − M ξ) .
|
{z
}
| {z }
=0
=ϕ(M ξ)
Таким образом,
M ϕ(ξ) > ϕ(M ξ).
3.4. Неравенство Ляпунова
Теорема 3.4 (неравенство Ляпунова). Пусть 0 < α 6 β и существует
M ξ β . Тогда
1
1
(M |ξ|α ) α 6 M |ξ|β β .
(4)
Доказательство. Воспользуемся неравенством Иенсена
ϕ(M ξ) 6 M ϕ(ξ)
β
и положим в нем ϕ(x) = |x| α . Получим
β
β
(|M ξ|) α 6 M (|ξ| α ).
Заменим ξ на |ξ|α :
β
β
(M |ξ|α ) α 6 M (|ξ|α· α ).
Возведем в степень β1 :
1
1
(M |ξ|α ) α 6 (M |ξ|β ) β .
17
3. Некоторые важные неравенства
3.5. Неравенство Коши-Буняковского-Шварца
Теорема 3.5 (неравенство Коши-Буняковского-Шварца).
q
M |ξ1 ξ2 | 6 M ξ12 M ξ22 .
(5)
Доказательство. Как известно,
2|xy| 6 x2 + y 2 .
Пусть
ξ1
x=p
,
M ξ12
Подставляя, получим
ξ
ξ2 1
2 p
·p
6
M ξ12
M ξ22 y=p
ξ
p 1
M ξ12
ξ2
M ξ22
.
!2
ξ
p 2
M ξ22
+
!2
.
2 |ξ1 · ξ2 |
ξ12
ξ12
p
p
6
+
.
M ξ12 M ξ12
M ξ12 · M ξ22
Возьмем математические ожидания от обеих частей:
2M |ξ1 · ξ2 |
M ξ12 M ξ12
p
p
6
+
= 2.
M ξ12 M ξ12
M ξ12 · M ξ22
Отсюда
q
M |ξ1 ξ2 | 6 M ξ12 M ξ22 .
3.6. Неравенство Гельдера-Минковского
Теорема 3.6 (неравенство Гельдера-Минковского).
При α > 1, β > 1,
1
1
+ =1
α β
1
β1
M |ξ1 ξ2 | 6 (M |ξ1 |α ) α · M |ξ2 |β
.
Доказательство. Воспользуемся известным неравенством
|x|α |y|β
|xy| 6
+
,
α
β
(α > 1, β > 1,
18
1
1
+ = 1).
α β
(6)
3. Некоторые важные неравенства
Пусть
x=
ξ1
(M |ξ1 |α )
1
α
,
ξ2
y=
1
.
(M |ξ2 |β ) β
Подставим x, y:
1
|ξ1 · ξ2 |
1
1
(M |ξ1 |α ) α · (M |ξ2 |β ) β
или
α
|ξ1 |
6
(M |ξ1 |α ) α
α
β
|ξ2 |
1
+
(M |ξ2 |β ) β
β
|ξ1 |α
|ξ2 |β
+
.
1 6
1
αM |ξ1 |α βM |ξ2 |β
(M |ξ1 |α ) α · (M |ξ2 |β ) β
Возьмем математические ожидания от обеих частей:
|ξ1 · ξ2 |
M |ξ2 |β
M |ξ1 |α
+
1 6
1
αM |ξ1 |α βM |ξ2 |β
(M |ξ1 |α ) α · (M |ξ2 |β ) β
M |ξ1 · ξ2 |
или
M |ξ1 · ξ2 |
1
α
(M |ξ1 |α ) · (M |ξ2 |β )
1
β
6
1
1
+ = 1.
α β
Отсюда
1
M |ξ1 ξ2 | 6 (M |ξ1 |α ) α · M |ξ2 |β
β1
.
3.7. Теорема Колмогорова о продолжении меры
Со следующей лекции мы начинаем рассматривать счётные последовательности случайных величин. Они, конечно, должны быть определены
на одном пространстве элементарных событий Ω. Когда мы рассматривали
сумму двух величин, ξ и η, мы использовали совместное распределение Fξ,η .
При решении некоторых новых задач, например, при исследовании сходимости рядов из случайных величин, потребуются бесконечномерные распределения. Как же ввести вероятностную меру в бесконечномерном пространстве?
Вспомним, что мы знаем о вероятностных мерах в конечномерном
случае.
В случае измеримого пространства (R, B(R)), (где R — числовая прямая, B(R) — борелевская σ-алгебра наR), вероятностные меры строились
по следующей схеме: сначала для элементарных множеств — интервалов
вида [ai , bi ), затем на множествах,
Pсостоящих из конечных сумм непересекающихся интервалов вида A = i [ai , bi ), совокупность которых образует
19
4. Последовательности случайных величин
алгебру, и, наконец, с помощью теоремы о продолжения меры, на множествах из σ(A).
В случае пространств Rn , n > 1 вероятностные меры строились
аналогично, только элементарными множествами являлись прямоугольники вида [a, b) = [a1 , b1 ) × [a1 , b1 ) × . . . [an , bn ).
Справедлива теорема о соответствии распределения вероятностей и
случайных величин: для любого заданного распределения вероятностей P в
Rn , n > 1, существует случайная величина ξ, имеющая P своим распределением вероятностей (для этого надо положить Ω = Rn , в качестве измеримых подмножеств взять борелевские, и взять ξ(ω) = ω).
В результате построения таких конструкций мы можем использовать любую удовлетворяющую аксиомам меру. Например, неотрицательная
функция, интеграл от которой по всему пространству равен единице, может
выступать как плотность распределения вероятностей.
Аналогичная схема построения вероятностных мер применяется и в
случае бесконечномерного пространства (R∞ , B(R∞ )), а элементарными
множествами в этом случае являются цилиндры Jn (B) = {x ∈ R∞ :
(x1 , . . . , xn ) ∈ B}, B ∈ B(Rn ), (у бесконечномерного цилиндра Jn (B) конечномерное основание B.) За вероятностную меру B ∈ Rn принимается
P (Jn (B)).
Теорема Колмогорова о продолжении меры в (R∞ , B(R∞ )) утверждает, что любому набору согласованных распределений Pn в пространствах Rn отвечает бесконечномерное распределение, для которого меры Pn
являются конечномерными распределениями.
Условия согласованности означают, что мера одного и того же множества, рассчитанная исходя из разных конечномерных распределений, должна совпадать:
∀ n = 1, 2, . . . и B ∈ Rn : Pn+1 (B × R) = Pn (B).
4. Последовательности случайных величин
4.1. Сходимость по вероятности
План лекции: определение сходимости по вероятности, cходимость по вероятности функций случайных величин, Сходимость
математических ожиданий.
Рассмотрим последовательность случайных величин ξ1 , ξ2 , . . . , члены которой с увеличением номера приближаются к случайной величине ξ. В этом
случае говорят о сходимости случайных величин. Однако ситуация принципиально отличается от сходимости числовых последовательностей: для
любого ε > 0 какой номер N мы бы ни взяли, всегда может найтись такой
20
4. Последовательности случайных величин
номер n > N , что |ξn − ξ| > ε. Поэтому для случайных величин рассматривают специальные виды сходимости. Важнейшим из них является сходимость по вероятности.
Определение 4.1. Последовательность ξ1 , ξ2 , . . . сходится к ξ по вероp
ятности (ξn → ξ), если для любого ε > 0
lim p (|ξn − ξ| > ε) = 0.
n→∞
(7)
В теории меры сходимости по вероятности соответствует сходимость
по мере.
Пример 4.1. Случайные величины ξn заданы законом распределения:
ξn
p
0
1
1−
1
n
1
n
Случайная величина ξ ≡ 1.
1
→ 0 при n → ∞.
n
p (|ξn − ξ| > ε) = p (ξn = 0) =
Следовательно,
p
ξn → ξ.
Приведем некоторые свойства сходимости по вероятности.
4.2. Сходимость по вероятности функций случайных величин
Теорема 4.1. Пусть ϕ(x) — непрерывная функция. Тогда, если последовательность {ξn } сходится по вероятности к ξ, то и последовательность {ϕ(ξn )} сходится по вероятности к ϕ(ξ):
p
p
ξn → ξ ⇒ ϕ(ξn ) → ϕ(ξ).
Доказательство. Надо доказать, что
p (|ϕ(ξn ) − ϕ(ξ)| > ε) −→ 0 ∀ε > 0
n→∞
Дано:
1. ∀ε > 0 ∃δ > 0 |ξn − ξ| < δ ⇒ |ϕ(ξn ) − ϕ(ξ)| < ε;
2. p (|ξn − ξ| > δ) −→ 0 ∀ε > 0.
n→∞
21
(8)
4. Последовательности случайных величин
Обозначим события:
A = |ξn − ξ| < δ
B = |ϕ(ξn ) − ϕ(ξ)| < ε,
тогда
A = |ξn − ξ| > δ
B = |ϕ(ξn ) − ϕ(ξ)| > ε.
Если бы было верно, что A ⊆ B, то отсюда следовало бы B ⊆ A ⇒ p (B) 6
p (A), что уже означало бы сходимость по вероятности последовательности {ϕ(ξn )}. Фактически соотношение A ⊆ B верно на компакте (поскольку требуется равномерная непрерывность функции ϕ(x), а в условии дана
непрерывность). Применим приём, который использовали и раньше: выделим множество, на котором случайные величины ограничены, и его дополнение. Рассмотрим множество C, на котором случайные величины ограничены:
C = {|ξ| 6 M, |ξn | 6 M },
обозначим C1 = {|ξ| 6 M }, C2 = {|ξn | 6 M }, тогда C = C1 C2 . Из выполняемых совместно соотношений
|ξn − ξ| < δ, |ξ| 6 M, |ξn | 6 M
в силу непрерывности функции ϕ(x) следует, что
|ϕ(ξn ) − ϕ(ξ)| < ε,
то есть
AC ⊆ B ⇒ B ⊆ AC = A + C.
Отсюда
p (B) 6 p (A) + p (C).
В силу условия теоремы первое слагаемое p (A) стремится к нулю, точнее
говоря, ∀ α > 0 и ∀ δ > 0 существует N такое, что ∀ n > N
p (A) 6 α2 .
Рассмотрим второе слагаемое.
p (C) = p (C1 C2 ) = p (C1 + C2 ) 6 p (C1 ) + p (C2 );
p (C1 ) = p (|ξ| > M ).
Поскольку последовательность событий {|ξ| > M } является сужающейся,
{|ξ| > M } ↓M , то
∀ α > 0 ∃M0
∀ M > M0
22
p (|ξ| > M ) <
α
,
6
4. Последовательности случайных величин
таким образом,
α
.
6
Чтобы оценить p (C2 ), рассмотрим импликацию
p (C1 ) <
{|x + y| > M } ⇒ {|x| >
M
M
или |y| > }.
2
2
Из нее следует, что
p (|x + y| > M ) 6 p |x| >
M
M
+ p |y| >
.
2
2
Возьмем x + y = ξn , x = ξ, y = ξn − ξ. Тогда
M
M
+ p |ξn − ξ| >
.
2
2
p (|ξn | > M ) 6 p |ξ| >
Теперь по заданному раньше α выберем M1 :
∀ α > 0 ∃ M1
∀ M > M1 :
p |ξ| >
M α
< .
2
6
В силу сходимости по вероятности последовательности {ξn }
∀M > 0 ∃ N1
∀ n > N1 :
p |ξn − ξ| >
Итак,
p (C2 ) = p (|ξn | > M ) <
M α
< .
2
6
α α α
+ = .
6
6
3
Тогда для M > max(M0 , M1 ), n > N1
p (C) 6 p (C1 ) + p (C2 ) 6
α α α
+ = ,
6
3
2
и можно окончательно оценить вероятность p (B): при n > max(N, N1 )
p (B) 6 p (A) + p (C) <
α α
+ = α,
2
2
что и означает сходимость по вероятности последовательности {ϕ(ξn )}. 4.3. Сходимость математических ожиданий
Теорема 4.2. Пусть ϕ(x) — непрерывная ограниченная функция. Тогда из сходимости по вероятности следует сходимость математических ожиданий:
p
ξn → ξ ⇒ M ϕ(ξn ) → M ϕ(ξ).
23
(9)
4. Последовательности случайных величин
Доказательство. Напомним, что по определению математического
ожидания,
Z
M ξ = ξ(ω) P (dω),
Ω
Z
M |ϕ|(ξ) =
ϕ(ξ(ω)) P (dω).
Ω
Пусть ϕ(x) 6 A,
ε > 0. Тогда для любого δ > 0
Z
M |ϕ(ξn ) − ϕ(ξ)| =
|ϕ(ξn (ω)) − ϕ(ξ(ω))| P (dω)+
|ξn −ξ|6δ
Z
|ϕ(ξn (ω)) − ϕ(ξ(ω))| P (dω) = I1 + I2 .
|ξn −ξ|>δ
Рассмотрим
Z
|ϕ(ξn (ω)) − ϕ(ξ(ω))| P (dω).
I1 =
|ξn −ξ|6δ
ε
Выберем N1 так, чтобы p (ξ > N1 ) < 8A
, а δ так, чтобы при ξn , ξ < N1
выполнялось
ε
|ξn − ξ| 6 δ ⇒ |ϕ(ξn ) − ϕ(ξ)| 6 .
4
(Мы можем это сделать в силу непрерывности ϕ(x)). Тогда
ε
ε
ε
I1 6 2A ·
+ = .
(10)
8A 4 2
Z
I2 =
|ϕ(ξn (ω)) − ϕ(ξ(ω))| P (dω).
|ξn −ξ|>δ
В силу сходимости по вероятности последовательности {ξn }, можно выбрать N2 так, чтобы при n > N2
ε
p (|ξn − ξ| > δ) <
.
4A
Тогда
ε
I2 6 2Ap (|ξn − ξ| > δ) < .
(11)
2
При n > max{N1 , N2 } выполняется (10) и (11), поэтому
ε ε
M |ϕ(ξn ) − ϕ(ξ)| = I1 + I2 < + = ε,
2 2
то есть
M ϕ(ξn ) → M ϕ(ξ).
24
5. Виды сходимости случайных величин
5. Виды сходимости случайных величин
План лекции: сходимость почти наверное (с вероятностью 1),
cходимость в среднем, cходимость по распределению, связи
между различными видами сходимости.
5.1. Сходимость почти наверное (с вероятностью 1)
Можно рассматривать и более сильную сходимость.
Определение 5.1. Последовательность ξ1 , ξ2 , . . . сходится к ξ почти
наверное (с вероятностью 1), если
p ( lim ξn = ξ) = 1.
n→∞
(12)
Этот вид сходимости обозначается
п.н.
ξn → ξ.
Это наиболее сильная из форм сходимости случайных величин. В теории
меры этой сходимости соответствует сходимость почти всюду.
5.2. Сходимость в среднем
Сходимость случайных величин можно определять с помощью сходимости их числовых характеристик.
Определение 5.2. Последовательность ξ1 , ξ2 , . . . сходится к ξ в среднем порядка p, 0 < p < ∞, если
M |ξn − ξ|p → 0
при n → ∞.
(13)
В случае p = 2 говорят о сходимости в среднем квадратичном и обозначают ее
с.к.
ξn → ξ или l.i.m.ξn = ξ
(l.i.m. есть сокращение от limit in mean).
Напомним, что рассмотрение всех этих видов сходимости (по вероятности,
почти наверное, в среднем) возможно только, если последовательности случайных величин заданы на едином вероятностном пространстве (Ω, F, P).
25
5. Виды сходимости случайных величин
5.3. Сходимость по распределению
Рассмотрим еще один вид сходимости случайных величин, более слабый, чем предыдущие; в этом виде сходимости случайные величины могут
быть определены даже на разных пространствах элементарных исходов.
Определение 5.3. Последовательность ξ1 , ξ2 , . . . сходится к ξ по распределению, если
Fξn (x) → Fξ (x)
(14)
во всех точках непрерывности Fξ (x)1 , где Fξn (x) – функция распределения случайной величины ξn , Fξ (x) — функция распределения случайной величины ξ.
d
Эта сходимость обозначается ξn −→ ξ, (где d есть сокращение от
distribution), или Fn ⇒ F . Она называется еще слабой сходимостью. Мы
уже встречались с ней при рассмотрении характеристических функций. Таким образом теорема непрерывности (2.3) может быть переформулирована
так:
d
ϕn (t) −→ ϕ(t) ⇐⇒ ξn −→ ξ.
n→∞
Приведем без доказательства критерий слабой сходимости2 .
Теорема 5.1.
Z
Z
Fn ⇒ F ⇐⇒
g(x) dFn (x) −→
n→∞
g(x) dF (x)
для любой непрерывной и ограниченной функции g(x).
5.4. Связи между различными видами сходимости
Между рассмотренными видами сходимости существуют следующие
соотношения:
p
п.н.
ξn → ξ ⇒ ξn → ξ
(15)
с.к.
ξn → ξ
p
ξn → ξ
p
⇒
ξn → ξ
(16)
⇒
ξn → ξ
d
(17)
Докажем соотношения (15), (16), (17).и (17).
1
В определении сходимости по распределению ограничиваются только точками непрерывности предельной функции Fξ (x), поскольку без этого условия последовательности, сдвинутые на бесконечно малую величину, могли бы иметь различные пределы.
2
Критерий слабой сходимости часто формулируют в терминах математических ожиданий:
d
ξn −→ ξ ⇐⇒ M g(ξn ) −→ M g(ξ)
n→∞
для любой непрерывной и ограниченной функции g(x).
26
5. Виды сходимости случайных величин
Теорема 5.2. Из сходимости почти наверное следует сходимость по
вероятности.
Доказательство. Рассмотрим множество
\ [ \
1
A = {ω : lim ξn (ω) = ξ(ω)} =
{|ξn − ξ| < }.
n→∞
m
m>1
N >1 n>N
Оно является событием. По условию
p ( lim ξn = ξ) = 1.
n→∞
Следовательно,
!
\ [ \
p (A) = p
{|ξn − ξ| <
m>1 N >1 n>N
1
}
m
= 1,
и вероятность противоположного события равна 0:
p (A) = p
[ \ [
m>1 N >1 n>N
A=
[ \ [
!
1
{|ξn − ξ| > } = 0.
m
{|ξn − ξ| >
m>1 N >1 n>N
[
1
}=
Bm ,
m
m>1
где
Bm =
\ [
{|ξn − ξ| >
N >1 n>N
1
}.
m
Поскольку вероятность каждого слагаемого не меньше вероятности суммы,
а вероятность суммы p (A) = 0, то для любого m
!
\ [
1
p (Bm ) = p
{|ξn − ξ| > } = 0.
m
N >1 n>N
Bm =
\ [
{|ξn − ξ| >
N >1 n>N
\
1
}=
CN ,
m
N >1
где
CN =
[
{|ξn − ξ| >
n>N
1
}.
m
Последовательность событий {CN } является сужающейся, {CN } ↓N . По
свойству непрерывности для сужающейся последовательности {CN }
\
p(
CN ) = lim p (CN ) = 0,
N >1
N →∞
27
5. Виды сходимости случайных величин
то есть
!
lim p
N →∞
[
{|ξn − ξ| >
n>N
1
}
m
= 0.
Из этого вытекает, что предел вероятности каждого слагаемого в {CN } равен 0, и для любого m
lim p ({|ξn − ξ| >
n→∞
то есть
1
}) = 0,
m
p
ξn → ξ.
Теорема 5.3. Из сходимости в среднем следует сходимость по вероятности.
Доказательство. Сходимость в среднем порядка k означает,что
M |ξn − ξ|k → 0,
n → ∞.
Надо доказать, что
p (|ξn − ξ| > ε) → 0,
n → ∞.
По неравенству Маркова (1)
p (|ξn − ξ| > ε) 6
т.е.
M |ξn − ξ|k
−→ 0,
n→∞
εk
с.к.
p
ξn → ξ, когда ξn → ξ.
Теорема 5.4. Из сходимости по вероятности следует сходимость по
распределению.
Доказательство. Нужно доказать, что Fξn (x) слабо сходится к Fξ (x). По
теореме (4.2)
p
ξn → ξ ⇒ M f (ξn ) → M f (ξ),
где f (x) — непрерывная ограниченная функция. Возьмем в качестве этой
функции f (x) = eitx . Тогда
M f (ξ) = M eitξ = ϕξ (t),
где ϕξ (t) — характеристическая функция ξ.
p
d
ξn → ξ ⇒ ϕξn (t) → ϕξ (t) ⇔ Fξn (x) → Fξ (x) ∼ ξn → ξ.
28
5. Виды сходимости случайных величин
Теорема 5.5. Из сходимости последовательности случайных величин
к константе по распределению следует сходимость к этой же константе по вероятности:
p
d
ξn → c ⇒ ξn → c,
(18)
c = const.
Доказательство. По условию,
(
0,
d
ξn → c ∼ Fξn (x) −→ Fc (x) =
n→∞
1,
x6c
.
x>c
Рассмотрим
p (|ξn − c| > ε) = p (ξn − c > ε или ξn − c 6 −ε) =
p (ξn > c + ε) + p (ξn 6 c − ε) = [Fξ (x) = p (ξ < x)] =
1 − Fξn (c + ε) + Fξn (c − ε + 0) −→ 1 − 1 + 0 = 0. (19)
n→∞
Это и означает сходимость по вероятности последовательности случайных
величин {ξn } к константе c.
5.5. Примеры
p
p
p
Пример 5.1. Пусть ξn → ξ, ηn → η. Доказать, что ξn · ηn → ξ · η.
J Требуется показать, что
p (|ξn · ηn − ξ · η| > ε) −→ 0.
n→∞
Рассмотрим
|ξn · ηn − ξ · η| = |ξn · ηn − ξ · ηn + ξ · ηn − ξ · η| =
|(ξn − ξ) · ηn + ξ · (ηn − η)|.
Если |(ξn − ξ) · ηn + ξ · (ηn − η)| > ε, то |ξn − ξ| · |ηn | > 2ε или |ξ| · |ηn − η| > 2ε .
Учитывая сходимость по вероятности ξn и ηn , а также тот факт, что вероятность множества, на котором случайная величина не ограничена, равна 0,
получаем:
p (|ξn · ηn − ξ · η| > ε) −→ 0,
n→∞
p
то есть ξn · ηn → ξ · η, что и требовалось доказать.I
Пример 5.2. Доказать, что для дискретного вероятностного пространства сходимость почти наверное совпадает со сходимостью
по вероятности.
29
5. Виды сходимости случайных величин
J По теореме (5.2) из сходимости почти наверное следует сходимость по
вероятности. Докажем обратное методом «от противного».
p
Пусть ξn → ξ. Предположим, что сходимости почти наверное нет, то
есть p (ω : lim ξn (ω) 6= ξ(ω)) > 0. Поскольку вероятностное пространство
n→∞
дискретно, существует элементарное событие ω0 такое, что p (ω0 ) = p0 > 0
и lim ξn (ω0 ) 6= ξ(ω0 ).
n→∞
Следовательно,
∃ ε > 0 ∀ N : ∃ n > N : |ξn (ω0 ) − ξ(ω0 )| > ε.
Из сходимости по вероятности имеем:
∀ε > 0 ∃N : ∀n > N
p (|ξn (ω) − ξ(ω)| > ε) → 0.
Получили противоречие, так как
p (|ξn (ω) − ξ(ω)| > ε) > p (ω0 ) = p0 > 0.
Противоречие доказывает утверждение. I
Пример 5.3. Доказать, что если f — непрерывная функция, то
d
d
ξn → ξ ⇒ f (ξn ) → f (ξ).
J
По теореме (5.1)
d
ξn → ξ ⇔ M ϕ(ξn ) −→ M ϕ(ξ),
n→∞
где ϕ — непрерывная ограниченная функция.
Из условия задачи следует, что ϕ(f ) также является непрерывной
ограниченной функцией. Следовательно,
d
ξn → ξ ⇒ M ϕ(f (ξn )) → M ϕ(f (ξ)),
n→∞
то есть
M ϕ(un ) −→ M ϕ(u),
n→∞
где un = f (ξn ), u = f (ξ). Но по теореме (5.1)
d
M ϕ(un ) −→ M ϕ(u) ⇔ un → u,
n→∞
то есть
d
f (ξn ) → f (ξ).
I
30
6. Закон больших чисел
Пример 5.4. Доказать, что для монотонно убывающей последовательности сходимость по вероятности влечет за собой сходимость
почти наверное.
J Перейдем к сходимости к 0:
p
p
ξn → ξ ∼ ξn − ξ → 0.
p
Пусть ξn − ξ = ηn , тогда дано, что ηn → 0 и {ηn } — убывающая последовательность. Пусть ηn сходится почти наверное к η; докажем, что η = 0.
p
ηn → 0 ∼ lim p (|ηn | > ε) = 0.
n→∞
Поскольку последовательность убывающая,
\
p (|η| > ε) = p
(|ηn | > ε)
и по свойству непрерывности
\
p
(|ηn | > ε) = lim p (|ηn | > ε) = 0.
n→∞
Значит, p (|η| > ε) = 0, то есть η = 0 с вероятностью 1. Итак, с вероятностью 1 ηn сходится к 0, это и есть сходимость почти наверное.I
6. Закон больших чисел
План лекции: закон больших чисел в форме Чебышёва, закон
больших чисел в форме Бернулли, закон больших чисел в форме
Пуассона, закон больших чисел в форме Хинчина,
6.1. Статистическая устойчивость
При единичных наблюдениях проявляются индивидуальные особенности, при массовых наблюдениях они взаимокомпенсируются и выявляется сущность процесса. Давно была замечена статистическая устойчивость
средних. Впервые закон больших чисел, утверждающий, что статистические
характеристики, вычисленные на больших совокупностях, являются устойчивыми, был сформулирован Якобом Бернулли. П. Л. Чебышёв, А. А. Марков, А. Я. Хинчин и другие выработали условия, при которых суммарное поведение достаточно большого числа случайных величин становится закономерным. Эти условия определяют формы закона больших чисел. Сформулируем закон больших чисел в общем виде.
31
6. Закон больших чисел
Говорят, что для последовательности случайных величин {ξn } с математическими ожиданиями M ξi = ai , ai < ∞ и дисперсиями Dξi = σi2 , i =
1, 2, . . . выполняется закон больших чисел, если
n
P
n
P
ξi
i=1
p
→
n
ai
i=1
(20)
.
n
Согласно определению сходимости по вероятности, это означает, что для
любого ε > 0
Pn
Pn
i=1 ξi
a
i
(21)
− i=1 > ε = 0.
lim p n→∞
n
n
6.2. Закон больших чисел в форме Чебышёва
Теорема 6.1 (закон больших чисел в форме Чебышёва). Если
ξ1 , ξ2 , . . . – последовательность независимых случайных величин,
дисперсии которых ограничены в совокупности
σi2 6 C = const,
i = 1, 2, . . . ,
то для нее выполняется закон больших чисел:
n
P
n
P
ξi
i=1
n
p
ai
i=1
→
.
n
Доказательство. Надо показать, что
 P

n
P
n
ξ
a
 i=1 i i=1 i 
> ε = 0.
−
lim p 

n→∞  n
n Воспользуемся неравенством Чебышёва ( 3.2):
p (|ξ − M ξ| > ε) 6
Пусть
n
P
ξ=
n
P
ai
i=1
32
(23)
.
n
Mξ =
(22)
ξi
i=1
Тогда
Dξ
.
ε2
n
.
(24)
6. Закон больших чисел
Подставляя (23) и (24) в (22), получаем
P

n
ξi

 P
i=1
n


P
n
D
n
ξi
ai 
 i=1
i=1 6
>
ε
p
−
.

 n
n
ε2
P

n
ξi
n
P
D  i=1n 
=
ε2
Dξi
i=1
n2 ε2
6
nc
c
=
→ 0 при n → ∞.
n2 ε2
nε2
6.3. Закон больших чисел в форме Бернулли
Теорема 6.2 (Закон больших чисел в форме Бернулли). Пусть осуществляется серия из n независимых опытов, проводимых по схеме
Бернулли с параметром p. Пусть m — число успехов, m
n — частота
успехов в данной серии испытаний. Тогда
m p
→ p.
(25)
n
Доказательство. Введем в рассмотрение случайную величину ξk ,
равную числу успехов в k-ом испытании, k = 1, . . . , n.
m=
n
X
ξk .
k=1
Случайные величины ξ1 , . . . , ξn имеют распределение Бернулли:
ξ
P
0 1
q p
Общее число успехов
m=
n
X
n
P
ξk ,
M ξk
k=1
M ξk = p,
n
k=1
= p;
Таким образом, (25) можно записать в виде
n
P
k=1
n
n
P
ξk
p
→
M ξk
k=1
33
n
,
(26)
6. Закон больших чисел
что представляет из себя формулировку закона больших чисел (20). Заметим, что случайные величины ξk независимы и их дисперсии ограничены в
совокупности
1
Dξk = M ξ 2 − (M ξ)2 = p − p2 = pq 6 ,
4
k = 1, 2, . . . , n, ;
следовательно, выполняются условия закона больших чисел в форме Чебышёва.
Аналогично доказывают закон больших чисел в форме Пуассона.
6.4. Закон больших чисел в форме Пуассона
Теорема 6.3 (Закон больших чисел в форме Пуассона). Пусть осуществляется серия из n независимых опытов, причем вероятность
успеха в k-м опыте равна pk . Пусть m – число успехов, m
n – частота
успехов в данной серии испытаний. Тогда
n
P
m p
→
n
pk
k=1
(27)
.
n
Доказательство. Рассмотрим случайную величину ξk , равную числу
успехов в k-ом испытании, k = 1, . . . , n.
Случайная величина ξk имеет распределение Бернулли с параметром
pk :
ξ
P
m=
n
X
ξk ,
0 1
qk pk
M ξk = p k ,
k=1
n
X
M ξk =
k=1
n
X
pk ;
k=1
Тогда (27) можно записать в виде
n
P
k=1
n
n
P
ξk
p
→
M ξk
k=1
n
(28)
,
что представляет из себя формулировку закона больших чисел (20).
По условию случайные величины ξk независимы;
1
Dξk = M ξ 2 − (M ξ)2 = pk − p2k = pk qk 6 ,
4
k = 1, 2, . . . , n, ;
следовательно, выполняются условия закона больших чисел в форме Чебышёва.
34
6. Закон больших чисел
В теории вероятностей важную роль играют последовательности
независимых одинаково распределённых случайных величин. В 1928 году А. Я. Хинчин доказал, что для таких последовательностей достаточным
условием применимости закона больших чисел является существование
математических ожиданий. Оказывается, что для одинаково распределённых случайных величин не только можно освободиться от условия ограниченности дисперсии, входящего в теорему Чебышёва, но и вообще не требуется существование дисперсии.
6.5. Закон больших чисел в форме Хинчина
Теорема 6.4 (Закон больших чисел в форме Хинчина). Пусть
ξ1 , ξ2 , . . . — последовательность независимых одинаково распределенных случайных величин с M ξn = a. Тогда
n
P
k=1
n
ξk
p
→ a.
(29)
Приведем два различных доказательства этой теоремы двумя важными методами.
Метод «урезания».
Доказательство. Надо показать, что при n → ∞
Pn
i=1 ξi
p − a > ε → 0.
n
Возьмем произвольное δ > 0. Поставим каждой величине ξi в соответствие две величины: ξi0 и ξi00 , i = 1, 2, . . . , n, определенные следующим
образом:
(
ξi при |ξi | < δn,
ξi0 =
;
0 при |ξi | > δn
(
0 при |ξi | < δn,
ξi00 =
.
ξi при |ξi | > δn
ξi = ξi0 + ξi00 .
!
Pn
Pn 0
n
X
i=1 ξi
i=1 ξi
p − a > ε 6 p − a > ε + p
ξi00 6= 0 .
n
n
i=1
Оценим первое слагаемое.
35
(30)
6. Закон больших чисел
У величин ξi0 дисперсии ограничены в совокупности:
M ξi0 =
Zδn
(31)
x dF (x),
−δn
Dξi0 =
Zδn
x2 dF (x) − (M ξi0 )2 6
−δn
Z∞
Zδn
|x| dF (x) 6 δn
δn
|x| dF (x).
−∞
−δn
Последний интеграл конечен в силу существования математического ожидания, обозначим его A, так что
Dξi0 6 δnA.
Из (31) следует, что M ξi0 не зависит от i (но зависит от n), введем обозначение M ξi0 = an . При n → ∞
Z∞
Zδn
x dF (x) →
an =
x dF (x) = M ξ = a,
−∞
−δn
и для любого ε > 0 при достаточно больших n
|an − a| < ε.
По неравенству Чебышёва ( 3.2) для любого ε > 0
p (|ξ − M ξ| > ε) 6
n
P
Пусть ξ =
k=1
n
ξk0
, тогда M ξ = an ,
P
n

ξk0

 k=1

Dξ = D 
 n =
и
n
P
Dξ
.
ε2
Dξk0
k=1
n2
6 Aδ
 P

n 0
ξ
 k=1 k

> ε 6 Aδ .
p
−
a
n
 n

ε2
36
6. Закон больших чисел
Тогда, поскольку |an − a| < ε, и

 P
n 0
ξ

 k=1 k
> 2ε 6 Aδ .
p
−
a

 n
ε2
Возьмем ε/2 вместо ε; получим

 P
n 0
ξ

 k=1 k
> ε 6 4Aδ .
p
−
a

 n
ε2
Оценим второе слагаемое в (30).
Z
Z
1
p (ξn00 6= 0) =
dF (x) 6
δn
(32)
|x| dF (x).
|x|>δn
|x|>δn
При достаточно больших n
Z
|x| dF (x) 6 δ 2
|x|>δn
и
Z
1
δn
|x| dF (x) 6
δ
.
n
|x|>δn
Тогда
p
n
X
!
p (ξi00
6= 0
6
i=1
n
X
p (ξi00 6= 0) 6 δ.
(33)
i=1
Подставляя (32) и (33) в (30), получаем
Pn
i=1 ξi
4Aδ
p − a > ε 6 2 + δ.
n
ε
Поскольку δ выбирается произвольно, правая часть может быть сделана
как угодно малой.
Метод характеристических функций.
Доказательство.
ϕ P ξk (t) = ϕP ξk (t/n)
n
(здесь и дальше опущены пределы суммирования, по k от до 1 n.)
37
6. Закон больших чисел
Обозначим случайную величину, имеющую такое же распределение,
как все ξk , через η; тогда
ϕP ξk (t/n) = ϕnη (t/n) = en ln ϕη (t/n) .
Обозначим ln ϕη (t) = L(t). Заметим, что L(0) = ln ϕη (0) = ln 1 = 0. Тогда
en ln ϕη (t/n) = e
0
ϕ (t)
0
0
L (t) = ϕηη (t) ; L (0) =
поэтому
(L(t/n)−L(0))t
t/n
0
−→ eL (0)t .
n→∞
0
ϕη (0)
ϕη (0) ;
ϕ(0) = 1, ϕ0 (0) = iM η = ia, где a = M ξn ,
0
eL (0)t = eiat .
Но это характеристическая функция постоянной величины a:
eiat = ϕa (t).
Таким образом,
ϕ P ξk (t) −→ ϕa (t).
n→∞
n
По теореме непрерывности (2.3) это влечёт
n
P
ξk
d
k=1
→ a.
n
Нам же требуется установить сходимость по вероятности; этот результат
немедленно получается применением теоремы (5.5), которая утверждает,
что из сходимости последовательности случайных величин к константе по
распределению следует сходимость к этой же константе по вероятности:
p
d
ξn → a ⇒ ξn → a.
Рассмотрим пример применения этой теоремы для доказательства
сходимости по вероятности.
Пример 6.1. Пусть дана последовательность независимых случай n n1
Q
ных величин {ξn }, ξn ∈ R[0, 1], ηn = en
ξk . Докажите, что
k=1
p
ηn → 1.
J Рассмотрим последовательность случайных величин
! n1
n
n
Y
1X
n
ζn = ln ηn = ln e
ξk
=1+
ln ξk .
n
k=1
38
k=1
7. Усиленный закон больших чисел
К последовательности {ln ξk } применим ЗБЧ в форме Хинчина, то есть
n
P
n
P
ln ξk
M ln ξk
p k=1
k=1
→
n
.
n
Найдем M ln ξk :
Z1
M ln ξk =
1
ln xdx = x(ln x − 1)0 = −1.
0
Следовательно,
n
1X
p
ln ξk → −1.
n
k=1
Тогда
n
1X
p
ζn = 1 +
ln ξk → 0.
n
k=1
Но ζn = ln ηn , значит,
p
p
ln ηn → 0 =⇒ ηn → 1.
I
7. Усиленный закон больших чисел
План лекции: закон больших чисел в форме Маркова, необходимые и достаточные условия закона больших чисел для как
угодно зависимых случайных величин, усиленная форма закона
больших чисел, достаточное условие сходимости почти наверное, теорема Бореля, теоремы Колмогорова.
В ряде теорем формулируются условия, достаточные для применимости закона больших чисел к последовательности произвольных (как угодно
зависимых) случайных величин.
7.1. Закон больших чисел в форме Маркова
Теорема 7.1 (Закон больших чисел в форме Маркова). Пусть последовательность случайных величин ξ1 , ξ2 , . . . такова, что3
!
n
X
1
D
ξi −→ 0.
(34)
n→∞
n2
i=1
3
Условие (34) носит название «условие Маркова».
39
7. Усиленный закон больших чисел
Тогда
n
P
n
P
ξk
p
k=1
→
n
M ξk
k=1
.
n
(35)
Доказательство. Применим неравенство Чебышёва ( 3.2).
P

n
ξi

 P
n
 i=1 
P
n
D
n
ξ
M ξi 
 i=1 i i=1
> ε 6
p
.

 n −
2
n
ε
P

n
ξi
n P
D  i=1n 
D
ξi
i=1
=
−→ 0
n→∞
ε2
n2 ε2
7.2. Необходимые и достаточные условия закона больших чисел
для как угодно зависимых случайных величин
Теорема 7.2. Для того чтобы для последовательности случайных величин ξ1 , ξ2 , . . . выполнялся закон больших чисел
n
P
ξi
i=1
n
P
p
→
n
ai
i=1
n
,
необходимо и достаточно, чтобы4
 2 
n
P
(ξi − ai )




i=1
M
−→ 0.
n
2  n→∞


P
ξi − ai
n2 +
(36)
(37)
i=1
Доказательство. 1. Достаточность. Введем величину
n
1X
ηn =
(ξi − ai ).
n i=1
n
!
1 X
p (ξi − ai ) > ε = p (|ηn | > ε) = M (1; |ηn | > ε).
n
i=1
4
Условие (37) является обобщением условия (34) и носит название «обобщенное условие Маркова».
40
7. Усиленный закон больших чисел
Поскольку функция
чениях аргумента,
x2
1+x2
является возрастающей при положительных зна-
ε2
x2
>
при |x| > ε
1 + x2
1 + ε2
и
1 + ε2
M (1; |ηn | > ε) 6
M
ε2
ηn2
; |ηn | > ε
1 + ηn2
1 + ε2
6
M
ε2
ηn2
1 + ηn2
.
Следовательно,
!
2 n
1 X
1 + ε2
ηn
(ξi − ai ) > ε 6
M
p .
2
2
n
ε
1
+
η
n
i=1
По условию,
2 
2 (ξi − ai )


ηn


i=1
=M
−→ 0,
M
n
2  n→∞
2
1 + ηn


P
n2 +
ξi − ai
 n
P
i=1
значит, и
n
!
1 X
(ξi − ai ) > ε −→ 0.
p n→∞
n
i=1
2. Необходимость.
ηn2
; |ηn | > ε
p (|ηn | > ε) = M (1; |ηn | > ε) > M
1 + ηn2
2 2
ηn
ηn
M
−M
; |ηn | < ε .
1 + ηn2
1 + ηn2
Но
M
=
ηn2
; |ηn | < ε 6 ε2 ,
2
1 + ηn
поэтому
p (|ηn | > ε) > M
ηn2
1 + ηn2
− ε2 ,
ηn2
M
6 p (|ηn | > ε) + ε2 .
(38)
2
1 + ηn
Правая часть в (38) может быть сделана как угодно малой за счет выбора ε
p
и n, поскольку ηn → 0. Следовательно,
2 ηn
M
−→ 0.
1 + ηn2 n→∞
41
7. Усиленный закон больших чисел
Усиленными называются формы закона больших чисел, в которых
вместо сходимости по вероятности утверждается сходимость почти наверное:
n
n
P
P
ai
ξi
п.н. i=1
i=1
→
.
(39)
n
n
Для доказательств теорем и применения потребуется усиленных форм закона больших чисел потребуется достаточное условие сходимости почти наверное.
7.3. Достаточное условие сходимости почти наверное
Теорема 7.3. Если ряд
∞
X
1
p |ξn − ξ| >
m
n=1
(40)
сходится при любом натуральном m, то последовательность случайных величин {ξn } сходится почти наверное (с вероятностью 1)
к ξ.
Доказательство достаточного условия немедленно следует из леммы
Бореля-Кантелли:
Лемма Бореля–Кантелли. Рассмотрим
последовательность соP
бытий {An }; pn = p (An ). Если ряд n pn сходится, то с вероятностью 1 может произойти лишь конечное
P число событий из последовательности событий {An }, а если ряд n pn расходится и события
A1 , A2 , . . . независимы, то с вероятностью 1 происходит бесконечное
число событий из последовательности {An }.
Действительно, в этом случае An = {|ξn − ξ| > m1 }, и по лемме из событий {An } может осуществиться лишь конечное число, что эквивалентно
сходимости почти наверное.
7.4. Теорема Бореля
Теорема 7.4 (Усиленный закон больших чисел Бореля). Пусть осуществляется серия из n независимых опытов, проводимых по схеме
Бернулли с параметром p. Пусть m — число успехов, m
n — частота
успехов в данной серии испытаний. Тогда
m п.н.
→ p.
(41)
n
42
7. Усиленный закон больших чисел
Доказательство. Рассмотрим ряд
∞
X
1
m
p | − p| >
n
h
n=1
(42)
и n-й член этого ряда
m
1
p | − p| >
.
n
h
Применим неравенство Маркова (1) к случайной величине ξ − M ξ = m
n −p
1
при ε = h и k = 4. Для любой случайной величины ξ и для любых k > 0, ε >
0
1
p |ξ − M ξ| >
6 h4 · M |ξ − M ξ|4 ,
(43)
h
то есть
1
m
m
6 h4 · M | − p|4 .
p | − p| >
n
h
n
Введем в рассмотрение последовательность случайных величин
ξ1 , ξ2 , . . . , ξn , равных числу успехов в i-ом испытании.
m=
n
X
k=1
Вычислим M
m
n
M
n
1X
m
ξk ⇒
(ξk − p).
−p=
n
n
k=1
4
−p .
m
n
−p
4
k=1
M
1
n4
=M
!4
n
1X
(ξk − p) .
n
n X
n X
n X
n
X
n
1X
n
!4
(ξk − p)
=
k=1
M (ξi − p)(ξj − p)(ξl − p)(ξs − p).
(44)
i=1 j=1 l=1 s=1
Поскольку M m
−
p
= 0, в (44) отличны от нуля только слагаемые, соn
держащие множители в четных степенях.
M (ξi − p)4 = pq(3p2 − 3p + 1) = pq(p3 + 3p2 − 3p + 1 − p3 ) =
pq(p3 + (1 − p)3 ) = pq(p3 + q 3 ).
M
M [(ξi − p)(ξj − p)] = pq · pq = p2 q 2 .
!4
n
X
1
1
(ξk − p) = 4 [pq(p3 + q 3 ) · n + p2 q 2 · 3n(n − 1)].
n
n
k=1
43
7. Усиленный закон больших чисел
Следовательно,
M
m
n
−p
4
=M
!4
n
1
1X
(ξk − p) = O
,
n
n2
k=1
m
1
1
4
p | − p| >
6h O
.
n
h
n2
Очевидно, ряд с таким общим членом сходится:
∞
X
1
m
< ∞,
p | − p| >
n
h
n=1
а это означает, что выполняется достаточное условие сходимости почти наверное (40), и
m п.н.
→ p.
n
7.5. Теоремы Колмогорова
Сформулируем без доказательства еще две формы усиленного закона
больших чисел для независимых случайных величин.
Теорема 7.5 (Теорема Колмогорова). Если
последовательность
независимых случайных величин {ξn } удовлетворяет условию
∞
X
Dξn
n=1
n2
< ∞,
(45)
то для нее справедлив усиленный закон больших чисел.
Следствием этой теоремы является критерий, также полученный А.Н.
Колмогоровым.
Теорема 7.6. Для применимости усиленного закона больших чисел
к последовательности независимых одинаково распределённых случайных величин {ξn } необходимым и достаточным условием является существование математических ожиданий.
Следующий пример показывает, что если отказаться от условия конечности или существования математических ожиданий, сходимости к постоянной величине не будет.
44
8. Центральная предельная теорема
Пример 7.1. Пусть дана последовательность независимых случайных величин {ξn }, ξn ∈ C(0, 1) (распределение Коши с плотностью
1
fξ (x) = π1 · 1+(x)
2 ). Докажем, что среднее случайных величин {ξn } имеет
закон распределения, не сходящийся к нормальному.
J Характеристическая функция стандартного распределения Коши C(0, 1)
n
P
равна e−|t| ; характеристическая функция суммы
ξi равна e−n|t| ; наконец,
i=1
характеристическая функция среднего случайных величин
n
P
ξi
i=1
n
равна
e−n|t/n| = e−|t| .
Мы снова получили стандартное распределение Коши, не зависящее от n.I
8. Центральная предельная теорема
План лекции: центральная предельная теорема для независимых одинаково распределенных случайных величин, теорема
Ляпунова, теорема Линдеберга, связь между условиями Ляпунова и Линдеберга.
Будем рассматривать сходимость распределений вероятностей к
некоторому предельному распределению. Центральная предельная теорема
выражает тот факт, что при достаточно общих условиях предельное распределение нормированных5 сумм случайных величин является нормальным6 .
Более формально, пусть ξ1 , ξ2 , . . . последовательность случайных величин
и
Pn
i=1 (ξi − M ξi )
Sn = p
,
P
D ni=1 ξi
— центрированная и нормированная сумма величин (легко видеть, что
M Sn = 0, DSn = 1). Говорят, что к случайным величинам ξi применима
ЦПТ, если для предельного распределения Sn справедливо
d
Sn → u, u ∈ N (0, 1).
(46)
Утверждение ЦПТ можно записать в терминах слабой сходимости
распределений:
FSn ⇒ Φ, (Φ = FN (0,1) );
5
Pn
(ξ −M ξ )
Нормированной суммой называется величина Sn = √i=1 Pin i . Идея рассмотрения таких сумм приD
i=1
ξi
надлежит Лапласу. Последовательность распределений самих сумм случайных величин, как правило, ни к
какому предельному закону не сходится, хотя может иметь простое точное распределение.
6
Точнее говоря, стандартным нормальным N (0, 1).
45
8. Центральная предельная теорема
в терминах сходимости функций распределений:
Z x
t2
1
P (Sn < x) −→ √
e− 2 dt;
n→∞
2π −∞
(47)
или в терминах характеристических функций:
2
− t2
ϕSn (t) −→ e
n→∞
.
(48)
Этот результат является обобщением предельной теоремы Муавра - Лапласа на суммы случайных величин с произвольным законом распределения. При малом числе слагаемых нормированная сумма Sn ведёт себя
неустойчиво, но с ростом n характер нормального распределения проявляется всё отчетливее. На основании этой теоремы при числе слагаемых порядка нескольких десятков можно заменить распределение суммы Sn нормальным распределением, а в некоторых случаях эффект приближения к
нормальному распределению заметен уже при небольшом числе слагаемых. Центральная предельная теорема объясняет широкое распространение нормального распределения в природе и находит чрезвычайно много
применений в самых разных областях7 . Это происходит благодаря её универсальности и устойчивости относительно незначительных отклонений от
условий теоремы. Различные формы центральной предельной теоремы отличаются условиями, накладываемыми на случайные величины.
Мы познакомимся с 3 формами ЦПТ. Начнём с простейшей и наиболее часто применяемой формы центральной предельной теоремы.
8.1. Центральная предельная теорема для независимых одинаково распределённых случайных величин
Теорема 8.1. Если случайные величины ξ1 , ξ2 , . . . независимы, одинаково распределены и имеют конечные математические ожидания и
дисперсии M ξk = a, Dξk = σ 2 , то при n → ∞

P
n
ξ − na

 k=1 k
 → Φ(x),
√
<
x
(49)
P

 σ n
где Φ(x) — функция стандартного нормального распределения.
7
Центральная предельная теорема является главным содержанием упоминавшейся ранее «теории ошибок».
46
8. Центральная предельная теорема
Доказательство. Проверим, что выражение под знаком вероятности
в (49) соответствует общему виду нормированной суммы
Pn
k=1 (ξk − M ξk )
Sn = p
.
P
D nk=1 ξk
Величины одинаково распределены и имеют одинаковые математические
ожидания M ξk = a и дисперсии Dξk = σ 2 , поэтому
v
u
n
n
n
n
n
X
X
X
X
u X
√
2 t
Dξk = nσ , D
ξk =
ξk − na, D
ξk = σ n.
(ξk − M ξk ) =
k=1
k=1
k=1
k=1
k=1
Рассмотрим характеристическую функцию
ϕSn (t) = ϕ P(ξ√i −a) (t) = ϕP(ξk −a)
σ n
t √ ;
σ n
(здесь и дальше опущены пределы суммирования, по k от 1 до n.)
Обозначим случайную величину, имеющую такое же распределение,
как (ξk − a) ∀ k, через η; тогда
t
t
n
P
√
√
ϕSn (t) = ϕ (ξk −a)
= ϕη
.
σ n
σ n
Прологарифмируем полученный результат и разложим ϕη (t) в степенной
ряд в окрестности t = 0:
ln ϕSn (t) = n ln ϕη
t
√
σ n
= n ln ϕη (0) +
ϕ0η (0)
2 t
t2
t
00
√ + ϕη (0) 2 + o
.
2σ n
n
σ n
Воспользуемся свойствами характеристической функции:
ϕ(0) = 1
0
ϕ
(0)
= iM η = 0
ϕ00 (0) = i2 M η 2 = −σ 2 .
С учётом этих соотношений
2 2 2
t
t2
t
2 t
ln ϕSn (t) = n ln 1 − σ
+
o
=
n
ln
1
−
+
o
.
2σ 2 n
n
2n
n
Теперь используем приближение для ln(1 + z):
ln(1 + z) = z + θz 2 , −1 < θ < 1 для |z| < 21 ;
поэтому
2
2 2
t
t
t2
t
ln ϕSn (t) = n − + o
=
−
+
o
.
2n
n2
2
n
47
8. Центральная предельная теорема
Отсюда следует, что
2
t2
− t2
ln ϕSn (t) −→ = − =⇒ ϕSn (t) −→ e ,
n→∞
n→∞
2
что, как замечалось раньше, эквивалентно утверждению ЦПТ.
8.2. Теорема Ляпунова
Центральная предельная теорема верна при довольно широких условиях и для сумм независимых различно распределённых величин. Одним из
известных условий такого рода является условие Ляпунова.
Пусть случайные величины {ξi } независимы и P
для некоторого δ > 0
1
2+δ
2+δ
существуют Ck = M |ξk − ak | . Обозначим Cn = ( k Ck2+δ ) 2+δ .
Условие Ляпунова:
Cn
−→ 0.
Bn n→∞
Докажем эту теорему при δ = 1.
Теорема 8.2 (ЦПТ в условиях Ляпунова). Пусть случайные величины
{ξi } независимы и
Dξi = σi2 ,
P
P
Cn3 = nk=1 Ck3 , Bn2 = ni=1 σi2 .
M ξ i = ai ,
Ck3 = M |ξk − ak |3 ,
Тогда
Cn
−→ 0 =⇒
Bn n→∞
Доказательство. Обозначим
Sk,n
Pn
k=1 (ξk
− ak )
Bn
ξk − ak
ξk − ak
= pPn
=
,
2
Bn
σ
i=1 i
d
−→ u ∈ N (0, 1).
Sn =
n
X
Sk,n .
k=1
Q
Если ξk независимы, то Sk,n независимы, значит ϕSn = nk=1 ϕSk,n . Тогда
t
t
= ξk − a2k , M ηk =
0 =ϕ
= ηk Dη
.
ϕSk,n (t) = ϕ ξk −ak (t) = ϕξk −ak
2
ηk
=
σ
=
M
η
k
Bn
k
k
Bn
Bn
Разложим ϕ(t) в степенной ряд:
t2
ϕ(t) = ϕ(0)+ϕ (0)t+ϕ (0) +R(t) =
2
0
00
ϕ(0)
= 1, ϕ0 (0)2 = iM η2
00
ϕ (0) = −M η = −σ
где |R(t)| 6 C|M η 3 | · |t|3 . Таким образом
2
t
t
t
ϕη k
= 1 − σk2 2 + Rk
.
Bn
2Bn
Bn
48
t2
= 1−σ +R(t),
2
2
8. Центральная предельная теорема
Это влечёт
#
x2
ln ϕηk Btn = ln(1 + x) = x − 2 +3 α(x)
<
|α(x)|
C · |x|2
2
1
t
t
2 t
2 t
= −σk 2 + Rk
−
−σk 2 + Rk
+ o(A2k ),
2Bn
Bn
2
2Bn
Bn
2
t
t
где A2k = −σk2 2 + Rk
. Далее,
2Bn
Bn
X
n
n
X
t
t
ln ϕηk
ln ϕSn (t) =
ln ϕSk,n
=
Bn
Bn
k=1
k=1
n
n
n
n
t
1X 2 X
t2 X 2 X
Rk
o(A2k ) = Σ1 + Σ2 + Σ3 + Σ4 .
σk +
Ak +
−
=− 2
2Bn
Bn
2
"
k=1
k=1
k=1
k=1
Оценим суммы.
t2
Σ1 = − ,
2 n
n
n
3
X
X
t
|M ηk |3 · |t|3
Ct3 X
3
3 Cn
Σ2 =
Rk
6C
6 3
|M ηk | = Ct 3 −→ 0
Bn
Bn3
Bn
Bn n→∞
k=1
k=1
k=1
2
X
X σ 4 t4 σ 2 t2
σk2 t2
t
t
t
2
k
k
− 2 + Rk
Σ3 =
−
R
+
R
;
=
k
k
2Bn
Bn
4Bn4
Bn2
Bn
Bn
оценим первый член суммы Σ3 :
X σ2
t4
t4
2
k
6
max σk
=
max σk2 .
4
2
2
2
4Bn
4Bn 16k6n
Bn
4Bn 16k6n
X σ 4 t4
k
Покажем, что для любого k, 1 6 k 6 n
σk2
−→ 0.
Bn2 n→∞
1
1
По неравенству Ляпунова (M |ξ|α ) α 6 (M |ξ|β ) β , для всех 0 < α 6 β. Поэтому
1
1
2
2
2
(M |ηk |2 ) 2 6 (M |ηk |3 ) 3 =⇒ M |ηk |2 6 (M |ηk |3 ) 3 = (Ck3 ) 3 =⇒ σk2 6 (Ck3 ) 3 .
Поскольку Ck3 6 Cn3 , то
2
σk2
(Cn3 ) 3
6
=
Bn2
Bn2
тогда и
Cn
Bn
2
−→ 0,
n→∞
X σ k t4
t4
2
max
σ
−→
0
=⇒
−→ 0.
4Bn2 16k6n k n→∞
4Bn4 n→∞
49
8. Центральная предельная теорема
Оценим второй член суммы Σ3 :
X σ2
X t t
k
t2
6 t2
Rk
= t2 Σ2 −→ 0.
· Rk
2
n→∞
Bn
Bn
Bn
Оценим третий член Σ3 :
X 2
n
X
t
t
2
Rk
6
Rk
= Σ22 −→ 0.
n→∞
Bn
Bn
k=1
Таким образом,
Σ3 −→ 0,
n→∞
и вместе с ней стремится к нулю
Σ4 = o(Σ3 ).
Окончательно получаем:
2
t2
− t2
= ϕu (t), u ∈ N (0, 1).
ln ϕSn (t) → − =⇒ ϕSn (t) → e
2
Рассмотрим без доказательства еще одну форму ЦПТ.
8.3. Теорема Линдеберга
Теорема 8.3 (ЦПТ в условиях Линдеберга). Пусть
1) случайные величины {ξi } независимы,
Z
n
X
1
2)8 Ln (τ ) = 2
(x − ak )2 dFk (x) −→ 0, для любого τ > 0,
n→∞
Bn
k=1
|x−ak |>τ Bn
Pn
2
где Bn = D ( i=1 ξi ), ak = M ξk . Тогда
Pn
k=1 (ξk − ak ) d
−→ u ∈ N (0, 1).
Bn
Условие Линдеберга требует, чтобы дисперсии σk2 образовывались в
основном за счет значений, сосредоточенных в центральных интервалах
длины, малой по сравнению с Bn2 , а не на «хвостах» распределений.
8
Условие Линдеберга.
50
9. Последовательности зависимых случайных величин, образующих цепи Маркова
8.4. Связь между условиями Ляпунова и Линдеберга
Теорема 8.4. Из выполнения условия Ляпунова следует выполнение
условия Линдеберга.
Доказательство.
n
1 X
Ln (τ ) = 2
Bn
Z
(x − ak )2 dFk (x)
k=1
6
=
1
Bn2 (τ Bn )δ
|x−ak |>τ Bn
Z
n
X
(x − ak )2+δ dFk (x)
k=1
|x−ak |>τ Bn
Cn2+δ
1
2+δ
Ck = 2+δ δ −→ 0.
Bn2+δ τ δ
Bn τ n→∞
k=1
n
X
В рассмотренных теоремах на величины наложено условие независимости. Однако центральная предельная теорема применима к более широкому кругу величин, и появление умеренной зависимости не меняет нормальности предельного распределения.
9. Последовательности зависимых случайных величин, образующих цепи Маркова
План лекции: основные понятия, примеры цепей Маркова,
классификация состояний, существенные состояния, классы состояний.
9.1. Основные понятия
Основные понятия. Одним из наиболее важных обобщений последовательностей независимых случайных величин являются последовательности случайных величин, связанных в цепь Маркова.
Определение 9.1. Пусть дана последовательность случайных величин {ξn }, определенных на одном вероятностном пространстве и
принимающих не более чем счетное множество значений. Последовательность случайных величин {ξn } образует цепь Маркова (связана в цепь Маркова), если для любого n и любой последовательности значений {εi } имеет место равенство
P (ξn = εj /ξ0 = εi0 , . . . , ξn−2 = εin−2 , ξn−1 = εin−1 ) = P (ξn = εj /ξn−1 = εin−1 )
(марковское свойство). (50)
51
9. Последовательности зависимых случайных величин, образующих цепи Маркова
Случайную величину ξn можно интерпретировать как состояние цепи Маркова на n-ом шаге. Соответственно цепь Маркова можно представить как
некоторую систему с возможными состояниями {ε0 , ε1 , ε2 , . . . }, которая меняет свое состояние в целочисленные моменты времени, новое состояние
зависит только от предыдущего (при фиксированном настоящем, будущее
не зависит от прошлого).
Пример 9.1. Состояние системы:
0 – не учится в колледже,
1 – учится на первом курсе,
2 – учится на втором курсе,
3 – закончил колледж.
Во многих задачах, связанных с изучением цепей Маркова, множество значений случайных величин (εi , i = 0, 1, . . . ), можно отождествить
с подмножеством множества натуральных чисел (номерами состояний цепи). Пусть в результате эксперимента может наступить какое–либо из не
более, чем счетного множества исходов (ε0 , ε1 , . . . ). Исход n–го эксперимента обозначим Xn . Если в n-ом испытании осуществится исход εj , будем
записывать это так: Xn = j. Тогда определение (50) примет вид: последовательность целочисленных случайных величин {Xn } образует цепь Маркова,
если
(n)
P (Xn = j/X0 = i0 , . . . , Xn−2 = in−2 , Xn−1 = i) = P (Xn = j/Xn−1 = i) = Pij ,
(n)
то есть вероятность Pij — это вероятность перехода из состояния с номером «i» в состояние с номером «j» на n-ом шаге.
(n)
Определение 9.2. Матрица P (n) с элементами Pij называется матрицей вероятностей перехода на n-ом шаге.
Итак, для цепи Маркова используются следующие интерпретации:
1) система с возможными состояниями;
2) последовательность зависимых случайных величин;
3) последовательность зависимых испытаний.
Определение 9.3. Марковская цепь {Xn } называется однородной,
(n)
(n)
если вероятности Pij не зависят от n. (Pij — вероятность перехода из εi в εj на n-ом шаге). В этом случае матрица P (n) = P и называется матрицей переходных вероятностей.
P
В матрице переходных вероятностей P любой элемент pij > 0, nj pij = 1
для любого i. Такие матрицы называются стохастическими.
52
9. Последовательности зависимых случайных величин, образующих цепи Маркова
9.2. Примеры цепей Маркова
Пример 9.2. (Блуждание с поглощением) Рассмотрим блуждание частицы по целым точкам отрезка [0, a], a > 1. Если 0 < k < a, то из
точки k с p = 1/2 можно перейти в (k − 1) или (k + 1). Если k = 0 или
k = a, то система остается в этом состоянии с вероятностью 1.


1 0 0 ··· 0
 1 0 1 · · · 0
2
 2

1

0
0
·
·
·
0
P =
2


· · · · · · · · · · · · 
0 0 0 ··· 1
Пример 9.3. (Блуждание с отражением) Рассмотрим блуждание частицы по целым точкам отрезка [0, a], a > 1. Если 0 < k < a, то из
точки k с p = 1/2 можно перейти в (k − 1) или (k + 1). Из точки k = 0
система с p = 1 переходит в точку a, а из точки k = a с p = 1 в точку
0.


0 0 0 ··· 1
 1 0 1 ··· 0 
2

 2
1

0
0
·
·
·
0
P =
2


· · · · · · · · · · · · · · · 
1 0 0 ··· 0
Пример 9.4. (По условиям примера 9.1.) Пусть студента в конце года могут: исключить с вероятностью r, оставить на второй год с
вероятностью s, перевести на следующий курс с вероятностью p;
вероятность поступления q, вероятность выпуска p. Тогда матрица переходных вероятностей имеет вид


1−q q 0 0
 r
s p 0


P =
r
0 s p
0
0 0 1
Пример 9.5. (Задача о наилучшем выборе) Предположим, имеется
совокупность из m предметов, и задача состоит в том, чтобы выбрать наилучший. Но, осмотрев и отвергнув неподходящий предмет, к нему нельзя больше возвращаться (ситуация «разборчивой
невесты»). Будем фиксировать номера предметов, которые лучше
всех осмотренных ранее. Получим цепочку номеров, например, такую:
+ − − + − + − − − + − − + − − − −
1 2 3 4 5 6 7 8 9 ... ... ... ... ... ... ... ...
53
9. Последовательности зависимых случайных величин, образующих цепи Маркова
Введём состояние εi , которое означает, что i-ый по счёту предмет
лучше всех предыдущих. Состояние εm+1 означает, что найден лучший среди всех предмет. В рассмотренном примере последовательность состояний:
ε1 → ε4 → ε6 → ε10 → ε13 .
Найдём pij . Очевидно, pij = 0 при i > j, pm+1,m+1 = 1. Надо найти pij
при i < j 6 m.
p(εi , εj )
p(εi /εj ) =
p(εi )
число цепочек из i элементов, на конце которых стоит наилучший элемент
.
p(εi ) = p
число всех цепочек
p(εi , εj ) = (два элемента фиксированы) =
(j − 2)!
1
=
.
j!
j(j − 1)
i
, i < j 6 m.
j(j − 1)
p(εm+1 , εi ) 1/m
i
p(εm+1 /εj ) =
=
= .
εj
1/i
m
p(εi /εj ) =
Рассчитаем вероятности для m = 3.
p12 =
1
1
1
1
1
= , p13 =
= , p14 = ,
2(2 − 1) 2
3·2 6
3
2
1
1
3
= , p24 = , p34 = = 1.
3 · 2 13
13
3
Вероятности переходов задаются таблицей:


Состояния 1 2 3 4

1
0 12 16 13 


1 2 

2
0
0

3 3 

3
0 0 0 1
4
0 0 0 1
p23 =
Переходы за k шагов. Рассмотрим изменение состояния системы за k
шагов. Введем обозначение
pij (k) = p(xk = j/x0 = i).
При k > 1 по формуле полной вероятности получаем
X
X
pij (k) =
p(xk−1 = s/x0 = i)psj =
pis (k − 1)psj .
s
s
54
(51)
9. Последовательности зависимых случайных величин, образующих цепи Маркова
Рассмотрим матрицу P (k) = (pij (k)). Тогда равенство (51) можно записать
как
P (k) = P (k − 1) · P.
Отсюда P (2) = P 2 , . . . , P (3) = P 3 , . . . , P (k) = P k .
Пример 9.6. Рассмотрим последовательность независимых целочисленных величин. Они образуют цепь Маркова. При этом

 

p1 p2 . . . pn
p1 p2 . . . pn
 p1 p2 . . . pn   p1 p2 . . . pn 

 
P2 = 
. . . . . . . . . . . . · . . . . . . . . . . . .
p1 p2 . . . pn
p1 p2 . . . pn
P
P 
 P


p1 P pi p2 P pi . . . pn P pi
p1 p2 . . . pn
p1 pi p2 pi . . . pn pi  P pi =1  p1 p2 . . . pn 
 = 

=
 ...

. . . . . . . . . . . . = P.
.
.
.
.
.
.
.
.
.
P
P
P
p1 pi p2 pi . . . pn pi
p1 p2 . . . pn
Очевидно, и P k = P , то есть матрица переходных вероятностей за
k шагов совпадает с матрицей P .
9.3. Существенные состояния
Определение 9.4. Состояние εi называется несущественным, если
существует такое состояние εj и целое число t0 > 0, что pij (t0 ) > 0
и pji (t) = 0 для любого целого t. В противном случае εi называется
существенным состоянием.
Определение 9.5. Существенные состояния εi и εj называются сообщающимися, если существуют такие целые числа t > 0 и s > 0, что
pij (t) > 0 и pji (s) > 0.
Пример 9.7.


0 1/2 1/2 0
1/2 0
0 1/2

P =
 0
0 1/2 1/2
0
0 1/2 1/2
Состояние ε1 — несущественное, так как из ε1 можно попасть в ε3 ,
а из ε3 уже только в ε3 , ε4 . Состояние ε2 — несущественное, так как
p24 > 0, p42 (t) = 0. Состояния ε3 и ε4 — существенные и сообщающиеся, так как p34 = p43 > 0.
55
10. Классификация состояний в неразложимой цепи Маркова
9.4. Классы состояний
Рассмотрим некоторую однородную цепь Маркова. Выделим класс S 0
всех несущественных состояний. Пусть теперь εi — какое-либо существенное состояние. Обозначим S i класс состояний, включающий S i и все состояния, с ним сообщающиеся. Если εj ∈ Si , то εj существенно сообщается с
εi , то есть εi ∈ Sj , следовательно Si = Sj , таким образом, всё множество
существенных состояний разбивается на непересекающиеся классы сообщающихся состояний S 1 , S 2 , . . . . Если система попала в состояние из класса S i , то она уже не выйдет из этого класса. Если класс S i состоит из одного
состояния εi , то это состояние называется поглощающим. Это определение
можно было дать и в другом виде:
Определение 9.6. Существенные несообщающиеся состояния называются поглощающими.
Определение 9.7. Цепь Маркова, состоящая из одного класса существенных сообщающихся состояний, называется неразложимой.
Если цепь содержит более одного класса, то она называется разложимой.
В разложимой цепи можно перенумеровать состояния так, чтобы сначала
шли состояния из S 0 , затем из S 1 , и т.д. Тогда матрица перехода вероятностей P будет иметь вид:
S0 S1
S2
S3
S 0 [/] [/]
[/]
[/]
S 1 [0] [///] [0]
[0]
2
S [0] [0] [///] [0]
. . . [0] [0]
[0] [///]
...
[/]
[0]
[0]
[0]
здесь [///] — стохастические подматрицы, [0] — содержат только 0.
10. Классификация состояний в неразложимой цепи
Маркова
План лекции:возвратные, нулевые, периодические состояния,
возвращение в состояние, симметричное случайное блуждание,
теорема солидарности.
10.1. Возвратные, нулевые, периодические состояния
Введём обозначения: fj (n) = p(Xn = j, Xn−1 6= j, . . . , X1 6= j/X0 =
j). (Условная вероятность fj (n) есть вероятность того, что система, выйдя
56
10. Классификация состояний в неразложимой цепи Маркова
из j-го состояния, впервые вернётся в него через n шагов).
Fj =
∞
X
fj (n).
n=1
(Fj есть вероятность того, что система, выйдя из j-го состояния, вновь
когда-нибудь в него вернётся).
Определение 10.1. Состояние εj называется возвратным, если Fj =
1 и невозвратным, если Fj < 1.
Определение 10.2. Состояние εj называется нулевым, если Pjj −→ 0
n→∞
и ненулевым, если Pjj 6 −→ 0.
n→∞
Определение 10.3. Состояние εj называется периодическим с периодом dj , если возвращение в εj возможно только за число шагов,
кратное dj > 1 и dj есть наибольшее число, обладающее этим свойством. Другими словами, dj = НОД(n | Pjj (n) > 0). В противном случае состояние называется апериодическим.
Замечание. Если n 6= 0(mod dj ), то Pjj (n) = 0 и fj (n) = 0.
Пример 10.1. Блуждание по одномерной целочисленной решётке.
Точка движется по целым точкам прямой и за один шаг может равновероятно или сместиться на единицу вправо, или остаться на месте.
1
1
1
Pj,j+1 = ; Pj,j = ; fj (1) = p(x1 = j/x0 = j) = ;
2
2
2
fj (2) = p(x2 = j, x1 6= j/x0 = j) = 0.
P
1
Для n > 2 также fj (n) = 0. Таким образом, Fj =
n fj (n) = 2 < 1,
n
значит все состояния невозвратные, Pjj (n) = 21 −→ 0, то есть все
n→∞
состояния нулевые.
Пример 10.2. Пусть Pj,j+1 = 12 ; Pj,j−1 = 21 (точка движется или влево
или вправо на единицу). Pjj (2k + 1) = 0, значит цепь периодична с
периодом dj = 2.
10.2. Возвращения в состояние
Рассмотрим производящую функцию числовой последовательности
{an }, n = 0, 1, . . .
a(z) =
∞
X
an z n ,
z — комплексное, |z| < 1.
n=0
57
10. Классификация состояний в неразложимой цепи Маркова
Если |an | < c,
a(z) сходится и является аналитической функцией. ОбоPто
∞
значим Pj = n=0 Pjj .
Теорема 10.1. Состояние εj возвратно тогда и только тогда, когда
P
Pj = ∞. Если состояние εj невозвратно, то Fj = 1+Pj j .
P
Доказательство. Напомним, что Fj = ∞
n=1 fj (n). По формуле полной вероятности
Pjj (n) = Fj (1)Pjj (n − 1) + Fj (2)Pjj (n − 2) + . . . + Fj (n)Pjj (0).
(52)
Рассмотрим производящие функции последовательностей {Pjj (n)} и
{Fj (n)}.
∞
∞
X
X
n
Pj (z) =
Pjj (n)z и Fj (z) =
fj (n)z n .
n=1
n=1
Pjj и Fj — вероятности, следовательно, ограничены, значит, оба ряда сходятся. Умножим
(52) на z n и просуммируем по n от 0 до ∞, полученную
P∞
функцию n=1 Pjj (n)z n обозначим Pj (z).
·z
Pjj (1) = fj (1)
Pjj (2) = fj (1)Pjj (1) + fj (2)
·z 2 +
Pjj (3) = fj (1)Pjj (2) + fj (2)Pjj (1) + fj (3) ·z 3
∞
P
Pjj (n)z n = fj (1)z(1 + zPjj (1) + z 2 Pjj (2) + . . . )
Pj (z) =
n=1
+fj (2)z 2 (1 + Pjj (1)z + . . . ) + . . .
∞
P
= (fj (1)z + fj (2)z 2 + · · · + fj (n)z n + . . . )(1 +
Pjj (n)z n )
=
∞
P
fj (n)z n · (1 +
n=1
∞
P
n=1
Pjj (n)z n ) = Fj (z) · (1 + Pj (z))
,
n=1
таким образом Pj (z) = Fj (z)(1 + Pj (z)). Отсюда
Fj (z) =
Pj (z)
;
1 + Pj (z)
Pj (z) =
Fj (z)
;
1 − Fj (z)
Pj = lim Pj (z);
z↑1
Fj = lim Fj (z).
z↑1
Пусть Fj = 1. Тогда Fj (z) ↑ 1 =⇒ Pj (z) → ∞ и Pj = ∞. Пусть Pj = ∞.
Pj (z)
Тогда Pj (z) ↑ ∞ и Fj (z) → 1 => Fj = 1. Если же Fj < 1, то Fj =
.
1 + Pj (z)
P
Замечание. Pj =
Pjj можно рассматривать как среднее число попаданий
в состояние εj .
∞
X
n=1
Pjj (n) =
∞
X
Pjj (n)Ij (n). (Ij (n) — единичная функция).
n=1
58
10. Классификация состояний в неразложимой цепи Маркова
Следствие 10.1. Невозвратное состояние всегда является нулевым.
Доказательство. Состояние является
невозвратным тогда и только тогда,
P
когда Pj < ∞. Поскольку Pj =
Pjj (n) < ∞, общий член ряда Pjj −→ 0,
n→∞
т.е. невозвратное состояние является нулевым, ненулевое состояние является возвратным.
Таким образом, можно классифицировать состояния следующим образом.
Классификация по асимптотическим свойствам вероятностей
Pjj (n):
а) невозвратные,
б) возвратные нулевые,
в) ненулевые.
Классификация по арифметическим свойствам вероятностей Pjj (n):
а) периодические,
б) апериодические.
10.3. Симметричное случайное блуждание
Пример 10.3. Рассмотрим одномерное случайное блуждание по целоp
q
численной решетке (−→ ←−). Симметричное одномерное случайное
блуждание (p = q = 1/2) возвратно.
Доказательство.
P00 (2n + 1) = 0,
P00 (2n) =
(2n)! n n
p q ,
n!n!
n = 0, 2, . . .
√
n −n 2πn
По формуле Стирлинга, n! ≈ n e
,
p
(2n)2n e−2n 2π2np2n q 2n
4n
1
√
= √ pn q n 6 √ .
P00 (2n) =
πn
πn
nn nn e−2n 2πn2πn
X 1
√
= ∞.
Состояние возвратно при p = q = 21 , так как
πn
Пример 10.4. Рассмотрим двумерное случайное блуждание по целочисленной решетке на плоскости. Симметричное двумерное случайное блуждание возвратно.
59
10. Классификация состояний в неразложимой цепи Маркова
Доказательство. Рассмотрим все траектории: из 0 в 0, состоящие из i перемещений вправо, i влево, j вверх и j вниз, 2i + 2j = 2n. Вероятность за
один шаг переместиться в любом из четырех направлений равна 14 .
P00 (2n) =
i+j=n
X
i,j
(2n)!
i!i!j!j!
2n
1
, n = 1, 2, 3, . . . ; P00 (2n + 1) = 0, n = 0, 1, . . .
4
(53)
2
Умножим числитель и знаменатель в (53) на (n!) , получим
2n
n
X
1
n
P00 (2n) =
C2n
(Cni )2 ,
4
i=0
P
n
; докажем это. Рассмотрим равенствоP
(1 + x)2n = (1 +
но ni=0 (Cni )2 = C2n
n
n
=
Cnk Cnn−k , но
x)n (1 + x)n и приравняем коэффициенты при xn : C2n
k=0
2n n 2
Cnk = Cnn−k . √
Таким образом, P00 (2n) = 14
(C2n ) и по формуле Стирлинга
n −n
(n! ≈ n e
2πn), тогда
√
2n
1
((2n)2n e−2n 2π2n)2
4πn
1
√
P00 (2n) ≈
=
=
,
4
(2πn)2
πn
nn e−n 2πn)4
P
P00 (2n) = ∞, состояние возвратно.
Пример 10.5. Симметричное случайное блуждание по трём измерениям невозвратно.
Доказательство.
P00 (2n+1) = 0,
P00 (2n) =
X
(2n)!
i!i!j!j!(n − i − j)!(n − i − j)!
2n
1
,
6
n = 0, 1, . .
Умножим числитель и знаменатель на (n!)2 , получим:
2 n
1 n X
n!
1
P00 (2n) = 2n C2 n
.
2
i!j!(n − i − j)!
3
n
n!
Cn n 1
Если max
6 Cn , то P00 (2n) 6 2n C2n
. Мы использоi!j!(n − i − j)!
2
3
вали то, что
n X
i j n−i−j
X
n!
1
n!
1
1
1
=
= 1.
i!j!(n − i − j)! 3
i!j!(n − i − j)! 3
3
3
n
Max Cn достигается (при больших n) при i = j ∼ , тогда
3
n!
2n!
Cn 2 ,
P00 (2n) 6
n 2 .
n
2n
n
!
n!2
3
3 ! 3
60
10. Классификация состояний в неразложимой цепи Маркова
Применим,
как выше, формулу Стирлинга, и получим, что P00 (2n) ≈
P
1
O
. Тогда P00 (2n) < ∞, значит состояние невозвратное.
3
n2
Теорема 10.2. Симметричное случайное блуждание возвратно в пространствах одного и двух измерений и невозвратно в пространстве
трёх и более измерений.
Доказательство.
Лемма 10.1. Одномерное случайное блуждание образует возвратную цепь Маркова тогда и только тогда, когда p = q = 1/2.
Доказательство. В примере 1 были получены вероятности
P00 (2n + 1) = 0,
4n pn q n
.
P00 (2n) = √
πn
Тогда при p = q = 1/2
1
P00 (2n) = √ ,
πn
X
P00 (2n) < ∞.
n
При p 6= q, n P00 (2n) < ∞, т.к. (4pq)n = αn , α < 1, а ряд
признаку Даламбера.
P
P
n
√α
πn
< ∞ по
Для одномерного случая (k = 1) утверждение теоремы доказано в
лемме. Рассмотрим теперь двумерный случай (k = 2). Блуждание можно
представить в виде суммы двух независимых компонент: x(n) = (x1 (n), 0) +
(0, x2 (n)), где xi (n)- одномерные последовательности. Тогда x(n + 1) =
x(n) + ξn , где ξn принимает четыре значения: (±1, ±1).
P00 (2n) = P (x(2n) = (0, 0)/x(0) = (0, 0)) =
P (x1 (2n) = 0/x1 (0) = 0) · P (x2 (2n) = 0/x2 (0) = 0)
X 1
1
1
1
√
√
=
=
=⇒
= ∞,
πn
πn πn πn
— состояние возвратно.
P
1
При k = 3: P00 (2n) = O
,
n P00 (2n) 6 ∞, состояние невозвратно.
(πn)3/2
P
1
При k > 3: P00 (2n) = O
,
n P00 (2n) 6 ∞, состояние невозвратно.
(πn)k/2
Несимметричное случайное
Pблуждание (при p 6= q) невозвратно для любого
n
n
k (т.к. (4pq) = α , α < 1, n P00 (2n) 6 ∞).
61
10. Классификация состояний в неразложимой цепи Маркова
10.4. Теорема солидарности
Теорема 10.3. В неразложимой марковской цепи все состояния принадлежат одному типу: если хоть одно возвратно, то и все возвратны; если хоть одно нулевое, то и все нулевые; если хоть одно периодическое с периодом d, то и все периодичны с периодом d.
Доказательство. Пусть εk , δj — два разных состояния и пусть существуют
такие числа s, t, что Pkj (s) > 0, Pjk (t) > 0. По формуле полной вероятности
X
Pkl (s)Plu (n)Puk (t)
Pkk (s + t + n) = Pkk (s + n + t) =
l,u
=⇒ Pkk (s + t + n) > Pkj (s)Pjj (n)Pjk (t)
(54)
Pjj (s + t + n) = Pjj (t + n + s) > Pjk (t)Pkk (n)Pkj (s).
(55)
Аналогично,
Обозначим Pkj (s) = A, Pjk (t) = B. Тогда
Pkk (s + t + n) > ABPjj (n)
(56)
Pjj (t + n + s) > ABPkk (n)
1
Pkk (s + t + n).
Pjj (n) 6
AB
Обозначим s + t + n = u, тогда n = u − s − t.
(57)
Pjj (u) > ABPkk (u − s − t)
(59)
(58)
Равенство (59) справедливо для любых u, не меньших n, поэтому справедливо и для n:
Pjj (n) > ABPkk (n − s − t)
(60)
Объединим (58) и (60):
1
Pkk (n + s + t).
AB
Пусть εk — нулевое, тогда Pkk (n) −→ , но тогда и Pjj (n) −→ , следовательно,
n→∞
n→∞
δj — нулевое.
P
Пусть εk — возвратное, т.е. ∞
n=1 Pkk (n) = ∞. Тогда
ABPkk (n − s − t) 6 Pjj (n) 6
∞
X
Pjj (n) > AB
n=s+t+1
∞
X
∞
X
n=1
Pkk (n − s − t) =
n=s+t+1
=⇒
∞
X
n=s+t+1
Pjj (n) = ∞ =⇒
Pkk (n − s − t)
∞
X
Pkk (u) = ∞
u=1
∞
X
Pjj (n) = ∞ =⇒ δj — возвратное.
n=1
62
10. Классификация состояний в неразложимой цепи Маркова
3) Пусть εk — периодичное состояние с периодом dk , т.е. Pkk (u) > 0,
следовательно, существует такое b, что u = bdk .
Pkk (t + s) > Pkj (s)Pjk (t) = AB > 0 =⇒ t + s = adk .
Рассмотрим δj . Если для некоторого n Pjj (n) > 0, то Pkk (n + t + s) > 0 =⇒
n + t + s = cdk . n + adk = cdk =⇒ n = (c − a)dk , значит цепь периодическая
с периодом dj , где dj > dk . Аналогично можно показать, что dk > dj , то есть
dk = dj .
Если состояния цепи Маркова периодичны с периодом d > 1, то цепь
называется периодической, в противном случае — апериодической.
Следствие.Если хотя бы одно из состояний неразложимой цепи Маркова является апериодическим, то цепь Маркова — апериодическая.
Изучение периодических цепей в значительной мере может быть сведено к изучению апериодических.
Теорема 10.4. Если цепь Маркова периодическая с периодом d, то
множество состояний разбивается на d подклассов ψ0 , ψ1 , . . . , ψd−1
таких, что с вероятностью 1 за один шаг система переходит из
класса ψn в ψn+1 , из класса ψd−1 система переходит в ψ0 .
Доказательство. Выберем любое состояние, например ε1 . Построим с помощью этого состояния подклассы ψ0 , ψ1 , . . . , ψd − 1 следующим образом:
εi ∈ ψα , 0 6 α 6 d − 1, если существует целое число k > 0 такое, что
P1i (kd + a) > 0. Покажем, что никакое состояние не может принадлежать
сразу двум подклассам. Для этого достаточно доказать, что если εi ∈ ψα и
для некоторого s P1i (s) > 0, то s = α (mod d). Действительно, существует
t1 > 0 такое, что Pi1 (t1 ) > 0. Тогда P11 (kd + α + t1 ) > P1i (kd + α)Pi1 (t1 ) > 0.
Кроме этого, P11 (s + t1 ) > P1i (s)Pi1 (t1 ) > 0. Значит,
kd + α + t1 = ad,
s + t1 = bd
=⇒ kd + α + bd − s = ad,
α = s + d(a − b − k) =⇒ α ≡ s
(mod d).
Т.к. изSсостояния ε1 можно с положительной вероятностью попасть в любое
εi , то α ψα содержит все множество состояний. Докажем теперь, что система из ψα за один шаг с вероятностью 1 переходит в ψα+1 P
(α + 1 понимается по модулю d). Для этого надо показать, что для εi ∈ ψα , εj ∈ψα+1 Pij = 1.
Достаточно получить, что Pij = 0, если εi ∈ ψα , εj ∈
/ ψα+1 . От противного,
пусть εi ∈ ψα , εj ∈
/ ψα+1 , Pij > 0. Тогда
P1j (kd + α + 1) > P1i (kd + α)Pij (1) > 0,
так как Pij (1) = Pij , но тогда εj ∈ ψα+1 — противоречие.
63
11. Эргодичность и стационарные распределения
Из теоремы видно, что матрица периодической цепи будет иметь вид


0 /// 0
0
 0
0 /// 0 


 0
0
0 ///
/// 0
0
0
где отличны от 0 лишь элементы заштрихованных клеток.
Из периодической цепи Маркова с периодом d можно образовать d
новых цепей Маркова. Состояниями α-ой цепи будут состояния из подкласса ψα . Вероятности перехода задаются
равенствами Pijα = Pij (d). В силу
P
только что доказанной теоремы εj ∈ψα+1 Pij = 1. Новая цепь уже не будет
иметь подклассов.
11. Эргодичность и стационарные распределения
План лекции: эргодические состояния и стационарные распределения, эргодическая теорема, алгебраический метод нахождения стационарного распределения.
11.1. Эргодические состояния
Определение 11.1. Состояние εj , для которого существует
lim Pij (n) > 0, не зависящий от i, называется эргодическим.
n→∞
Смысл эргодичности: существуют вероятности попадания системы в
состояние ξj через большой промежуток времени, причем они не зависят от
начального состояния системы. Фактически это означает, что вероятности
состояний по мере увеличения со временем практически перестают изменяться, а система, описываемая соответствующей цепью, переходит в стационарный режим функционирования.
Определение 11.2. Цепь Маркова называется эргодической, если
для любых i, j существует limn→∞ Pij (n) = Uj > 0 (то есть все состояния эргодические).
Определение 11.3. Распределение вероятностей {ak } называется
стационарным распределением
цепи Маркова, если для любого n
P
справедливо: aj = j ai pij (n).
Пример 11.1. Пусть дана однородная
цепь
Маркова с матрицей пе1/2 1/2
реходных вероятностей P =
. Стационарным распреде1
0
лением для неё является (a1 , a2 ) = (2/3, 1/3). Проверим, что aj =
64
11. Эргодичность и стационарные распределения
P
ai pij (1).
1/2 1/2
(2/3, 1/3) ·
= (2/3 · 1/2 + 1/3 · 1, 2/3 · 1/2 + 1/3 · 0) = (2/3, 1/3).
1
0
j
Это верно и для n = 2, 3, 4:
2 1/2
1/2
1/2
1/2
1/2
1/2
3/4
·
=
P2 =
=
1
0
1
0
1
0
1/2
3/4 1/4
3/4 1/4
(2/3, 1/3) ·
=
1/2 1/2
1/2 1/2
2 1/2
1/2
3/4
1/4
1/2
1/2
5/8
P3 =
=
·
=
1
0
1/2 1/2
1
0
3/4
5/8 3/8
5/8 3/8
=
(2/3, 1/3) ·
3/4 1/4
3/4 1/4
1/4
1/2
3/8
1/4
n
Замечание
n11.1. Можно найти общий вид матрицы P (n) = P =
1/2 1/2
и непосредственно убедиться в стационарности рас1
0
пределения, а также найти пределы элементов матрицы P n и убедиться, что lim Pj1 (n) = 2/3, limn→∞ Pj2 (n) = 1/3.
n→∞
Замечание
11.2. Если для однородной цепи Маркова справедливо:
P
aj = j ai pij (n), то {ak } — стационарное распределение.
Пример 11.2. Пусть дана однородная эргодическая
цепь Маркова с
1/3 2/3
матрицей переходных вероятностей P =
. Найти стаци1/4 3/4
онарное распределение.
J Ищем решение уравнения (a1 , a2 ) · P = (a1 , a2 ).
1/3 2/3
(a1 , a2 ) ·
= (a1 , a2 ),
1/4 3/4
1/3a1 + 1/4a2 = a1 , 2/3a1 + 3/4a2 = a2 , а также a1 + a2 = 1. Решая систему,
находим: a1 = 3/11, a2 = 8/11. I
Выясним общие условия существования стационарного распределения.
Теорема 11.1. Неразложимая апериодическая цепь Маркова принадлежит одному из следующих классов:
65
11. Эргодичность и стационарные распределения
а) или все состояния невозвратные, или все нулевые. В этом случае для любых j, k Pjk (n) −→ 0 и не существует стационарного расn→∞
пределения;
б) или все состояния эргодические, т.е., lim Pjk (n) = Uk > 0. В
n→∞
этом случае {Uk } — стационарное распределение, и не существует
никаких других стационарных распределений.
P
Доказательство.
Рассмотрим
случай
б).
Заметим,
что
n Un 6 1, так как
P
для любого n: j Pjk (n) = 1 поэтому «обрезанная» сумма не превышает 1,
и это верно и в пределе. Так как lim Pjk (n) = Uk , для любого N получаем,
n→∞
что U1 + · · · + UN 6 1. Далее, для любых j, k, m, n справедливо:
X
X
Pjk (m + n) =
Pjν (m)Pνk (n).
ν
P
P
Положим n = 1: Pjk (m+1) = ν Pjν (m)Pνk . Если мы сужаем множество
индексов в правой части, то справедливо неравенство:
X
X
X
Pjk (m + 1) =
Pjν (m)Pνk >
Pjν (m)Pνk ,
ν
ν∈A
где A = 1, 2, . . . , N . Пусть теперь m → ∞. По теореме о мажорируемой
сходимости можно переходить к пределу. Поскольку
lim Pjk (n) = Uk ,
lim Pjν (n) = Uν ,
n→∞
n→∞
P
то Uk > ν∈A Uν Pνk , что верно для любого
A, то есть, для любого N , и в
P
пределе при N → ∞ получим Uk > Pν Uν Pνk . Докажем, что имеет место
равенство.
Если
P
Pдля каких-то k Uk > ν Uν Pνk , то, просуммировав, получим: k Uk > ν Uν , однако они равны, так как состоят из одних и тех же
слагаемых. Таким образом,
X
Uj Pjk .
(61)
Uk =
j
Следовательно, это стационарное распределение.
Докажем единственP
ность. Пусть {Vk } удовлетворяет (61), Vk = j Vj Pjk . Умножим на Pkj =
Pkj (1),
X
Vk Pkj =
Vi Pik Pkj ,
i
и просуммируем по k:
X
k
Vk Pkj =
X
i
66
Vi
X
k
Pik Pkj .
11. Эргодичность и стационарные распределения
P
P
P
Но k Vk Pkj (n) = Vj , a i Vi Pik Pkj = Pij (2). Получили: Vj = i Vi P ij(2).
Опять умножим обе части на Pjk = Pjk (1),
X
Vj Pjk =
Vi Pij (2)Pjk ,
i
просуммируем по j,
X
X X
Vj Pjk =
Vi
Pij (2)Pjk ,
j
i
Vk =
j
X
Vi Pik ,
(62)
i
P
и так далее
по
индукции.
Пусть
V
k =
i Vi Pik (n − 1), покажем, что
P
P
Vk =P i Vi Pik (n), Vk Pkj (n) =
i Vi Pik (n − 1)Pkj , просуммируем по k:
Vj = i Vi Pij (n) для любого n. Заменим индекс j на k, получим:
X
Vk =
Vi Pik (n).
i
Пусть n → ∞, с учетом того, что lim Pik (n) = Uk , в пределе получаем
n→∞
Vk = (V1 + . . . ), Uk = Uk (так как сумма вероятностей стационарного распределения равна единице). Таким образом, стационарное распределение
{Vk } совпадает с {Uk }, то есть, стационарное распределение единственно.
В случае а), если все состояния или невозвратные, или нулевые, предположим, что распределениеP{Vk } стационарно. Тогда, как показано выше, имеет
место уравнение Vk = i Vi Pik (n). Но Pik −→ 0 — противоречие. Поэтому
n→∞
стационарное распределение для неприводимой цепи может существовать
только в эргодическом случае.
Замечание 11.3. Поскольку показано, что lim Pij (n) > 0, не зависяn→∞
щий от i, существует для любого возвратного состояния εj , не являющегося ни нулевым, ни периодическим, то термин «эргодическое
состояние» — это синоним для «возвратное, не нулевое, не периодическое состояние»
11.2. Эргодическая теорема
Теорема 11.2 (Критерий эргодичности). 9 Пусть ξ — марковская
цепь, {Pij } — переходные вероятности. Для того, чтобы для всех i, j
существовали независящие от i пределы
lim Pij (n) = Pj > 0,
n→∞
необходимо и достаточно выполнение двух условий:
9
Данный критерий эргодичности и носит название «Эргодическая теорема».
67
(63)
11. Эргодичность и стационарные распределения
1) цепь неразложима и непериодична;
2) существует состояние ε0 такое, что время ξ возвращения в
ε0 имеет конечное математическое ожидание. Числа {Pj } являются
решением (единственным) системы уравнений:
P
Pj P
= ∞
k Pk Pkj , j = 0, 1, . . .
∞
j Pj = 1.
Замечание 11.4. Числа Pj называются предельными (или финальными) вероятностями. Если они существуют, цепь, как известно,
называется эргодической. Набор {Pj } задает стационарное распределение.
Замечание 11.5. Таким образом, при выполнении условий 1), 2) цепь
является эргодической, то есть существуют вероятности попадания системы в состояние εj через большой промежуток времени, причем они не зависят от начального состояния системы.
Замечание 11.6. Для эргодической цепи предельные вероятности
совпадают со стационарным распределением.
Применим эргодическую теорему к конечным цепям Маркова.
Теорема 11.3. Неразложимая и апериодическая цепь Маркова с конечным числом состояний эргодична.
Доказательство. Рассмотрим цепь Маркова с конечным числом состояний. Если она является неразложимой и непериодической, то она эргодична, поскольку условие 2) эргодической теоремы: «существует состояние ε0
такое, что время ξ возвращения в ε0 имеет конечное математическое ожидание» всегда выполнено. Для доказательства этого факта достаточно показать, что существуют постоянные c > 0 и q < 1 такие, что для времени
возвращения в любое фиксированное состояние справедливы неравенства
P (ξ > n) < cq n .
Приведем без доказательства еще одно часто применимое достаточное условие эргодичности.
Теорема 11.4 (Эргодическая теорема Маркова). Для эргодичности
однородной цепи Маркова с матрицей переходных вероятностей P
достаточно, чтобы существовало n ∈ N, при котором все элементы
матрицы n строго положительны.
68
11. Эргодичность и стационарные распределения
11.3. Алгебраический метод нахождения стационарного распределения
Поскольку для эргодической цепи предельные вероятности совпадают со стационарным распределением, важно уметь находить стационарные
распределения. Рассмотрим конечную цепь Маркова с n состояниями, и
пусть P — матрица переходных вероятностей, а E — единичная матрица
размерности n.
Определение 11.4. Матрица λE − P называется характеристической матрицей данной цепи Маркова, а корни уравнения det(λE −
P ) = |λE − P | = 0 называются характеристическими числами
матрицы .
Из теории решения систем линейных уравнений известно, что для стохастической матрицы одно из характеристических чисел всегда равно 1, а
остальные по модулю не превосходят 1. Если цепь Маркова эргодична (существуют пределы элементов), то все остальные характеристические числа
по модулю строго меньше 1. Главные миноры Pjj матрицы λE − P при λ = 1
строго положительны. Тогда предельные вероятности вычисляются по формулам:
Pjj (1)
.
pj = P
n
Pll (1)
l=1
Пример 11.3.
0, 7 0, 3
P =
.
0, 4 0, 6
J
λE − P = |λE − P | = (λ − 0, 7) · (λ − 0, 6) − 0, 42 = λ2 − 1, 3λ + 0, 3 = 0.
λ1 = 1, λ2 = 0, 3.
P11 (1) = 1 − 0, 6 = 0, 4,
0, 4 4
P11 (1)
=
= ,
p1 =
P11 (1) + P22 (1) 0, 7 7
P22 (1) = 1 − 0, 7 = 0, 3.
P22 (1)
0, 3 3
p2 =
=
= .
P11 (1) + P22 (1) 0, 7 7
I
Замечание 11.7. Практическое нахождение предельных вероятностей таким способом возможно в общем случае лишь для конечных
цепей Маркова.
69
12. Введение в в общую теорию случайных процессов
12. Введение в в общую теорию случайных процессов
План лекции: случайные функции и случайные процессы, конечномерные распределения, математическое ожидание и ковариационная матрица, ковариационные функции.
12.1. Случайные функции и случайные процессы
Будем рассматривать функцию ξ = ξ(t, ω) двух переменных t, ω, где t
имеет совокупность значений T , а ω ∈ Ω. Пространство элементарных событий Ω предполагается измеримым10 . Переменную t можно рассматривать
как параметр.
Замечание 12.1. Совокупность значений T в общем случае является
произвольным множеством.
Определение 12.1. Пусть (Ω, F, P) — вероятностное пространство.
Случайной функцией ξ называется измеримое отображение ξ =
ξ(t, ω, ), отображающее11 Ω в Rn , и зависящее от параметра t.
Эквивалентным определением является следующее:
Определение 12.2. Случайный процесс есть зависящее от параметра t семейство случайных величин {ξ(t, ω), t ∈ T }, определенных
на (Ω, F, P).
Если T = N, то вместо случайной функции говорят о случайной последовательности.
Часто параметр t понимается как время. Тогда вместо термина «случайная функция» используют термин «случайный процесс» или «стохастический процесс»12 . Таким образом, случайный процесс является математической моделью для описания случайных явлений, развивающихся во времени.
Множество T = {t} значений переменной t есть обычно интервал
прямой либо вся прямая либо множество целых точек 0, ±1, ±2, . . . или
только неотрицательных целых точек 0, 1, 2, . . ..
Двумя наиболее важными случаями являются следующие: а) T = {t}
является бесконечной последовательностью; этот тип процесса называется
процессом с дискретным параметром;
10
То есть на нем определена σ-алгебра его подмножеств F.
Таким образом, мы рассматриваем n-мерную случайную величину.
12
Термины «случайный процесс», «стохастический процесс», «вероятностный процесс», равнозначны.
11
70
12. Введение в в общую теорию случайных процессов
(б) T = {t} является интервалом, то есть {ξ(t, ω), t ∈ T } представляет собой семейство случайных величин, зависящих от непрерывного параметра. Этот тип процесса называется процессом с непрерывным параметром. Течение процесса задается здесь некоторой функцией от t, определенной на интервале, в то время как в случае дискретного параметра течение
процесса задается некоторой последовательностью. Обобщая эти два случая, мы будем в дальнейшем называть процессом с дискретным параметром любой процесс, у которого множество значений параметра конечно,
или счетно, и процессом с непрерывным параметром — любой процесс,
у которого множество значений параметра несчетно. Случайное блуждание частицы, совершающей броуновское движение, колебание напряжения
в электросети, радиоактивный распад, динамика численности населения города, изменение цен на бирже, характеристики полета космической ракеты,
метеорологические характеристики, развитие и взаимодействие различных
биологических популяций — все это примеры случайных процессов.
При n = 1 случайный процесс ξ(t, ω), t ∈ T называют скалярным случайным процессом, а при n > 2 его называют векторным случайным процессом или n-мерным случайным процессом. Векторный n-мерный случайный процесс ξ(t, ω), t ∈ T можно записать в виде
(ξ1 (t, ω), ξ2 (t, ω), . . . ξn (t, ω)). Скалярные случайные процессы ξi (t, ω) называют его координатными случайными процессами, или его компонентами.
Пример 12.1. Случайное блуждание частицы, совершающей броуновское движение в поле микроскопа описывается 2-мерным случайным процессом, компоненты которого являются координаты положения частицы.
Пример 12.2. Совместное изменение во времени метеорологических характеристик (температура, давление, влажность, скорость
ветра, его направление) описывается 5-мерным случайным процессом, компоненты которого — перечисленные характеристики.
Легко видеть, что при фиксированном t случайный процесс является
случайной величиной, а при фиксированном ω случайный процесс превращается в неслучайную функцию.
Определение 12.3. Сечением случайного процесса ξ(t, ω) при любом
фиксированном значении параметра t = t0 , t ∈ T , называется случайная величина ξ(t0 , ω) .
Случайные величины ξ(t0 , ω), возникающие, если в ξ(t, ω) фиксировать t =
t0 , мы будем иногда называть значениями процесса в момент t0 .
71
12. Введение в в общую теорию случайных процессов
Определение 12.4. Траекторией случайного процесса, или его реализацией13 при любом фиксированном элементарном событии ω0 ∈
Ω, называется неслучайная функция ξ(t, ω0 ), t ∈ T .
Замечание 12.2. Случайный процесс можно трактовать как совокупность сечений (то есть случайных величин ξ(t0 , ω), в которые обращается случайный процесс при t = t0 , t0 ∈ T ), или как совокупность
траекторий (то есть неслучайных функций ξ(t, ω0 ), в которые превращается случайный процесс при ω = ω0 , ω0 ∈ Ω). В различных задачах используются оба эти описания14 .
12.2. Конечномерные распределения
Универсальной исчерпывающей характеристикой любой случайной
величины является ее функция распределения Fξ (x) = p (ξ < ). Пусть
имеется случайный процесс ξ(t, ω), t ∈ T . Мы знаем, что сечение
ξ(t, ω), t ∈ T при любом фиксированном значении аргумента t представляет собой случайную величину, которая имеет некоторый закон распределения. При этом если случайный процесс является n-мерным, ξ(t, ω) =
(ξ1 (t, ω), ξ2 (t, ω), . . . ξn (t, ω)), то и сечение при любом t = t0 представляет
из себя n-мерный случайный вектор.
Определение 12.5. Закон распределения вероятностей случайной
величины ξ(t0 , ω) = (ξ1 (t0 , ω), ξ2 (t0 , ω), . . . ξn (t0 , ω)), являющейся сечением случайного процесса ξ(t, ω) = (ξ1 (t, ω), ξ2 (t, ω), . . . ξn (t, ω)) при
t = t0 , называется одномерным законом распределения
случайного процесса ξ(t, ω), t ∈ T .
Соответственно этому введем следующие определения.
Определение 12.6. Одномерной функцией распределения случайного n-мерного процесса ξ(t, ω), t ∈ T называется функция распределения случайного вектора ξ(t, ω) = (ξ1 (t, ω), ξ2 (t, ω), . . . ξn (t, ω)):
Fξ (x|t) = Fξ(t, ω) (x|t) = p (ξ(t, ω) < x),
(64)
где ξ(t, ω) = (ξ1 (t, ω), ξ2 (t, ω), . . . , ξn (t, ω)), x = (x1 , x2 , . . . , xn ).
Определение 12.7. Одномерной плотностью распределения случайного n-мерного процесса ξ(t, ω), t ∈ T называется плотность
13
14
Используется также термин выборочные функции процесса.
Возможно еще рассмотрение случайного процесса как функции ξ = ξ(t, ω) двух переменных t, ω.
72
12. Введение в в общую теорию случайных процессов
распределения fξ(t, ω) (x|t) = fξ1 ,...,ξn (x1 , . . . , xn |t) случайного вектора
ξ(t, ω) = (ξ1 (t, ω), ξ2 (t, ω), . . . ξn (t, ω)):
Zx1
Fξ(t, ω) (x|t) = Fξ1 ,...,ξn (x1 , . . . , xn |t) =
Zxn
...
−∞
fξ1 ,...,ξn (u1 , . . . , un |t) du1 . . . dun .
−∞
(65)
Однако эти функции характеризуют только свойства одного отдельно взятого сечения случайного n-мерного процесса ξ(t, ω), но не дают понятия
о совместном распределении нескольких сечений. Существуют случайные
процессы с одинаковым распределением в каждом сечении, но совершенно
различные по своей структуре, например, с тесной и со слабой зависимостью между сечениями. Очевидно, одномерный закон распределения не может служить полной характеристикой случайного процесса. Более полной
характеристикой будет двумерный закон распределения, представленный
совместной функцией распределения двух сечений, взятых соответственно
для моментов t1 и t2 .
Запишем аналогично (64) определение двумерной функцией распределения (опуская для простоты записи случайный аргумент ω).
Определение 12.8. Двумерной функцией распределения случайного n-мерного процесса ξ(t), t ∈ T называется функция распределения
случайного вектора (ξ(t1 ), ξ(t2 )), где ξ(ti ) = (ξ1 (ti ), ξ2 (ti ), . . . ξn (ti )), i =
1, 2:
Fξ (x(1) , x(2) |t1 , t2 ) = p (ξ(t1 ) < x(1) , ξ(t2 ) < x(2) ),
(66)
(i)
(i)
(i)
x(i) = (x1 , x2 , . . . , xn ), i = 1, 2.
Но и эта характеристика не исчерпывает существо процесса. Если
увеличивать число сечений и рассматривать их совместное распределение,
то можно получать при этом все более полную характеристику процесса.
Определение 12.9. Конечномерной (N -мерной) функцией распределения случайного n-мерного процесса ξ(t) называется функция распределения случайного вектора (ξ(t1 ), ξ(t2 ), . . . , ξ(tN )), где
t1 , t2 , . . . , tn ∈ T ; ξ(ti ) = (ξ1 (ti ), ξ2 (ti ), . . . ξn (ti )), i = 1, 2, . . . , N :
Fξ (x(1) , x(2) , . . . , x(N ) |t1 , t2 , . . . , tN ) =
= p (ξ(t1 ) < x(1) , ξ(t2 ) < x(2) , . . . , ξ(tN ) < x(N ) ),
(i)
(i)
x(i) = (x1 , x2 , . . . , x(i)
n ), i = 1, 2, . . . , N.
73
(67)
12. Введение в в общую теорию случайных процессов
Определение 12.10. Конечномерной (N -мерной) плотностью
распределения случайного n-мерного процесса ξ(t) называется плотность fξ(t, ω) (x|t1 , t2 , . . . , tN ) распределения случайного вектора (ξ(t1 ), ξ(t2 ), . . . , ξ(tN )), где t1 , t2 , . . . , tn ∈ T ; ξ(ti ) =
(ξ1 (ti ), ξ2 (ti ), . . . ξn (ti )), i = 1, 2, . . . , N :
Fξ (x(1) , x(2) , . . . , x(N ) |t1 , t2 , . . . , tN ) =
Zx(1)
=
−∞
x(N )
Z
...
fξ (u(1) , . . . , u(N ) |t1 , t2 , . . . , tN ) du(1) . . . du(N ) ,
(68)
−∞
(i)
(i)
x(i) = (x1 , x2 , . . . , x(i)
n ), i = 1, 2, . . . , N.
Итак, размерность конечномерной функции распределения случайного процесса (n-мерного) определяется числом зафиксированных значений параметра; мы обозначаем это число N . С увеличением N распределения дают все более полное описание процесса. Случайный процесс ξ(t, ω), t ∈ T
можно рассматривать как совокупность всех его возможных сечений. Таким образом, в общем случае случайный процесс ξ(t, ω), t ∈ T не может
быть полностью определенным, так как он представим несчетной совокупностью своих сечений и невозможно построить совместный закон распределения всех его сечений. К счастью, во многих случаях достаточно знать
конечномерный закон, причем не слишком высокого порядка.
Отметим, что все распределения высших порядков определяют распределения низших порядков, и знание N -мерного распределения по существу означает знание распределений меньших размерностей. Вспомним, как
находится маргинальная одномерная плотность по двумерной, например:
Z ∞
fξ (x1 |t1 ) =
fξ (x1 , x2 |t1 , t2 ) dx2 .
−∞
Существует также условие симметрии, которое можно сформулировать
следующим образом: функция fξ(t, ω) (x|t1 , t2 , . . . , tN ) остается неизменной при произвольной перестановке индексов 1, 2, . . . , N . Если мы задаем набор распределений размерности 1, 2, . . . , N , то он должен удовлетворять указанным условиям (условиям согласованности). В 1931 г.
А. Н. Колмогоров доказал, что если задана система распределений, удовлетворяющих условиям согласованности, то существуют вероятностное
пространство (Ω, F, P) и случайный процесс ξ(t, ω), t ∈ T , такой что
fξ(t, ω) (x|t1 , t2 , . . . , tN ) является совместным распределением случайных величин ξ(t1 ), ξ(t2 ), . . . , ξ(tN ).
Для решения практических задач более чем двумерные законы распределения применяются редко. Далее мы увидим, что существует большой
74
12. Введение в в общую теорию случайных процессов
класс процессов, в которых двумерный закон распределения будет исчерпывающим.
Определение 12.11. Случайные процессы ξ(t, ω), t ∈ T и η(t, ω), t ∈ T ,
определенные на одном и том же множестве T , в одном и том же
вероятностном пространстве (Ω, F, P) и принимающие значения в
одном и том же измеримом пространстве, называют стохастически эквивалентными, если p (ξ(t, ω) 6= η(t, ω)) = 0, ∀t ∈ T .
Если случайные процессы являются стохастически эквивалентными, то их
конечномерные функции распределения совпадают, т.е. а вот реализации
стохастически эквивалентных случайных процессов могут быть совершенно
различными.
При решении различных задач в ряде случаев бывает удобной замена
исходного случайного процесса стохастически эквивалентным. Тогда получаемые выводы с точностью до событий меры ноль могут быть отнесены к
исходной задаче.
12.3. Математическое ожидание и ковариационная матрица
Многие задачи теории вероятностей допускают решение без использования законов распределения случайных величин. В этих случаях оперируют только их числовыми характеристиками, такими, как моменты (математическое ожидание, дисперсия, ковариация, начальные и центральные
моменты). Аналогично обстоит дело и со случайными процессами, только
для них основные характеристики представляют из себя уже не числа, а
функции аргумента t (возможно, многомерного).
Определение 12.12. Моментами k-го порядка случайного процесса
называют соответствующие моменты его сечений.
Определение 12.13. Математическим ожиданием векторного
случайного процесса ξ(t, ω), t ∈ T , называют неслучайную векторную функцию mξ (t), значение которой при каждом фиксированном
t ∈ T равно математическому ожиданию случайной величины, являющейся сечением исходного случайного процесса, соответствующего рассматриваемому значению t.
Математическое ожидание mξ (t)) случайного процесса ξ(t) можно интерпретировать как его усредненную траекторию.
Определение 12.14. Ковариационной матрицей n-мерного случайного процесса ξ(t, ω), t ∈ T называют неслучайную матричную
75
12. Введение в в общую теорию случайных процессов
функцию Sξ (t) размерности n × n, которая при каждом фиксированном t ∈ T представляет собой ковариационную матрицу случайного
вектора, являющегося сечением исходного случайного процесса, соответствующего рассматриваемому значению t:
Sξ (t) = M [(ξ(t, ω) − mξ (t))(ξ(t, ω) − mξ (t))T ].
(69)
Если Fξ (x|t) — одномерная функция распределения, а fξ (x|t) — одномерная функция плотности n-мерного случайного процесса, то
Z
Z
Sξ (t) = (x−mξ (t))(x−mξ (t))T dFξ (x|t) = (x−mξ (t))(x−mξ (t))T fξ (x|t) dx,
Rn
Rn
(70)






ξ1 (t, ω)
m1 (t)
x1
 ξ2 (t, ω) 
 m2 (t) 
 x2 





где ξ(t, ω) = 
 . . . , mξ (t) =  . . . , x =  . . .  .
ξn (t, ω)
mn (t)
xn
Ковариационная матрица n-мерного случайного процесса ξ(t, ω) является симметрической. Ее диагональные элементы имеют вид Skk (t) =
M [(ξk (t, ω) − mk (t))2 ] = D[ξk (t, ω)]. Как и раньше, дисперсия обозначается также σ 2 ; тогда Skk (t) = σξ2k (t) = σk2 (t). При каждом фиксированном t ∈ T значение Skk (t) равно дисперсии скалярной случайной величины, являющейся k-й компонентой сечения исходного случайного процесса,
соответствующего рассматриваемому значению t. При i 6= j получаем, что
Sij (t) = M [(ξi (t, ω) − mi (t))(ξj (t, ω) − mj (t))] = cov[ξi (t, ω), ξj (t, ω)], то есть
при каждом t значение Sij (t) равно ковариации i-й и j-й компонент. Таким
образом, на диагонали ковариационной матрицы располагаются дисперсии
отдельных компонент, а недиагональные элементы представляют собой ковариации.
Определение 12.15. Дисперсией σξ2 (t) n-мерного случайного процесса ξ(t, ω) называется след Sp[Sξ (t)] ковариационной матрицы
этого случайного процесса.
Легко видеть, что σξ2 (t) = M [(ξ(t, ω) − mξ (t))T (ξ(t, ω) − mξ (t))].
12.4. Ковариационные функции
Определение 12.16. Ковариационной функцией n-мерного случайного процесса ξ(t, ω) называют матричную функцию Kξ (t, s)
двух скалярных переменных t и s, значение которой при фиксированных t, s ∈ T равно ковариации двух случайных n-мерных величин
ξ(t, ω) и ξ(s, ω), определяемой следующим образом:
Kξ (t, s) = M [(ξ(t, ω) − mξ (t))(ξ(s, ω) − mξ (s))T ].
76
(71)
12. Введение в в общую теорию случайных процессов
Запишем выражение ковариационной функции через двумерные совместные функцию распределения и функцию плотности вероятностей случайного процесса:
Z Z
(x(1) − mξ (t))(x(2) − mξ (s))T dFξ (x(1) , x(2) |t, s) =
(72)
Kξ (t, s) =
Rn Rn
Z Z
=
(x(1) − mξ (t))(x(2) − mξ (s))T fξ (x(1) , x(2) |t, s) dx(1) dx(2) .
Rn Rn
При каждой паре значений аргументов t и s ковариационная функция равна ковариации соответствующих сечений случайного процесса: ξ(t, ω) и
ξ(s, ω). Данная ковариация сечений задана матрицей; на пересечении i-й
строки и j-ro столбца ковариационной функции Kξ (t, s) n-мерного случайного процесса ξ находится скалярная функция
Kξi ,ξj (t, s) = M [(ξi (t, ω) − mi (t))(ξj (s, ω) − mj (s))].
Свойства ковариационной функции.
Теорема 12.1. Ковариационная функция Kξ (t, s) обладает следующими свойствами.
1. Ковариационная функция Kξ (t, s) симметрична относительно
своих аргументов: Kξ (t, s) = Kξ (s, t);
2. При равенстве аргументов ковариационная функция равна дисперсии случайного процесса: Kξ (t, t) = Sξ (t);
3. Евклидова норма ковариационной функции, то есть корень
квадратный из суммы квадратов ее элементов, удовлетворяет
неравенству Коши - Буняковского:
q
k Kξ (t, s) k 6 σξ2 (t)σξ2 (s);
4. Линейное свойство: если h(t) — неслучайная n-мерная функция
скалярного аргумента t ∈ T, G(t) — матричная неслучайная
функция типа n×n, определенная на T , и η(t, ω) = G(t)ξ(t, ω)+h(t),
то Kη (t, s) = G(t)Kξ (t, s)GT (s);
5. Если ковариационная функция Kξ (t, s) непрерывна в точках диагонали t = s квадрата T × T , то она непрерывна в любой другой
точке этого квадрата;
6. Ковариационная функция Kξ (t, s) является положительно определенной.
77
12. Введение в в общую теорию случайных процессов
По аналогии с коэффициентом корреляции двух скалярных случайных величин в теории случайных процессов используют понятие корреляционной
функции.
Определение 12.17. Корреляционной функцией kξ (t, s) случайного
процесса ξ(t, ω) называется функция, полученная делением корреляционной функции Kξ (t, s) на произведение средних квадратичных
отклонений:
kξ (t, s)
.
Kξ (t, s) = q
σξ2 (t)σξ2 (s)
Свойства корреляционной функции.
Теорема 12.2. Корреляционная функция kξ (t, s) обладает следующими свойствами.
1. При равенстве аргументов (t = s) корреляционная функция равна единице: kξ (t, t) = 1.
2. Корреляционная функция kξ (t, s) симметрична относительно
своих аргументов: kξ (t, s) = kξ (s, t).
3. Корреляционная функция по модулю не превосходит единицу:
|kξ (t, s)| 6 1.
4. Корреляционная функция положительно определена.
Свойства корреляционной функции kξ (t, s) вытекают из ее определения.
Часто рассматривают комплекснозначные случайные процессы,
принимающие значения в пространстве C. Они называются также комплексными процессами. Для таких процессов тоже можно ввести определение ковариационной функции.
Определение 12.18. Ковариационной функцией комплекснозначного случайного процесса ξ(t, ω) называют функцию Kξ (t, s) двух
скалярных переменных t и s:
Kξ (t, s) = M [(ξ(t, ω) − mξ (t))(ξ(s, ω) − mξ (s))],
где черта сверху означает операцию комплексного сопряжения.
Свойства ковариационной функции комплексного процесса.
1. Kξ (t, s) = Kξ (s, t).
78
(73)
13. Классификация случайных процессов
2. Kξ (t, s) = Kξ1 ,ξ1 (t, s) + Kξ2 ,ξ2 (t, s) + i(Kξ1 ,ξ2 (t, s) − Kξ2 ,ξ1 (t, s)), где
ξ(t, ω) = ξ1 (t, ω) + iξ2 (t, ω); ξ1 , ξ2 — скалярные случайные процессы.
Взаимосвязь двух процессов выражает их взаимная ковариационная
функция, которая при каждой паре значений равна ковариации двух сечений
случайных процессов.
Определение 12.19. Взаимной ковариационной функцией двух nмерных случайных процессов15 ξ(t, ω) и η(t, ω) называют неслучайную матричную функцию Kξ,η (t, s) размерности n × n двух скалярных аргументов t и s, значение которой равно ковариации случайных
векторов ξ(t, ω) и η(t, ω), определяемой следующим образом:
Kξ,η (t, s) = M [(ξ(t, ω) − mξ (t))(η(s, ω) − mη (s))T ].
(74)
Выражение ковариационной функции через совместную функцию плотности вероятностей 2n-мерного случайного вектора ξ, η): случайного процесса:
Z Z
Kξ,η (t, s) =
(x − mξ (t))(y − mξ (s))T fξ,η (x, y|t, s) dx dy.
(75)
Rn Rn
В матричном виде:

cov(ξ1 (t), η1 (s)) cov(ξ1 (t), η2 (s))
 cov(ξ2 (t), η1 (s)) cov(ξ2 (t), η2 (s))
Kξ,η (t, s) = 

...
...
cov(ξn (t), η1 (s)) cov(ξn (t), η2 (s))

. . . cov(ξ1 (t), ηn (s))
. . . cov(ξ2 (t), ηn (s)) 
.

...
...
. . . cov(ξn (t), ηn (s))
13. Классификация случайных процессов
План лекции: стационарные процессы, гауссовские процессы,
процессы с независимыми приращениями, винеровский процесс,
пуассоновский процесс, марковские процессы.
13.1. Стационарные случайные процессы
Важным классом случайных процессов являются стационарные процессы. Свойство стационарности означает независимость некоторых характеристик сечений процесса от времени, оно отражает идею неизменности
(стационарности) условий, в которых он протекает. Это условие выполняется довольно часто, если рассматривать процесс на достаточно коротком
интервале времени, в течение которого вероятностные характеристики процесса изменяются мало.
15
Определенных на одном и том же множестве T , на одном и том же вероятностном пространстве и принимающих значения в одном и том же измеримом пространстве
79
13. Классификация случайных процессов
Определение 13.1. Случайный процесс ξ(t, ω) называется стационарным (стационарным в узком смысле), если для любого набора t1 , ..., tN ∈ T совместное распределение случайных величин ξ(t1 +
τ, ω), ξ(t2 + τ, ω), . . . ξ(tN + τ, ω) одно и то же для всех τ , таких, что
ti + τ ∈ T, i = 1, N .
Если существует математическое ожидание такого процесса, то оно постоянно и равно mξ (t) ≡ mξ , а ковариационная функция зависит только от
разности аргументов, Kξ (t, s) = Kξ (t − s). Конечномерные распределения
не меняются при сдвиге на τ .
Пример 13.1. Суммы одинаково распределённых случайных величин
представляют из себя стационарный случайный процесс.
Определение 13.2. Случайный процесс ξ(t, ω) называется стационарным в широком смысле, если его математическое ожидание —
постоянный вектор, а ковариационная функция зависит от разности аргументов, т.е.
mξ (t) ≡ mξ ; Kξ (t, s) = Kξ (t − s).
Легко видеть, что эти условия эквивалентны условиям инвариантности относительно сдвигов: ∀ допустимого τ
mξ (t + τ ) ≡ mξ ; Kξ (t + τ, s + τ ) = Kξ (t, s).
Таким образом, из стационарности в узком смысле следует стационарность
в широком смысле.
13.2. Гауссовские процессы
Определение 13.3. Случайный процесс ξ(t, ω) называется гауссовским (нормальным), если все его конечномерные распределения нормальны, то есть для произвольного n и любого набора
t1 , t2 , . . . , tN ∈ T вектор ξ(t1 ), ξ(t2 ), . . . , ξ(tN )) имеет n-мерное нормальное распределение.
Нормальное n-мерное распределение имеет плотность
p
|A| − 1 Q(x1 ,...,xn )
2
,
fξ1 ,...,ξn (x1 , . . . , xn ) =
n e
(2π) 2
где Q =
n
P
aij xi xj — положительно определенная квадратичная форма,
i,j
|A| — определитель матрицы A = (aij ). Обычно n-мерное нормальное распределение (ξ1 . . . , ξn ) распределение задают с помощью ковариационной
80
13. Классификация случайных процессов
матрицы K, которая представляет из себя обратную к A матрицу: K = A−1 ,


σξ21
cov(ξ1 , ξ2 ) . . . cov(ξ1 , ξn )
 cov(ξ2 , ξ1 )
σξ22
. . . cov(ξ2 , ξn ) 
.
K=


...
...
...
...
cov(ξn , ξ1 ) cov(ξn , ξ2 ) . . .
σξ2n
Тогда плотность нормального n-мерного распределения равна
fξ1 ,...,ξn (x1 , . . . , xn ) = p
1
|K|(2π)
1
n
2
T
e− 2 (x−mξ )
K −1 (x−mξ )
,
(76)
где x = (x1 , x2 , . . . , xn )T , mξ = (m1 , m2 , . . . , mn )T .
Рассмотрим N -мерный вектор ηN , компоненты которого представляют сечения, то есть

 n-мерныевектора: 
mξ (t1 )
ξ(t1 , ω)


 ξ(t1 , ω) 
, mN (t) =  mξ (t2 ) .
ηN (t, ω) = 
 ... 


...
mξ (tN )
ξ(tN , ω)
Блочный вектор ηN имеет размерность nN , поскольку каждая компонента его — n-мерный вектор. Математическое ожидание ηN равно вектору
mN . Ковариационную матрицу блочного вектора ηN обозначим VN :


Kξ (t1 , t1 ) Kξ (t1 , t2 ) . . . Kξ (t1 , tN )
 Kξ (t2 , t1 ) Kξ (t2 , t2 ) . . . Kξ (t2 , tN ) 
.
VN = 
(77)


...
...
...
...
Kξ (tN , t1 ) Kξ (tN , t2 ) . . . Kξ (tN , tN )
Каждый элемент матрицы (77) тоже представляет из себя матрицу (размерности n × n). Будем считать, что сечения не являются линейно зависимыми,
тогда конечномерное распределение невырождено, VN 6= 0. линейной зависимостью сечений рассматриваемого случайного процесса,
Запишем на основе (78) плотность конечномерного (N -мерного) распределения нормального процесса:
1
1
T −1
fηN (y) = p
e− 2 (y−mN ) VN (y−mN ) .
|VN |(2π)N n
(78)
Таким образом, любой конечномерный закон распределения нормального
случайного процесса полностью определяется двумя моментными характеристиками: математическим ожиданием и ковариационной функцией. В силу многомерной центральной предельной теоремы гауссовские случайные
процессы в ряде случаев оказываются предельными для сумм возрастающего числа случайных процессов.
81
13. Классификация случайных процессов
13.3. Процессы с независимыми приращениями
Определение 13.4. Случайный процесс ξ(t, ω), называют процессом с
независимыми приращениями, если для любых N > 2 и tk ∈ T, k =
1, N , таких, что t1 < t2 < . . . < tN , случайные величины ξ(t1 ), ξ(t2 ) −
ξ(t1 ), ξ(t3 ) − ξ(t2 ), . . . , ξ(tN ) − ξ(tN −1 ) независимы.
Пример 13.2. Суммы независимых случайных величин представляют
из себя случайный процесс с независимыми приращениями.
Определение 13.5. Случайный процесс ξ(t, ω), называют процессом
с некоррелированными приращениями, если для любых N > 2 и
tk ∈ T, k = 1, N , таких, что t1 < t2 < . . . < tN , случайные величины
ξ(t1 ), ξ(t2 ) − ξ(t1 ), ξ(t3 ) − ξ(t2 ), . . . , ξ(tN ) − ξ(tN −1 ) являются некоррелированными16 .
Замечание 13.1. Процесс с некоррелированными приращениями называется также процессом с ортогональными приращениями.
Отметим, что процесс с независимыми приращениями является процессом
с ортогональными приращениями.
13.4. Винеровский процесс
Процесс назван так в честь Н. Винера, который всесторонне его исследовал.
Определение 13.6. Если ξ(t, ω), t ∈ T = [0, ∞), — n-мерный случайный процесс, то он называется стандартным винеровским процессом, выходящим из 0, если выполнены три условия:
1. ξ(0, ω) ≡ 0;
2. ξ(t, ω) — процесс с независимыми приращениями;
3. для любых t1 , t2 , таких, что 0 6 t1 < t2 , случайный вектор
ξ(t2 ) − ξ(t1 ) распределен по нормальному закону с нулевым математическим ожиданием и ковариационной матрицей (t2 − t1 )In ,
где In — единичная матрица.
Замечание 13.2. Винеровский процесс называют также процессом
броуновского движения17 .
16
Вообще говоря, величины могут быть зависимыми, но при этом некоррелированными.
Броуновским движением называется наблюдаемое под микроскопом движение мелких частиц , взвешенных в жидкости. Правильнее было бы называть его «брауновским», поскольку исследовал его английский
ботаник Р. Браун, открывший это явление в 1826 году.
17
82
13. Классификация случайных процессов
Замечание 13.3. Если в определении винеровского процесса условие
ξ(t, ω) ≡ 0 заменить условием ξ(t, ω) ≡ a, то получим определение
винеровского процесса, выходящего из точки a.
Замечание 13.4. Если ξ(t, ω) — стандартный винеровский процесс с
коэффициентом диффузии σ 2 , то случайный процесс σξ(t, ω) называют винеровским процессом с коэффициентом диффузии σ 2 . Его ковариационная матрица равна (t2 − t1 )σ 2 In .
Свойства винеровского процесса.
1. Винеровский процесс является процессом со стационарными приращениями.
2. Для любых 0 6 t1 < t2 ковариационная функция винеровского процесса равна t1 σ 2 In то есть min(t1 , t2 )σ 2 In .
3. Винеровский процесс является нормальным процессом.
13.5. Пуассоновский процесс
Определение 13.7. Если ξ(t, ω), t ∈ T = [0, ∞), — скалярный случайный процесс, то он называется пуассоновским процессом с параметром λ > 0, если выполнены три условия:
1. ξ(0, ω) ≡ 0;
2. ξ(t, ω) — процесс с независимыми приращениями;
3. для любых t1 , t2 , таких, что 0 6 t1 < t2 , случайная величина ξ(t2 ) −
ξ(t1 ) распределена по по закону Пуассона с параметром λ(t2 − t1 ).
Таким образом, для каждой пары значений параметра s, t (s < t) величина
ξ(t) − ξ(s) принимает только целые значения и
λ(t − s)m e−λ (t − s)
.
p (ξ(t) − ξ(s) = m) =
m!
Свойства пуассоновского процесса.
1. траектории пуассоновского процесса — неубывающие функции, принимающие лишь целочисленные значения, причем они возрастают
лишь скачками величины 1;
2. Пуассоновский процесс стационарен.
Пуассоновский процесс играет важную роль в различных приложениях теории случайных процессов, в частности, в теории массового обслуживания.
83
14. Стохастический анализ
13.6. Марковские процессы
Будем рассматривать текущее состояние процесса ξ(t, ω) в момент
времени t ∈ T как «настоящее», совокупность всех возможных состояний {ξ(s, ω), s < t} как «прошлое», а совокупность возможных состояний {ξ(v, ω), v > t} как «будущее». Марковские случайные процессы при
фиксированном «настоящем» обладают важным свойством независимости
«будущего» от «прошлого». Это свойство называется отсутствием последействия. Точнее это можно сформулировать так: для марковского случайного процесса «будущее» зависит от «прошлого» только через «настоящее». марковского процесса при фиксированном «настоящем» «будущее»
не зависит от «прошлого». Это так называемое «марковское свойство».
Вспомним, как оно формулировалось для цепей Маркова, с которыми мы
уже знакомы:
P (ξn = εj /ξ0 = εi0 , . . . , ξn−2 = εin−2 , ξn−1 = εin−1 ) = P (ξn = εj /ξn−1 = εin−1 ).
Введем общее определение.
Определение 13.8. Пусть ξ(t, ω) — n-мерный случайный процесс,
конечномерные функции плотности вероятностей которого
def
fξ (x(1) , x(2) , . . . , x(N ) ) = fξ (x(1) , x(2) , . . . , x(N ) |t1 , t2 , . . . , tN ) = заданы для
любых натуральных N и tk ∈ T, k = 1, N , таких, что t1 < t2 < . . . < tN .
Если при этом условная функция плотности вероятностей такова, что fξ (x(N ) |x(N −1) , . . . , x(1) ) ≡ fξ (x(N ) |x(N −1) ), то ξ(t, ω) называют
марковским процессом.
Свойство. Любой конечномерный закон распределения марковского процесса выражается через его двумерный закон распределения.
14. Стохастический анализ
План лекции: сходимость в среднем квадратичном, понятие предела, непрерывность, дифференцируемость, интегрируемость, линейные операторы, эргодичность.
14.1. Сходимость в среднем квадратичном
Будем рассматривать случайный процесс ξ(t, ω) как функцию неслучайного аргумента t. Для такой функции можно изучать те же вопросы,
что и для обычных функций в математическом анализе — наличие пределов, непрерывность, производные и т.д. Ключевым является понятие сходимости, но как мы знаем, существуют различные виды сходимости случайных величин. Будем использовать дальше лишь одно понятие сходимости
84
14. Стохастический анализ
— сходимость в смысле среднего квадратичного, или СК-сходимость. Это
связано с тем, что понятие СК-сходимости является наиболее приемлемым
с точки зрения приложений. Напомним, что последовательность {ξm } сходится к ξ в среднем квадратичном, если
M |ξm − ξ|2 → 0
при m → ∞.
Для n-мерной случайной величины (ξ1 , ξ2 , . . . , ξn ) сходимость в среднем
квадратичном к ξ = (ξ10 , ξ20 , . . . , ξn0 ) означает, что
M kξm − ξ 0 k2 → 0
где kξm − ξ 0 k2 =
n
P
при m → ∞,
|ξk(m) − ξ 0 k2 .
k=1
Приняв за основу понятие СК-сходимости, мы тем самым определили
выбор нормы для анализа случайных процессов:
vZ
u
p
u
def
2
kξ(t, ω)kск = M [kξ(t, ω)k] = t xT xfξ (x|t) dx.
(79)
Rn
При этом рассматриваются такие случайные процессы, что среднеквадратичная норма конечна.
Определение 14.1. Случайные процессы, удовлетворяющие условию
kξ(t, ω)kск < ∞ ∀t ∈ T,
называют случайными процессами второго порядка.
Очевидно, что в этом случае существуют и конечны математическое ожидание mξ (t), дисперсия Dξ (t) и ковариационная функция Kξ (t, s). Покажем,
что функция (79) действительно определяет норму.
Множество случайных процессов второго порядка (со стандартными
операциями сложения своих элементов и умножения на число) является линейным пространством с нулевым элементом, определяемым соотношением
kξ(t, ω)kск < ∞ ∀t ∈ T . В линейном пространстве можно ввести скалярное
произведение:
Z Z
(ξ(t), η(t))ск = M [ξ(t)η(t)]2 =
xT yfξ (x, y|t) dxdy.
(80)
Rn Rn
Так как линейное пространство с введенным скалярным произведением является евклидовым пространством, то при любом фиксированном t ∈ T
норма может быть введена стандартным способом как корень из скалярного произведения:
p
p
p
(81)
kξ(t, ω)kск = (ξ(t), ξ(t))ск = M [ξ(t)ξ(t)]2 = M [kξ(t)k]2 ,
что совпадает с (79).
85
14. Стохастический анализ
14.2. Понятие предела
Можно рассматривать как предел n-мерного случайного процесса
при t → t0 , так и предел последовательности n-мерных случайных процессов при n → ∞. В первом случае предел представляет из себя случайную
n-мерную величину, во втором — случайный процесс.
Определение 14.2. Пределом n-мерного случайного процесса
ξ(t, ω) = (ξ1 (t, ω), ξ2 (t, ω), . . . ξn (t, ω)) при t → t0 называют случайный
вектор η(ω) = (η1 (ω), η2 (ω), . . . ηn (ω)), если существует предел
lim kξ(t, ω) − η(ω)k2ск = 0.
t→t0
Как оговорено выше, предел рассматривается в смысле СК-сходимости.
Будем использовать обозначение lim ξ(t, ω) = η(ω), или традиционное обоt→t0
значение предела в среднем квадратичном l.i.m.ξ(t, ω) = η(ω) (символ
l.i.m. есть сокращение от limit in mean). Легко проверить справедливость
следующего утверждения.
Теорема 14.1. Случайный вектор η(ω) = (η1 (ω), η2 (ω), . . . ηn (ω))
является пределом n-мерного случайного процесса ξ(t, ω)
=
(ξ1 (t, ω), ξ2 (t, ω), . . . ξn (t, ω)) при t → t0 тогда и только тогда, когда
для любого k = 1, n случайная величина ηk (ω) является пределом при
t → t0 t скалярного случайного процесса ξk (t, ω).
Определение 14.3. Пределом последовательности n-мерных случайных процессов {ξm (t, ω)} при n → ∞ называют n-мерный случайный процесс ξ(t, ω), если существует предел
lim kξm (t, ω) − ξ(t, ω)k2ск = 0.
n→∞
Справедлива теорема, аналогичная (14.1).
Теорема 14.2. Случайный
процесс
ξ(t, ω)
=
(ξ1 (t, ω), ξ2 (t, ω), . . . ξn (t, ω)) является пределом последовательности n-мерных случайных процессов {ξm (t, ω)} при n → ∞ тогда и
только тогда, когда для любого k = 1, n случайная величина ξk (ω)
является пределом при n → ∞ последовательности скалярных
случайных процессов {ξk(m) (t, ω).
Как следует из этих теорем, сходимость n-мерного случайного процесса и сходимость последовательности n-мерных случайных процессов
эквивалентны сходимости координатных скалярных случайных процессов
и их последовательностей. Поэтому далее основное внимание уделено скалярным случайным процессам. Теперь можно обычным образом определить
непрерывность процесса в точке и на множестве.
86
14. Стохастический анализ
14.3. Непрерывность случайного процесса
Определение 14.4. Скалярный случайный процесс второго порядка
ξ(t, ω) называют непрерывным в точке t0 ∈ T , если существует предел
lim kξ(t, ω) − ξ(t0 , ω)k2ск = 0,
t→t0
(lim ξ(t, ω) = ξ(t0 , ω).)
t→t0
Определение 14.5. Непрерывным на множестве T называют процесс
второго порядка, непрерывный в каждой точке t ∈ T .
Имеется простой критерий, позволяющий установить непрерывность
случайного процесса в точке.
Теорема 14.3. Для непрерывности случайного процесса ξ(t, ω) в точке t0 ∈ T необходимо и достаточно, чтобы mξ (t) было непрерывно в
точке t0 , а Kξ (t)(t, s) непрерывна в точке (t0 , t0 ).
Таким образом, для исследования непрерывности процесса достаточно исследовать непрерывность математического ожидания и корреляционной функции — моментных характеристик первого и второго порядка. При
этом используются стандартные методы математического анализа.
14.4. Дифференцируемость случайного процесса
˙ 0 , ω) называется произОпределение 14.6. Случайная величина ξ(t
водной скалярного случайного процесса второго порядка ξ(t, ω) в
точке t0 ∈ T , если
˙ 0 , ω)
ξ(t, ω) − ξ(t
− ξ(t0 , ω)k2ск = 0.
lim k
t→t0
t − t0
Если указанный предел существует, то случайный процесс ξ(t, ω) называется дифференцируемым в точке t0 .
Определение 14.7. Дифференцируемым на множестве T называют
скалярный процесс второго порядка, дифференцируемый в каждой
точке t ∈ T .
Теорема 14.4. Для дифференцируемости скалярного случайного процесса ξ(t, ω) в точке t0 ∈ T необходимо и достаточно, чтобы mξ (t)
было дифференцируемо в точке t0 , и существовала вторая смешанная производная функции Kξ (t)(t, s) в точке t0 , t0 .
87
14. Стохастический анализ
Это утверждение можно обобщить: для существования какого-то числа
производных у случайного процесса достаточно существования тех же производных у математического ожидания и двойного числа производных у ковариационной функции.
˙ 0 , ω) связаны с характеристиками
Характеристики процесса η = ξ(t
процесса ξ(t, ω) следующими соотношениями:
∂ 2 Kξ (t, s)
dmξ (t)
; Kη (t, s) =
.
mη (t) =
dt
∂t∂s
14.5. Интегрируемость случайного процесса
Интеграл от случайного процесса ξ(t, ω) по конечному отрезку T
определяется как предел римановых интегральных сумм вида
X
ξ(ti )(ti+1 − ti ),
аналогично определяется и интеграл от функции ϕ(t)ξ(t, ω).
Определение 14.8. Скалярный случайный процесс второго порядка
ξ(t, ω), t ∈ T = [a, b], называют интегрируемым на множестве T
с весом ϕ(t, t0 ), где ϕ(t, t0 ) — неслучайная функция, определенная на
T × T , если существует скалярный случайный процесс η(t, ω), такой,
что независимо от выбора разбиения существует предел
lim k
∆→0
n−1
X
ϕ(t, t0k )ξ(t0k , ω)∆tk − η(t, ω)k2ск = 0,
k=0
где ∆ = max(∆tk ).
k
Если указанный предел существует, то случайный процесс η(t, ω) называют
интегралом от случайного процесса ξ(t, ω) с весом ϕ(t, t0 ) на множестве T :
Z
η(t, ω) =
ϕ(t, t0 )ξ(t0 , ω)dt0 .
T
Критерий интегрируемости аналогичен критерию дифференцируемости.
Теорема 14.5. Для интегрируемости скалярного случайного процесса ξ(t, ω) на множестве T с весом ϕ(t, t0 ) необходимо и достаточно,
чтобы mξ (t) было интегрируемо на T с весом ϕ(t, t0 ), и на T × T с весом
ϕ(t, t1 )ϕ(t, t2 ) был интегрируема Kξ (t)(t1 , t2 ).
88
14. Стохастический анализ
R
При этом, если η(t, ω) = T ϕ(t, t0 )ξ(t0 , ω)dt0 , то
Z Z
Z
0
0
0
mη (t) =
ϕ(t, t )mξ (t )dt , Kη (t, s) =
ϕ(t, t1 )ϕ(s, t2 )Kη (t1 , t2 ) dt1 dt2 .
T
T
T
Если требуется найти по данному процессу ξ(t, ω), t ∈ T = [a, b], процесс
η(t, ω), для которого справедливо ξ(t, ω) = η̇(t, ω), надо проинтегрировать
ξ(t, ω) с весом, равной единичной функции:
Z
η(t, ω) =
I(t − t0 )ξ(t0 , ω)dt0 =
Zt
ξ(t0 , ω)dt0 .
a
T
14.6. Действие линейного оператора на случайный процесс
Интегрирование и дифференцирование случайных процессов, а также
умножение на неслучайную функцию, можно рассматривать как линейные
операторы. Заметим, что при таких преобразованиях математическое ожидание подвергается тому же линейному преобразованию, а ковариационная
функция подвергается линейному однородному преобразованию по каждой
переменной. Этот факт является достаточно общим. Пусть скалярный случайный процесс η(t, ω) есть результат воздействия линейного оператора Lt
на исходный скалярный случайный процесс ξ(t, ω):
η(t, ω) = Lt [ξ(t, ω)].
Тогда18
mη (t) = Lt [mξ (t)], Kη (t, s) = L0t L0s [Kξ (t, s)],
где L0 — однородный оператор, соответствующий оператору L. Рассмотрим линейное дифференциальное уравнение со случайными возмущениями
в правой части:
y (n) (t) + α1 (t)y (n−1) (t) + α2 (t)y (n−2) (t) + . . . + αn (t)y(t) = η(t, ω).
Левая часть уравнения может быть записана с помощью линейного оператора Lt [y], где
dn [·]
dn−1 [·]
dn−2 [·]
Lt [·] = n + α1 (t) n−1 + α2 (t) n−2 + . . . + αn (t)[·].
dt
dt
dt
Если правая часть уравнения представляет собой случайный процесс
η(t, ω), то то решение этого уравнения — случайный процесс ξ(t, ω), и мы
приходим к равенству
Lt [ξ(t, ω)] = η(t, ω),
18
Эти равенства могут быть получены непосредственно из определения математического ожидания и определения линейного оператора, которым также является и оператор математического ожидания.
89
14. Стохастический анализ
которое является стохастическим дифференциальным уравнением, линейным относительно случайного процесса ξ(t, ω). Решение уравнения имеет вид
ξ(t, ω) = L−1
t [η(t, ω)].
Если линейный оператор Lt является обратимым, то обратный оператор L−1
t
также является линейным оператором, и в этом случае имеют место равенства
−1 −1
mξ (t) = L−1
t [mη (t)], Kξ (t, s) = Lt Ls [Kη (t, s)].
14.7. Эргодические случайные процессы
Большое значение имеют процессы, для которых статистические характеристики можно найти по единственной реализации. При этом числовые характеристики, полученные по одной реализации продолжительностью T путем усреднения по времени, совпадают с соответствующими числовыми характеристиками, полученными путем усреднения по множеству
реализаций.
Определение 14.9. Скалярный случайный процесс ξ(t, ω), t ∈ T = [0, l],
интегрируемый на множестве T с весом ϕ(t, t0 ) = 1/l, и обладающий
постоянным математическим ожиданием mξ , называют эргодическим по отношению к математическому ожиданию mξ , если существует предел
Zl
1
ξ(t, ω) dt = mξ .
lim
l→∞ l
0
Следующая теорема дает необходимые и достаточные условия эргодичности.
Теорема 14.6. Предел
1
l→∞ l
Zl
lim
ξ(t, ω) dt = mξ
0
тогда и только тогда, когда существует и равен 0 предел
1
lim 2
l→∞ l
Zl Zl
Kξ (t, s) dtds = 0.
0
0
При решении задач более удобно достаточное условие.
90
15. Спектральная теория
Теорема 14.7. Для эргодичности процесса относительно математического ожидания достаточно существования предела
lim Kξ (t, s) = 0.
|t−s|→∞
Свойство эргодичности стационарных случайных процессов имеет большое
практическое значение. Для таких процессов возможно получение оценки
математического ожидания случайного процесса по одной его реализации.
Это позволяет при определении статистических характеристик случайного
процесса ограничиться рассмотрением лишь одной реализации достаточно большой длительности. Стационарный случайный процесс может быть и
неэргодическим.
Пример 14.1. Пусть η(t, ω) = ξ(t, ω) + ζ(ω), где ξ(t, ω) — эргодический,
случайный процесс, ζ(ω) — случайная величина, ξ, ζ независимы.
lim Kη (t, s) =
|t−s|→∞
lim Kξ (t, s) + Dζ = Dζ 6= 0,
|t−s|→∞
таким образом, достаточное условие не выполняется. Очевидно, не
выполняется и необходимое и достаточное условие (теорема 14.6).
15. Спектральная теория
План лекции: стационарные случайные процессы с дискретным спектром, стационарные случайные процессы с непрерывным спектром, белый шум.
Спектральным разложением случайного процесса в ряд или интеграл
по той или иной специальной системе функций в широком смысле слова принято называть такое разложение, что коэффициенты при функциях
представляют собой взаимно некоррелированные случайные величины.
15.1. Стационарные случайные процессы с дискретным спектром
Определение 15.1. Каноническим разложением стационарного19
случайного процесса ξ(t, ω) называется его представление в виде
ξ(t, ω) = mξ (t) +
n
X
uk (ω)ϕk (t),
(82)
k=1
19
В этом разделе, говоря о стационарных случайных процессах, будем иметь в виду стационарные случайные процессы в широком смысле.
91
15. Спектральная теория
где uk (ω)(коэффициенты) — центрированные20 некоррелированные
случайные величины с дисперсиями Duk = Dk , ϕk (t) (координатные
функции) — неслучайные функции.
Если случайный процесс ξ(t, ω) допускает каноническое разложение в действительной форме, то ковариационная функция Kξ (t, s) выражается суммой вида
n
X
Dk ϕk (t)ϕk (s),
(83)
Kξ (t, s) =
k=1
которая называется каноническим разложением ковариационной
функции.
Если ковариационная функция случайного процесса ξ(t, ω) представлена своим каноническим разложением (83) то центрированный случайный
процесс ξ(t, ω)−mξ (t) может быть представлен каноническим разложением
(82).
Если случайный процесс ξ(t, ω) допускает каноническое разложение в
комплексной форме, то каноническое разложение ковариационной функции
имеет вид
n
X
(84)
Kξ (t, s) =
Dk ϕk (t)ϕk (s),
k=1
где чертой вверху, как обычно, обозначена комплексная сопряжённая величина.
Канонические разложения могут содержать как конечное, так и счетное число членов, и получать каноническое разложение случайного процесса можно множеством способов.
Координатными функциями канонического разложения стационарного случайного процесса являются косинусы и синусы различных частот.
Определение 15.2. Спектральным разложением стационарного
случайного процесса ξ(t, ω) называется его представление в виде
ξ(t, ω) = mξ (t) +
n
X
(uk (ω) cos(wk t) + vk (ω) sin(wk t)) ,
k=1
где uk (ω), vk (ω) — центрированные некоррелированные случайные величины с дисперсиями Duk = Dvk = Dk , wk — постоянная величина.
Замечание 15.1. Постоянная величина wk называется частотой и
обычно принимает значения
wk =
20
2πk
, k = 1, n;
l
То есть величины, из которых уже вычтены их математические ожидания.
92
15. Спектральная теория
при этом говорят о дискретном спектре частот.
Можно представить спектральное разложение стационарного случайного процесса по дискретному спектру частот в виде
ξ(t, ω) = mξ (t) +
n
X
Zk (ω) cos(wk t − θk ),
(85)
k=1
где θk — фаза гармонического колебания (случайная величина, распределенная равномерно в интервале [0, 2π], Zk (ω) — амплитуда гармонического
колебания. Таким образом, стационарный случайный процесс может быть
представлен в виде суммы гармонических колебаний (гармоник21 ) со случайными амплитудами Zk (ω) и случайными фазами θk на различных неслучайных частотах wk . Легко видеть связь (85) и (82):
Zk (ω) cos θk = uk (ω), Zk (ω) sin θk = vk (ω).
Спектральному разложению стационарного случайного процесса
n X
2πkt
2πkt
+ vk (ω) sin
ξ(t, ω) = mξ (t) +
uk (ω) cos
l
l
(86)
k=1
соответствует разложение в ряд его ковариационной функции:
Kξ (t, s) = Kξ (τ ) =
n
X
k=1
Dk cos
2πkτ
,
l
(87)
где τ = s − t.
Рассмотрим теперь обратную задачу, пусть процесс ξn (t, ω) представим в виде (86), причем будем для простоты считать, что mξn (t) ≡ 0:
n X
2πkt
2πkt
ξn (t, ω) =
uk (ω) cos
+ vk (ω) sin
.
(88)
l
l
k=1
Найдем условия стационарности процесса ξn (t, ω).
n X
2πkt
2πkt
M ξn (t, ω) =
M uk (ω) cos
+ M vk (ω) sin
.
l
l
k=1
2πkt
Поскольку система тригонометрических функций {cos 2πkt
l , sin l } линейно независима,
mξn (t) ≡ 0 M uk (ω) = M vk (ω) = 0.
21
Гармоникой называется простейшая периодическая функция. Задача о представимости функции в виде
суммы гармоник, каждая из которых соответствует определенной частоте — одна из задач гармонического
анализа.
93
15. Спектральная теория
Найдем ковариационную функцию.
Kξn (t, s) = M [ξn (t, ω)ξn (s, ω)] =
n n X
X
M [uk (ω)ui (ω) cos
k=1 i=1
2πkt
2πis
cos
]+
l
l
2πis
2πkt
2πis
2πkt
sin
] + M [uk (ω)vi (ω) cos
sin
]+
l
l
l
l
2πkt
2πis
+M [vk (ω)ui (ω) sin
cos
] .
l
l
+M [vk (ω)vi (ω) sin
Поскольку
cos
2πkt
2πis
2π(kt − is)
2π(kt + is)
cos
= 1/2[cos
+ cos
],
l
l
l
l
2πkt
2πis
2π(kt − is)
2π(kt + is)
sin
= 1/2[cos
− cos
],
l
l
l
l
2πis
2π(kt − is)
2π(kt + is)
2πkt
cos
= 1/2[sin
+ sin
],
sin
l
l
l
l
то преобразуя произведения тригонометрических функций, получаем, что
ковариационная функция может зависеть лишь от разности аргументов
s − t = τ только в случае, когда
sin
M uk (ω)ui (ω) = M vk (ω)vi (ω) = 0 ∀i 6= k; M uk (ω)vi (ω) = 0 ∀i, k;
M u2k (ω) = M vi2 (ω).
Так как M uk (ω) = M vk (ω) = 0, эти условия означают некоррелированность
случайных величин uk (ω), vk (ω) и равенство их дисперсий Duk = Dvk = Dk .
Следовательно, получено необходимое и достаточное условие стационарности случайного процесса.
Теорема 15.1. Случайный процесс ξn (t, ω), представимый в виде
ξn (t, ω) =
n
X
(uk (ω) cos(wk t) + vk (ω) sin(wk t)) ,
k=1
стационарен тогда и только тогда, когда uk (ω), vk (ω) — некоррелированные случайными величинами с нулевыми математическими
ожиданиями и равными дисперсиями Dk .
При этом
Kξn (τ ) =
n
X
Dk cos
k=1
2πkτ
.
l
Если случайный процесс ξn (t, ω) является стационарным и сходится при
n → ∞ к исходному случайному процессу ξ(t, ω), то можно говорить о
94
15. Спектральная теория
дискретном спектре частот исходного стационарного случайного процесса
ξ(t, ω), и
n
X
2πkτ
Dk cos
.
Kξ (τ ) =
l
k=1
Дисперсии Dk являются коэффициентами ряда Фурье для Kξ (τ ). Известно
выражение коэффициентов ряда Фурье через функцию Kξ (τ ), разлагаемую
в ряд по косинусам:
2
Dk =
l
Zl
Kξ (τ ) cos
2πkτ
dτ.
l
0
Таким образом, зная вид Kξ (τ ), можно найти дисперсии коэффициентов канонического разложения Duk = Dvk = Dk стационарного случайного процесса ξ(t); нам также известны частоты wk = 2πk
l .
Дисперсию стационарного процесса ξ(t) представленного своим каноническим разложением (82), найдем как дисперсию суммы или как Dξ =
Kξ (0). Очевидно,
n
X
Dξ =
Dk .
(89)
k=1
Итак, дисперсия стационарного процесса равна сумме дисперсий всех гармоник его спектрального разложения. Говорят о «спектре дисперсий», понимая под этим распределение общей дисперсии по частотам. Располагая
спектром, всегда можно восстановить исходную ковариационную функцию
с наперед заданной точностью. Разложение будет тем точнее, чем больший
интервал разложения T будет взят.
15.2. Стационарные случайные процессы с непрерывным спектром
Пусть скалярный стационарный случайный процесс ξ(t, ω), t ∈ [0, l]
имеет математическое ожидание mξ = 0 и ковариационную функцию Kξ (τ ),
которая является непрерывной на отрезке [−l, l] и удовлетворяет на этом
отрезке условиям Дирихле22 . Если wk = 2πk
l — частота k-й гармоники, то при l → ∞ приходим к случаю непрерывного изменения частот,
при этом коэффициенты разложения ковариационной функции Kξ (τ ) будут
неограниченно уменьшаться (Dk −→ 0), а число частот будет неограниченно
l→∞
увеличиваться. При этом величина интервала между соседними частотами
22
Условия Дирихле обеспечивают ограниченную вариацию функции.
95
15. Спектральная теория
∆w = 2πl −→ 0, и мы переходим от ряда Фурье к интегралу Фурье. Конечl→∞
но, этот переход приводит к интегральному представлению ковариационной
функции Kξ (τ ) при выполнении определенных условий. и становится естественной задача об аналогичном представлении стационарного скалярного
случайного процесса ξ(t, ω), t ∈ [0, l].
Определение 15.3. Спектральной плотностью sξ (ν) стационарного случайного процесса ξ(t, ω), t ∈ [0, l] называется предел отношения
дисперсии, приходящейся на данный интервал частот, к длине этого интервала, когда последняя стремится к нулю.
Спектральная плотность sξ (ν) и ковариационная функция Kξ (τ ) связаны
преобразованиями Фурье:
1
sξ (ν) =
2π
Z∞
Kξ (τ )e−iντ dτ ;
(90)
sξ (ν)eiντ dτ ;
(91)
−∞
Z∞
Kξ (τ ) =
−∞
Спектральную плотность можно интерпертировать как плотность распределения дисперсий по частотам непрерывного спектра. Спектральная
плотность sξ (ν) стационарного скалярного случайного процесса является
непрерывным аналогом последовательности {Dk } дисперсий некоррелированных случайных амплитуд гармоник исходного случайного процесса.
Свойства спектральной плотности вещественного стационарного случайного процесса.
1. sξ (ν) > 0;
2. sξ (−ν) = sξ (ν);
3. lim sξ (ν) = 0;
ν→±∞
4. sξ (ν) =
1
π
5. Kξ (τ ) =
R∞
Kξ (τ ) cos(ντ ) dτ ;
0
R∞
sξ (ν) cos(ντ ) dν;
−∞
6. Dξ(t, ω) = Kξ (0) = 2
R∞
sξ (ν) dν.
−∞
96
15. Спектральная теория
15.3. Белый шум
Определение 15.4. Скалярный случайный процесс ξ(t, ω), t ∈ [0, ∞],
стационарный (в широком смысле), называют белым шумом23 , если
он обладает постоянной спектральной плотностью sξ (ν) ≡ c, называемой интенсивностью белого шума.
Свойства белого шума.
1. Ковариационная функция Kξ (τ ) для белого шума имеет вид Kξ (τ ) =
2πcδ(τ ), где δ(τ ) — δ-функция Дирака.
Доказательство. Вспомним определение δ-функции Дирака — это
обобщенная
функция, равная производной от единичной функции I(τ ):

 1, τ > 0;
∞, τ = 0;
I(τ ) =
1/2, τ = 0; Тогда δ(τ ) =
0, τ 6= 0.

0, τ < 0;
Интегральные представления δ-функции:
1
δ(τ ) =
2π
Z∞
eiλτ dλ;
−∞
Z∞
δ(τ )e−iλτ dτ = 1.
−∞
Если скалярный случайный процесс ξ(t, ω), t ∈ [0, ∞], является белым
шумом, то по определению для любого действительного ν : sξ (ν) ≡ c =
const. Таким образом, из свойств спектральной плотности и интегрального представления δ-функции Дирака следует
R∞
R∞ iντ
Kξ (τ ) =
sξ (ν)eiντ dτ =
ce dτ = 2πcδ(τ ).
−∞
−∞
2. Если ковариационная функция стационарного скалярного случайного
процесса ξ(t, ω), t ∈ [0, ∞] имеет вид Kξ (τ ) = 2πcδ(τ ), то этот случайный процесс является белым шумом.
Доказательство. Найдем
Z∞
Z∞
1
1
sξ (ν) =
Kξ (τ )e−iντ dτ =
2πcδ(τ )e−iντ dτ.
2π
2π
−∞
Но по свойству δ-функции
c
R∞
−∞
R∞
δ(τ )e−iλτ dτ = 1, поэтому sξ (ν) =
−∞
δ(τ )e−iλτ dτ = c.
−∞
23
Этимология термина такова: подобные процессы приводят к возникновению шумов в линиях радиопередач. Прилагательное «белый» подчеркивает однородность спектрального состава (как у белого света).
97
16. Моделирование случайных величин
3. Случайные величины, являющиеся сечениями белого шума, некоррелированы.
Доказательство. Для любых t, s ∈ T = [0, ∞], t 6= s справедливо, что
δ(τ ) = δ(s − t) = 0, тогда и Kξ (τ ) = 2πcδ(τ ) = 0.
4. Белый шум обладает бесконечной дисперсией.
Доказательство. Dξ(t, ω) = Kξ (τ ) = 2πcδ(0) = ∞.
Поскольку белый шум обладает бесконечной дисперсией, он не может
быть практически реализован. Но он широко используется в приложениях для моделирования реальных случайных процессов с очень малым временем корреляции, например, «теплового шума» — пульсаций силы тока
в проводнике, вызываемых тепловым движением электронов, или процесса, описывающего поведение устойчивой колебательной системы под воздействием стационарных случайных возмущений. Процесс, который имеет
практически постоянную спектральную плотность в определенной полосе
частот, может быть промоделирован с помощью белого шума, если можно
пренебречь поведением спектральной плотности вне этой полосы.
16. Моделирование случайных величин
План лекции: моделирование R[0, 1], моделирование дискретной одномерной случайной величины, моделирование непрерывной одномерной случайной величины, особые случаи: N (a, σ),
моделирование нормальной случайной величины, моделирование многомерных распределений, моделирование двумерного
нормального распределения, моделирование случайных процессов.
Промоделировать случайную величину — это значит указать числовую последовательность, которую можно рассматривать как выборку из
распределения данной случайной величины. Все распределения можно моделировать на основе промоделированных значений R[0, 1], которые называются случайными числами. С помощью преобразования случайных чисел
можно получить выборку из нужного нам распределения.
16.1. Моделирование R[0, 1]
Используются две группы методов:
1. Аппаратурные (физические) методы
2. Алгоритмические (математические) методы.
98
16. Моделирование случайных величин
1. a) Берется некая физическая величина, например напряжение электрического тока U, имеющая средний уровень a:
a : P (u(t) < a) = 0, 5,
и измеряются ее значения в моменты времени t1 , t2 , · · · :
U (t1 ), U (t2 ) . . .
Определим число z(ti ):
(
0,
z(ti ) =
1,
U (ti ) < a,
U (ti ) > a.
В результате получаем последовательность из нулей и единиц
z1 , z2 , z3 . . . .
б) Счётчиком регистрируется число V (ti ) альфа-частиц за время 4ti
(
0, V (ti ) = 2k,
z(ti ) =
1, V (ti ) = 2k + 1,
результатом также является последовательность z1 , z2 , z3 . . . Такая последовательность задаёт двоичное число, которое затем нормируется делится на максимально возможное (чтобы получить случайное число
из отрезка [0, 1]).
2. a) Метод Неймана (метод середины квадрата):
x1 =
(двоичный код)
(двоичный код)
=⇒ x21 =
n
2n-разрядов
и повторяем. Все алгоритмические методы зацикливаются, необходимо выбрать подходящие параметры.
b) Линейный метод :
xn+1 = (axn + b) mod c
с) Мультипликативный метод :
xn+1 = D(kxn )
D – дробная часть, k = 11π.
Программа, дающая с равной вероятностью случайные значения из некоторого интервала (a, b), называется генератором случайных чисел.
99
16. Моделирование случайных величин
16.2. Моделирование дискретной случайной величины
Пусть распределение задано законом:
ξ
p
x1 x2 . . .
p1 p2 . . .
xn
pn
Построим последовательность p∗i :
p∗1 = p1
p∗2 = p1 + p2
......
i
X
∗
pk = 1
pi =
k=1
Числами p∗i отрезок [0; 1] разбивается на отрезки, каждый из которых соответствует значению случайной величины (i-й отрезок соответствует значению xi ). Берется случайное число r ∈ [0, 1], , если p∗i−1 < r 6 p∗i =⇒ ξ = xi .
Замечание: если число значений бесконечно (например, в распределении Пуассона), то бесконечная сумма вероятностей, равная 1, с любой
заданной точностью приближается конечной суммой:
∞
X
pi = 1; ∀ ε > 0 ∃N
i=1
N
X
pi > 1 − ε.
i=1
16.3. Моделирование непрерывной случайной величины
На основе преобразования Смирнова: Fξ (ξ) = r. Пусть ξ – непрерывная случайная величина, Fξ (x) – ее функция распределения. Рассмотрим
случайную величину Fξ (ξ) = η и найдем Fη (x):
Fη (x) = P (η < x) = P (Fξ (ξ) < x) =
100
16. Моделирование случайных величин

x 6 0,

0,
= P (Fξ−1 (Fξ (ξ)) < Fξ−1 (x)), 0 < x 6 1,


1,
x > 1.

x 6 0,

0,
= P (ε < Fξ−1 (x)) 0 < x 6 1,


1,
x > 1.

x 6 0,

0,
= Fξ (Fξ−1 (x)) 0 < x 6 1,


1,
x > 1.


0, x 6 0,
= x, 0 < x 6 1,


1, x > 1.
(92)
(93)
(94)
(95)
(96)
=⇒ η ∈ R[0, 1] =⇒ Fξ (ξ) = r ∈ R[0, 1]
Если уравнение
Fξ (ξ) = r
разрешимо относительно ξ,
преобразованием Смирнова:
то
получаем
формулу,
называемую
ξ = Fξ−1 (r) .
Пример 16.1. Найдем явную формулу для моделирования показательного распределения Ea
fξ (x) = ae−ax
Fξ (x) = 1 − e−ax
Fξ (x) = 1 − e−aξ = r
e−aξ = 1 − r
−aξ = ln(1 − r)
1
ξ = − ln(1 − r).
a
Получена явная формула для моделирования, r выбирается случайным образом.
101
16. Моделирование случайных величин
Этот метод не всегда успешно работает, так как функцию распределения не всегда можно записать в явном виде, и Fξ (ξ) = r не всегда разрешимо относительно ξ (хотя, конечно, можно решать уравнения численно).
Для некоторых распределений, например, для нормального распределения,
применяются специальные методы.
16.4. Моделирование нормальной случайной величины
Нормальное распределение относится к тем распределениям, которые
легко моделировать. Знание центральной предельной теоремы дает достаточно простой способ сделать это. По одной из форм ЦПТ сумма независимых одинаково распределенных величин, (если их достаточно много), стремится к величине, имеющей нормальное распределение. Воспользуемся этим и, генерируя равномерные случайные величины с параметрами [a, b], попытаемся получить нормальную величину, принадлежащую
N (a1 , σ1 ). Итак, ξi ∈ R[a, b].
(b − a)2
a+b
; Dξ =
Mξ =
2
12
n
X
X=
ξi ∈ N (a1 , σ1 )
i=1
a+b
= a1
2
(b − a)2
DX = nDξ = n
= σ12
12
Решаем эту систему уравнений относительно a и b и получаем ответ:
r
a1
3
a=
− σ1
,
n
n
r
a1
3
+ σ1
.
b=
n
n
Иначе говоря, генерируем n случайных величин с равномерным распределением и параметрами [a, b], и их сумма будет иметь распределение, близкое
к нормальному N (a1 , σ1 ).
Можно делать немного по-другому: генерировать n случайных величин с равномерным распределением R[0, 1], после сложения мы получим величину, имеющую приближенно нормальное распределение,
r n
X
n
n
ri ∈ N
,
.
2
12
i=1
M X = nM ξ = n
102
16. Моделирование случайных величин
Возьмем n = 12. Тогда
12
X
ri ∈ N (6, 1),
i=1
и
ξ=
12
X
ri − 6 ∈ N (0, 1).
i=1
Линейным преобразованием можно получить из ξ нормальную величину с
произвольными допустимыми параметрами a, σ:
!
12
X
η=σ
ri − 6 + a, η ∈ N (a, σ).
i=1
Этим, достаточно простым способом, можно смоделировать одну нормальную случайную величину или одну компоненту двумерной нормальной случайной величины, что потребуется в дальнейшем.
16.5. Моделирование многомерных распределений
Рассмотрим на примере моделирования двумерной случайной величины (ξ, η). Результатом моделирования является пара чисел. Если компоненты независимы, можно использовать для каждой компоненты методы одномерного моделирования. Но чтобы получить зависимые компоненты, надо
дополнить алгоритм.
Общий принцип:
а) Найти одномерное распределение Fξ и промоделировать ξ методами, рассмотренными выше; пусть получится x0 .
б) Найти условное распределение F (η|ξ = x0 ) и промоделировать
случайную величину η по условному закону распределения; пусть получится
y0 .
в) Получаем пару (x0 , y0 ) — один элемент двумерной выборки, и повторяем процедуру требуемое число раз.
Пример 16.2. Моделирование двумерной дискретной величины:
ξ\η 2
3
4
−1 0, 1 0, 2 0
0 0, 2 0, 3 0, 1
1
0
0 0, 1
cоставляем одномерный закон распределения для ξ:
103
16. Моделирование случайных величин
ξ −1 0
1
p 0, 3 0, 6 0, 1
случайные числа:
r1 = 0, 29; r2 = 0, 41; r3 = 0, 02; r4 = 0, 71; r5 = 0, 53; r6 = 0, 20.
r1 = 0, 29 ⇒ ξ1 = −1
находим условное распределение η/ξ=−1 и моделируем случайную величину η по условному закону распределения:
η\ξ=−1 2 3
1 2
p
3 3
r2 = 0, 41 ⇒ η1 = 3
получаем пару значений (−1, 3)- первый элемент двумерной выборки,
далее
r3 = 0, 02 ⇒ ξ2 = −1
cтроим таблицу при η/ξ=−1 и по ней ищем η2 :
r4 = 0, 71 ⇒ η2 = 3
r5 = 0, 53 ⇒ ξ2 = 0
строим таблицу η/ξ=0 и по ней ищем η3 :
η\ξ=0 2 3 4
2 3 1
p
6 6 6
r6 = 0, 2 ⇒ η3 = 2
повторяем процедуру требуемое число раз.
16.6. Моделирование нормальной двумерной случайной величины (X, Y )
Требуется получить выборку значений N (aξ , aη , σξ , ση , ρ). Пусть у нас
имеется сгенерированное значение величины X, равное x1 . Тогда вторую
компоненту надо моделировать с параметрами M (Y |X = x1 ), D(Y |X =
x1 ). Для того, чтобы найти их, используем условную функцию плотности для
Y:
fX,Y (x, y)
fY |X=x1 (y) =
.
fX (x)
104
17. Метод Монте-Карло
Известно, что:
x−a1 2
x−a1 y−a2
y−a2 2
1
1
− 2(1−ρ
2 ) [( σ1 ) −2ρ σ1
σ2 +( σ2 ) ]
p
fX,Y (x, y) =
e
2πσ1 σ2 (1 − ρ2 )
24
fX (x)
(x−a1 )
−
1
2
=√
e 2σ1
2πσ1
2
Проведя вычисления, получаем:
fY |X=x1 (y) = √
x−a1
y−a2 2
1
−
]
− 1 [ρ
p
e 2(1−ρ2 ) σ1 σ2
2πσ2 (1 − ρ2 )
Если преобразовать к стандартному виду, в котором обычно записывается
формула плотности нормального распределения, получим:
σ
− 2 1 2 [y−(a2 +ρ σ2 (x−a1 ))]2
1
2σ2 (1−ρ )
1
p
fY |X=x1 (y) = √
e
.
2
2π(σ2 (1 − ρ ))
Узнаем функцию плотности нормального распределения с параметрами:
M (Y |X = x1 ) = a2 + ρ
σ2
(x − a1 ); D(Y |X = x1 ) = σ22 (1 − ρ2 )
σ1
Далее воспользуемся приведенным ранее алгоритмом: найдем a и b, сгенерируем n величин ∈ R[a, b], сложим их и пара (X, Y ) получена.
17. Метод Монте-Карло
План лекции: метод Монте-Карло, моделирование случайных
процессов.
17.1. Метод Монте-Карло
В методе Монте-Карло25 ,имеющем также название «метод статистического моделирования», подлежащая вычислению числовая величина
представляется как некая характеристика случайной величины, и эта характеристика оценивается по выборке.
Пример 17.1. Рассмотрим определенный интеграл
Zb
I=
f (x)dx.
a
24
Полное обоснование вида этой функции в рассмотренном ранее примере.
Cоздатели метода — математики Дж. Нейман и С. Улам (1948 г.). Название метода происходит от названия города Монте-Карло в княжестве Монако, знаменитого игрой в рулетку.
25
105
17. Метод Монте-Карло
J Очевидно, вычисление этого интеграла может быть сведено к вычислению интеграла
Z1
g(x)dx, 0 6 g(x) 6 1.
0
Действительно, можно разбить [a; b] на промежутки знакопостоянства
подынтегральной функции, так что без потери общности можно считать, что
f (x) > 0. Тогда
Zb
Zb
f (x)
I = f (x)dx = fmax
dx.
fmax
a
a
Сделаем замену x = a + (b − a)z, и получим новые пределы интегрирования:
z1 = 0, z2 =
b−a
= 1.
b−a
Z1
I = fmax (b − a)
f (z)
dz.
fmax (z)
0
Учитывая, что
f (z)
= g(z),
fmax (z)
интеграл приведен к нужному виду:
Z1
g(x), 0 6 g(x) 6 1.
I=
0
Будем выбирать случайные точки (x, y) в единичном квадрате, и проверять,
попали ли они в область A под графиком y = g(x). Частота успехов, согласно ЗБЧ в форме Бернулли, близка к вероятности попадания в область,
а вероятность, по геометрическому определению, можно вычислить как отношение площадей:
m
SA
≈p=
= S(A) =
n
S
Z1
g(x)dx.
0
Таким образом,
Z1
g(x)dx ≈
m
,
n
0
где n – число промоделированных точек (x, y), m – число точек, попавших
в область A.
106
17. Метод Монте-Карло
Алгоритм метода:
0) m = 0
1) r1 = x
2) r2 = y
3) g(r)1 > r2 ⇒ m = m + 1.
I Оценим точность метода.
M(m
n ) = p = I, поэтому можно применить следствие интегральной
теоремы Муавра-Лапласа:
r r r m
n
n
n
P − I 6 ε = Φ ε
−Φ − ε
= 2Φ ε
−1.
n
pq
pq
pq
Потребуем, чтобы эта вероятность равнялась числу 1 − α, где α - малое
число. Тогда
r m
n
−1 = 1 − α,
P − I 6 ε = 2Φ ε
n
pq
r n
α
Φ ε
=1− ,
pq
2
r
n
ε
= U1− α2 .
pq
U1− α2
U1− α2
√
6 √ ,
ε = pq
n
2 n
Пусть α = 0.05; U1− α2 = U0,975 = 1, 96.
1, 96
1
1
ε6 √ <√ ⇒ε=O √ .
2 n
n
n
√
Пример 17.2. Другой способ вычисления интеграла
Z1
g(x)dx, 0 6 g(x) 6 1.
0
J
Z
M g(ξ) =
g(x)fξ (x) dx, ξ = r ∈ R[0, 1], fξ (x) = 1, x ∈ [0, 1],
Z1
M g(r) =
g(x) dx = I,
0
107
17. Метод Монте-Карло
n
1X
I = M g(r) ≈
g(ri ).
n i=1
Оценим точность этого метода:
Pn
X
1
1 n
D(
i=1 g(ri ))
n
g(ri ) − I > ε 6
P n i=1
ε2
Используем неравенство Чебышёва:
P (|ζ − M ζ| > ε) 6
Dζ
Dg(r)
=
.
2
ε
nε2
Поскольку
Dg = M g 2 − (M g)2 6 M g 2 , 0 6 g 6 1 ⇒ 0 6 g 2 6 1 ⇒ M g 2 6 1,
1
P (|ζ − M ζ| > ε) 6 2 ,
nε
1
ε=O √
.
n
I
Пример 17.3. Нахождение площади S сложной ограниченной фигуры
A.
JЗаключим фигуру в прямоугольник площади S0 , и будем выбирать случайные точки (x, y) в этом прямоугольнике. Частота успехов по ЗБЧ в форме
Бернулли близка к вероятности попадания в область, а вероятность равна
отношению площадей:
m
S
≈p= ,
n
S0
отсюда
m
S ≈ S0 ,
n
где n – число промоделированных точек (x, y), m – число точек, попавших
в область A. I
В расссмотренных примерах метод Монте -Карло был использован
для определения детерминированных величин, но естественно, с помощью
этого метода можно решать и вероятностные задачи. Вместо того, чтобы
описывать процесс с помощью аналитического аппарата, много раз повторяется розыгрыш специально организованной процедуры, дающей случайный результат. Рассмотрим пример.
108
17. Метод Монте-Карло
Пример 17.4. Пароход приходит к пристани между 13:00 и 14:00, автобус отходит от пристани между 13:25 и 13:40. Пассажиру требуется 10 минут, чтобы перейти от парохода к остановке. Какова
вероятность, что он успеет на автобус?
J Пусть x — время прихода парохода, y — время отправления автобуса от
пристани. Будем выбирать случайные точки (x, y) в прямоугольнике
Ω = {hx, yi | 0 6 x 6 60, 25 6 y 6 40}.
Пассажир успеет на автобус, если между прибытием парохода и отправлением автобуса пройдет по меньшей мере 10 минут, т. е. x + 10 < y. Таким
образом, подсчитывается число m точек, для которых x + 10 < y, и вероятность
m
p≈ ,
n
где n – число промоделированных точек (x, y). I
17.2. Моделирование случайных процессов
Глобальной областью применения моделирования случайных величин
является моделирование случайных процессов. В результате моделирования получают набор N значений реализации случайного процесса ξ(t, ω),
относящиеся к моментам времени, взятым через фиксированный интервал.
Сначала необходимо аналитически описать процесс и выяснить распределения. Рассмотрим некоторые примеры.
Пример 17.5. Моделирование дискретного белого гауссовского шума.
JЭто последовательность случайных чисел ξn , каждое число при этом имеет гауссовскую плотность распределения вероятности c нулевым математическим ожиданием и дисперсией σ 2 . При этом значения, относящиеся к
различным моментам времени, независимы, так как для нормального распределения из некоррелированности сечений следует независимость:
fξ (x1 , . . . , x( N )|t1 , t2 , . . . , tN ) =
N
Y
fξ (xi |ti ).
i=1
Таким образом, для моделирования реализации из N значений дискретного
белого гауссовского шума необходимо N раз обратиться провести моделирование величины ξ ∈ N (0, σ).I
109
17. Метод Монте-Карло
Пример 17.6. Моделирование работы двух станков и одного наладчика.
JСначала надо выяснить распределения случайных величин: времени работы одного станка ξ1 , времени работы второго станка ξ2 , времени ремонта
τ . Пусть (ξ1 ) ∈ R[0, 2], (ξ2 ) ∈ R[1, 4], τ ∈ E1 . Тогда
Fξ (ξ) =
ξ1
1
ξ2 − 1
= r ⇒ ξ1 = 2r, τ = − ln(1 − r),
= r ⇒ ξ2 = 3r + 1.
2
λ
3
Алгоритм расчета состоит в следующем: моделируем значения ξ1 , ξ2 , получаем значения t1 , t2 . Находим минимальное из них (первый момент поломки
станка, пусть это будет t1 ), моделируем значение τ и прибавляем его к t1 ,
тем самым получаем время окончания ремонта t01 . После этого первый станок начинает работать, мы моделируем время безотказной работы, прибавляем его к t01 .Сравниваем моменты второй поломки первого станка и первой поломки второго станка, находим минимальное из них, и это есть начало второго ремонта. Аналогичная процедура повторяется многократно. После этого можно рассчитать среднее время простоя станков и среднее время
простоя наладчика, чтобы оптимизировать число наладчиков.I
Пример 17.7. Движение частицы в силовом поле при наличии мгновенных точечных столкновений.
JБудем считать, что траектория частицы состоит из набора участков, соответствующих детерминированному движению по инерции или под действием
внешних сил, и точек столкновения, где происходит мгновенное случайное
изменение направления скорости частицы (без изменения ее координат).
Зададим начальные координаты (x, y, z) и начальные скорости (vx , vy , vz )
частицы. Промоделируем длину свободного пробега a (необходимо сначала
выяснить распределение этой случайной величины). Рассчитаем траекторию частицы (на этом этапе можно учесть действие силового поля). Подсчитаем длину пройденного участка траектории l, и сравним пройденный
путь l с полученной выше случайной длиной пробега a. Если l < a, частица будет двигаться дальше по той же траектории, и надо продолжить расчет
траектории. Если же l > a, считается, что произошло столкновение, и переходят к следующему этапу, состоящему в моделировании угла рассеяния
и вычислении новых значений скорости частицы. I
110
17. Метод Монте-Карло
Приложение.
x2
1
Таблица 1. Значения функции ϕ (x) = √ e− 2
2π
x
0, 0
0, 1
0, 2
0, 3
0, 4
0, 5
0, 6
0, 7
0, 8
0, 9
1, 0
1, 1
1, 2
1, 3
1, 4
1, 5
1, 6
1, 7
1, 8
1, 9
2, 0
2, 1
2, 2
2, 3
2, 4
2, 5
2, 6
2, 7
2, 8
2, 9
3, 0
x
3
0
39894
39695
39104
38139
36827
35207
33322
31225
28969
26609
24197
21785
19419
17137
14973
12952
11092
09405
07895
06562
05399
04398
03548
02833
02240
01753
01358
01042
00792
00595
00443
1
39892
39654
39024
38023
36678
35029
33121
31006
28737
26369
23955
21546
19186
16915
14764
12758
10915
09246
07754
06438
05292
04307
03470
02768
02186
01710
01323
01014
00770
00578
00430
2
39886
39608
38940
37903
36526
34849
32918
30785
28504
26129
23713
21307
18954
16694
14556
12566
10741
09089
07614
06316
05186
04217
03394
02705
02134
01667
01289
00987
00748
00562
00417
3
39876
39559
38853
37780
36371
34667
32713
30563
28269
25888
23471
21069
18724
16474
14350
12376
10567
08933
07477
06195
05082
04128
03319
02643
02083
01625
01256
00961
00727
00545
00405
0
1
2
3
00443 00327 00238 00172
Сотые доли x
4
5
39862 39844
39505 39448
38762 38667
37654 37524
36213 36053
34482 34294
32506 32297
30339 30114
28034 27798
25647 25406
23230 22988
20831 20594
18494 18265
16256 16038
14146 13943
12188 12001
10396 10226
08780 08628
07341 07207
06077 05960
04980 04879
04041 03955
03246 03174
02582 02522
02033 01984
01585 01545
01223 01191
00935 00910
00707 00687
00530 00514
00393 00381
Десятые доли x
4
5
00123 00084
6
39822
39387
38568
37391
35889
34105
32086
29887
27562
25164
22747
20357
18037
15822
13742
11816
10059
08478
07074
05844
04780
03871
03103
02463
01936
01506
01160
00885
00668
00499
00370
7
39797
39322
38466
37255
35723
33912
31874
29659
27324
24923
22506
20121
17810
15608
13542
11632
09893
08330
06943
05730
04682
03788
03034
02406
01889
01468
01130
00861
00649
00485
00358
8
39767
39253
38361
37115
35553
33718
31659
29431
27086
24681
22265
19886
17585
15395
13344
11450
09728
08183
06814
05618
04586
03706
02966
02349
01842
01431
01100
00837
00631
00471
00348
9
39733
39181
38251
36973
35381
33521
31443
29200
26848
24439
22025
19652
17360
15183
13147
11270
09566
08038
06687
05508
04492
03626
02899
02294
01797
01394
01071
00814
00613
00457
00337
6
7
8
9
00061 00043 00029 00020
Замечание. В таблице даны значения, округленные до пятого знака после запятой.
Указание. Пусть необходимо получить значение ϕ (0, 62). На пересечении столбца 2 («Сотые доли x») и строки 0, 6 («x») получаем значение 32918, т. е.
ϕ (0, 62) = 0, 32918.
111
17. Метод Монте-Карло
1
Таблица 2. Значения функции Φ0 (x) = √
2π
Zx
t2
e− 2 dt
0
x
0, 0
0, 1
0, 2
0, 3
0, 4
0, 5
0, 6
0, 7
0, 8
0, 9
1, 0
1, 1
1, 2
1, 3
1, 4
1, 5
1, 6
1, 7
1, 8
1, 9
2, 0
2, 1
2, 2
2, 3
2, 4
2, 5
2, 6
2, 7
2, 8
2, 9
3, 0
x
3
0
0, 0000
03983
07920
11791
15542
19146
22575
25804
28814
31594
34134
36433
38493
40320
41924
43319
44520
45543
46407
47128
47725
48214
48610
48928
49180
49379
49535
49653
49744
49813
49865
0
49865
Сотые доли x
4
5
01595 01994
05567 05962
09483 09871
13307 13683
17003 17365
20540 20884
23891 24215
27035 27337
29955 30234
32639 32894
35083 35314
37286 37493
39251 39435
40988 41149
42507 42647
43822 43943
44950 45053
45907 45994
46712 46784
47381 47441
47932 47982
48382 48422
48745 48778
49036 49061
49266 49286
49446 49461
49586 49598
49693 49702
49774 49781
49836 49841
49882 49886
Десятые доли x
1
2
3
4
5
49903 49931 49952 49966 49977
1
00399
04380
08317
12172
15910
19497
22907
26115
29103
31859
34375
36650
38686
40490
42073
43447
44630
45637
46485
47193
47778
48257
48645
48956
49202
49396
49547
49664
49752
49819
49869
2
00798
04776
08700
12552
16276
19847
23237
26424
29389
32121
34614
36864
38877
40658
42220
43574
44738
45728
46562
47257
47831
48300
48679
48983
49224
49413
49560
49674
49760
49825
49874
3
01197
05117
09095
12930
16640
20194
23565
26731
29673
32381
34850
37076
39065
40824
42634
43699
44845
45819
46638
47320
47882
48341
48713
49010
49245
49430
49573
49683
49767
49830
49878
6
02392
06356
10257
14058
17724
21226
24537
27637
30511
33147
35543
37698
39617
41309
42786
44062
45154
46080
46856
47500
48030
48461
48809
49086
49305
49477
49609
49711
49788
49846
49889
7
02790
06749
10642
14431
18082
21566
24857
27935
30785
33398
35769
37900
39796
41466
42922
44179
45254
46164
46926
47558
48077
48499
48839
49111
49324
49491
49621
49720
49795
49851
49893
8
03188
07142
11026
14803
18439
21904
25175
28230
31057
33646
35993
38100
39973
41621
43056
44295
45352
46246
46995
47615
48124
48537
48870
49134
49343
49506
49632
49728
49801
49856
49897
9
03586
07535
11409
15173
18793
22241
25490
28524
31328
33891
36214
38298
40148
41774
43189
44408
45449
46327
47062
47671
48169
48574
48899
49158
49361
49520
49643
49737
49807
49861
49899
6
7
8
9
49984 49989 49993 49995
Замечание. В таблице даны значения, округленные до пятого знака после запятой.
Указание. Пусть необходимо получить значение Φ0 (1, 57). На пересечении столбца 7 («Сотые доли x») и строки 1, 5 («x») получаем значение 44179, т. е.
Φ0 (1, 57) = 0, 44179.
112
113
ξ = 0, 1, . . . , min (M, n)
ξ = 0, 1, . . .
ξ = 0, 1, . . .
Gp — Геометрическое
B (r, p) — Отрицательное
биномиальное (Паскаля)
ξ = 0, 1, . . .
ξ = 0, 1, . . . , N
ξ = 0, 1
p (ξ = 1) = p
1
n
λm e−λ
,
m!
m6M
m n−m
CM
CN −M
,
CNn
m = 0, 1, . . . ; r > 0; 0 < p < 1
m
p (ξ = m) = Cr+m−1
pr (1 − p)m ,
0<p<1
p (ξ = m) = p(1 − p)m ,
n 6 N,
pM, N (m, n) =
p (ξ = m) = pM, N (m, n);
p (ξ = m) = pλ (m) =
λ>0
m = 0, 1, . . . , N ; N ∈ N;
0<p<1
p (ξ = m) = CNm pm (1 − p)N −m .
p (ξ = 0) = 1 − p,
p (ξ = xi ) =
p (ξ = c) = 1
ξ≡c
ξ = xi ;
i = 1, 2, . . . , n
Закон распределения
Значения
GG (N, M, n) —
Гипергеометрическое
Pλ — Пуассона
B (N, p) — Биномиальное
B (1, p) — Бернулли
Дискретное равномерное
Вырожденное
Обозначение
Интерпретация
Если r ∈ Z, то m — число неудач до r-го
успеха
Число неудач до первого успеха
Из совокупности N предметов, среди которых M предметов первого вида и (N − M )
предметов второго вида, производят выборку без возвращения n предметов, где
1 6 n 6 N . Случайная величина — число
предметов первого вида в выборке
Число маловероятных успехов в бесконечном ряду испытаний (λ — среднее число
успехов)
Число успехов в N испытаниях, проводимых по схеме Бернулли
Число успехов в одном испытании
Величина с равновероятными значениями
Случайная величина — постоянная c
Таблица 3. Некоторые важные дискретные распределения
17. Метод Монте-Карло
114
α > 0,
p>0
β>0
Парето
Логистическое
σ>0
σ>0
β>0
λ>0
λ>0
a,
a,
σ>0
λ>0
a > 0,
a,
a<b
Параметры
Лапласа
[частный случай распределения Кэптейна при g (x) = ln x]
Логарифмически нормальное
Кэптейна
Γα, β — Γ-распределение
Ca, λ — Коши
Eλ — Показательное (экспоненциальное)
N (0, 1) — стандартное нормальное распределение,
причем fξ (x) = ϕ (x), Fξ (x) = Φ (x)
N (a,
σ) — Нормальное
R [a, b] — Равномерное
Обозначение
0 при x < 0
e
при x > 0
β β−1 −αx
Γ (β)α x
−1
1
λ
· 2
π λ + (x − a)2
0 при x < 0,
λe−λx при x > 0
0 при x < 1,
p x−(p+1) при x > 1.
n
o
x−α
exp − β
1
·
n
o2
β
x−α
1 + exp − β
λ
exp {−λ|x − α|}
2
n
o
g 0 (x)
(g (x)−a)2
√ exp − 2σ2
σ 2π
n
o
1
x−a)2
√
exp − (ln 2σ
, x>0
2
σ 2πx
o
n
2
1
√ · exp − (x−a)
= ϕa, σ (x)
2σ 2
σ 2π
Плотность распределения
0 при x ∈
/ [a, b],
1/(b − a) при x ∈ [a, b]
Таблица 4. Некоторые важные непрерывные распределения
17. Метод Монте-Карло
17. Метод Монте-Карло
Таблица 5. Матем. ожидания и дисперсии некоторых важных распределений
Распределение
Mξ
Dξ
Бернулли
B (1, p)
p
pq
Биномиальное
B (N, p)
Np
N pq
λ
λ
M
N
nM (N − M )(N − n)
N 2 (N − 1)
Пуассона
Pλ
Гипергеометрическое Gm, n (M, N )
n
Геометрическое
Gp
q
p
q
p2
Паскаля26
B (r, p)
rq
p
rq
p2
Равномерное
R[a, b]
a+b
2
(b − a)2
12
Нормальное
N (a, σ)
a
σ2
Показательное
Eλ
1
λ
1
λ2
Коши
Ca, λ
не ∃
не ∃
Γ (Гамма)
Γα, β
β
α
β
α2
α
2
λ2
Лапласа
115
17. Метод Монте-Карло
Таблица 6. Греческий алфавит
Буква
A α
B β
Γ γ
∆ δ
E ε
Z ζ
H η
Θ ϑ
I ι
K κ
Λ λ
M µ
N ν
Ξ ξ
O o
Π π
P ρ
Σ σ
T τ
Υ υ
Φ ϕ
X χ
Ψ ψ
Ω ω
Название
альфа
бета
гамма
дельта
эпсилон
дзета
эта
тета
йота
каппа
лямбда
мю
ню
кси
омикрон
пи
ро
сигма
тау
ипсилон
фи
хи
пси
омега
116
5686
3106
9359
2057
6177
7707
6751
2651
6607
2362
2213
8361
2598
3915
4138
1727
6131
0114
9953
0159
2200
2104
4215
9375
1271
0762
2755
3047
4022
9051
0480
2428
8481
9849
2673
9380
2901
0453
0774
4662
1426
9635
2369
9275
5470
4545
7562
1429
3080
4901
6540
5764
2557
7899
0919
9902
2399
3918
7592
3032
7788
0802
0405
7058
8140
2118
4452
0447
0122
8535
3275
3519
7804
7155
3461
2623
2350
4244
5112
5957
1650
2902
5011
1125
2109
4886
4865
8024
4841
0754
8112
9029
0521
7888
5528
6489
9755
9965
7310
2377
4318
3603
2580
4114
4971
8745
2304
2373
4874
1033
0477
6377
4863
9745
6623
6411
4690
2660
4398
7366
7106
9213
5003
6553
5676
2462
0848
5513
5329
5937
4867
0528
9567
1127
1022
3458
1133
1631
3586
3341
8857
0486
0046
4625
3532
6247
6470
2820
0748
9750
2475
9383
5206
3665
7496
7126
0731
5023
3278
6981
9839
8784
0221
8185
1683
5978
6430
8907
0122
0414
7103
0695
8555
5763
0434
9721
1297
1021
8446
3502
0500
1972
6641
0605
3844
5896
6269
5266
5679
5282
0820
7197
3262
5727
8172
8004
3845
6339
Таблица 7. Таблица случайных чисел
3594
4070
2302
2436
7573
4269
0404
4640
1823
3985
1120
7521
5041
1106
2140
3854
5182
7577
1376
8602
0659
3377
1020
4488
8433
6435
7426
0022
0735
8692
4407
3105
5436
8488
2108
9223
5291
2940
1185
8631
3459
2457
0499
3780
3531
2365
3299
2646
3188
3860
0888
7712
5914
7210
8921
6854
1813
5629
8499
3500
1493
0759
6778
9134
3671
0366
4296
9633
5987
0295
0187
1580
3504
9832
7545
5375
6457
9203
4235
6982
3653
8685
3425
5430
6917
0099
2771
4746
17. Метод Монте-Карло
117
Литература
[1] Боровков, А. А. Теория вероятностей:. Учебное пособие. — Изд. 2-е, перераб. и
доп. /А. А. Боровков. — М.:Наука. Гл. ред. физ.-мат. лит., 1986.
[2] Вентцель, Е. С. Теория вероятностей: Учебное пособие. — Изд. 6-е, перераб. и
доп. / Е. С. Вентцель, Л. А. Овчаров. — М.: Наука. Гл. ред. физ.-мат. лит., 1969.
[3] Вентцель, А. Д. Теория случайных процессов: Учебное пособие. / А. Д. Вентцель.
М.: Наука, 1975.
[4] Волков, И. К. Случайные процессы: Учебное пособие. / И. К. Волков, С. М. Зуев,
Г. М. Цветкова. М.: Изд-во МГТУ, 2000.
[5] Гихман, И. И., Скороход, А. В., Ядренко, М. И. Теория вероятностей и математическая статистика: Учебник. — Изд. 2-е, перераб. и доп. / И. И. Гихман, А. В.
Скороход, М. И. Ядренко. — К.: Выща шк., 1988.
[6] Гнеденко, Б. В. Курс теории вероятностей: Учебник. — Изд. 6-е, перераб. и доп. /
Б. В. Гнеденко. — М.: Наука. Гл. ред. физ.-мат. лит., 1988.
[7] Кибзун, А. И. Теория вероятностей и математическая статистика. Базовый курс
с примерами и задачами: Учебное пособие. / А. И. Кибзун, Е. Р. Горяинова, А. В.
Наумов, А. Н. Сиротин. — М.: ФИЗМАТЛИТ, 2002.
[8] Колмогоров, А. Н. Основные понятия теории вероятностей/ А. Н. Колмогоров —
М.: Наука, 1974.
[9] Козлов, М. В. Элементы теории вероятностей в примерах и задачах: Учебное пособие. / М. В. Козлов. — М.: Изд-во МГУ, 1990.
[10] Крупкина, Т. В. Теория вероятностей, математическая статистика и эконометрика: Учеб. пособие. В 2-х кн. Кн. 1. / Т. В. Крупкина, А. К. Гречкосеев. — Красноярск: Красноярский гос. ун-т, 1999.
[11] Крупкина, Т. В. Теория вероятностей и математическая статистика: Учеб. пособие. В 2-х ч. Ч. 1. / Т. В. Крупкина, В. П. Малый. — Красноярск: Красноярский гос.
ун-т, 1991.
[12] Пугачев, В. С. Теория вероятностей и математическая статистика: Учебное пособие. / В. С. Пугачев. — М.: ФИЗМАТЛИТ, 2002.
[13] Севастьянов, Б. А. Курс теории вероятностей и математической статистики:
Учебник. — / Б. А. Севастьянов. — М.: Наука. Гл. ред. физ.-мат. лит., 1982.
[14] Тутубалин, В. Н. Теория вероятностей и случайных процессов: Учебное пособие. — / В. Н. Тутубалин М.: изд-во МГУ, 1992.
118
Литература
[15] Феллер, В. Введение в теорию вероятностей и ее приложения: Учебник. — Изд.
2-е, перераб. и доп. В 2-х т. Т. 1. / Вильям Феллер. — М.: Мир, 1964.
[16] Ширяев, А. Н. Вероятность: Учебное пособие. — /А. Н. Ширяев. — М.: Наука,
1989.
119
Предметный указатель
амплитуда, 93
анализ
гармонический, 93
белый шум
гауссовский, 110
интенсивность, 97
гармоника, 93
Закон больших чисел
в форме Бернулли, 33
в форме Пуассона, 34
в форме Хинчина, 35
закон больших чисел
в форме Бореля, 42
в форме Маркова, 39
в форме Чебышёва, 32
усиленный, 42
критерий
слабой сходимости, 26
лемма
Бореля-Кантелли, 42
матрица
переходных вероятностей, 52
на n-ом шаге, 52
стохастическая, 53
метод
Монте-Карло, 106
моделирования
алгоритмический, 99
аппаратурный, 99
линейный, 100
математический, 99
мультипликативный, 100
Неймана, 100
середины квадрата, 100
физический, 99
статистического моделирования, 106
урезания, 35
характеристических функций, 37
неравенство
Гельдера-Минковского, 18
Иенсена, 17
Коши-Буняковского-Шварца, 18
Ляпунова, 17
Маркова, 16
Чебышева, 16
плотность
спектральная, 96
последовательность
случайная, 70
предел
последовательности случайных процессов, 86
случайного процесса, 86
преобразование
Смирнова, 101
производная
скалярного случайного процесса второго порядка, 88
процесс
вероятностный, см. процесс случайный
стохастический, см. процесс случайный
процесс случайный, 70
n-мерный, см. векторный
броуновского движения, см. стандартный винеровский
векторный, 71
взаимная ковариационная функция, 79
выборочная функция, см. траектория
гауссовский, 80
дисперсия, 76
закон распределения
одномерная, 72
ковариационная матрица, 75
ковариационная функция, 76, 78
комплекснозначный, 78
комплексный, см. комплекснозначный
компоненты, см. координаты
координаты, 71
корреляционная функция, 78
марковский, 84
120
Предметный указатель
моменты k-го порядка, 75
невозвратное, 57
нормальный, см. гауссовский
ненулевое, 57
плотность распределения, 72, 74
несущественное, 55
пуассоновский, 83
нулевое, 57
реализация, см. траектория
периодическое, 57
с дискретным параметром, 70
поглощающие, 56
с независимыми приращениями, 82
эргодическое, 64
с некоррелированными приращениями,
существенное, 55
состояния
82
с непрерывным параметром, 71
сообщающиеся, 55
с ортогональными, см. некоррелирован- спектр
ными приращениями
дискретный, 95
сечение, 71
частот
скалярный, 71
дискретный, 93
сходимость
стандартный винеровский, 82
стационарный, 80
в среднем, 25
в широком смысле, 80
в среднем квадратичном (СК), 85
в узком смысле, см. стационарный
математических ожиданий, 23
стохастически эквивалентный, 75
по вероятности, 21
траектория, 72
по мере, 21
по распределению, 26
функция распределения, 72
N -мерная, 73
почти всюду, 25
двумерная, 73
почти наверное, 25
слабая, 26
разложение
ковариационной функции
теорема
каноническое, 92
единственности
стационарного процесса
функции распределения, 15
каноническое, 92
Колмогорова, 44
спектральное, 93
Колмогорова о продолжении меры, 19,
20
распределение
безгранично делимое, 9
Маркова
Пуассона
эргодическая, 68
безграничная делимость, 9
непрерывности
свёртка, 9
функции распределения, 16
эргодическая, 67
случайная величина
центральная предельная
комплексная, 4
для независимых однородных случайцелочисленная, 4
ных величин, 46
случайная функция, 70
случайный процесс
уравнение
второго порядка, 85
дифференциальное
дифференцируемый, 88
стохастическое, 90
интегрируемый, 88
условие
непрерывный, 87
Линдеберга, 50
непрерывный в точке, 87
Ляпунова, 48
эргодический по отношению к матема- условия
тическому ожиданию, 90
Дирихле, 96
состояние
согласованности, 74
апериодическое, 57
фаза, 93
возвратное, 57
121
Предметный указатель
формула
обращения, 14
функция
производящая, 4
безгранично делимая, 9
биномиального распределения, 6
распределения Бернулли, 6
распределения Пуассона, 7
свойства, 4
суперпозиция, 8
случайная, см. случайная функция
характеристическая, 10
нормального распределения, 13
равномерного распределения, 12
распределения Бернулли, 12
распределения Пуассона, 12
свойства, 10
ЦПТ
в условиях Линдеберга, 50
в условиях Ляпунова, 48
цепь Маркова, 51
апериодическая, 63
матрица характеристическая, 69
неразложимая, 56
однородная, 52
периодическая, 63
эргодическая, 64
разложимая, 56
распределение
стационарное, 65
числа
матрицы
характеристические, 69
шум
белый, 97
тепловой, 98
эргодическая
теорема, 67
теорема Маркова, 68
122
Оглавление
Принятые обозначения и сокращения . . . . . . . . . . . . . . . . . . . . . . . . .
1.
Производящие функции . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1. Определение и свойства производящих функций . . . . . . . . . . . .
1.2. Примеры вычислений производящих функций . . . . . . . . . . . . .
1.3. Примеры применения производящих функций . . . . . . . . . . . . .
1.4. Сумма случайного числа случайных величин . . . . . . . . . . . . . .
1.5. Безгранично делимые распределения . . . . . . . . . . . . . . . . . .
2.
Характеристические функции . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1. Определение и свойства характеристических функций . . . . . . . .
2.2. Примеры вычислений характеристических функций . . . . . . . . . .
2.3. Формула обращения, теоремы единственности и непрерывности . . .
3.
Некоторые важные неравенства . . . . . . . . . . . . . . . . . . . . . . . . .
3.1. Неравенство Маркова . . . . . . . . . . . . . . . . . . . . . . . . . .
3.2. Неравенство Чебышева . . . . . . . . . . . . . . . . . . . . . . . . . .
3.3. Неравенство Иенсена . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4. Неравенство Ляпунова . . . . . . . . . . . . . . . . . . . . . . . . . .
3.5. Неравенство Коши-Буняковского-Шварца . . . . . . . . . . . . . .
3.6. Неравенство Гельдера-Минковского . . . . . . . . . . . . . . . . . .
3.7. Теорема Колмогорова о продолжении меры . . . . . . . . . . . . . . .
4.
Последовательности случайных величин . . . . . . . . . . . . . . . . . . . .
4.1. Сходимость по вероятности . . . . . . . . . . . . . . . . . . . . . . .
4.2. Сходимость по вероятности функций случайных величин . . . . . . .
4.3. Сходимость математических ожиданий . . . . . . . . . . . . . . . . .
5.
Виды сходимости случайных величин . . . . . . . . . . . . . . . . . . . . . .
5.1. Сходимость почти наверное (с вероятностью 1) . . . . . . . . . . . .
5.2. Сходимость в среднем . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.3. Сходимость по распределению . . . . . . . . . . . . . . . . . . . . . .
5.4. Связи между различными видами сходимости . . . . . . . . . . . . .
5.5. Примеры . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.
Закон больших чисел . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6.1. Статистическая устойчивость . . . . . . . . . . . . . . . . . . . . . .
6.2. Закон больших чисел в форме Чебышёва . . . . . . . . . . . . . . . .
6.3. Закон больших чисел в форме Бернулли . . . . . . . . . . . . . . . .
6.4. Закон больших чисел в форме Пуассона . . . . . . . . . . . . . . . .
6.5. Закон больших чисел в форме Хинчина . . . . . . . . . . . . . . . . .
7.
Усиленный закон больших чисел . . . . . . . . . . . . . . . . . . . . . . . . .
7.1. Закон больших чисел в форме Маркова . . . . . . . . . . . . . . . . .
7.2. Необходимые и достаточные условия закона больших чисел для как
угодно зависимых случайных величин . . . . . . . . . . . . . . . . . .
7.3. Достаточное условие сходимости почти наверное . . . . . . . . . . .
7.4. Теорема Бореля . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
123
3
4
4
6
7
8
9
9
10
12
13
16
16
16
16
17
18
18
19
20
20
21
23
25
25
25
26
26
29
31
31
32
33
34
35
39
39
40
42
42
Оглавление
8.
9.
10.
11.
12.
13.
14.
15.
16.
7.5. Теоремы Колмогорова . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Центральная предельная теорема . . . . . . . . . . . . . . . . . . . . . . . . 45
8.1. Центральная предельная теорема для независимых одинаково распределённых случайных величин . . . . . . . . . . . . . . . . . . . . . 46
8.2. Теорема Ляпунова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
8.3. Теорема Линдеберга . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
8.4. Связь между условиями Ляпунова и Линдеберга . . . . . . . . . . . . 51
Последовательности зависимых случайных величин, образующих цепи
Маркова . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
9.1. Основные понятия . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
9.2. Примеры цепей Маркова . . . . . . . . . . . . . . . . . . . . . . . . . 53
9.3. Существенные состояния . . . . . . . . . . . . . . . . . . . . . . . . . 55
9.4. Классы состояний . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Классификация состояний в неразложимой цепи Маркова . . . . . . . . . . 56
10.1. Возвратные, нулевые, периодические состояния . . . . . . . . . . . . 56
10.2. Возвращения в состояние . . . . . . . . . . . . . . . . . . . . . . . . . 57
10.3. Симметричное случайное блуждание . . . . . . . . . . . . . . . . . . 59
10.4. Теорема солидарности . . . . . . . . . . . . . . . . . . . . . . . . . . 62
Эргодичность и стационарные распределения . . . . . . . . . . . . . . . . . 64
11.1. Эргодические состояния . . . . . . . . . . . . . . . . . . . . . . . . . 64
11.2. Эргодическая теорема . . . . . . . . . . . . . . . . . . . . . . . . . . 67
11.3. Алгебраический метод нахождения стационарного распределения . . 69
Введение в в общую теорию случайных процессов . . . . . . . . . . . . . . . 70
12.1. Случайные функции и случайные процессы . . . . . . . . . . . . . . . 70
12.2. Конечномерные распределения . . . . . . . . . . . . . . . . . . . . . 72
12.3. Математическое ожидание и ковариационная матрица . . . . . . . . 75
12.4. Ковариационные функции . . . . . . . . . . . . . . . . . . . . . . . . 76
Классификация случайных процессов . . . . . . . . . . . . . . . . . . . . . . 79
13.1. Стационарные случайные процессы . . . . . . . . . . . . . . . . . . . 79
13.2. Гауссовские процессы . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
13.3. Процессы с независимыми приращениями . . . . . . . . . . . . . . . 82
13.4. Винеровский процесс . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
13.5. Пуассоновский процесс . . . . . . . . . . . . . . . . . . . . . . . . . . 83
13.6. Марковские процессы . . . . . . . . . . . . . . . . . . . . . . . . . . 84
Стохастический анализ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
14.1. Сходимость в среднем квадратичном . . . . . . . . . . . . . . . . . . 84
14.2. Понятие предела . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
14.3. Непрерывность случайного процесса . . . . . . . . . . . . . . . . . . 87
14.4. Дифференцируемость случайного процесса . . . . . . . . . . . . . . . 87
14.5. Интегрируемость случайного процесса . . . . . . . . . . . . . . . . . 88
14.6. Действие линейного оператора на случайный процесс . . . . . . . . . 89
14.7. Эргодические случайные процессы . . . . . . . . . . . . . . . . . . . 90
Спектральная теория . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
15.1. Стационарные случайные процессы с дискретным спектром . . . . . 91
15.2. Стационарные случайные процессы с непрерывным спектром . . . . 95
15.3. Белый шум . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
Моделирование случайных величин . . . . . . . . . . . . . . . . . . . . . . . 98
16.1. Моделирование R[0, 1] . . . . . . . . . . . . . . . . . . . . . . . . . . 98
16.2. Моделирование дискретной случайной величины . . . . . . . . . . . 100
16.3. Моделирование непрерывной случайной величины . . . . . . . . . . 100
124
Оглавление
16.4. Моделирование нормальной случайной величины . . . . . . . . . .
16.5. Моделирование многомерных распределений . . . . . . . . . . . . .
16.6. Моделирование нормальной двумерной случайной величины (X, Y )
17. Метод Монте-Карло . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17.1. Метод Монте-Карло . . . . . . . . . . . . . . . . . . . . . . . . . .
17.2. Моделирование случайных процессов . . . . . . . . . . . . . . . . .
Приложение . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Литература . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Предметный указатель . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Оглавление . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
125
.
.
.
.
.
.
.
.
.
.
102
103
104
105
105
109
111
118
119
123
Учебное издание
Татьяна Валерьевна КРУПКИНА
Сергей Валерьевич БАБЕНЫШЕВ
Александр Кузьмич ГРЕЧКОСЕЕВ
Екатерина Сергеевна КИРИК
ТЕОРИЯ ВЕРОЯТНОСТЕЙ И СЛУЧАЙНЫЕ ПРОЦЕССЫ
Часть 2
Учебное пособие
Редактор — А. А. Назимова
Корректор — Т. Е. Бастрыгина
Лицензия ЛР № 020372 от 29.01.1997
Печать офсетная. Подписано в печать 00.00.07. Формат 60 × 84 / 16.
Бумага типографская. Гарнитура литературная.
Усл. печ. л. 0,0. Уч.-изд. л. 0,0. Тираж 000 экз.
Заказ № 0000.
Цена договорная.
Издательский центр Института естественных и гуманитарных наук
Сибирского федерального университета.
660041 Красноярск, пр. Свободный, 79.