Галкин С.В, Панов В.Ф., Петрухина О.С.. Краткий конспект лекций по вероятности для студентов МГТУ им. Н. Э. Баумана (третий семестр) Москва 2006 2 Лекция1 Вероятность В теории вероятностей рассматриваются такие явления или опыты, конкретный исход которых не определяется однозначно условиями опыта (случаен), но по результатам большого числа экспериментов в среднем может быть предсказан (свойство статистической устойчивости). Элементарным событием (элементарным исходом) называется любое событие исход опыта, которое нельзя представить в виде объединения других событий. Так как исход опыта случаен, то и любое элементарное событие случайно, далее будем говорить просто о событиях, не подчеркивая их случайность. Пространством элементарных событий (исходов) называется множество всех элементарных событий (исходов). {1, …n …}, если в результате опыта обязательно наступает какой-либо из элементарных исходов и только один (один исход исключает любой другой). Пространство элементарных событий может содержать конечное, счетное и даже бесконечное множество элементарных событий. Случайным событием (событием) называется подмножество пространства элементарных событий. Любое множество – это совокупность элементов. Элементами события являются элементарные события, образующие это событие. Пример. Бросается одна монета, она может упасть гербом (1=Г) или решкой (1=Р). =(Г,Р). Пример. Бросаются две монеты = {(Г, Г), (Г,Р), (Р,Г), (Р,Р)} Пример. Капля дождя падает на прямоугольную площадку. = {(x,y), a<x<b, c<y<d} Достоверное событие – событие, которое всегда происходит в результате данного опыта, оно содержит все элементарные события и обозначается . Невозможное событие – событие, которое не может произойти в результате данного опыта, оно не содержит элементарных событий и обозначается . Действия над событиями. События определены как множества, поэтому действия над ними аналогичны действиям над множествами и хорошо иллюстрируются диаграммами Венна. Пространство будем обозначать прямоугольником, элементарное событие – точкой прямоугольника, а каждое событие – подмножеством точек этого прямоугольника. Результат операции над событиями будем заштриховывать. Пусть выбираются карты из колоды карт. Событие А – выбор червонной карты, событие В – выбор десятки 3 Суммой двух событий А и В называется событие С = А + В (или С = А В), состоящее из элементарных событий, принадлежащих либо А, либо В. Пример. С = А + В – выбор любой червонной карты или любой десятки Произведением двух событий А и В называется событие D = AB (или D = A B), состоящее из элементарных событий, принадлежащих и А и В. Пример. АВ – выбор десятки червей Разностью двух событий А и В называется событие А\В, состоящее из элементарных событий, принадлежащих А и не принадлежащих В. Пример. А\В –выбор любой червонной карты, кроме десятки Классификация событий Событие, состоящее из всех элементарных событий, не содержащихся в А, обозначим А и будем называть противоположным событием. Пример. А –выбор червонной карты; А –выбор любой карты другой масти.. А = \А Два события А и В будем называть совместными, если каждое из них содержит хотя бы одно общее элементарное событие, т.е если АВ Ø и несовместными, если АВ = Ø. Пример. А – выбор червонной карты и В – выбор десятки – совместные события, так как АВ = выбор червонной десятки Ø Пример. А – выпадение четного числа очков А = {2, 4, 6}. В – выпадение нечетного числа очков В = {1, 3, 5}. Очевидно, что А и В несовместны. Полная группа событий – это совокупность n событий А1, А2, …, Аn, одно из которых n обязательно произойдет, т.е. А i 1 i Свойства операций над событиями Если А В, то А + В = В, А В = А. Отсюда следует 1. =Ø, 2. А + А = А, 3. А А = А, 4. А + = , 5. А + Ø = А, 6. А = А, 7. А Ø = Ø, 8 А= А, 9. А А , 10. А А = Ø. Коммутативность операций, А + В = В + А; А В = В А Ассоциативность операций А + (В + С) = (А + В) + С = А + В + С, А(В С) = (А В) С = А В С Дистрибутивность А (В + С) = А В + А С, А + (В С) = (А + В)(А + С) 4 Пример. Вычислим (A+B)(A+C)=AA+BA+AC+BC=A+BC. В самом деле, BAA, ACA, AA=A, тогда AA+BA=A, A+AC=A. Правило двойственности (теорема де Моргана) A A , A A k 1 k k k 1 k k 1 k 1 k Пример. А В А B АВ А В Алгебра событий. Пусть - пространство элементарных событий. Алгеброй событий S называется такая система случайных событий S, что 1) S, 2) A, B S A+BS, ABS, A\BS. Следствие = \ S Пусть содержит конечное число элементов, = {1,…n}. Тогда алгебру S можно построить как множество всех подмножеств . S={, {1}, … {n}, {1,2}, …{1,n}, …{n-1,n}, …{1, …,n}}, в ней всего 2n элементов. Аналогично стоится алгебра для счетного числа событий. События должны выбираться из алгебры событий. Для бесконечного (не счетного) числа событий класс событий должен быть сужен. Вводится - алгебра событий. Сигма-алгеброй (-алгеброй) событий называется непустая система подмножеств пространства элементарных событий, такая что 1) A A , 2) A1, A2, …An, …( A1+A2+ …+An+, …), ( A1 A2 ... An ...) …. Любая сигма-алгебра событий является алгеброй событий, но не наоборот. Вероятность. Классическое определение вероятности события Случаями называются равновозможные, несовместные события, составляющие полную группу. Пусть пространство элементарных событий Ω содержит конечное число случаев. Пусть N – общее число случаев в Ω, а NА – число случаев, образующих событие А (или, как говорят, благоприятствующих событию А). N Определение. Вероятностью события А называется отношение P(A) = A . N Это - классическое определение вероятности. Примеры. 1. Бросание игральной кости. Ω = 1, 2,…,6 N = 6. А – количество очков кратно трем А = 3,6 NA = 2. 2 1 Р ( А) . 6 3 2. В урне а белых и b черных шаров. Опыт – вынимается один шар. А – шар черный. b Р( А) . ab Исходя из классического определения вероятностей, легко доказать свойства вероятности: 5 1) Р(Ω) = 1 (NA = N); 2) 0 Р( А) 1 ( 0 N A N ) ; 3) Если А В = Ø, то Р(А + В) = Р(А) + Р(В) ( NA+B=NA+NB) и их следствия 4) Р(Ø) = 0 (NØ) = 0; 5) Р( А ) = 1- Р(А) ( А А , А А = Ø, Р(А) + Р( А ) = 1); 6) Если А В , то Р(А) Р(В) (NA NB). Для определения общего числа равновозможных исходов и числа благоприятствующих исходов. используется основной принцип комбинаторики: пусть некоторая операция Р представляет собой последовательность n операций Pk (k=1, …n), каждая из которых может быть выполнена mr способами. Тогда операция Р может быть выполнена m1 m2 ... mn способами. Пусть мы делаем выборку поочередно m элементов (например, шаров) из n элементов. Мы можем возвращать очередной шар (в число n шаров), тогда при каждом очередном выборе мы будем иметь все те же n шаров. Такая выборка называется выборкой с возвращением. А можем и не возвращать шар, тогда при каждом выборе мы будем выбирать из все меньшего числа шаров. Такая выборка называется выборкой без возвращения. С другой стороны, если учитывать порядок появления шаров, то выборка называется упорядоченной или размещением из n шаров по m шаров. Если порядок шаров не учитывать (важно, какие шары выбраны, но не важно, в каком порядке), то такая выборка называется неупорядоченной или сочетанием из n шаров по m шаров. Выясним, сколькими способами можно произвести ту или иную выборку Без возвращения Сочетания nn 1...n m 1 n! C nm m! m! (n m)! Размещения Anm nn 1...n m 1 С возвращением Cnm Cnm m1 Anm n m Формулы для размещений легко получаются из принципа комбинаторики. Для того, чтобы перейти от размещений (без возвращений) к сочетаниям (без возвращений), нужно упорядочить выборки, т.е. исключить те из них, которые отличаются только порядком элементов. Выборки, отличающиеся только порядком элементов, называются Am перестановками. Число перестановок из m элементов равно Pm= Amm =m!. Поэтому С тn n . Pm Доказательство формулы для сочетаний с возвращением приведено на стр. 50 – 51 в. ХV1. Пример. Производится выборка двух шаров (m=2) из урны, в которой находится n=3 шара. 1) Размещения с возвращением (1,1) (1,2) (1,3) (2,1) (2,2) (2,3) (3,1) (3,2) (3,3) A32 = 32 = 9. 2) Размещения (без возвращения) (1,2) (1,3) (2,1) (2,3) (3,1) (3,2) A32 6 . 3) Сочетания с возвращением (1,1) (1,2) (1,3) (2,2) (2,3) (3,3) 4) Сочетания (без возвращения) (1,2) (1,3) (2,3) C 2231 C 42 6 C 32 3 . Пример. Задача о выборке «бракованных» деталей. В партии из N одинаковых деталей M бракованных. Выбирается (не возвращая) n деталей. Какова вероятность того, что среди них окажется ровно m бракованных? 6 Общее количество случаев (сочетания из N деталей по n) равно C Nn . Мы выбираем m бракованных деталей среди M бракованных, но и одновременно выбираем (n-m) деталей без брака среди N-M деталей без брака. Тогда, по основному принципу комбинаторики, такому C Mm C Nn mM случаев. Поэтому искомая вероятность равна выбору благоприятствует p С Mm C Nn mM . C Nn Геометрическая вероятность Формула классической вероятности применяется только в схеме случаев, что встречается довольно редко. Отношение Р(А)= NA/N представляет собой «долю» благоприятных исходов среди всех возможных исходов. Аналогичным образом подсчитывают вероятность события в некоторых более сложных случаях, когда имеется бесконечное число равновозможных исходов. Пример. Задача о встрече. Два студента договорились встретиться от 10 до 11 часов на определенном месте, причем первый студент, пришедший на место, ждет товарища 15 минут и уходит. Какова вероятность встречи? Выберем начало системы координат в точке (10, 10). Отложим по осям системы координат x- время прихода первого студента, y – время прихода второго студента. Тогда множество |x-y|<1/4, 0<x<1, 0<x<1, 0<y<1 содержит точки (события) встречи студентов. Его мера (площадь) mesA равна 1- (3/4)2 = 7/16. Так как mes =1, то P(A) = 7/16. 1 1/4 1/4 1 Статистическая вероятность Формулы классической вероятности и геометрической вероятности справедливы только для случая равновозможных исходов. В действительности мы на практике имеем место с неравновозможными исходами. В этих случаях можно определить вероятность случайного события, используя понятие частоты события. Пусть надо определить вероятность того, что в испытании произойдет событие А. Для этого в одинаковых условиях проводятся испытания, в каждом из которых возможны два исхода: А и А . Частотой события А будем называть отношение числа NA испытаний, в которых зафиксировано событие А к общему числу N испытаний. N Статистической вероятностью события А называется P( A) lim n A N Заметим, что по классическому, геометрическому и статистическому определениям для вероятности события P(A) выполнены три основных свойства: 1)P(A)0, 2) P()=1, 3) P(A1+ …+An) = P(A1) + …+P(An), если A1, An попарно несовместны. Однако в этих определениях элементарные события предполагаются равновозможными. А.Н. Колмогоров отказался от предположения равновозможности элементарных событий и распространил третье свойство на счетное число событий из сигма-алгебры 7 событий. Это дало ему возможность дать общее аксиоматическое определение вероятности события. Аксиоматическое определение вероятности (по А.Н.Колмогорову). Вероятностью P(A) называется числовая функция, заданная на сигма – алгебре событий, удовлетворяющая трем аксиомам: 1) не отрицательность P(A)0, A - сигма – алгебре событий на 2) нормировка P() = 1 3) расширенная аксиома сложения: для любых попарно несовместных событий A1, … An … выполнено P(A1+ …+An+ …) = P(A1) + …+P(An) +… (счетная аддитивность). Итак, по А.Н. Колмогорову вероятность (вероятностная мера) это числовая неотрицательная нормированная счетно - аддитивная функция (множества – события), заданная на сигма – алгебре событий. Если состоит из конечного или счетного числа событий, то в качестве сигма – алгебры может рассматриваться алгебра S событий. Тогда по аксиоме 3 вероятность любого события A равна сумме вероятностей элементарных событий, составляющих A. Вероятностным пространством называется тройка (, , P). Свойства вероятности 1) P( A) 1 P( A) . В самом деле, A A , A, A несовместны. По аксиоме 3 P( A A) P( A) P( A) P() 1 . 2) P() = 0. Так как A A+ = A, по аксиоме 3 P(A+) = P(A) + P() = P(A) P() = 0 3) Если A B, то P(A) P(B). Так как B = A+ B\A, по аксиоме 3 P(B) = P(A) + P(B\A), но по аксиоме 1 P(B\A)0 Пример. Из урны с четырьмя шарами с номерами 1, 2, 3, 4 три раза наугад вынимают шар и записывают его номер а) возвращая шары б) не возвращая шары. Какова вероятность 1) получить комбинацию 111, 2) из номеров шаров составить возрастающую последовательность? В случае а) имеем размещения с возвращением, N = 43, 1), NA=1, P = ¼3, 2) NA = C 43 , так как возрастающую последовательность можно составить всегда из не повторяющихся номеров, P = C 43 / 43 . В случае б) N = C 43 ,1) P = 0, так как номера шаров не повторяются, то NA =0, 2) P = 1, так как N = NA = C 43 . Пример. Пять человек садятся в поезд метро, состоящий из пяти вагонов. Какова вероятность того, что они окажутся в разных вагонах? Общее число элементарных событий равно числу размещений с повторением из пяти элементов по пять N = 55. Число элементарных событий, составляющих А, равно 5! Поэтому Р = 5!/ 55. Лекция 2 Условная вероятность. 8 Вероятность события А при условии, что событие В наступило будем называть условной и обозначать Р(А/В) Если никаких дополнительных условий не накладывается, то вероятность называется безусловной. Это – обычная, определенная выше вероятность. Рассмотрим пример. Пусть в данной аудитории присутствует N студентов. Среди них NA –любящих математику, NB – любящих физику, NАВ – любящих и математику, и физику. Лектор случайно выбирает одного студента. Введем следующие события: А – случайно выбранный студент любит математику, В – физику, АВ – и математику, и физику. На диаграммах Венна это выглядит так. Тогда вероятности этих событий равны: N N N mesA mesB mesAB Это Р( А) A , P( B) B , . P( AB) AB . N mes N mes N mes безусловные вероятности. Предположим теперь, что мы захотели узнать вероятность того, что случайно выбранный любитель физики любит еще и математику. В этом случае количество всех возможных исходов NB (выбираем только любителей физики), а количество благоприятных исходов – NАВ. Получим N mesAВ mes P( AB) P( AB) = Р( А / В) AB = mesВ mes P( B) P( B) NB Мы рассмотрели частный случай. Введем в общем случае следующее формальное определение. В общем случае будем называть условной вероятностью события А при условии В Р( АВ) . Р( А / В) Р( В) Формула вероятности произведения событий (теорема умножения вероятностей). Независимые события Из формулы условной вероятности следует теорема умножения вероятностей Р(АВ) = Р(В)·Р(А/В) = Р(А)·Р(В/А). Вероятность совместного наступления двух событий (вероятность произведения этих событий) равна произведению вероятности одного из них на условную вероятность другого. Теорема умножения вероятностей может быть обобщена на случай произвольного числа событий. n n 1 i 1 i 1 Р( Аi ) Р( А1 ) Р( А2 / A1 ) P( A3 / A1 A2 ) ... P( An / Ai ) . Событие А будем называть независимым от события В, если P(A/B) = P(A), т.е. если условная вероятность равна безусловной. Два события называются независимыми, если наступление одного из них не изменяет вероятность другого. В противном случае события называются зависимыми. 9 События А1, А2,…, Аn называются независимыми в совокупности, если вероятность их произведения равна произведению их вероятностей n n i 1 i 1 Р( Аi ) Р( Аi ) . Можно показать, что из попарной независимости не вытекает независимость в совокупности Пример 1. Наугад вытаскивается одна карта из тщательно перетасованной колоды в 36 карт. А – вытащенная карта – дама; Р ( А) 4/36 = 1/9; 1) Дополнительная информация: произошло событие В – вытащена карта бубновой масти, P( AB) 1 / 36 Р (B ) 1/4, P AB =1/36. P( A / B) 1 / 9; P( A) Р( A / B) А и В – независимы. P( B) 1/ 4 2) Дополнительная информация: произошло событие С – вытащена «картинка» (валеты, дамы, короли), PC =12/36, P AC =4/36. P( AС ) 4 / 36 P( A / С ) 1 / 3 1 / 9; P( A) Р( A / C ) А и C – зависимы. P(С ) 12 / 36 Пример 2. На плотной бумаге написано слово «стипендия» С Т И П Е Н Д И Я Разрезав надпись на буквы и перемешав их, вытаскиваем наугад шесть букв. Какова вероятность того, что из вытащенных букв в порядке вытаскивания получится слово «пенсия»? Р(«пенсия») = Р(п)·Ре/п)·Р(н/пе)·Р(с/пен)·Р(и/пенс)·Р(я/пенси) = = 1/9· 1/8 · 1/7 · 1/6 · 2/5 · = 1/30240 14 Решая эту задачу методами комбинаторики, получим Р 2! 1 Р(«пенсия») = 26 . А9 9 8 7 6 5 4 30240 Формула вероятности суммы совместных событий (теорема сложения вероятностей) .Пусть мы имеем два совместных события А и В. Преобразуем их сумму в сумму несовместных событий А В А В \ A Р( А В) Р( А) Р( В \ A) B B \ A AB PB PB \ A P AB PB \ A PB P AB Подставляя второе выражение в первое, получим Р( А В) Р( А) Р( В) Р( АВ) . Пример. По мишени один раз стреляют два стрелка. Вероятность попадания первого стрелка в мишень р1 = 0,7, второго – р2 = 0,8. Какова вероятность того, что кто-нибудь из них попадет в мишень? А = А1 + А2, А попадание в мишень; А1 – попал первый стрелок; А2 – попал второй стрелок. Р(А) =Р(А1 + А2)=Р(А1)+ Р(А2) –Р(А1А2)= Р(А1)+Р(А2) – Р(А1 )Р(А2)= 0.7+ 0,8 – 0,7· 0,8 = 0,94. 10 Получим вероятность суммы трех совместных событий. P A B C P A B PC P( A B)C P A PB P AB PC P AC PBC P ABC , так как ACBC ABC Получена формула Р(А + В + С) = Р(А) + Р(В) + Р(С) – Р(АВ) – Р(АС) – Р(ВС) + Р(АВС) Обобщая полученный результат на сумму n совместных событий, получим формулу n n i 1 i 1 Р( Аi ) P( Ai ) P( Ai A j ) i j n P( Ai A j Ak ) (1) n1 P( Ai ) i j k i 1 Формула полной вероятности Пусть требуется определить вероятность события А, которое может произойти в сочетании с одним из событий Н1, Н2,…, Н n, образующих полную группу несовместных n событий ( H i , H i H j Ø, i j ). Эти события будем называть гипотезами. i 1 Н1 Н2 Н3 АН1 АН2 АН3 АНn-2 АНn-1 АНn Hn-2 Hn-1 Hn n A A A( H 1 H 2 H n ) AH i i 1 В соответствии со свойством 3) вероятности и теоремой умножения вероятностей n n n i 1 i 1 Р( А) Р( AH i ) P( AH i ) P( H i ) P( A / H i ) i 1 n Р( А) P( H i ) P( A / H i ) i 1 Пример. Из n экзаменационных билетов студент знает m («хорошие билеты»). Что лучше: брать на экзамене билет первым или вторым? Решение. Введем событие А – студент взял «хороший» билет. m Студент берет билет первым. В этом случае Р( А) . n Студент берет билет вторым. Введем две гипотезы: Н1 – первый студент взял «хороший» билет, Н2 = Н 1 . m m 1 m m m Р( А) Р( Н 1 ) Р( А / H 1 ) P( H 2 ) P( A / H 2 ) (1 ) . n n 1 n n 1 n Вывод: безразлично, брать билет первым или вторым. Формула Байеса (теорема гипотез) В соответствии с теоремой умножения вероятностей Р(АНi) = Р(Hi)·Р(А/Hi) = Р(A)·Р(Hi/А). В это равенство подставим значение Р(А), вычисленное по формуле полной вероятности и найдем Р(Hi/А). 11 n Р( А) P( H i ) P( A / H i ) Р(Нi/A) = P( H i ) i 1 Р( А / H i ) P( H i ) P( A / H i ) n P( A) P( H i ) P( A / H i ) i 1 Это следствие из теоремы умножения и формулы полной вероятности называется формулой Байеса или теоремой гипотез. Вероятности гипотез Р(Нi), входящие в формулу полной вероятности, называют априорными, т.е. «до опытными». Пусть опыт произведен и его результат известен, т.е. мы знаем, произошло или не произошло событие А. Получившийся результат мог произойти при осуществлении какой-то одной гипотезы Нi. Дополнительная информация об исходе опыта перераспределяет вероятности гипотез. Эти перераспределенные вероятности гипотез Р(Нi/A) называют апостериорными , т.е. «после опытными». Пример В одной из корзин 1 камешек и 4 кусочка хлеба, во второй – 4 камешка и 1 кусочек хлеба. Мышка наугад выбирает корзину, бежит к ней и вытаскивает кусочек хлеба событие А (предполагается, что он затем вновь возвращается в корзину). Какова вероятность события А? Каковы вероятности того, что второй раз мышка побежит к первой корзине, ко второй корзине? Какова вероятность того, что она второй раз вытащит кусочек хлеба? Рассмотрим гипотезы Н1 – мышка бежит к первой корзине, Н2 – мышка бежит ко второй корзине. Р(Н1) =1/2 = Р(Н2) (априорные вероятности) Р( А / H1 ) 4 / 5 P( A / H 2 ) 1/ 5 . P A 4 / 5 1/ 2 1/ 5 1/ 2 1/ 2 P( H 1 ) P( A / H 1 ) 1/ 2 4 / 5 Р(Н1/A) 2 4/5 1/ 2 P( H i ) P( A / H i ) i 1 Р(Н2/A) P( H 2 ) P( A / H 2 ) 2 P( H ) P( A / H ) i 1 i 1/ 2 1/ 5 1/ 5 1/ 2 (апостериорные вероятности). i При втором подходе P A 4 / 5 4 / 5 1/ 5 1/ 5 16 / 25 1/ 2 Мышка обучилась, второй раз она выберет первую корзину с большей вероятностью и добьется большего успеха. Заметим, что это – один из основных принципов обучения кибернетических систем. Лекция 3. Случайные величины Случайная величина – это величина (число), которая в результате опыта может принимать то или иное значение. Более строго, случайная величина – это числовая функция случайного события. X X , Случайная величина называется дискретной, если множество ее значений конечно или счетно. Здесь - алгебра событий. Например, число очков на грани брошенной кости, число бросков монеты до появления герба – дискретные случайные величины. Случайная величина называется непрерывной, если ее значения заполняют некоторый интервал, возможно, бесконечный. Здесь - сигма - алгебра событий. Например, расстояние от центра мишени при стрельбе, время до отказа прибора, ошибка измерения – непрерывные случайные величины. 12 Рассмотрим дискретную случайную величину, принимающую значения x1 ,...xn . Имеем полную группу (иначе, не все значения учтены) несовместных событий X x1 ,...,X xn . Вероятности этих событий равны соответственно p1 ,... pn p1 ... p n 1 . Будем говорить, что дискретная случайная величина X принимает значения x1 ,...xn с вероятностями p1 ,... pn . Законом распределения дискретной случайной величины называется любое соотношение, устанавливающее зависимость между ее значениями x1 ,...xn и вероятностями p1 ,... pn , с которыми эти значения достигаются. Основные формы закона распределения дискретной случайной величины: ряд распределения – таблица xi x1 ….. x n pi p1 ….. pn многоугольник распределения p3 p2 p1, pn x1 x2 x3 …xn Можно задать закон распределения в виде аналитической зависимости, связывающей значения x1 ,...xn и вероятности p1 ,... pn . Рассмотрим непрерывную случайную величину. Для непрерывной случайной величины P X x 0 , поэтому рассматривают события X x и вероятности этих событий. Функцией распределения непрерывной случайной величины F x называется вероятность события X x . F x = P X x . Свойства функции распределения. 1) 0 F x 1 по аксиомам вероятности, 2) F x1 F x2 , если x1 x2 , т.е. функция распределения – неубывающая функция. В самом деле, следовательно, X x1 X x2 , F x1 P X x1 P X x2 F x2 . lim x F x 1 В самом деле, событие X 3) lim x F x 0, невозможное, и его вероятность нулевая. Событие X - достоверное, и его вероятность равна 1. 4) Pa X b F b F a . Так как события A X a и B a X b несовместны и событие C X b есть сумма этих событий, то F b P X b PC P A PB F a Pa X b . График функции распределения имеет, примерно, следующий вид F(x) 1 x 13 Функцию распределения можно определить и для дискретной случайной величины. Ее график будет графиком ступенчатой функции со скачками в pi в точках xi , непрерывной слева в этих точках. F(x) 1 p3 p2 p1 x x1 x2 x3 xn Для непрерывной случайной величины вводится плотность распределения вероятностей. Плотностью распределения (вероятностей) называется производная функции распределения px F x . Ясно, что F x x b pxdx, т.к. F 0, Pa X b F b F a px dx . a Часто функцию распределения называют интегральным законом распределения, а плотность распределения – дифференциальным законом распределения. Так как x x P( x X x x) p( x)dx p( x)x , то p(x)dx называется элементом вероятности. x Свойства плотности распределения. 1) px 0 , так как функция распределения – неубывающая функция, 2) px dx 1 (условие нормировки) , так как F 1. Числовые характеристики случайных величин. Начальный момент s-го порядка n Для дискретных случайных величин s xis pi . i 1 Для непрерывных случайных величин s x px dx . s Математическим ожиданием случайной величины называется ее первый начальный момент mx = M(x) = 1 ( x) . Для дискретных случайных величин mx x1 p1 ... xn pn . Если на числовой оси расположить точки x1 ,...xn с массами p1 ,... pn , то m x - абсцисса центра тяжести системы точек. Аналогично, для непрерывных случайных величин m x xp( x)dx центра тяжести кривой распределения. Свойства математического ожидания. имеет смысл 14 1) M (C ) = C. Для дискретных случайных величин x = C, p = 1, M (C ) = x p =С. Для непрерывных случайных величин M X Cp x dx C p x dx C по условию нормировки для плотности вероятностей. 2) M(CX) = С M(X). В самом деле, константу можно вынести из суммы в дискретном случае и из под интеграла в непрерывном случае. 3) M(X+Y) = M(X) + M(Y). (без доказательства). 4) M(|X|) = |M(X)| (без доказательства). Математическое ожидание функции случайной величины вычисляют по формулам n M f X f xi pi для дискретной случайной величины, i 1 M f X f x px dx для непрерывной случайной величины. 0 Центрированной случайной величиной называется x x m x x M X . Центральный момент s-го порядка n 0 Для дискретной случайной величины s ( x) is pi . i 1 0 0 s s ( x) px dx . s M (( x) ) Для непрерывной случайной величины s Дисперсией называется второй центральный момент случайной величины. 0 D x D( X ) M (( x) 2 ) M (( x m x ) 2 ) По свойствам математического ожидания получим 2 2 2 2 2 D x M ( X ) 2(m x ) (m x ) M ( X ) (m x ) . Эта формула часто применяется. Дисперсия – это характеристика рассеяния, она характеризует концентрацию кривой распределения (графика плотности распределения) около математического ожидания. Если на числовой оси расположить точки xi с массами pi, то дисперсия – это момент инерции системы материальных точек относительно центра тяжести mx. n Для дискретных случайных величин D x ( xi m x ) 2 pi . i 1 Для непрерывных случайных величин D x ( x m x ) 2 p( x)dx . Свойства дисперсии. 1) Dx 0 (под интегралом стоит квадрат функции). 2) DC 0 ( mC C ) . 3) DCx C 2 D x (выведите сами, вынося C 2 из под суммы или из под интеграла). Средним квадратическим отклонением называется ( x) Dx . Кроме этих основных числовых характеристик используются асимметрии s k коэффициент 3 , эксцесс – мера островершинности распределения Ex 44 3 , 3 0 среднее арифметическое отклонение M (| x |) , мода – наиболее вероятное значение для 15 дискретных величин или значение, где плотность максимальна для непрерывных величин, медиана Me – абсцисса точки, в которой площадь, ограниченная кривой плотности распределения, делится пополам (точка, в которой F(x) = ½). Пример. Стрелок делает один выстрел и с вероятностью p попадает в мишень. Пусть X – количество попаданий в мишень. Это – дискретная случайная величина, принимающая два значения х1 = 0 и х2 = 1 с вероятностями q = 1-p, p соответственно. Построим ряд распределения Х xi pi 0 q 1 p 0, x 0 Функция распределения равна F x q, 0 x 1 , 1 1 x Математическое ожидание равно M(X) = mx = 0 q + 1 p = p. Если составить ряд распределения для случайной величины X2, то мы получим ту же таблицу (так как 02 = 0 и 12 =1). Поэтому M(X2) = p, а дисперсию можно вычислить по формуле D(X) = M(X2) – (mx)2 = p – p2 = p(1-p) = pq. Распределение называется равномерным на отрезке [a,b], если плотность случайной величины X постоянна на отрезке [a,b] p(x) = p и равна нулю вне этого отрезка. Из условия нормировки для плотности вероятности следует b 1 - плотность равномерного 1 pdx p(b a) . Отсюда следует, что p ba a распределения. Функция распределения величины, распределенной равномерно на отрезке [a,b], равна 0, x a x x a F ( x) p( x)dx a x b . Вычислим математическое ожидание и дисперсию b a 1 x b величины, распределенной равномерно на отрезке [a,b]. b x 1 x2 b b2 a2 a b , mx dx b a b a 2 a 2 ( b a ) 2 a 2 2 b 2 a b b 3 a 3 a b b 2 a 2 a b b a ab dx p( Dx x )= p dx p x a b x 2 4 3 2 4 a a a 2 ab b 2 a 2 2ab b 2 a 2 2ab b 2 3 2 4 b 1 4a 2 4ab 4b 2 6a 2 12ab 6b 2 3a 2 6ab 3b 2 12 b a 2 1 = b 2 2ab a 2 12 12 16 Лекция 4 Повторные испытания. Пусть производится n опытов (испытаний), в каждом из которых может наступить один из N исходов. Если результаты одного испытания не зависят от результатов других испытаний, то такие испытания называются независимыми. Например, стрелок делает n выстрелов в мишень, в которой N колец: десятка, девятка и т.д. Возможны две ситуации: условия проведения испытаний не меняются (ситуация А) или меняются от испытания к испытанию (ситуация В). Рассмотрим ситуацию А. Пусть число исходов равно двум (N = 2). Схема независимых испытаний с двумя исходами называется схемой Бернулли. Два исхода соответствуют в приведенном примере попаданию (успеху) или не попаданию в мишень, причем в каждом выстреле вероятность попадания равна p, а вероятность промаха равна q = 1 – p. Обозначим вероятность попасть m раз из n выстрелов P(m,n). P(0, n) q n , так как в каждом опыте стрелок промахивается. Вероятность попасть один раз равна P1, n npq n1 , так как стрелок может попасть при первом, втором, … n ом выстреле. P2, n C n2 p 2 q n 2 ,так как два попадания (порядок не важен) должны быть размещены (выборки без возвращения) среди n выстрелов. Аналогично Pm, n Pn m C nm p m q n m - формула Бернулли. Само распределение Pn m C nm p m q n m называют биномиальным. В самом деле, это – коэффициенты при z m в разложении по степеням z n производящей функции z q pz . Из формулы Бернулли вытекают два следствия: 1) Вероятность появления успеха в n испытаниях не более m1 раз и не менее m2 раз равна Pm1 m m2 m2 C m m1 m n p m q nm , 2) Вероятность хотя бы одного успеха в n испытаниях равна m1 1, m2 n n Pm 1 C nm p m q n m 1 C n0 p 0 q n 1 q n . m 1 Если Х имеет биномиальное распределение, то Мх = np, Dx = npq. Пусть в ситуации А число исходов равно N, а их вероятности равны p1…pN . Вычислим вероятность того, что после n испытаний i – тый исход наступит mi раз m1 ... mN n Pm1 .....mN , n Cnm1 Cnm2m1 ... CnmNm1 m2 ...mN 1 p m1 p m2 ...p mN . Заметим, что n m1 ... m N 1 ! n m1 ! n! C nm1 C nm2m1 ... C nmNm1 m2 ... mN 1 ... m1!n m1 ! m2 !n m1 m2 ! m N !n m1 ...m N ! . n! m1!m2 !...m N ! так как n m1 ... mN . n! Pm1 .....m N , n p m1 p m2 ...p mN . Поэтому Это – полиномиальное m1!m2 !...m N ! распределение. 17 Заметим, что Pm1 ,...mN ,n - это коэффициенты при z1m1 ...z NmN в разложении по степеням z1...z n производящей функции z1...z N z1 p1 ... z N p N . Рассмотрим ситуацию В. Здесь вероятность того или иного исхода зависит от номера испытания, так как условия испытаний различны. Pm1 ,...mN ,n - это коэффициенты при n z1m1 ...z NmN в разложении по степеням производящей z1...z n функции n z1...z N z1 p1i ... z N p Ni при N исходах. i 1 При двух исходах Pm,n - это коэффициент при z m в разложении производящей функции n z qi pi z , где qi pi 1, i 1, n . i 1 Примеры. 1) Какова вероятность с пяти раз вытащить из колоды в 36 карт а)три туза, б)не менее одного туза? 3 2 5 1 8 8 а) P3,5 C , б) R1,5 1 P0,5 1 . 9 9 9 2) Мишень для опытного стрелка содержит три круговых кольца: 10, 9, пусто. Вероятность попасть при одном выстреле в десятку – 0,2, в девятку – 0,7, в «пусто» – 0,1. Какова вероятность в серии из 10 выстрелов попасть в «пусто» два раза, в девятку 4 раза, в десятку 4 раза? 10! 0,12 0,7 4 0,24 P2,4,4, 10 2! 4! 4! 3) Производится три выстрела в мишень. При первом выстреле вероятность попасть в мишень равна 0,5, не попасть 0.5. При втором выстреле – соответственно 0,4 и 0.6, при третьем выстреле 0,3 и 0,7. Какова вероятность два раза попасть в мишень? z 0,5 0,5z 0,6 0,4 z 0,7 0,3z 0,21 0,44 z 0,29 z 2 0,06 z 3 . Вероятность не попасть ни разу 0,21, один раз – 0,44, два раза – 0,29, три раза – 0,06. 3 5 Распределения, связанные с повторными испытаниями. Геометрическое распределение. Рассмотрим схему Бернулли. Обозначим Х – число испытаний до первого успеха, если вероятность успеха в одном испытании р. Если первое испытание успешно, то Х = 0. Следовательно, P X 0 p . Если Х = 1, т.е. первое испытание неудачно, а второе успешно, то по теореме умножения P X 1 qp . Аналогично, если Х = n , то все испытания до n-ого неудачны и P X n q n p . Составим ряд распределения случайной величины Х 0 1 2 … … n X 2 n p p qp … q p … q p Случайная распределение. величина с таким рядом распределения имеет Проверим условие нормировки p qp q 2 p ... q n p ... p 1 q q 2 ... геометрическое p p 1. 1 q p Гипергеометрическое распределение. Рассмотрим схему испытаний, обобщающую задачу о выборке бракованных деталей и похожую на ситуацию А с N исходами. Пусть имеется n элементов, разделенных на группы: 18 n1 элементов первого типа, n2 – второго типа и т.д., nN – N-ого типа. Какова вероятность, выбрав m элементов, получить среди них m1 элементов из первой группы, m2 – из второй и т.д. mN - из N-ой? Ее легко вычислить по классическому определению вероятностей с учетом теоремы умножения: C nm11 C nm22 ...C nmNN . Pm1 , m2 ,...m N ,n C nm В частности, при N=2 (m2=m-m1, n2=n-n1) (задача о бракованных деталях) C m1 C mm1 Pm1 , n m mn m Cn Формула Пуассона и распределение Пуассона. Пусть число испытаний n велико, вероятность p мала и np мало. Тогда вероятность наступления m успехов в n испытаниях можно приближенно определить по формуле Пуассона: Pm, n m m! e . Заметим, что по формуле Пуассона можно считать вероятность неуспеха, если q мало, приняв nq. Случайная величина с рядом распределения m, Pm, n m e имеет распределение m! Пуассона. Чем больше n, тем формула Пуассона точнее. Для грубых расчетов формулу применяют при n =10, 0 – 2, при n = 100 0 – 3. При инженерных расчетах формулу применяют при n = 20, 0 – 3, n =100, 0 – 7. При точных расчетах формулу применяют при n = 100, 0 – 7, n =1000, 0 – 15. Вычислим математическое ожидание и дисперсию случайной величины, имеющей распределение Пуассона. m m 0 m! M X m e e m1 m 1 m 1! M X X 1 mm 1 m e e 2 k 0 m2 k k! e e , e 2 m! m 2 m 2! 2 M X X 1 M X M X , M X 2 2 , m 0 2 D X M X 2 M X 2 2 2 Лекция 5 Экспоненциальное и нормальное распределения. Экспоненциальное распределение. Непрерывная случайная величина имеет экспоненциальное распределение, если ее плотность распределения задается формулой x0 0, , 0 - параметр экспоненциального распределения. px x e , x 0 19 Для случайной величины, имеющей экспоненциальное распределение, x0 0, 1 1 M X , D X 2 , F x . x 1 e , x 0 Если времена между последовательными наступлениями некоторого события – независимые, экспоненциально распределенные случайные величины с параметром , то число наступлений этого события за время t имеет пуассоновское распределение с параметром t . Геометрическое распределение является дискретным аналогом экспоненциального распределения. Нормальное распределение (распределение Гаусса). Непрерывная случайная величина имеет нормальное распределение (распределена нормально или по Гауссу), если ее плотность имеет вид p x x a 2 1 2 2 2 e . Вычислим математическое ожидание и дисперсию нормально распределенной случайной величины. M X 2 1 xe 2 ye x a 2 dx x y a 2 2 1 e 2 2 y 2 1 2 y 2 y a e y2 2 dy 1 2 a . 2 2 Вычислите аналогично D X 2 , СКО . Обозначим плотность стандартного нормального dy a dy 0 a x M X a 0, D X 2 1 ) распределения (при x2 2 1 e , 2 обозначим функцию распределения стандартного нормального распределения x где 0 x x 1 2 1 2 e x2 2 dx x e x2 2 1 0 x , 2 dx - интеграл Лапласа. Значения 0 x можно найти в стандартных 0 таблицах. Вычислим вероятность попадания нормально распределенной случайной величины на отрезок [a,b]. Pa X b b 1 2 e y m 2 2 2 dy x y m / a 1 2 b m / e x2 2 dx a m / bm am 0 0 . При вычислении вероятности полезно учитывать нечетность функции 0 x : 0 x 1 2 x e 0 x2 2 y dx y x e y2 2 dy 0 x . 0 Локальная и интегральная формулы Муавра – Лапласа. 20 Если в схеме Бернулли число испытаний n велико, причем p и q=1-p велики, то для всех m справедливы локальная формула Муавра – Лапласа m np . Pm, n npq x , x npq и интегральная формула Муавра – Лапласа m np m np m2 np x 2 x1 0 x 2 0 x1 , Pm1 m m2 P 1 npq npq npq . m1 np m2 np x1 , x2 npq npq Это означает, что при большом числе испытаний распределение числа успехов становится нормальным. Иногда приходится оценивать вероятность отклонения частоты события от вероятности. Покажем, как можно использовать для этого интегральную формулу Муавра – Лапласа. m np m n Заметим, что . Запишем интегральную формулу Муавра – Лапласа p npq n pq m np P a b npq 1 2 b e t2 2 dt в виде a n n m n P a p b pq n pq pq b 1 2 n pq a e t2 2 dt . Поэтому n pq n n m 0 a . Если интервал симметричен, a, b , P a p b 0 b n pq pq m n . то по нечетности 0 x P p 2 0 n pq Примеры. 1) (3.42) Телефонная станция обслуживает 1000 абонентов. Вероятность вызова за минуту 0,0005. Какова вероятность, что за минуту поступит не менее двух вызовов? Здесь n = 1000, p = 0,0005, = np =0.5. P 1 P0, 0,5 P1, 0,5 1 0,606 0,303 0,091 (по таблице Pm, ). 2) (3.43) Известно, что 20% автомобилей нарушают скоростной режим. Какова вероятность того, что из 1000 автомобилей 210 нарушат правила? Здесь надо пользоваться локальной формулой Муавра-Лапласа при n=1000, p=0,2, m=300. 210 200 0,292 npq 1000 0,2 0,8 12,65, x 0,79, 0,79 0,292, P 0,02 12,65 12,65 3) (3.44) Монету подбрасывают 10000 раз. Найти вероятность того, что частота выпадения герба будет отличаться от 0,5 не более, чем на 2%. Здесь надо пользоваться интегральной формулой Муавра-Лапласа при n=10000, р=1/2, m1=400, m2=600. Тогда npq 10000 0,5 0,5 50, x1 2, x2 2, P 0 2 0 2 2 0,47725 0,9545. Другие распределения, часто используемые в инженерных расчетах. 21 Распределение Вейбулла. Это распределение с плотностью x0 0, px x 1e x , x 0 0, 0 и функцией распределения x0 0, . F x 1 e x , x 0 Если 1 , то распределение Вейбулла превращается в экспоненциальное, а при 2 - в распределение Релея. Достаточно близкую к распределению Вейбулла плотность имеет гамма – распределение: x0 0, 1 . px x x e , x 0 0 , 0 Здесь x 1 x e dx - гамма-функция. 0 Если k - целое число, то гамма-распределение превращается в распределение k 1 Эрланга порядка k. Если k – нечетное число, , , то гамма-распределение 2 2 2 превращается в распределение (хи-квадрат) распределение с k степенями свободы. При 1 (так как 1 , n n 1! ) гамма-распределение переходит в экспоненциальное. Для всех рассмотренных распределений составлены таблицы, по которым можно определять значения функций распределения. Лекция 6. Двумерные случайные величины Совокупность двух случайных величин (X,Y), заданных на вероятностном пространстве , , , называют двумерной случайной величиной или двумерным случайным вектором, X,Y называют координатами случайного вектора. Это определение можно обобщить и на совокупность n случайных величин. Функцией распределения случайного вектора (X,Y) или совместной функцией распределения случайных величин X,Y называется F x, y PX x, Y y. Свойства функции распределения. 0 F x, y 1 (Это – свойство вероятности, а F x, y - вероятность). F x, y - неубывающая функция по каждому из своих аргументов. (В самом деле, если x1 x2 , то событие X x1 , Y y включено в событие X x2 , Y y , следовательно, его вероятность меньше) 3 F ,y F x, 0 (события X , Y y , X x, Y - невозможные, поэтому их вероятность равна нулю). 4 F , 1 (событие X , Y достоверно). 5 Pa X b, c Y d = F b, d - F b, c - F a, d + F a, c 1 2 22 Геометрически, F b, d - площадь полосы левее и ниже точки b, d , d Вычитая из нее F b, c и F a, d , мы два раза вычтем площадь полосы левее и ниже точки a, c . Для того, чтобы получить площадь прямоугольника – левую часть равенства, надо c вычитать эту площадь один раз, поэтому надо добавить ее, т.е. F a, c в правую часть равенства. a b 6. F x,y непрерывна слева по каждому из аргументов 7. F x, FX x, F , y FY y . Так как событие X достоверно, то пересечение событий X и Y y есть событие Y y . Поэтому первое равенство справедливо. Аналогично доказывается справедливость второго равенства. Двумерная случайная величина (X,Y) дискретна, если X, Y - дискретные случайные величины. Для нее составляется таблица распределения – аналог ряда распределения для одномерной случайной величины. Y X y1 y2 ….. ym PX x1 p11 p12 … p1m pX1 x2 ……. xn p21 p22 … p2m pX2 … … … … … pn1 pn2 … pnm pXn PY pY1 pY2 … pYm pnm = P X xn , Y y m , pYm = PY y m = p1m+ p2m +…+pnm, pXn = pn1 + pn2 + … +pnm. График функции распределения для двумерной случайной величины напоминает «лестницу», уровень ступеней которой изменяется скачком на pij при переходе через точку (xi , yj) в положительном направлении по оси OX и по оси OY. Если зафиксировать x = xi, то при увеличении y эти скачки будут на pi1, pi2, … pim (от нуля до pXi ). Если зафиксировать y = yj, то при увеличении x скачки будут на p1j, p2j, … pnj (от нуля до pYj). Нижние ступени (при x x1 и y y1) находятся на нулевом уровне, самая верхняя ступень (при x>xn, y>ym) находится на уровне 1. Если зафиксировать x > xn то при увеличении y эти скачки будут на pY1, pY2, … pYm (от нуля до 1). Если зафиксировать y > ym, то при увеличении x скачки будут на pX1, pX2, … pXn (от нуля до 1). Пример. Проводятся два выстрела в мишень. При каждом выстреле вероятность попадания p, вероятность промаха q = 1- p. Случайная величина Xi – число попаданий при i – том выстреле. Найдем закон распределения случайного вектора (X1, X2)= X , Y . Y X y1=0 y2=1 PX 2 x1=0 q qp pX1=q x2=1 pq p2 PY pY1=q pY2=p pX2=p 23 Построим функцию распределения 0, x 0, y 0 2 q , 0 x 1, 0 y 1 F ( x) q, 0 x 1, y 1 . В самом деле, при ( x 0, y 0) – событие{X<x,Y<y} q, x 1, 0 y 1 1, x 1, y 1 - невозможное, при (x>1, y>1) событие {X<x,Y<y} – достоверное. При (0 x 1, 0 y 1) событие {X<x,Y<y} представляет собой событие {X=0,Y=0}. Поэтому при (0 x 1, 0 y 1) (0 x 1, y 1) F(x) = P{X=0,Y=0}= q2. При (0 x 1, y 1) событие {X<x,Y<y} представляет собой объединение несовместных событий {X=0,Y=0} и {X=1,Y=0}. Поэтому при (0 x 1, y 1) F(x) = P{X=0,Y=0}+ P{X=1,Y=0}= q2 + pq = q(p+q)=q. Аналогично, в случае ( x 1, 0 y 1) F(x) = P{X=0,Y=0}+ P{X=0,Y=1}= q2 + pq = q(p+q)=q. Двумерная случайная величина непрерывна, если X, Y, непрерывные случайные величины и ее функцию распределения можно представить в виде сходящегося несобственного интеграла от плотности распределения. F X , Y P X x, Y y x y px, y dxdy . Двойной интеграл можно записать в виде повторных (внешний по x, внутренний по y и наоборот). Если предполагать непрерывность плотности по x и y, то, дифференцируя по переменным верхним пределам, получим 2 F x, y 2 F x, y px, y xy yx Свойства плотности. 1. px, y 0 (функция распределения – неубывающая функция). b d 2. Pa X b, c Y d px, y dxdy (по свойству 5 функции распределения) a c Справедливо обобщение P X D px, y dxdy . D 3. Px X x x, y Y y y Px, y xy 4. px, y dxdy 1 (по свойству 4 функции распределения) 5. 6. P X x, Y y 0 p X x px, y dy , pY y px, y dx (Свойство 7 функции распределения) Независимость случайных величин. Случайные величины X, Y называются независимыми, если F x, y FX xFY y , где FX x, FY y - функции распределения случайных величин X, Y. 24 Если случайные величины непрерывны, то, дифференцируя это соотношение по x, y, 2 F x, y получим px, y FX' x FY' y p X x pY y . xy Соотношение px, y p X x pY y поэтому можно считать определением независимости непрерывных случайных величин. Для дискретных случайных величин определение независимости можно записать в виде pij PX xi , Y y j P X xi PY y j p X i pY j . Математическое ожидание. Математическим ожиданием функции двумерной случайной величины называется M f X , Y f xi , y j pij в дискретном случае, i, j M f X , Y f x, y px, y dxdy в непрерывном случае. Свойства математического ожидания 1. 2. MC C ( MC Cpx, y dxdy C px, y dxdy C M X Y M X M Y по условию нормировки) M X Y x y p x, y dxdy x p x, y dy dx y p x, y dx dy = xpX x dx 3 M XY yp y dy M X M Y Y M XY M X M Y для независимых случайных величин. xy px, y dxdy xy p x p y dxdy xp x dx yp y dy = M X M Y . X Y X Y Ковариация (корреляционный момент). Ковариацией случайных величин называют cov X , Y M X MX Y MY . Свойства ковариации. 1. cov X , Y M XY M X M Y cov( X , Y ) M ( X M ( X )Y M (Y ) M XY M X Y XM Y M X M Y M XY M X M Y M X M Y M X M Y M XY M X M Y 2. cov X , X D X По свойству 1 cov( X , X ) M X 2 (M X ) 2 D( X ) 3. Если X, Y независимы, то cov X , Y 0 , (обратное неверно). Если случайные величины независимы, то M XY M X M Y , тогда по свойству 1 cov X , Y 0 . Случайные величины называются некоррелированными, если cov X , Y 0 , из некоррелированности не следует независимость, из независимости следует некоррелированность. 25 4. covaX b, cY d ac cov X , Y По свойству 1 covaX b, cY d = M aX bcY d M aX bM cY d = acM XY bcM Y adM X bd acM X M Y bcM Y daM X bd = acM XY M X M Y ac cov X , Y cov X , Y D X DY 5. Рассмотрим случайную величину z aX Y . D( z ) D(aX Y ) M (aX Y ) M (aX Y ) M a( X M ( X )) (Y M (Y )) 2 2 M a 2 ( X M ( X )) 2 2a( X M ( X ))(Y M (Y )) (Y M (Y )) 2 a 2 D( X ) 2a cov( X , Y ) D(Y ) . Заметим, что отсюда следует свойство дисперсии (при a =1) D( X Y ) D( X ) 2 cov( X , Y ) D(Y ) . Так как D( z ) 0 , то a 2 D( X ) 2a cov( X , Y ) D(Y ) 0 . Это возможно только, если дискриминант этого квадратного трехчлена относительно a меньше или равен нулю. Выпишем это требование к дискриминанту: 4a 2 (cov( X , Y )) 2 4a 2 D( X ) D(Y ) 0 . Отсюда следует свойство 5. 6. Для того, чтобы случайные величины были линейно зависимы (Y = aX +b), необходимо и достаточно, чтобы cov X , Y D( X ) D(Y ) Необходимость. Пусть Y = aX + b. Тогда 2 2 2 2 D(Y ) M ((( aX b) (aM ( X ) b)) ) M (a ( X M ( X )) ) a D( X ) cov( X , Y ) M (( X M ( X ))(Y M (Y ))) M (( X M ( X ))( aX b aM ( X ) b) aM (( X M ( X )) 2 ) aD( X ) = D( X ) a 2 D( X ) D( X ) D(Y ) Достаточность. Пусть cov X , Y D( X ) D(Y ) . Тогда (доказательство свойства 5) D( z ) D(aX Y ) 0, следовательно, z - детерминированная aX Y const , поэтому величины X, Y – линейно зависимы. cov X , Y Коэффициентом корреляции называется . D( X ) D(Y ) Свойства коэффициента корреляции. 1. 2. 3. 4. 5. величина, т.е. X , X 1 Если X, Y – независимы, то X , Y 0 aX b, cY d sign (ac) X , Y 1 X ,Y 1 X , Y 1 тогда и только тогда, когда X,Y линейно зависимы. Двумерное равномерное распределение Случайный вектор (X, Y) равномерно распределен в области D (площадь D равна S), если его плотность распределения задана так: p(x,y) = 0, если x D, p(x,y) = 1/S, если xD. Пример. Случайный вектор (X,Y) равномерно распределен в прямоугольнике 0xa, 0xb. a b b 1 a M (X ) dx xdy , аналогично M (Y ) . 2 ab 0 0 2 26 a b b2 1 a2 2 2 , аналогично . M ( Y ) M (X ) dx x dy 3 ab 0 0 3 2 a2 a2 a2 b2 , аналогично D(Y ) . 3 4 12 12 a b 1 1 a 2 b 2 ab M ( XY ) dx xydy ab 0 0 ab 2 2 4 a b a b ab ab a b b a ab cov( X , Y ) M (( X )(Y )) M ( XY ) M (Y ) M ( X ) 0 2 2 2 2 4 4 22 22 4 Следовательно, случайные величины X, Y не коррелированны. D( X ) M ( X 2 ) ( M ( X )) 2 Двумерное нормальное распределение Двумерная случайная величина (X,Y) распределена нормально со средними значениями m, m2, дисперсиями 12 , 22 и коэффициентом корреляции , если ее плотность задана: 2 x m1 y m2 y m2 2 1 1 x m1 p ( x, y ) exp 2 2 2 2 ( 1 ) 22 21 2 1 2 1 2 1 Задача линейного прогноза. Заданы характеристики m1 , m2 , 1 , 2 , случайного вектора ( X 1 , X 2 ) . Вводится ~ случайная величина – оценка X aX 1b - линейный прогноз. Вычислить a, b , чтобы линейный прогноз был наилучшим среднеквадратическим (в смысле минимума погрешности ~ оценки: M (( X X 2 ) 2 ) min ). ~ ~ ~ ~ ~ ~ M (( X X 2 ) 2 ) D( X X 2 ) ( M ( X X 2 )) 2 D( X ) 2 cov( X , X 2 ) D( X 2 ) (( M ( X ) M ( X 2 )) 2 a 2 12 2a 1 2 22 (am1 b m2 ) 2 . За счет выбора b можно лишь минимизировать последнее слагаемое, сделав его нулем: b m2 am1 .Теперь остается обеспечить минимум квадратного трехчлена от a (найти вершину параболы): a b m2 2 1 2 2 . Подставляя это значение, найдем 2 1 2 1 2 m1 . Вычислим погрешность оценки при этих значениях параметров 1 ~ M (( X X 2 ) 2 ) ( 2 ) 2 12 2 2 2 1 2 22 22 (1 2 ) . 1 1 При линейной зависимости X 1 , X 2 1 оценка точна, погрешность равна нулю. Чем меньше коэффициент корреляции, тем грубее оценка. В крайнем случае, при ~ ~ отсутствии корреляции ( 0 ) a 0, b m2 , X m2 , M (( X X 2 ) 2 ) 22 . Лекция 7. Законы больших чисел и центральная предельная теорема. Неравенства Чебышева. 27 Первое неравенство Чебышева. Пусть случайная величина X0 и существует ее математическое ожидание M(X). Тогда для любого >0 выполнено первое неравенство M (X ) P X Чебышева . n Доказательство. В дискретном случае M ( X ) x k P( X x k ) k 1 В непрерывном случае M ( X ) xp( x)dx xP x k k k P ( x k k P( X ) . xp( x)dx xp( x)dx P( x ) . ( x ) ( x ) Второе неравенство Чебышева. Пусть существуют математическое ожидание и дисперсия случайной величины M ( X ) m, D( X ) D . Тогда для любого 0 выполнено D второе неравенство Чебышева P X m 2 Доказательство проведем для непрерывного случая, для дискретного случая оно доказывается аналогично. D ( x m) 2 p( x)dx xm 2 p( x)dx xm 2 p( x)dx 2 xm p( x)dx 2 P( X m ) xm Последовательность случайных величин сходится по вероятности к числу a P X n a , если 0, 0 N ( , ) : n N P X n a 1 . Законы больших чисел. Законы больших чисел могут быть записаны в разных формах, но суть их состоит в том, что при большом числе случайных явлений их средний результат практически перестает быть случайным. Теорема Чебышева (Закон больших чисел в форме Чебышева) При достаточно большом количестве независимых опытов среднее арифметическое наблюденных значений случайной величины сходится по вероятности к ее математическому ожиданию. n X k 1 n k P m. n n X k mn nD( X ) D m, D(Y ) . n n n2 n D(Y ) D Тогда по второму неравенству Чебышева P Y m 2 2 . n D D D , Если выбрать N E ( 2 ) , ( E ( ) - целая часть), то при n>N будет 2 n N 2 следовательно, при n>N будет выполнено неравенство PY m , поэтому при тех же Доказательство. Рассмотрим Y значениях n k 1 будет PY m 1 . , M (Y ) 28 n Следовательно, X k 1 n k P m . Теорема Чебышева доказана. n Обобщенная теорема Чебышева. Пусть X1, Xn – независимые случайные величины с математическими ожиданиями m1,…mn и дисперсиями D1…, Dn. Пусть дисперсии ограничены в совокупности (Dk < L, k1,2…n). Тогда среднее арифметическое наблюденных значений случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий. k X k P k mk n n n Доказательство. Рассмотрим, как в предыдущей теореме Y X k 1 n n k . M (Y ) m k 1 n k , n D X k 1 1 2 2 D(Y ) k 12 2 M X k M ( X k ) 2 M X k M ( X k n n n 1 2 2 M X k M ( X k ) 2 ( X p M ( X p ))( X k M ( X k ))) = n2 n pk (случайные величины независимы, следовательно, и не коррелированны) 1 1 Ln L 2 M X k M X k 2 Dk 2 n 0 . Отсюда по второму неравенству 2 n n n n Чебышева следует утверждение теоремы (доказательство сходимости по вероятности проводится как в предыдущей теореме). Теорема Маркова. Пусть X1, Xn – зависимые случайные величины с математическими ожиданиями n D X k m1,…mn и дисперсиями D1…, Dn. Пусть k 12 n 0 . Тогда среднее арифметическое n наблюденных значений случайных величин сходится по вероятности к среднему арифметическому их математических ожиданий. Доказательство. Доказательство сходимости по вероятности проводится как в теореме Чебышева. Теорема Бернулли. При неограниченном увеличении числа опытов – независимых испытаний частота события сходится по вероятности к вероятности события. Доказательство проводится аналогично теореме Чебышева. Предельные теоремы. Центральная предельная теорема – это любая теорема, ставящая условия, при которых функция распределения суммы индивидуально малых случайных величин с ростом числа слагаемых сходится к нормальной функции распределения. 29 Центральная предельная теорема подтверждает следующее: если исход случайного эксперимента определяется большим числом случайных факторов, влияние каждого из которых пренебрежимо мало, то такой эксперимент хорошо аппроксимируется нормальным распределением с параметрами m, D. , подобранными соответствующим образом. Теорема Ляпунова. Пусть Xk – независимые случайные величины, имеющие математические ожидания n M(Xk) = mk и дисперсии D(Xk) = Dk. Обозначим I (X k 1 k mk ) . Если можно подобрать n D k 1 n такое 0 , что M X k 1 k mk n D k 1 k k 2 1 n 0 , то при n FI ( x) ( x) 2 2 x e 1 t2 2 dt равномерно по x. Теорема Леви – Линдеберга. Пусть Xk – независимые одинаково распределенные случайные величины, имеющие n X математические ожидания M(Xk) = m и дисперсии D(Xk) = . Обозначим I k 1 2 1 Тогда при n FI ( x) ( x) 2 x e 1 t2 2 k m n . dt равномерно по x. Замечание. В теореме Леви – Линдеберга (ее чаще всего и называют центральной n предельной теоремой) n D k 1 k n 2 n , выполнено, оно превращается в 1 n 0 условие M X k 1 k mk Dk k 1 n 2 2 n 0 (проверьте сами) из-за требования 2 n «одинаковости распределений», т.е. равенства вкладов случайных величин в случайную величину I . Если рассматривать схему Бернулли, то из теоремы Леви – Линдеберга следует интегральная теорема Муавра – Лапласа. Интегральная теорема Муавра – Лапласа. Пусть производится n независимых испытаний, в каждом из которых с вероятностью p может появиться событие А. Обозначим X k - число появлений события в k –ом испытании n ( M X k p, D X k pq ). Обозначим X X k - общее число появлений события в n k 1 30 испытаниях ( M ( X ) np, D( X ) npq ). 1 x Обозначим I X np npq . Тогда n X k 1 k n 1 t2 2 e dt равномерно по x. 2 Отсюда следует практическое правило вычисления n X k np k 1 P a b (b) (a ) 0 (b) 0 (a) , где a, b, npq 1 2 x t k1 np 1 2 a , b , . Так как то заменим на , 0 ( x) e dt a npq 2 0 FI ( x) ( x) при b на k 2 np npq , m. Получим формулу для вероятности нахождения числа успехов в заданном интервале: n k np m np k 2 np 0 k 2 np - 0 k1 np . P k1 X k k 2 = P 1 npq npq npq npq npq k 1 Заменим a на a n n , b на b . pq pq n m np n n n 0 a . Тогда P a b 0 b pq pq pq pq npq n m np n m np pq m Но P a b P a b P a p b . pq pq npq npq n n Поэтому справедлива формула для вычисления отклонения частоты от вероятности n n m 0 a , P a p b 0 b pq pq n Если интервал симметричный, т.е. a , b , то по нечетности функции Лапласа получим m n . P p 2 0 pq n Пример. Вероятность появления события p = 0,8. Сделано n = 100 независимых испытаний. Найти вероятность того, что событие произойдет не менее 75 и не более 90 раз. 90 100 0,8 0 75 100 0,8 0 (2,5) 0 (1,25) P75 X 90 0 100 0,8 0,2 100 0,8 0,2 0,4938 0,3944 0,9882 Пример. Бюффон бросил монету 4040 раз и получил герб 2048 раз. Найти вероятность отклонения частоты появления герба от вероятности. 4040 m 2048 1 2 0 (0,89) 0,626 p 0,007 P 2 0 0,007 n 4040 2 0 , 25 31 Лекция 8 Элементы математической статистики Пусть исследуется случайная величина с заранее неизвестной функцией распределения F(x). Множество всех значений этой случайной величины называется генеральной совокупностью (Г С). Единичное значение случайной величины называется выборкой объема 1. Совокупность n значений случайной величины образуют выборку объема n. Выборка имеет то же распределение, что и генеральная совокупность. Выборочные значения называются вариантами. Изучая выборку, делают заключение о вероятностных свойствах Г С. Основные задачи статистики. 1. Оценка неизвестных параметров распределения: - точечные оценки параметров распределения, например оценка математического ожидания, дисперсии, моментов распределения, - интервальные оценки – доверительные интервалы – интервалы, в которых находятся параметры распределения с доверительной вероятностью. 2. Проверка статистических гипотез – предположений о законе распределения ГС или параметрах распределения. 3. Установление формы и степени связи между несколькими случайными переменными. Эмпирические законы распределения. Вариационным рядом называются варианты, расположенные в порядке их возрастания (не убывания, если варианты повторяются). Будем обозначать xk – различные варианты вариационного ряда (k = 1, 2, …), nk – их n частоты (число повторений варианты), k k - относительные частоты. n Существуют различные формы закона распределения: ряд распределения, полигон частот, полигон относительных частот, эмпирическая функция распределения, гистограмма (дискретный аналог плотности распределения). Рассмотрим, например, вариационный ряд 0,0,0,0.0.1,1,3,5,5. Объем выборки n = 10. Ряд распределения xk 0 1 3 5 nk 5 2 1 2 1/2 1/5 1/10 1/5 k Полигон частот Полигон относительных частот имеет тот же вид, но по оси ординат откладываются не частоты nk, а относительные частоты k (на рисунке черточками отмечены единицы по осям значений и частот). Xk 1 2 3 4 5 Эмпирическая функция распределения - аналог функции распределения для дискретных случайных величин, она тоже кусочно постоянна и имеет тот же график, только 32 скачки функции в точках – вариантах происходят на относительные частоты вариант (в примере скачки от 0 на 0,5, затем на 0,2 до 0,7, затем на 0,1 до 0,8 и, наконец на 0,2 до единицы). Fn(x) Эмпирическая функция распределения формально определяется как 1 nx , где n(x) - число n xk x членов выборки, меньших x. Fn ( x) 0,4 k 1 2 3 4 5 x Для построения гистограммы приходится приписывать значение частоты варианты некоторому интервалу стандартной ширины (в нашем случае, например, 0,5), лежащему справа от варианты так, чтобы площадь ступени над интервалом равнялась относительной частоте варианты. 1 0,4 0,2 0 0,5 1 1,5 3 3,5 5 5,5 Точечные оценки параметров распределения. любая функция ( x1 , ...xn ) на называется точечной оценкой . Оценки тоже являются случайными Пусть неизвестен параметр распределения , выборке x1 , ...xn величинами. Требования к оценкам. M P 2. Состоятельность n 3. Эффективность (по сравнению с другими оценками) – если дисперсия оценки меньше дисперсий других оценок. Можно показать, что несмещенная оценка состоятельна, если ее выборочная дисперсия стремится к нулю при n . Оценки ищут различными методами: методом моментов, методом максимального правдоподобия, методом наименьших квадратов и др. 1. Несмещенность 33 Оценка среднего значения ГС (математического ожидания) – выборочное среднее. 1 n x xk . n k 1 1 n nm m. Оценка несмещенная, т.к. M ( x ) M ( x k ) n k 1 n P m по закону больших чисел. Оценка состоятельная, т.к. x n Оценки дисперсии ГС: 2 1 n 1. Выборочная дисперсия Dв x k x n k 1 Это – смещенная, состоятельная оценка. 2. Несмещенная, состоятельная оценка дисперсии s 2 n Dв n 1 n3 4 . Можно показать, что M s 2 2 , Ds 2 4 n 1 Пример. Вычислим оценки для приведенного выше ряда распределения xk nk k 0 5 1/2 1 2 1/5 3 1 1/10 5 2 1/5 1 3 5 1,5 , 5 10 5 1 2 2 2 2 s 2 51,5 20,5 1,5 23,5 4,2 . 9 Интервальные оценки. x Доверительный интервал – это интервал 1 , 2 , такой, что P1 2 , где - доверительная вероятность. Общее правило построения доверительного интервала для любого параметра основано на центральной предельной теореме, по которой при больших n (n>50) оценка имеет нормальное распределение с M , D , если - несмещенная оценка, а функция распределения случайной величины J сходится по вероятности при n к D функции стандартного нормального распределения. Квантиль h p (уровня p ) случайной величины X с функцией распределения F(x) – это такое значение h p случайной величины X, что p F h p . 34 Обозначим p(x) /2 квантиль 2 вероятность, т.е. z 1 , 2 1 2 . / 2 1 1 нормального распределения уровня 1 , где 1 , 2 доверительная 1 z z z 1 2 x 2 x t2 2 где x e dt - функция стандартного нормального распределения. По симметрии плотности нормального распределения z . Так как 1 1 z z . 2 2 1 2 2 1 2 1 2 Так как распределение случайной величины J стремится к стандартному D . Отсюда получаем P z z нормальному распределению, то 1 1 D 2 2 доверительный интервал z D z D . 1 1 2 2 Доверительные интервалы для параметров нормального закона распределения. Доверительный интервал для математического ожидания. Если ГС имеет нормальное распределение, то и любая выборка распределена нормально. Известно, что сумма нормальных случайных величин тоже распределена нормально. Поэтому оценка математического ожидания – выборочное среднее – нормально распределенная случайная величина с M x m, Dx 3) Поэтому, если известно, то D x n 2 n , - известно. , и доверительный интервал для математического ожидания строится так: с доверительной вероятностью 1 . Квантили 1 n n 2 проще всего искать по таблицам квантилей нормального распределения. xm 4) Если неизвестно, то нормированная случайная величина (вместо s n подставлена его оценка s) уже не распределена нормально. Она имеет распределение Стъюдента с n-1 степенями свободы. Есть таблицы квантилей распределения Стъюдента. По доверительной вероятности определяют 1 , по таблице xz 1 2 m xz 35 квантилей определяют квантиль t 1 уровня 1 2 . Затем по той же схеме строят 2 математического ожидания доверительный интервал для s s . x t m x t 1 1 n n 2 2 Если n> 20, то квантиль можно искать по таблицам квантилей нормального распределения. Доверительный интервал для среднеквадратического отклонения . Пусть m, неизвестны. Можно показать, что тогда случайная величина s 2 (n 1) 2 имеет 2 распределение с (n – 1) степенями свободы. По доверительной вероятности определяют 1 , по таблице квантилей 2 распределения с n – 1 степенями свободы определяют квантили уровней и 1 - : 2 , 2 . Имеет место соотношение 1 2 2 2 2 n 1s 2 2 1 . P 2 1 2 2 2 среднеквадратического отклонения n 1s 2 2 n 1s 2 . 2 2 1 2 2 Строим доверительный интервал для Объяснение причин, по которым параметры распределены по Стъюденту или 2 , требуют более глубокого рассмотрения материала. Но для догадки можно использовать два известных результата: - если x1, …xn распределены нормально, то x12 ... x n2 имеет распределение 2 с n степенями свободы - если x распределена нормально, а y по 2 с n степенями свободы, то случайная x величина распределена по Стъюденту. y