1. Классическое определение вероятности. Имеется конечное

1. Классическое определение вероятности.
Имеется конечное число равновероятных событий
(исходов) – 1 2 …. n
Любое множество элементарных исходов называется
событие: A, B, C…
Вероятность события А : p(A)=n(A)/n , где n(A) – число
элемент. исходов, входящих в А.
Геометрическое определение вероятности.
А – событие.
АA
A – множество, сопоставленное событию А
Для А определена мера (А) (длина, площадь)
– достоверное событие
; ()
Вероятность события А : p(A)= (А) / ()
3. Парадокс Бертрана.
При различных сопоставлениях событию А множества
А получается различный ответ в решении задачи.
Задача. Имеется круг. В нем выбирается хорда.
Определить вероятность того, что длина хорды будет
больше длины стороны правильного треугольника,
вписанного в этот круг.
Решение 1.
Все хорды перпендикулярны фиксированному
диаметру. Тогда имеется соответствие между хордами и
точками на диаметре – точки пересечения. Впишем 2
правильных треугольника . Все хорды большие его
стороны лежат между треугольниками. P =r/R=1/2
Решение 2.
Каждая хорда круга однозначно определяется
координатой е середины. Ч/з каждую точку круга можно
провести только одну хорду, которая будет больше
стороны треугольника. P=r2 / R2 =1/4
Решение 3.
Можно рассматривать те хорды, у которых закреплен
один из концов. P=60/180 = 1/3
4, Аксиоматика Колмогорова.
Пусть F - некоторая система подмножеств множества
элементарных событий , F={A, B, …}, A C , B C, …
Множество F называется алгеброй (-алгеброй), если
выполнены следующие условия:
1.
ˆF
2.
Если А ˆ F, то A ˆ F. (A – дополнительное событие
к А, заключ. в том, что А не произошло)
3.
Если А ˆ F и B ˆ F, то А U B ˆ F и А B ˆ F.
P- вероятностное распределение на -алгебре (алгебре F).
P(A) – вероятность события А, где А ˆ F. Выполнены
следующие аксиомы:
1.
P()=1
2.
0<=P(A)<=1.
3.
Если A,B ˆ F и AB=0, то P(AUB)=P(A)+P(B)
Сумма А+В (AUB) – называется такое событие, которое
состоит в том, что либо произошло А, либо В, либо оба.
Из А следует В (А=> B) если событие А может
произойти только с В.
Дополнение (отрицание) к событию А – A, называется
событие, которое состоит в том, что А не произошло.
Разности событий АВ называется такое событие,
которое состоит в том, что А произошло, а В не
произошло.
5. Свойства вероятности.
4.
P(O)=0
5.
P(A)=1-P(A)
6.
A(B, то P(A)<P(B)
7.
0<=P(A)<=1
8.
Непрерывность вероятности
А) А1C=A2C=….C=AnC=…… A=Un=1An => limn
P(An)=P(A)
B) B1)=B2)=….)=Bn)=…… B=n=1Bn => limn P(Bn)=P(B)
6. Теорема сложения вероятностей.
P(AUB) = P(A)+P(B)-P(AB)
Обобщенная теорема сложения вероятностей.
События А,В,С
P(AUBUC)=P(A)+P(B)+P(C)-P(AB)-P(BC)P(AC)+P(ABC)
P(A1UA2U…UAn)=P(Ai) – ij P(AiAj) + ijkP(AiAjAk) - ……(1)n+1 P(A1…An)
Задача о рассеянной секретарше.
Секретарше надо разослать n писем. Она разложила
письма в конверты и заклеила их, не надписав адреса.
Событие А заключается в том, что хотя бы один адресат
получит свое письмо. Аi – i – й адресат получит
адресованное ему письмо.
А=UAi
P(Ai)=1/n
P(AiAj)=1/((n-1)n) => P(A)=1-1/(n(n-1))*Cn2+……=11/2!+1/3!-1/4!+…+(-1)n+1*1/n!=1-1/e
7. Условная вероятность.
Имеется 2 события А и В. P(A/B)=P(AB)/P(B). А
произошло при условии, что произошло В.
Теорема умножения (из определения условной
вероятности).
P(AB)=P(A/B)*P(B)
P(ABC)=P(A/BC)*P(BC)=P(A/BC)*P(B/C)*P(C)
8. Независимость событий.
А не зависти от В, если P(A/B)=P(A)
B не зависти от A, если P(B/A)=P(B)
P(A/B)/P(B)=P(A), P(B)0
P(B/A)/P(A)=P(B), P(A)0
Если А не зависит от В, то и В не зависит от А.
А и В называются независимыми, если
P(AB)=P(A)*P(B)
Событие, имеющее вероятность =0 не зависит от любого
события.
События A,B,C: P(AB)=P(A)*P(B)
P(AC)=P(A)*P(C) P(ABC)=P(A)*P(B)*P(C)
P(CB)=P(C)*P(B)
Если А и В независимы, то A и В тоже независимы.
P(AB)=P(A)*P(B)
9. Формула полной вероятности.
Событие А
Гипотезы – Н1……Нn: 1. Hi Hj =0 при ji ; 2. A C UHi ;
Формула полной вероятности P(A)= P(A/Hi)*P(Hi)
10. Формула Байеса.
Событие А
Гипотезы – Н1……Нn: 1. Hi Hj =0 при ji ; 2. A C UHi ;
P(Hj/A) = P(A/Hj)*P(Hj) / P(A)= P(A/Hj)*P(Hj) / (
P(A/Hi)*P(Hi))
11. Схема Бернулли.
Есть n-независимых испытаний. Каждое испытание
имеет 2 исхода – успех или неудачу.
Вероятность успеха – p, неудачи – q=1-p
Успех – 1, неудача – 0.
Есть множество .
={1100…11010} – элементарное отдельное событие.
n
A C=
P()=pm qn-m, где m – число успехов (единиц) в
P(A)= ˆA P() (ˆA)
P()= ˆA P()= pm qn-m= nm=0 Cnm pm qn-m= (p+q)n=1
Pn(m)= Cnm pm qn-m – вероятность того, что произойдет
ровно m успехов.
Pn(n)=pn – все успехи
Pn(0)=qn – все неудачи
P( хотя бы один успех) =1-qn
P( хотя бы одна неудача) =1-pn
Полиномиальная схема.
Имеется последовательность n испытаний. Каждое
испытание имеет k исходов (н-р игральная кость)
Pn(m1…mk)
Количество исходов m1- первого типа; m2 – второго типа
и т.д.
m1+m2+…+mk=n
Pn(m1…mk) = Cnm1.m2,..mk p1m1 p2m2 …pkmk
p1m1 – вероятность первого исхода и т.д.
Cnm1.m2,..mk = n!/( m1!...mk!) – число способов, с помощью
которых можно множество из n элементов разбить на k
подмножеств.
Pn(m1, m2) – вероятность того, что число успехов
находится в интервале (m1, m2)
12. Теорема Пуассона.
Pn(m) - m – фиксировано, n стремится к бесконечности.
Вероятность p имеет порядок 1/n
Последовательность серии испытаний
Е1: p1,q1 – одно испытание
……………….
Е2: pn - n испытаний
pn~/n, при >0
npn при n
Теорема : Pn(m) m/m!*e- , для всех m=0,1,2…
13. Локальная теорема Муавра – Лапласа.
x=xn,m=(m-np)/ ((npq)), m – число успехов.
|x|<C при n
(npq)* Pn(m) ~ 1/((2))*exp(-xn2/2)
Интегральная теорема Муавра – Лапласа.
x=xn,m=(m-np)/ ((npq)) n
P(a<=m<b) ((b-np)/ ((npq))) - ((a-np)/ ((npq)))
(x)=1/((2)) x- exp(-t2/2) dt
14. Случайные величины.
Вероятностное пространство – (, F, P)
– множество элементов (ели оно конечно, то
пространство дискретное)
F – событие
P – вероятность
Случайной величиной называется функция, заданная на
X=X(), ª
{: X()<a} ªF для всех а ªR1
{:X() ªB} ª F для всех Вª?
? - -алгебра борелевских множеств – содержит все
конечное объединение интервалов (и бесконечные
множества)
P(X()) ªB)
Опр. Рассмотрим (В)=P(:X() ªB)
(В) – задана на множестве В ª ?
(В) – распределение случайной величины Х.
Функция распределения случайной величины.
F(x)=P(X<x)=P (:X()<x)
P(a<=X<b)= ([a,b))= (-, b) - (-,a)=F(b)-F(a)
A= Uiª(1..n)[ai,bi)
P(X ªA)= (Uiª(1..n)[ai,bi))= iª(1..n) ([ai,bi))= iª(1..n)(P(X<bi) –
P(X<ai))
Свойства функции распределения.
9.
0<=F(x) <=1
10. F(x) не убывает
11. 1) lim F(x)=1 при x 2) lim F(x)=0 при x 12. F(x) – непрерывна слева, приближается к х слева
Это полный набор свойств. Если хотя бы одно свойство
не выполнено, то это не функция распределения.
15. Свойства плотностей распределения.
Случайная величина Х имеет дискретное распределение,
если ее множество значений конечно.
p(X=xk)=p(xk), xk пробегает всевозможные значения X.
p(xk) – дискретная плотность распределения.
F(X)=p(X<x)= xk<X p(xk)
Свойства дискретной плотности распределения.
13. p(x)>=0, p(x)<=1
14. k p(xk)=1
Случайная величина Х имеет абсолютное непрерывное
распределение, если существует такая функция p(x)>=0,
т.ч. F(x)= x- p(t) dt
p(x) – плотность распределения случайной величины Х.
p(x)=F(x)
Свойства плотности распределения.
15. p(x)>=0
16. +- p(x) dx =1
16. Математическое ожидание.
EX – мат.ожидание
EX=i=1 xi*pi – для дискретных случайных величин
EX = +-x*p(x) dx – непрерывная случайная величина
Механическая интерпретация мат.ожидания – центр
масс системы.
Свойства мат. ожидания.
17. E(aX+bY)=aEX+bEY
18. EX>=0, если Х>=0 2a. X>=0 и EX=0 => X=0 с
вероятностью 1.
19. Y=(X) => EY=E(X)= i=1 (xi)*p(X=xi) – дискр. случ.
величина.
+
- (x)*p(x) dx
20. Y= (X,Y)
EY= i,j (xi, yi)*p(X=xi,Y=yi) -дискр.случ.вел.
+ +
- - (x,y)*p(x,y) dx dy
21. EC=C, C-const
22. Если случайные величины не зависимы X и Y и
имеют математическое ожидание, то математическое
ожидание произведения, есть произведение
математических ожиданий.
E(XY)=EX*EY
Это распространяется на любое число сомножителей
18. Дисперсия случайной величины.
DX = EX(X-EX)2 – математическое ожидание квадрата
отклонения случайной величины от его
математического ожидания.
Дисперсия – степень компактности, насколько
сконцентрировано значение случайной величины вокруг
математического ожидания.
Свойства дисперсии.
23. D(X)>=0
24. D(X)=0 X=C=EX
25. D(X+C)=DX
26. D(CX)=C2D(X)
27. Если X и Y независимы, то D(X+Y) = DX+DY
Распространяется на любое число независимых
слагаемых.
28. D(X)= EX2 – (EX)2
19. Мат. ожидание и дисперсия нормального закона
Нормальное распределение - p(x) = 1/((2)* )*exp(-(xm)2/(22))
Математическое ожидание – EX= +- x p(x) dx=m
Дисперсия D(X)= 2
20.Мат. ожидание и дисперсия биноминального
распределения
Биноминальное распределение - p(X=m)= Cnm pm qn-m
Математическое ожидание EX=np
Дисперсия DX=npq
21. Мат. ожидание и дисперсия закона Пуассона
Закон Пуассона p(X=k)=k/k!*e-, >0, k=0,1,2…
Математическое ожидание – EX=
Дисперсия DX=
22. Ковариация.
Мера зависимости X,Y
cov (X,Y)=E((X-EX)(Y-EY))=E(XY)-E(X)*E(Y)
Коэффициент корреляции.
= (X,Y)=cov(X,Y)/( (DX)* (DY))
Свойства коэффициента корреляции
1.
cov(X+C1,Y+C2)=cov (X,Y) ; (X+C1,Y+C2)=
(X,Y)
2.
cov (C1X,C2Y)=C1C2 cov(X,Y);
(C1X,C2Y)=C1C2/ |C1C2| * (X,Y)
3.
если X,Y независимы, то cov(X,Y)= (X,Y)=0
; обратное неверно
4.
-1<=<=1
если =1 Y=aX+b и а>0
=-1 Y=aX+b и а<0
Коэффициент корреляции – мера линейной зависимости
между X и Y
Двумерное нормальное распределение.
(Плотность распределения двумерного нормального
вектора).
Вектор (X,Y)
EX=m1, EY=m2, DX=12, DY= 22
– коэффициент корреляции X,Y
p(X,Y)=1/(2* 1 2* (1- 2))*exp {1/(2(1- 2))*[ (x-m1)2/ 12 + (ym2)2/ 22 - 2*(x-m1)*(y-m2)/( 1* 2) ] }
23. Случайные векторы
- X = (X1,X2…Xn) – случайный вектор – набор случайных
величин
- X = -X- ()
{: -X- ()<-a-}
- - - a < b (a1<b1…an<bn)
Аª?n
{: X() ª A}
Распределение случайного вектора
Аª?n
(A) = p(X() ªA)=p(B) B={: X() ª A}
Совместная функция распределения случ. вектора
F(-x-)=P(-X- < -x-)=P(X1<x1…Xn<xn)=F(x1,…,xn)
Плотность распределения
p(-x-) – плотность распределения случайного вектора -XНепрерывный случ. вектор - F(-x-)= -x-- p(-t-) d-t- = x1- dt1 …
xn
- p(t1…tn) dtn
Дискретный случайный вектор - - F(-x-)= -Xk-<-x- p(-X-= -xk)= -Xk-<-x- p(-xk-)
Свойства функции распределения случ. векторов.
1.
0<=F(x1..xn)<=1
2.
F(x1..xn) – не убывает по каждой переменной
3.
lim F(x1…xn)=1
x1
…..
xn
4.
F(x1..xn) непрерывна слева по каждому аргументу
Свойства плотностей распределения.
1.
p(x1..xn)>=0
2.
p(x1..xn)= n/( x1.. xn) * F(x1..xn)
+
+
+
3.
- dx1 - dx2… - p(x1..xn)dxn=1
26. Неравенство Чебышева.
Вспомогательное неравенство
Y>=0 случайная величина >0
p(Y> )<=EY/
Основное неравенство
X-случ. величина DX< >0
P(| X-EX| > )<+ DX/ 2
Закон больших чисел
ana
Xn=Xn()
Для всех >0 Xnp X
Xn сходится по вероятности к Х если для всех P(| Xn –
X|> )0 при n0
Среднее арифметическое случайных величин стремится
к постояннjq: (X1+…+Xn ) /n a при n
Если EXi=m и DXi<C, то (X1….Xn)/n p m (сходится по
вероятности)
27. Характеристическая функция
fx(t)=EeitX=Ecos(tX)+iEsin(tX)
f(t)=k pk eitxk
f(t)= +- eitx p(x) dx
Характеристическая функция определена для любых t и
для всех случайных величин X.
f(t)= +- eitx dF(x)
dF(x)=p(x)dx dF(x)=F(xt)-F(x)
Свойства характеристических функций
1.
f(0)=1
2.
| f(t) | <=1
3.
Y=aX+b
itb
fy=e *fx(at)
4.
Если X и Y независимы, то fx+y(t)=fx(t)*fy(t)
5.
Если E|X|n< , тогда fx(t) имеет n-ю производную и
(n)
f (t)=(i)n EXn eitX
6.
f(t) – равномерно непрерывна
7.
E|x|n< f(t)=1+nk=1 fk(0)/k! *tk +o(tn) – функция
Тейлора для характеристической функции
8.
Распределение случайной величины Х однозначно
определяется ее характеристической функцией.
9.
Непрерывность
Существует Х, F(x), f(t)
………….
Xn , Fn(x), f(t)
Равносильны два факта
а) Fn(x) F(x) в каждой точке непрерывной функции F(x)
b) fn(t) f(t) для всех t
29. Центральная предельная теорема Леви.
X1….Xn – последовательность независимых случайных
величин.
EX=m, DX=2
P((x1+..+xn-nm)/ (*n)<x)n(x)
(x)=1/((2)) x- exp(-t2/2) dt
30. Производящие функции.
X>=0 – случайная величина X ªZ
P(X=k)=pk для всех k
Производящей функцией называется функция: (z)= k=0
zkpk=Ezx ; |z|<=1
Свойства производящих функций.
1.
(0)=p0
2.
(1)=1
3.
pk-?
(z)= k=0 1/k! (k)(0) zk
pk=1/k! (k)(0) для всех k
Производящая функция однозначно определяет
распределение
4.
dn/dzn (z)|z=1 = k=n k(k-1)…(k-n+1) zk-1 pk |z=1=EX(X1)…(X-n+1)
ak+b
5.
pk = zb k=0 zakpk=zb x(za)
aX+b(z)= k=0 z
6.
X,Y – независимые случайные величины
x+y(z)= x(z)* y(z)
32. Условное мат. ожидание
Усл. мат. ожидание случайной величины Y при X=x –
Ex(Y) –функция от x
Свойства условного математического ожидания.
1.
Если Z=g(X), где g – некоторая неслучайная
функция от Х, то Ez(Ex(Y))=Ez(Y)
В частности E(Ex(Y))=E(Y) (правило повторного
ожидания)
2.
Если Z=g(X), то Ex(ZY)=ZEx(Y)
3.
Если случайные величины X и Y независимы, то
Ex(Y)=E(Y)
33. Условное распределение.
Вектор (X,Y)
p(x,y) – совместная распределение
p1(x)= +- p(x,y) dx – распределение величины x
p2(y)= +- p(x,y) dy – распределение величины y
Условное распределение p(x/Y)=p(x,y)/p2(y)
E(X/Y)= +- x p(x/Y) dx Y-фиксировано
cov (X,Y) =E(X-EX)(Y-EY)=EXY-EXEY
(X,Y)=cov(X,Y)/(DX DY)
X=(x1 x2)T
R1 0
R= 0 R2
R1- ковар. матрица x1
R2- ковар. матрица x2
Для случайных векторов -x- и -yp(-x-/-y-)=p(-x-,-y-)/ p2(-y-)=+- p(-x-,-y-) d-xp(-x-/-Y-)
E(-x-/-Y-)=+- -x- p(-x-/-Y-) d -xX1 и X2 – 2 подвектора вектора -XR11 R12
R= R21 R22 - ковариационная матрица
R11 – s*s
R22 – m*m
X – n- мерный
X1 – s – мерный
X2 – m – мерный
s+m=n
EX=m= m1
m2
E(X1/X2)=R12 R22-1 (X2-m2) +m1 и является нормальным
случайным вектором N с мат. ожиданием m1 и ковар.
матрицей R12R22-1R21
34. Марковские цепи.
Имеется некоторая система, которая может находится в
некотором числе состояний а1…аn
Будем считать, что имеются моменты времени, в
которые система переходит из одного состояния в
другое. ai0 ai1 … aik
n=1 n=1 n=k
Заменим состояния числами 1…n
i0 i1 … ik за к моментов времени.
Переходы являются случайными. Возникает
вероятности: p(ik/ ik-1…i0) – в момент времени к
ik-1…i0 – предшествующие состояния.
x0….xn – случайные состояния системы.
xi ª (0..n)
p(xk=ik/xk-1=ik-1…x0=i0)
Система обладает Марковским свойством, если
p(xk=ik/xk-1=ik-1…x0=i0)= p(xk=ik/xk-1=ik-1) = (информация о
предыдущих состояниях забыта) = pk (ik-1, ik)=p(ik-1, ik) –
если выполнено последнее равенство, то цепь Маркова
однородна, т.е. не зависит от момента времени, а
зависит только от состояния.
Для однородных цепей Маркова pij – вероятность
перехода из состояния i в состояние j за один такт.
Матрица перехода за один шаг P. Элементы этой
матрицы pij>0. Матрица вырожденная – сумма
элементов каждой строки равна 1.
Распределение в момент времени k: q(k)=(q1(k)…qn(k)),
qi(k)=P(Xk=i).
Распределение Марковской цепи определено двумя
объектами – q(0) и P.
q(0) =(q1…qn), qi(0)=P(x0=i) – начальное распределение
Формула Чепмена – Колмогорова (формула
полной вероятности в ситуации, связанной с
Марковскими цепями)
pij(n+m)=Nr=1 Pi,r(n)*Pr,j(m) для всех i,j или P(n+m)=P(n) P(m)
(равносильные формулировки)
35. Классификация состояний Марковских цепей.
Два состояния i и j. j достижима из i (i j), если
существует n т.ч. pij(n)>0
Два состояния сообщаются, если j достижима из i и i
достижима из j. (ij)
Несущественное состояние – из него можно выйти, а
нельзя попасть из других. (i)
Поглощающее состояние – можно попасть, но не
выйдешь.
Если цепь находится в классе некоторых сообщающихся
состояний, но она из него не выходит.
Периодичность.
Период состояния i – di – НОД для тех n, при которых
pii(n)>0
Все периоды одинаковы для цепей с одним классом
сообщающихся состояний, поэтому можно говорить о
периоде всей Марковской цепи d.
36. Классификация по возвратности.
Число состояний бесконечно. Состояние i возвратно,
если вероятность когда-либо в него вернуться равна 1.
Vn-вероятность вернуться впервые на n шаге.
Vn=Pi(X1I,…,Xn-1I, Xn=i)
n=1 Vn=Pi =1 – вероятность возвращения.
Критерий возвратности
Теорема: Состояние i возвратно когда n=1 Pii(n)=
Следствия из критерия возвратности
1.
Возвратность, это не свойство отдельного
состояния, а свойство класса сообщающихся м/д собой
состояний. Если i и j сообщаются и если одно возвратно,
то и другое возвратно и наоборот.
2.
Если цепь возвратна, то она возвратна в
каждое свое состояние бесконечное число раз.
3.
Если цепь состоит из одного класса
сообщающихся состояний (конечное число), то цепь
обязательно возвратна. Если цепь производит
бесконечное число шагов через конечное число
состояний, то ч/з одно она пройдет бесконечное число
раз. По следствию 2 – цепь возвратна. Если цепь
разбивается на к.-л. классы, то просто анализируется
класс и не цепь, а класс будет возвратен.
Стационарное распределение Марковской цепи.
q(n) = (q1(n) …qN(n))
qi(n) = P(Xn=i)
q(n) не зависит от (n) – стационарная цепь.
q(n+1)=q(n) * P
Если существует стационарное распределение, то q=qP, i
qi = 1, qi >=0
Стационарное распределение существует не всегда
q(P-E)=0
37. Эргодическая теорема.
{1…N} существует n0 т.ч. Pi,j(n0)>=0
Тогда существует набор 1.. j >0 т.ч. Nj=1 j=1
Pij(n) j при т
= (1.. N) – вектор – стационарное распределение данной
Марковской цепи
= *P
qij(n) j для всех j при n
Какое бы не было начальное распределение, цепь со
временем приближается к стационарному
распределению. (Цепь выходит на стационарное
распределение).
38. Закон больших чисел для цепей Маркова.
Схема Бернулли
m/np p при n
xl= 1, успех
0, неудача
m/n= 1/n Nk=1 xk – среднее число единиц
x0 – состояние с номером i (фиксированное состояние)
x0=i
j – фиксировано
?ij = 1/(n+1) nk=1 |j(xk) – среднее число посещений
состояния j
|j(xk) = 1, xk=j
0, xkj
В условиях эргодической теоремы ?ij p j
39. Модель Эренфеста
Две урны с веществом. Между ними щель, в которую
проходят частицы. Сначала в первой урне – i частиц, во
второй m-i
Рассматривается Марковская цепь
Хn – число частиц в первой урне
Найти матрицу переходных вероятностей
Вычислить стационарное распределение
Вычислить математическое ожидание числа частиц в
первой урне
Матрица пишется в зависимости от числа частиц в
первой урне.
k-й столбец: k-я строка - 0, (k-1) – я стр. – (m-k+1)/m,
(k+1) – я стр. – (k+1)/m. Остальные нули.
Стационарное распределение находится из решения
системы (P-E)=0
m
k
m
0 = 1/2 , k = C m / 2 k=0,…m
Мат. ожидание EX=nk=0 k Ckm / 2m = m/2 (половина всех
частиц)