Дискретные случайные переменные и теория выборок

Дискретные случайные
переменные и теория выборок.
• Дискретные случайные величины –
генеральная совокупность конечна
• Непрерывные случайные числа –
бесконечная генеральная совокупность
Пример распределения вероятности: X –
сумма двух костей
К1
К2
1
2
3
4
5
6
1
2
3
4
5
6
10
4
Пример распределения вероятности:
таблица возможных значений
К1
К2
1
2
3
4
5
6
1
2
3
4
5
6
7
2
3
4
5
6
7
8
3
4
5
6
7
8
9
4
5
6
7
8
9 10
5
6
7
8
9 10 11
6
7
8
9 10 11 12
6
Пример распределения вероятности:
вычисление частоты событий
К1
К2
1
2
3
4
5
6
1
2
3
4
5
6
7
2
3
4
5
6
7
8
3
4
5
6
7
8
9
4
5
6
7
8
9
10
5
6
7
8
9
10
11
6
7
8
9
10
11
12
X
2
3
4
5
6
7
8
9
10
11
12
f
4
9
Пример распределения вероятности:
таблица частоты событий
k1
2
3
4
5
6
k2
1
2
3
4
5
6
7
2
3
4
5
6
7
8
3
4
5
6
7
8
9
4
5
6
7
8
9
10
5
6
7
8
9
10
11
6
7
8
9
10
11
12
X
f
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
5
4
3
2
1
10
Пример распределения вероятности:
Вероятности событий
К1
1
2
3
4
5
6
К2
1
2
3
4
5
6
7
2
3
4
5
6
7
8
3
4
5
6
7
8
9
4
5
6
7
8
9
10
5
6
7
8
9
10
11
6
7
8
9
10
11
12
X
f
p
2
3
4
5
6
7
8
9
10
11
12
1
2
3
4
5
6
5
4
3
2
1
1/36
2/36
3/36
4/36
5/36
6/36
5/36
4/36
3/36
2/36
1/36
13
Пример распределения вероятности:
функция распределения вероятности
вероятность
1
36
2
2
__
36
3
__
36
4
__
36
5
__
36
6
__
36
5
__
36
4
__
36
3
__
36
2
__
36
3
4
5
6
7
8
9 10 11 12
1
36
X
14
Математическое ожидание случайной величины
Определение взвешенного среднего E(X) для
ожидаемого значения X:
n
E ( X )  x1 p1  ...  xn pn   xi pi
i 1
Альтернативная запись E(X):
E(X) = X
1
Вычисление мат. ожидания
xi
pi
x1
x2
x3
x4
x5
x6
x7
x8
x9
x10
x11
p1
p2
p3
p4
p5
p6
p7
p8
p9
p10
p11
xi pi
x1 p1
x2 p2
x3 p3
x4 p4
x5 p5
x6 p6
x7 p7
x8 p8
x9 p9
x10 p10
x11 p11
S xi pi = E(X)
xi
pi
xi pi
2
1/36
2/36
3
2/36
6/36
4
3/36
12/36
5
4/36
20/36
6
5/36
30/36
7
6/36
42/36
8
5/36
40/36
9
4/36
36/36
10
3/36
30/36
11
2/36
22/36
12
1/36
12/36
252/36 = 7
14
Математическое ожидание функции
дискретных случайных величин
Определение E[g(X)], ожидаемого значения
функции от X:
n
E g ( X )  g ( x1 ) p1  ...  g ( x n ) pn   g ( x i ) pi
i 1
Пример:
n
2
2
2
2
E ( X )  x1 p1  ...  x n pn   x i pi
i 1
2
Мат. ожидание функции дискретных случайных величин
xi
pi
g(xi)
g(xi ) pi
xi
pi
xi2
xi2 pi
x1
x2
x3
…
…
…
…
…
…
…
xn
p1
p2
p3
…
…
…
…
…
…
…
pn
g(x1)
g(x2)
g(x3)
…...
…...
…...
…...
…...
…...
…...
g(xn)
g(x1) p1
g(x2) p2
g(x3) p3
……...
……...
……...
……...
……...
……...
……...
g(xn) pn
S g(xi) pi
2
1/36
4
0.11
3
2/36
9
0.50
4
3/36
16
1.33
5
4/36
25
2.78
6
5/36
36
5.00
7
6/36
49
8.17
8
5/36
64
8.89
9
4/36
81
9.00
10
3/36
100
8.83
11
2/36
121
6.72
12
1/36
144
4.00
54.83
E(X2) не равно E(X) 2 54,83 ≠ 49
14
Свойства математического ожидания
1.
2.
3.
E(X + Y) = E(X) + E(Y)
E(bX) = bE(X)
E(b) = b
5
Применение правил
1. E(X + Y)= E(X) + E(Y)
2.
3.
E(bX) = bE(X)
E(b) = b
Y = b1 + b2X
E(Y) = E(b1 + b2X)
= E(b1) + E(b2X)
= b1 + b2E(X)
8
Независимость двух случайных величин
Две случайные величины X и Y независимы
тогда и только тогда, когда
E[f(X)g(Y)] = E[f(X)] E[g(Y)]
для любых f(X) и g(Y).
Частный случай: если X и Y
независимы, то
E(XY) = E(X) E(Y)
3
Дисперсия и стандартное отклонение
х2 = E [(X - )2] - дисперсия
х – стандартное отклонение
Альтернативная форма вычисления дисперсии

2
X
= E(X2) - 2
 X2 = E[(X - )2]
= E(X2 - 2X + 2)
= E(X2) + E(-2X) + E(2)
= E(X2) - 2E(X) + 2
= E(X2) - 22 + 2 = E(X2) - 2
7
Дискретные случайные величины
вероятность
1
36
2
2
__
36
3
__
36
4
__
36
5
__
36
6
__
36
5
__
36
4
__
36
3
__
36
2
__
36
3
4
5
6
7
8
9 10 11 12
1
36
X
1
Непрерывные случайные величины
E ( X )   xf ( x )dx
 ( X )  E[( X   ) ]   ( x   ) f ( x )dx
2
X
2
2
Непрерывные случайные величины
f(X) = 0.05 для 55  X 75
f(X) = 0 для X < 55 и X > 75
вероятность
0.05
55
5758
60
65
70
75
X
13
Непрерывные случайные величины
f(X) = 0.05 для 55  X  75
f(X) = 0 для X < 55 и X > 75
Плотность
вероятности
f(X)
5
0.05
0.05
55
60
0.25
65
70
75
X
18
Постоянная и случайная компонента
случайной переменной
Ожидание X:
E(X) =X
В i-м наблюдении, случайная
компонента:
ui = xi - X
Следовательно xi может быть представлена
в виде фиксированной и случайной
компоненты: xi = X + ui
Среднее значение ui равно 0:
E(ui) = E(xi - X) = E(xi) + E(-X) =X - X = 0
4
Оценивание параметров случайной величины
Способ оценивания по выборке и значение
оценки:
Способ оценивания – это правило
оценивания по ограниченной выборке
(формула).
Значение оценки – это применение правила
к выборке.
1
Виды оценивания
Характеристики выборки
Среднее: X
Дисперсия:  2
X
Способ оценивания
n
1
X   xi
n i 1
n
1
2
2
s 
( xi  X )

n  1 i 1
4
Оценки – это случайные величины
Сочетание значений в выборке случайно
n
1
1
X   xi  ( x1  ...  xn )
n i 1
n
xi   X  ui
1
1
X  (  X  ...   X )  ( u1  ...  un )
n
n
1
 ( n X )  u   X  u
n
VAR( u ) 
2
n
Распределения Х и Х
Функция
плотности
вероятности X
Функция
плотности
вероятности X
X
X
X
X
X
10
Характеристики оценок
• Несмещенность – совпадение со
средним истинным значением
• Эффективность – минимальная
дисперсия
• Состоятельность – предел по
вероятности равен истинному значению
характеристики
Противоречие между несмещенностью и эффективностью
Функция
плотности
вероятности X
Способ B
Способ A
q
1
Несмещенность и эффективность
Несмещенность Е(X) = x :
1
 1
E ( X )  E  ( x1  ... xn )  E ( x1  ...  xn )
n
 n
1
1
 E ( x1 )  ...  E ( xn )  n X   X
n
n
4
Несмещенность и эффективность
Несмещенность оценки Z = l1x1 + l2x2
E ( Z )  E ( l1 x1  l2 x2 )  E ( l1 x1 )  E ( l2 x2 )
 l1 E ( x1 )  l2 E ( x2 )  ( l1  l2 )  X
  X если ( l1  l2 )  1
11
Несмещенность и эффективность
Эффективность Z = l1x1 + l2x2
 Z2   2 ( l1 x1  l2 x2 ) 
 l x   l x  2 l 1 x 1l 2 x 2 
2
1 1
2
2 2
l12 x2  l22 x2  2l1l2 x 1 x 2 
1
2
( l12  l22 ) X2  ( l12  [1  l1 ]2 ) X2
если ( l1  l2 )  1 то ( 2l  2l1  1)
2
1
2
X
d
 0  4l1  2  0  l1  l2  0.5
dl1
2
Z
21
Конфликт между несмещенностью и эффективностью
Функция потерь
потери
Ошибка (отриц)
Ошибка (положит)
2
Среднеквадратичная ошибка
Функция
плотности
вероятности X
способ B
смещ
q
Z
MSE( Z )  E ( Z  q )     (  Z  q )
2
2
Z
2
5
Среднеквадратичная ошибка
Несмещенная оценка Z для оценки параметра q,
E(Z)=Z
Смещение (q - Z), σ(Z)=E[(Z- Z)2]


 E ( Z      q ) 
 E ( Z   )  (   q )  2( Z   )(   q )
 E ( Z   )   E (   q )   E 2( Z   )(   q )
MSE( Z )  E ( Z  q ) 2
2
Z
Z
2
Z
2
Z
Z
2
Z
Z
2
Z
Z
Z
  Z2  (  Z  q ) 2  2(  Z  q ) E ( Z   Z )
  Z2  (  Z  q ) 2  2(  Z  q )(  Z   Z )
  Z2  (  Z  q ) 2
13