Лекция 3.5 Теорема Гаусса - Маркова 1

Лекция 3.5
Теорема Гаусса - Маркова
1
Теорема Гаусса - Маркова
1) Если модель Yi = β1 + β2Xi + ui , i = 1,…,n правильно
специфицирована,
2) Xi детерминированы и не все равны между собой,
3) E(ui) = 0,
4) D(ui) = σu2,
5) cov(ui, uj) = 0 при i ≠ j (т.е. ошибки не коррелируют)
то оценки МНК b1 и b2 являются BLUE (best linear
unbiased estimator).
2
Теорема Гаусса - Маркова
Estimator – оценка,
Unbiased – несмещенная,
Linear – по Y,
Best – это оценки с наименьшей дисперсией
3
Доказательство несмещенности оценки b2
Для модели парной регрессии: Y = b1 + b2X + u
Оценка коэффициента наклона может быть представлена
Cov( X , Y ) Cov( X , b 1  b 2 X  u)
b2 

Var( X )
Var( X )
Cov( X , b 1 )  Cov( X , b 2 X )  Cov( X , u)

Var( X )
0  b 2Cov( X , X )  Cov( X , u)

Var( X )
Cov( X , u)
 b2 
Var( X )
4
Доказательство несмещенности оценки b2
Cov( X , u)
b2  b 2 
Var( X )
Cov( X , u) 

 Cov( X , u) 
E (b2 )  E  b 2 
  E(b2 )  E

Var( X ) 

 Var( X ) 
1
 b2 
E Cov( X , u) 
Var( X )
Несмещенность оценки b2 означает равенство ее
 b2
математического ожидания истинному значению параметра, т.е
β2 .
5
Доказательство несмещенности оценки b2
b2  b 2 
Cov( X , u)
Var( X )
Cov( X , u) 

 Cov( X , u) 
E (b2 )  E  b 2 
  E(b2 )  E

Var( X ) 

 Var( X ) 
1
 b2 
E Cov( X , u) 
Var( X )
 b2
Это свойство легко проверить непосредственно. Равенство
последнего слагаемого нулю будет доказано далее.
6
Доказательство несмещенности оценки b2
n


1
^
E Cov( X , u )   E 
( X i  X )(ui  u ) 

 n  1 i1

1 n

E ( X i  X )(ui  u ) 

n  1 i1
1 n
1 n

( X i  X ) E (ui  u ) 
(Xi  X ) 0  0


n  1 i1
n  1 i1
7
Доказательство несмещенности оценки b2
b2  b 2 
Cov( X , u)
Var( X )
Cov( X , u) 

 Cov( X , u) 
E (b2 )  E  b 2 
  E(b2 )  E

Var( X ) 

 Var( X ) 
1
 b2 
E Cov( X , u) 
Var( X )
 b2
Таким образом, оценка b2 коэффициента b2 является
несмещенной.
8
Доказательство несмещенности оценки b1
Y = b 1 + b 2X + u
b1  Y  b2 X  b1  b 2 X  u  b2 X
Приведена оценка МНК коэффициента β1.
9
Доказательство несмещенности оценки b1
Y = b 1 + b 2X + u
b1  Y  b2 X  b1  b 2 X  u  b2 X
Запишем последнюю формулу в более удобном для
исследования виде.
10
Доказательство несмещенности оценки b1
Y = b 1 + b 2X + u
b1  Y  b2 X  b1  b 2 X  u  b2 X
E (b1 )  E ( b 1  b 2 X  u  b2 X )
 E ( b 1 )  E ( b 2 X )  E ( u )  E (  b2 X )
 b 1  b 2 X  0  XE (b2 )  b 1  b 2 X  Xb 2  b 1
Непосредственной проверкой убеждаемся в несмещенности
оценки b1, т.е. равенству математического ожидания этой оценки
истинному значению параметра b1.
11
Дисперсии оценок коэффициентов
Y = b 1 + b 2X + u
 
2
b1
2
u
X
2
i
2
i
n x

2
b2


2
u
x
2
i
Без доказательства
12
Дисперсии оценок коэффициентов
Y = b 1 + b 2X + u
 
2
b1
2
u
s
2
u
X
2
i
2
i
n x

2
b2

 u2
x
2
i
RSS

n2
Поскольку дисперсия возмущений u2 неизвестна, используют
ее несмещенную оценку su2.
13
Оценки стандартных отклонений оценок
коэффициентов
Y = b 1 + b 2X + u
 
2
b1
2
u
2
u
s
X
n x
2
i
2
i

2
b2

 u2
2
x
 i
RSS

n2
s.e.(b1 )  s
2
u
X
2
i
2
i
n x
s.e.(b2 ) 
s
2
u
x
2
i
Оценки стандартных отклонений b1 и b2 вычисляются по
приведенным внизу формулам.
14
Оценки стандартных отклонений оценок
коэффициентов
reg EARNINGS S
Source |
SS
df
MS
Number of obs =
570
---------+-----------------------------F( 1,
568) =
65.64
Model | 3977.38016
1 3977.38016
Prob > F
= 0.0000
Residual | 34419.6569
568 60.5979875
R-squared
= 0.1036
---------+-----------------------------Adj R-squared = 0.1020
Total | 38397.0371
569 67.4816117
Root MSE
= 7.7845
-----------------------------------------------------------------------------EARNINGS |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
---------+-------------------------------------------------------------------S |
1.073055
.1324501
8.102
0.000
.8129028
1.333206
_cons | -1.391004
1.820305
-0.764
0.445
-4.966354
2.184347
------------------------------------------------------------------------------
Оценки стандартных отклонений (standard errors) автоматически
выдаются при оценивании регрессии статистическими пакетами.
15