Уравнение множественной регрессии

Уравнение множественной регрессии
yt= a0+a1x1t+a2x2t+a3x3t+…+akxkt+Ut
(8.1)
Наилучшая линейная процедура получения оценок параметров уравнения (8.1)
и условия, при которых эта процедура дает несмещенные и эффективные
оценки, сформулирована в теореме Гаусса-Маркова.
Постановка задачи:
Имеем случайную выборку наблюдений за поведением
экономического объекта объемом n.
Выборка
y1 x11 x21 x31…xk1
y2 x12 x22 x32…xk2
y3 x13 x23 x33…xk3
………………….
yn x1n x2n x3n…xkn
Система уравнений наблюдений
y1= a0+a1x11+a2x21+a3x31+…+akxk1+u1
y2= a0+a1x12+a2x22+a3x32+…+akxk2+u (8.2)
y3= a0+a1x13+a2x23+a3x33+…+akxk3+u3
………………….
yn= a0+a1x1n+a2x2n+a3x3n+…+akxkn+un
Уравнение множественной регрессии
Вводятся обозначения:
 x11 x21 ... xk1 


 x12 x22 ... xk 2 
X 
... ... ... ... 




...
 x1n x2 n xkn 
 a0 
 
  a1 
A 
...
 
 
 ak 
y
 1
 y 
Y   2
 ... 
 
 yn 
 u1 
 
 u2 
U  
...
 
 
un 
X – матрица коэффициентов при неизвестных параметрах;
Y – вектор выборочных значений эндогенной переменной;
U – вектор выборочных значений случайного возмущения;
A - вектор неизвестных параметров модели.
Найти: Ã, Cov(ÃÃ), σu, σ(ỹ(z))
Уравнение множественной регрессии
Теорема Гаусса-Маркова.
Если матрица Х неколлинеарна и вектор случайных
возмущений удовлетворяет следующим
требованиям:
1. M(u) =0
2. σ2(u) = σ2u
3.Cov(ui,uj) =0
при i≠j
4.Cov(xi,ui) =0
Уравнение множественной регрессии
Теорема Гаусса-Маркова (Продолжение).
Тогда наилучшей линейной процедурой оценки
параметров модели (8.1) является:
~

A
При этом:
X X 
T
1
X
 
T

Y

~
 ~

1
2
T
~
Cov( A, A ) 
X2
u X
2
~u2  1  y  ~
  ui
y
i
i
nk
~
~0  a1 z1  ...  a
~k z k
Y Z   a
2 ~
2
~
 y ( Z )   u 1  q0
T
1 
T
q Z X X Z


0



 


Теорема Гаусса-Маркова
Примеры применения теоремы Гаусса-Маркова
Пример 1. Пусть имеем выборку из n наблюдений за случайной
величиной Y.
Найти наилучшие оценки среднего значения и дисперсии этой
переменной.
В терминах теоремы Гаусса –Маркова задача формулируется
так: необходимо построить модель типа Y = a0 +u, при этом
имеем:
1
 
1
X  
...
 
1
 
y
 1
 y 
Y   2
 ... 
 
 yn 
X
T
 1 1 ... 1
Примеры применения теоремы ГауссаМаркова
Пример 1. (Продолжение)
Решение.
1
 
T
1



1
1
...
1
X X
 ...   n
 
1
 
y
 1
y 

T
X Y  1 1 ... 1 ...2    yi
 
 yn 
2
1
2
2
~
(
Y
)



y


 u n 1 i a 0





X
a~
T
X
1

1
n
 y
 X X  X Y  
n
1
T
0
  a    X
2
2
0
u
T
T
X
  n
1
2
u
i
Примеры применения теоремы ГауссаМаркова
Пример 2. Уравнение парной регрессии.
Построить модель типа Y=a0+a1x +u, по данным выборки
наблюдений за переменными Y и x объемом n.
В схеме Гаусса-Маркова имеем:
 1 x1 


1


X   x2 
... ...


1 
 xn 
X X 
T
X
T
 1 1 ... 1 

 

 x1 x2 ... xn 
y
 u1 
 1
 
  y    a0    u 2 
Y   2  A    U   
...
 ... 
 a1 
 
 
 
y
un 
 n
 1 x1 


1
1
...
1

 1 x2   n  xi 





2




 x1 x2 ... xn  ... ...    xi  xi 
1 
 xn 
X X 
T
1
  2  
xi 
 xi

2
n xi   xi  xi    xi n 
1
Примеры применения теоремы ГауссаМаркова
Пример 2. Уравнение парной регрессии.(Продолжение).
Последовательно вычисляем XTY и оценку вектора А.
X Y 
T
y
 1
 1 1 ... 1  y    yi 
 2  
 



...
 x1 x2 xn  ...    xi yi 
 
 yn 
вид :
имеет
уравнений
нормальных
Система

X X  X Y 

 
  x   y 
1
~
x

A
n   x y 
n x   x  x    x



  y    y 
1
~
x x 
 x
A
n x   x  x  n x y   x  y 
T

A
T
2
i
i
i
2
i
i
i
i
i
i
2
i
i
i
i
i
i
i
2
i
i
i
i
i
(8.3)
Примеры применения теоремы ГауссаМаркова
Пример 2. Уравнение парной регрессии.(Продолжение).
Вычислим дисперсии (ковариационную матрицу) параметров
модели.
~ ~
2

Cov  A, A    u


X X 
1
T
2



1
2


x
x
i
i

 u
2
n xi   xi  xi    xi n 
Следовательно:
 a~   
2
0
x
n x   x  x
2
2
u
i
2
i
 a~   
2
1
i
n
2
u
i
n  xi   xi  xi
2
~0 , a~1   u
Cova
2
  xi
n  xi   xi  xi
2
Примеры применения теоремы ГауссаМаркова
Пример 2. Уравнение парной регрессии.(Продолжение).
Расчет дисперсии прогнозирования.
Прогноз осуществляется в точке Z={1,z}
2


Y
(
z
)


 u 1  q0
2
q  Z X X  Z
T
1
T
0
  2    1 
x
i  
 xi
 1 z 

2




n xi   xi  xi    xi n  z 
1
 xi 
2
2
2
2



2
z

n
1

z


1
 xi     xi  xi z 
  xi

2
2
 
n xi   xi  xi    xi nz  z  n xi   xi  xi

2
2
 1


z

x
Y ( z)   u 1  
n n x  x 2
i

2






 z  x 
2  xi  xi
1
2
2
n
n x   x  x
2
2
i
i
i
Примеры применения теоремы ГауссаМаркова
Пример 2. Уравнение парной регрессии.(Продолжение).