Свойства коэффициентов регрессии и проверка гипотез

Свойства коэффициентов
регрессии и проверка гипотез
1. Случайные составляющие
коэффициентов регрессии
• Модель :
y    x  u
• x – неслучайная экзогенная переменная
• Уравнение регрессии :
yˆ  a  bx
• Коэффициенты регрессии – случайные величины
• Теорема
Cov( x, y )
Cov( x, u )
b

Var ( x)
Var ( x)
2. Условия Гаусса-Маркова
(предположения о случайном члене)
• 1.
E (u )  0
• 2.
Var (u )
• 3.
Cov(ui , u j )  0
• 4.
Cov( xi , ui )  0
или
постоянна для всех наблюдений
i j
E ( xi , ui )  0
Дополнительно: u распределено по нормальному
закону
Необходимо понимать
• Если условия не выполнимы, вы
должны это сознавать
• Если корректирующие действия
возможны, то аналитик должен быть в
состоянии их выполнить
• Если ситуацию исправить невозможно,
вы должны быть способны оценить,
насколько серьезно это может влиять на
результаты
3. Несмещенность
коэффициентов регрессии
• 1.
 Cov( x, u ) 
E (b)    E 

 Var ( x) 
– И если x – неслучайная величина, то
E (b)  
• 2.
E (a )  
4.Точность коэффициентов
регрессии
• Теоретические дисперсии оценок a и b
 u2 
x2 
Var (a) 
1 

n  Var ( x) 
Var (b) 

2
u
nVar ( x)
• Выводы:
– a и b прямо пропорциональны дисперсии остаточного члена
– чем больше число наблюдений, тем меньше дисперсии
– чем больше дисперсия x, тем меньше дисперсии
коэффициентов
Оценки стандартных
отклонений коэффициентов
• Термин «стандартная ошибка»
mb 
ma 
 2
  y  yx  /n  2
 x  x 
2
 2
y  yx 
n2

S2

2
 x  x 
2
x

n   x  x 
2
 S2 
2
x

n   x  x 
• Применение: 1) проверка существенности
коэффициента регрессии
• 2) построение доверительных интервалов
2
5. Оценка существенности
коэффициента регрессии и
свободного члена
• Фактическое значение t-критерия сравнивается с
• табличным значением при определенном уровне
• значимости
и числе степеней свободы (n-2)

•
b
tb 
,
mb
b
ta 
ma
2
• Теорема
tb
• Доказательство:
- фактические значения
F
2
b
t  2  b2 /
mb
2
b
2
ˆ
(
y

y
)
/( n  2)

x
 (x  x)
2
Продолжение доказательства
2
ˆ
( yx  y)
b  (x  x)



2
2
 ( y  yˆ x ) /( n  2)  ( y  yˆ x )
( n  2)
2

Dфакт
Dост
2
F
Дисперсионный анализ результатов
регрессии
Источники
вариации
Число степеней свободы
Сумма квадратов отклонений
Общая
6
1 5 0 0 0
О
б ъ я с н е н н а я
1
1 4 7 3 5
О
с т а т о ч н а я
5
2 6 5
Дисперсия на
одну степень
свободы
F-отношение
фактическое
табличное
при α=0,05
- 1 4
7 3 5
5 3
53
mb 
 2,21
10,857
36,84
tb 
 16,67  t табл  2,57
2,21
- -
- -
2 7 8
6 ,6 1
1
- -
Значимость коэффициента
корреляции
• Стандартная ошибка коэффициента
корреляции
1 r2
mr 
n2
• Фактическое значение t-критерия
Стьюдента
tr 
r
1 r
2
 n2
Теорема
t t  F
2
r
2
b
• Доказательство:
– Смотри выражения для tr и F.
• Вывод: проверка гипотез о значимости
коэффициента регрессии b и
коэффициента корреляции r равносильна
проверке гипотезы о существенности
линейного уравнения в целом.
6. Доверительные интервалы
параметров регрессии
• Доверительный интервал для коэффициента
регрессии
(b  tтабл  mb , b  tтабл  mb )
• Доверительный интервал для свободного члена
регрессии
(a  tтабл  ma , a  tтабл  ma )
• Доверительный интервал для коэффициента
корреляции
•
(r  tтабл  mr , r  tтабл  mr )
7. Интервалы прогноза по
линейному уравнению регрессии
• Точечный прогноз yp дополняется интервальной
оценкой прогнозного значения


y x  m y x  y*  y x  m y x
• Теорема
1  xk  x 
m y x  S 

2
n  x  x 
2
Доказательство.

y x  y  b  x  b  x  y  b  x  x 
• Тогда
m  m  m x  x 
2
yˆ x
• т.к.
2
y
Var ( y ) 

2
2
2
y
,то
S2
 x  x 
S
S
2
m 

 xk  x 
2
n  x  x 
2
yˆ x
2
S
m 
n
2
n
mb2 
• и
2
2
b
2

2 


xk  x  
2 1
S  
 n  x  x 2 


Доверительные границы для
ŷ x
:


( y xk  t  m y x , y xk  t  m y x )
• Средняя ошибка прогнозируемого
индивидуального значения y составит
1 x p  x 
 s  1 
2
n  x  x 
2
my ( xk )