Belov_Schedrin

А.Г. Белов, Б.М. Щедрин
ОЦЕНИВАНИЕ ПАРАМЕТРОВ ЛИНЕЙНОЙ МОДЕЛИ
ПРИ РАЗБИЕНИИ РЕГРЕССОРОВ
Введение. Теорема о разбиении (декомпозиции) регрессоров или,
как ее часто называют в зарубежной литературе теорема Frisch–Waugh–
Lovell (FWL), названная так в честь авторов ряда основополагающих
работ [1;2], занимает важное место в экономических приложениях
регрессионного анализа при введении дополнительных регрессоров[2; 3,
c.68]. Эта теорема формулируется обычно применительно к выборочному
уравнению множественной регрессии
(1)
y  X   e,
где y   y1 ,... yn  — вектор–столбец значений наблюдаемой зависимой
T
переменной (отклика), X  x1,..., xk  Rnk , n  k , rank  X   k — матрица
(плана) наблюдений k линейно независимых векторов значений
переменных (регрессоров), x j   x1 j ,..., xnj  ,    1 ,...,  k 
T
T
— вектор–
столбец неизвестных коэффициентов модели и e   e1 ,..., en  — вектор–
столбец
ненаблюдаемых
равноточных
(гомоскедастичных)
некоррелированных ошибок.
Пусть наблюдаемая регрессионная модель представима в блочном
виде
y  X 1 1  X 2  2  e,
(2)
T
где X 1  x1 ,..., x k1  R nk1 и X 2  x k1 ,..., x k  R nk2 — матрицы наблюдений
k1 и k2  k  k1 переменных, rank  X1   k1 , rank  X 2   k2 , а  1  Rk11 и
 2  Rk 1 — вектора–столбцы соответствующих коэффициентов с числом
2
компонент
k1

и
X   X 1 : X 2 ,   1 ,  2
T
компонента
ˆ2
T
оценки
k2 ,
T
.
соответственно.
Тогда
FWL–теорема
ˆ   X T X  X T y
1
Таким
образом,
утверждает,
что
по методу наименьших
квадратов (МНК) в регрессии y на X (1) совпадает с МНК–оценкой
 2   X 2T X 2  X 2T y в регрессии y  M1 y на X 2  M1 X 2 вида
1
где
y  X 2  2  u,
(3)
M 1  I n  X 1  X 1T X 1  X 1T  R nn ,
I n  diag (1,...,1)  R nn . При этом
1
остаточные вектора ê  y  X ˆ и u  y  X 2  2 в обеих регрессиях (1), (3)
равны. Справедливо также, что если две группы регрессоров
ортогональны, то есть X 2T X 1  0  R k2 k1 , то МНК–оценки ˆ1 , ˆ2 в
уравнениях
y  X 1 1  e1 , y  X 2  2  e2
(4)
совпадут с МНК–оценками этих коэффициентов, полученных из (2).
Данная теорема была обобщена [4] для случая коррелированных
ошибок наблюдений e с невырожденной ковариационной матрицей  .
Тогда применяется обобщенный МНК (ОМНК) и оценки имеют вид
1
ˆ   X T  1 X  X T  1 y
(5)
2
2
2
2
где y  M1 y , X 2  M1 X 2 , M 1  I n  X 1  X  1 X 1  X 1T  1  R nn . При этом в
T
1
случае ортогональности X 1 и X 2 в метрике  1 , то есть X 2T  1 X 1  0 ,
ОМНК–оценки коэффициентов уравнений (4) есть
1
1
ˆ   X T  1 X  X T  1 y, ˆ   X T  1 X  X T  1 y ,
(6)
1
1
1
1
2
2
2
2
и совпадают с соответствующими ОМНК–оценками, полученными для
(2).
Постановка задачи. Перечисленные выше формулы оценок
получены для случая выборочной регрессии и являются следствием ряда
теорем линейной алгебры с использованием свойств линейной
независимости и ортогональности векторов. Однако, как известно [5,
с.57], вектора значений наблюдаемых переменных могут рассматриваться
как реализации случайных величин (с.в.) и тем самым обладать рядом
вероятно-статистических свойств, например, быть некоррелированными
[6]. В связи с этим возможно стохастическое обобщение формул для
оценок коэффициентов.
Теоретическая регрессия. Рассмотрим теоретическую модель
множественной линейной регрессионной зависимости
T
E       ,
(7)
где зависимая   и объясняющая   1 ,...,  k  переменные являются
T
с.в. с соответствующими распределениями, имеющими конечные первый
и второй моменты.
Примером ситуации, описываемой (7), может являться
эксперимент, в котором на исход i –го опыта yi , описываемого с.в.  i  ,
влияют факторы в виде с.в. 1 ,...,  k со значениями xi1 ,..., xik и аддитивные
ei ,
ошибки
описываемые
некоррелированными,
одинаково
распределенными с.в.  i , i  1,..., n , имеющими нулевые математические
ожидания (м.о.) E  i   0 и одинаковые дисперсии D  i    2  0 . В силу
гомоскедастичности величины
ei 1
n
можно интерпретировать как
значения одной с.в.  , эквивалентной с.в.  i 1 . Аналогично, величины
n
y1 ,..., yn можно считать значениями одной с.в.   .
Известно,
что
средней
квадратичной
коэффициентов  является величина



2
ˆ  arg min E E      T   arg min E    T 


оценкой
 
2
T
 E  
вектора
 E   , (8)
1
k
T
E    E i j   R kk .
1
Будем предполагать, что переменные можно разбить на две группы,
при условии невырожденности матрицы

например, случайные вектора 1  1 ,...,  k1

T

и  2   k1 1 ,...,  k

T
. Тогда
T
матрицу E   , вектора E     E 1 ,..., E  k  и  можно
записать в блочном виде
 E   T  E   T    E       
 1 2    1 
  1 1 
,
,  1 .
T
T
 E    E      E       
 2 2    2   2 
  2 1 
T
Для блочного обращения E   воспользуемся одним из вариантов
формулы Фробениуса [7, с.60]
1
 A1  A1BH 1CA1  A1BH 1 
A B
,
C D  
 H 1CA1
H 1 



T
где H  D  CA1B . Тогда для оценок блочных векторов параметров
справедливы представления
1
T
ˆ1  E 11 T 
E 1   E 1 2  ˆ2 ,
(9)
1
T
T

1 
ˆ




 2  H  E  2   E  2 1  E 11  E 1   ,






T
где H  E 2 2T   E 2 1T  E 11 

1


E 12T  .
Если выполнено условие «ортогональности» E  2 1T   0 , то из (9)
имеем

ˆ1  E 11T 


1

1
T
E 1  , ˆ2  E 2 2  E 2  . (10)
В противном случае, в предположении некоррелированности с.в.
1 ,  2 , 
T
E  2 1   E  2  E 1  , E 1   E 1  E   ,
(11)
для блочных векторов параметров из (9) получаем представления
1
ˆ1  E 11 T  E 1  E    E  2T  ˆ2 ,
(12)
1
ˆ
 2  H E  2   E  2  S1E   ,
T





где H  E 2 2T   E  2  S1E  2T  и S1  E 1T

  E    
 

T
1 1
1
E 1  .
Возможно дальнейшее упрощение для блочных оценок
коэффициентов, если дополнительно к условиям (11) предположить, что
выполнено равенство
T
T
E 11   E 1  E 1  .
(13)
Последнее условие означает, что компоненты вектора 1 являются с.в. с
нулевой дисперсией, т.е. принимают постоянные значения. Поскольку
T
матрица E 1  E 1  обратима только при k1  1 , то не уменьшая
P 1  1  1 и учитывая E 1   1, S1  1 , из (12)
общности, полагая
получим
ˆ1  E  E 2T  ˆ2 , ˆ2  H 1 cov  2 ,  H 1E  2c c  ,
(14)
где H  cov  2 , 2  E  2c  2cT  , а 2с  2  E 2 ,  c    E — с.в.,
центрированные относительно средних значений.
Рассмотрим теперь случай коррелированных и неравноточных
(гетероскедастичных) ошибок наблюдений ei , описываемых с.в.  i с
E  i   0
и
невырожденной
ковариационной
матрицей



  cov  i ,  j   R nn .
n
Тогда

наблюдаемый
вектор
значений
1
y   y1 ,..., yn  описывается вектором с.в.    1  ,...,n   . Поскольку
T
T
матрица  симметрична и положительно определена, то существует такая
невырожденная матрица V  R nn , что   VV T [3, с.64]. Тогда преобразуя
   V 1 ,
     V 1  
   V 1 ,
с.в.
и
где
E   0n , D   I n ,    1,...,  n  ,
T
приходим
к
некоррелированным,
гомоскедастичным с.в. 1  ,..., n   , которые эквивалентны некоторой
с.в.     со значениями V 1 y . Уравнение регрессии имеет аналогичный
(7) вид
T
E         .
(15)
Следовательно, все формулы (9), (10), (12) и (14) могут быть перенесены
и легко преобразованы на случай коррелированных ошибок.
Таким образом, в зависимости от степени коррелированности
объясняющих и зависимой переменных возможны различные
представления для МНК–оценок блочных векторов коэффициентов при
разбиении регрессоров.
Примером применимости полученных формул оценивания является
модель
(7)
с
постоянным
членом
k –параметрическая
T
E  1,     1    ,
где
   2 ,...,  k  ,     2 ,...,  k  . Для этой
T
T
модели справедливо блочное представление с k1  1, k2  k  1, 1  1 и
выполнены условия (11), (13). Тогда для МНК–оценок коэффициентов
модели справедливы представления (14).
Выборочная регрессия. Запишем полученные выше формулы
для оценок коэффициентов блочного аналога (2) выборочного уравнения
множественной регрессии (1). В случае некоррелированных и
гомоскедастичных ошибок наблюдений статистическим аналогом
T
теоретического совместного распределения случайного вектора  ,


является распределение дискретного случайного вектора, принимающего
T
i
iT
n значений x  , yi , i  1,..., n, с вероятностями 1 , где x    xi1 ,..., xik  .
n
В этом случае, статистический аналог некоторой характеристики
T
  E   T ,  наблюдаемой с.в.  , вычисляется по формуле



ˆn

 
   x , y ,
n
i 1
T
i
i


где суммирование происходит по всем выборочным
значениям [8, с.105]. Тогда заменой теоретических характеристик на
1 n
1 n
эмпирические, например, E i j  ~  xli xlj , E 
 xli yl , легко
i ~
n l 1
n l 1
могут быть получены расчетные формулы оценок коэффициентов для
линейных регрессионных моделей. При этом выражения для оценок (8),
(9) примут известный соответствующий выборочный вид


T
1
1
ˆ  arg min  yi   T xi   arg min  y  X    y  X     X T X  X T y,
n i 1


n
2


ˆ1   X 1T X 1  X 1T y  X 2 ˆ2 , ˆ2   X 2T X 2  X 2T y.
1
1
В случае ортогональности регрессоров X 2T X 1  0 из (10) получим
известные МНК–оценки для (4) аналоги (10):
1
1
ˆ   X T X  X T y, ˆ   X T X  X T y .
1
1
1
1
2
2
2
2
При выполнении условий некоррелированности (11), имеющим
T
выборочный вид X 2T X 1  nx 2 x 1 , X1T y  nx 1 y , приходим к следующим
выборочным аналогам оценок (12)
1
ˆ1  n  X 1T X 1  x 1 y  x T2 ˆ2 ,



ˆ2  X 2T X 2  s1 x 2 x T2
где
1 n
y   yi
n i 1
,

x 1  x1 ,..., xk1

T
 X
1
T
2
(16)

y  s1 x 2 y ,

1
 1Tn X 1 ,
n
x 2  xk1 1 ,..., xk

T
1
 1Tn X 2 ,
n
n
1
1 n
x
,
j

1,..,
k
,
s1   pij , а pij  P1  X1  X1T X1  X1T  R nn . В

ij
n i 1
i , j 1
случае выполнения дополнительного к (11) условия (13) в виде
T
X 1T X 1  nx 1 x 1 приходим к выборочным аналогам оценок (14)
1
ˆ  y  x T ˆ , ˆ   X сT X с  X сT y с ,
(17)
xj 
2
1
где
2
2
2
2
2
1n  1,...,1  R n1 ,
X 2c  CX 2 , y  C y  y  y1n ,
T
c
C  I n  1n 1nT1n  1nT  R nn — матрица центрирования.
1
В случае коррелированных ошибок наблюдений выборочными
аналогами (15) являются соотношения
y  X   e  X    X    e,
1
1
2
2
y  V 1 y, X 1  V 1 X 1 , X 2  V 1 X 2 , e  V 1 e ,
где
V 1  wij   1/2U T  R nn
определяется
матрицами
а
разложения
  diag  1 ,..., n  , i  0, i  1,..., n ,
  U U T ,
—
собственные
(характеристические) числа  , а столбцы матрицы U
—
соответствующие
числам
собственные
вектора.
Учитывая
U T  U 1 , V 1  V 1   1 , (8) примет известный вид
T
ˆ   X T X   X T y   X T  1 X  X T  1 y,
1
1


1
а (9) — вид (5) и ˆ1   X 1T 1 X 1  X 1T 1 y  X 2 ˆ2 .
В случае ортогональности регрессоров X 2T X 1  X 2T  1 X 1  0
получим ОМНК–оценки (6). Соотношения (12), при выполнении
T
X 2T  1 X 1  nX 2T ww X 1 ,
соответствующих
(11)
условий
X1T 1 y  nX1T ww y , после
принимают вид:
ˆ  n  X T  1 X
T
1
1
ˆ2   X
T
2
w   w1 ,..., wn 
,

где
T
небольших
матричных
преобразований
 y  X ˆ  ,
   s ww  X  X    s ww  y,
1

1
T
X 1T ww
1
2
1
T
1
pij  P1  V 1 X1  X1T 1 X1  X1T V
1
1
T
2
2
wj 
2
1
1 n
 wij , j  1,..., n
n i 1

1 T
(18)
T
n
s1   pij ,
,
а
i , j 1
. Для (14), при дополнительном к
(11) условии (13) в виде X 1T  1 X 1  nX 1T ww X 1 , имеем
T



ˆ1  wT y  X 2 ˆ2 , ˆ2  X 2T   1  X 2
c

1
X 2T   1  y , (19)
c
где   1    CV 1   CV 1  .
c
T
В качестве примера применимости полученных формул и условий
для них рассмотрим для модели (1) следующие массивы данных:
1 1 0 
0
1 0 0 0
1 1 1 
1
0 1 0 0




.
X
, y
, 
1 0 1 
0
0 0 1 0


 


1 0 0 
1
0 0 0 1
T
Тогда вычисляя МНК–оценки коэффициентов получим ˆ   0.5,0,0  .
Рассмотрим два случая блочного представления матрицы плана:
1 1 
0
 1
1 0
1 1 
1
 1
1 1
, X   ; X   , X  
.
X1  
2
1
2
1 0 
1
 1
0 1


 
 


1 0 
0
 1
 0 0
Легко проверить, что для первого разложения выполняется условие (11),
а для второго также и (13). Тогда воспользовавшись (16) и (17) или их
обобщенными аналогами (18) и (19) для соответствующих представлений
получим те же значения для оценок коэффициентов.
Заключение.
Рассмотренный
вероятностно–статистический
подход позволил получить ряд общих формул и условий их
применимости для оценок коэффициентов линейной множественной
регрессионной модели при разбиении регрессоров в зависимости от
проявления стохастических свойств зависимой и объясняющих величин.
ЛИТЕРАТУРА
1. Frisch R., Waugh F.V. Partial Time Regressions as Compared with
Individual Trends // Econometrica, 1933, 1(4), 387–401.
2. Lovell M. Seasonal adjustment of economic time series // Journal of the
American Statistical Association, 1963, 58, 993–1010.
3. Себер Дж. Линейный регрессионный анализ. М.: Мир, 1980.
4. Fiebig D.G., Bartels R., Kramer W. The Frisch-Waugh Theorem and
Generalised Least Squares Estimators // Econometrics. Reviews, 1996, 15,
431–444.
5. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. (1985). Прикладная
статистика: Исследование зависимостей. М.: Финансы и статистика,
1985.
6. Rodgers J.L., Nicewander W.A., Toothaker L. Linear independent,
orthogonal and uncorrelated variables // American Statistician, 1984, 38(2),
133–134.
7. Гантмахер Ф.Р. Теория матриц. М.: Изд-во Наука, 1967.
8. Ивченко Г.И., Медведев Ю.И. Введение в математическую статистику:
Учебник. М.: ЛКИ, 2010.