ЭКОНОМЕТРИКА ДЛЯ ПРОДОЛЖАЮЩИХ Курс лекций

ÝÊÎÍÎÌÅÒÐÈÊÀ ÄËß ÏÐÎÄÎËÆÀÞÙÈÕ
Êóðñ ëåêöèé
Ñòàíèñëàâ Àíàòîëüåâ
Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà
ÊË/2002/004
Ìîñêâà
20022003
c
Àíàòîëüåâ Ñòàíèñëàâ Àíàòîëüåâè÷, 2002 ã.
c
Ðîññèéñêàÿ Ýêîíîìè÷åñêàÿ Øêîëà, 2002 ã.
Ñîäåðæàíèå
I
1
Îïèñàíèå êóðñà
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
2
Ðåêîìåíäóåìàÿ ëèòåðàòóðà . . . . . . . . . . . . . . . . . . . . . . . . . .
5
Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè
6
1
Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ
. . . . . . . . . . . . . .
6
2
Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè . . . . . . . . . . . . . . . . . . . . .
7
3
Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí
. . . . . . . . . . . . . . . .
8
4
Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí . . . . . . . . . . .
9
5
Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé . . . . . . . . . . . .
11
6
Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû
12
7
Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ
. . . . . . . . . . . .
13
8
Ââåäåíèå â àñèìïòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ . . . . . . . . .
18
. . . . . . . . . . . . . . . . .
II Áóòñòðàïîâñêèé ïîäõîä
19
1
Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì . . . . . . . . .
19
2
Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé
. . . . . . . . . . . . . . . . . . . .
20
3
Êàêèå ñòàòèñòèêè áóòñòðàïèòü ? . . . . . . . . . . . . . . . . . . . . . . .
21
4
Êîððåêòèðîâêà ñìåùåíèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . .
22
5
Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà
. . . . . . . . . . . . . . .
23
6
Àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå
. . . . . . . . . . . . . . . . . . . . . .
24
7
Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé
. . . . . . . . .
26
8
Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ . . . . . . .
27
III Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ
28
1
Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå . . . . . . . . . . . . . . . . . . . . .
28
2
Ïðåäñêàçûâàíèå
29
3
Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ
4
Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ
. . . . . . . . . . .
32
5
Ïðèíöèï àíàëîãèé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
32
6
Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé
33
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
. . . . . . . . . . . .
. . . . . . . . . . . . . . . .
IV Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî
31
35
1
Ìåòîä íàèìåíüøèõ êâàäðàòîâ
. . . . . . . . . . . . . . . . . . . . . . . .
2
Àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè
3
Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ
4
Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ
3
. . . . . . . . . . . . . . . . . .
35
35
. . . . . . . . . . . . . . .
37
. . . . . . . . . . . . . . . .
38
5
Àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê
. . . . . . . . . . . . . . . . .
39
6
Äîñòóïíàÿ ÎÌÍÊ-îöåíêà . . . . . . . . . . . . . . . . . . . . . . . . . . .
41
7
Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé
. . . . . . . . . . . . . . . . . . . . .
43
8
ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ . . . . . . . . . . . . .
43
V Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè
46
1
Ýíäîãåííûå ïåðåìåííûå
. . . . . . . . . . . . . . . . . . . . . . . . . . .
46
2
Òî÷íàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . .
47
3
Ñâåðõèäåíòèôèêàöèÿ
. . . . . . . . . . . . . . . . . . . . . . . . . . . . .
48
4
Íåïîëíàÿ èäåíòèôèêàöèÿ . . . . . . . . . . . . . . . . . . . . . . . . . . .
49
5
Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê
50
6
Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ
. . . . . . . . . . . . . . .
. . . . . . . . . . .
VI Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî
51
51
1
Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì
. . . . . . . . . . . . . . . .
51
2
Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè
. . . . . . . . . . . . . . . . . . . . .
53
3
Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ
4
Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè
5
Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà
. . . . . . . . . . .
58
6
Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà . . . . . . . . . . . . . . . . . . .
59
7
Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè
. . . . . . . .
53
. . . . . . . . . . . . . . . . .
55
íóëåâîé ãèïîòåçå . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4
60
Ââåäåíèå
1
Îïèñàíèå êóðñà
Êóðñ ñëóæèò ââåäåíèåì â ïðèíöèïû ñîâðåìåííîãî èñêóññòâà ýêîíîìåòðè÷åñêîãî îöåíèâàíèÿ è ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ (èíôåðåíöèè) êàê äëÿ êðîññ-äàííûõ,
òàê è äëÿ âðåìåííûõ ðÿäîâ. Íåóäîâëåòâîðåííîñòü òî÷íûì ïîäõîäîì çàñòàâëÿåò íàñ
ðàññìîòðåòü äâå àëüòåðíàòèâû : àñèìïòîòè÷åñêèé è áóòñòðàïîâñêèé ïîäõîäû. Ïîñëå
èçó÷åíèÿ âàæíûõ ýêîíîìåòðè÷åñêèõ òîíêîñòåé îáîèõ ïîäõîäîâ êóðñ êîíöåíòðèðóåòñÿ
íà ïîñòðîåíèè îöåíîê â ëèíåéíûõ ìîäåëÿõ è èçó÷åíèè èõ ñâîéñòâ. Òåì íå ìåíåå, çàêëþ÷èòåëüíàÿ ÷àñòü êóðñà ïîñâÿùåíà ïðîñòûì íåëèíåéíûì ìîäåëÿì è ìåòîäàì. Àêöåíò äåëàåòñÿ íà êîíöåïòóàëüíóþ ñîñòàâëÿþùóþ, íåæåëè íà ìàòåìàòè÷åñêóþ ñëîæíîñòü, õîòÿ ïîñëåäíÿÿ èíîãäà íåèçáåæíà. Äîìàøíèå çàäàíèÿ ïî êóðñó ñîäåðæàò êàê
òåîðåòè÷åñêèå çàäà÷è, òàê è ïðàêòè÷åñêèå çàäàíèÿ, ïîäðàçóìåâàþùèå èñïîëüçîâàíèå ïàêåòà GAUSS. Çàäàíèÿ ñëóæàò âàæíûì èíãðåäèåíòîì îáó÷àþùåãî ïðîöåññà, â
êîòîðîì ÷àñòî áóäóò âñòðå÷àòüñÿ òåîðåòè÷åñêèå è ýìïèðè÷åñêèå ïðèìåðû.
Âûðàæàþ áëàãîäàðíîñòü Ñåì¼íó Ïîëáåííèêîâó çà ïîäãîòîâêó ÷åðíîâîé âåðñèè
êîíñïåêòîâ, Ëþäìèëå Ñîëíöåâîé çà òåõíè÷åñêóþ ïîìîùü, è ñòóäåíòàì Ðîññèéñêîé
Ýêîíîìè÷åñêîé Øêîëû çà çàìå÷àíèÿ è íàéäåííûå íåäî÷¼òû. Ìàòåðèàë ïîäãîòîâëåí â ðàìêàõ ïðîåêòà Ñîâåðøåíñòâîâàíèå ïðåïîäàâàíèÿ ñîöèàëüíî-ýêîíîìè÷åñêîãî
îáðàçîâàíèÿ â ÂÓÇàõ, ôèíàíñèðóåìîãî Âñåìèðíûì Áàíêîì è ðåàëèçóåìîãî Íàöèîíàëüíûì Ôîíäîì Ïîäãîòîâêè Êàäðîâ (ÍÔÏÊ).
2
Ðåêîìåíäóåìàÿ ëèòåðàòóðà
1. Anatolyev, Stanislav
lutions ,
Intermediate and Advanced Econometrics : Problems and So-
Lecture Notes series, New Economic School, 2002
2. Hayashi, Fumio
Econometrics ,
3. Goldberger, Arthur
4. Greene, William
Princeton University Press, 2000
A Course in Econometrics ,
Econometric Analysis ,
5. Potcher, Benedikt and Prucha, Ingmar
Harvard University Press, 1991
Prentice Hall, 4th edition, 2000
Basic elements of asymptotic theory ,
in :
A
Companion to Theoretical Econometrics , edited by Baltagi, B., Blackwell Publishers,
2001
6. Horowitz, Joel
The bootstrap , in : Handbook of Econometrics , vol. 5, Elsevier Science,
North-Holland, 2001
5
I
Ïðèáëèæåííûé ïîäõîä ê èíôåðåíöèè
1
Ñðàâíåíèå òî÷íîãî è ïðèáëèæåííîãî ïîäõîäîâ
Ïðè ýìïèðè÷åñêîì àíàëèçå äàííûõ âîçíèêàåò ñèòóàöèÿ, êîãäà ýêîíîìåòðèñò, èìåÿ
òî÷å÷íóþ îöåíêó íåêîòîðîãî ïàðàìåòðà, õî÷åò èçó÷èòü åå ñòàòèñòè÷åñêèå ñâîéñòâà.
Äëÿ ýòîãî åìó íåîáõîäèìî çíàòü ðàñïðåäåëåíèå ïîëó÷åííîé îöåíêè. Çíàòü ðàñïðåäåëåíèå âñåãäà íåîáõîäèìî äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è òåñòèðîâàíèÿ
ñòàòèñòè÷åñêèõ ãèïîòåç. Ñóùåñòâóþò äâà ïîäõîäà ê âîïðîñó î ðàñïðåäåëåíèè îöåíèâàåìîãî ïàðàìåòðà :
Òî÷íûé ïîäõîä
òî÷íûé
è
ïðèáëèæåííûé .
îñíîâàí íà ïðåäïîëîæåíèè îá èçâåñòíîñòè âèäà ðàñïðåäåëåíèÿ
äàííûõ. Îñòà¼òñÿ ëèøü òðàíñôîðìèðîâàòü åãî â ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè.
Ïðèìåð. Ïóñòü óñëîâíîå íà
ìàëüíûì ñî ñðåäíèì
Xβ
X
ðàñïðåäåëåíèå âåêòîðà
è äèñïåðñèåé
2
σ In ,
Y
áóäåò ìíîãîìåðíûì íîð-
ò.å.
Y |X ∼ N (Xβ, σ 2 In ).
Òîãäà ÌÍÊ-îöåíêà òîæå èìååò íîðìàëüíîå óñëîâíîå ðàñïðåäåëåíèå :
βbOLS = (X 0 X)−1 X 0 Y |X ∼ N (β, σ 2 (X 0 X)−1 ).
Íåäîñòàòêè òî÷íîãî ïîäõîäà äîñòàòî÷íî î÷åâèäíû.
Âî-ïåðâûõ ,
÷òîáû èñïîëüçî-
âàòü òî÷íûé ïîäõîä, íåîáõîäèìî ñäåëàòü ïðåäïîëîæåíèå î âèäå ðàñïðåäåëåíèÿ äàííûõ.
Âî-âòîðûõ , òî÷íûé ïîäõîä îáû÷íî îãðàíè÷èâàåòñÿ èñïîëüçîâàíèåì íîðìàëüíî-
ãî ðàñïðåäåëåíèÿ, ëèíåéíûõ ìîäåëåé è ïðîñòûõ ñòàòèñòèê, èáî â ïðîòèâíîì ñëó÷àå
àíàëèòè÷åñêèé âûâîä ðàñïðåäåëåíèÿ èíòåðåñóþùåé íàñ ñòàòèñòèêè îáû÷íî ñòàíîâèòñÿ î÷åíü òðóäîåìêîé èëè âîîáùå íåïîñèëüíîé çàäà÷åé.
Ïðèáëèæåííûé ïîäõîä
îñíîâàí íà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ
èññëåäóåìîé ñòàòèñòèêè. Â íàñòîÿùåå âðåìÿ ñóùåñòâóþò äâà ìåòîäà â ïðèáëèæåííîì
ïîäõîäå :
Èäåÿ
àñèìïòîòè÷åñêèé
è
áóòñòðàïîâñêèé .
àñèìïòîòè÷åñêîãî ìåòîäà
â òîì, ÷òîáû äëÿ ïîñòðîåíèÿ ïðèáëèæåííîãî ðàñ-
ïðåäåëåíèÿ ñòàòèñòèêè èñïîëüçîâàòü ïðåäåëüíîå (ïðè ñòðåìëåíèè ðàçìåðà âûáîðêè ê
áåñêîíå÷íîñòè) ðàñïðåäåëåíèå âûáîðî÷íûõ ñðåäíèõ. Íåñîìíåííûì äîñòîèíñòâîì òàêîãî ïîäõîäà ÿâëÿåòñÿ òîò ôàêò, ÷òî èñïîëüçóåìûå ïðåäåëüíûå ðàñïðåäåëåíèÿ îáû÷íî ÿâëÿþòñÿ ñòàíäàðòíûìè è çàòàáóëèðîâàííûìè. Ñ äðóãîé ñòîðîíû, àñèìïòîòè÷åñêàÿ àïïðîêñèìàöèÿ ðàñïðåäåëåíèÿ îöåíêè ìîæåò áûòü ïëîõîé, è, áîëåå òîãî, àïðèîðè ìû íå ìîæåì çíàòü, íàñêîëüêî îíà õîðîøà èëè ïëîõà. Äëÿ îòâåòà íà ýòîò âîïðîñ
6
ïðèõîäèòñÿ èñïîëüçîâàòü äîïîëíèòåëüíûå ñèìóëÿöèîííûå èññëåäîâàíèÿ. Êðîìå òîãî, àñèìïòîòè÷åñêèé ìåòîä â ñëîæíûõ ñèòóàöèÿõ ìîæåò ïîòðåáîâàòü çíà÷èòåëüíûõ
àíàëèòè÷åñêèõ âûêëàäîê.
Áóòñòðàïîâñêèé ìåòîä
â êà÷åñòâå íåèçâåñòíîãî èñòèííîãî ðàñïðåäåëåíèÿ äàííûõ
èñïîëüçóåò ýìïèðè÷åñêîå ðàñïðåäåëåíèå äàííûõ, ò.å. êàê äàííûå ëåãëè â âûáîðêå. Â
äàëüíåéøåì ìû ïîäðîáíåå îáñóäèì áóòñòðàïîâñêèé ìåòîä.
 íàñòîÿùåå âðåìÿ ýêîíîìåòðèñòû ïðåäïî÷èòàþò èñïîëüçîâàòü ïðèáëèæåííûé ïîäõîä, ïîñêîëüêó òî÷íûé òðåáóåò ðÿäà î÷åíü ñèëüíûõ ïðåäïîëîæåíèé î ìîäåëè è âèäå
ðàñïðåäåëåíèÿ äàííûõ. Âðÿä ëè ðàçóìíî ñ÷èòàòü, ÷òî âèä ýòîãî ðàñïðåäåëåíèÿ èçâåñòåí èññëåäîâàòåëþ.
2
Êîíöåïöèè àñèìïòîòè÷åñêîé òåîðèè
×àñòî èñïîëüçóåìûìè ïîíÿòèÿìè àñèìïòîòè÷åñêîé òåîðèè ÿâëÿþòñÿ
íîñòü, àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü
àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü .
bn , ïîëó÷åííîé èç âûáîðñâîéñòâà îöåíêè β
è
Ïóñòü íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå
êè ðàçìåðà
n.
ñîñòîÿòåëü-
Ïîñêîëüêó ìû ïðåäïîëàãàåì ñëó÷àéíóþ ïðèðîäó èñõîäíûõ äàííûõ,
ïîñòðîåííàÿ îöåíêà áóäåò ñëó÷àéíîé âåëè÷èíîé. Òàêèì îáðàçîì, ìû èìååì ïîñëåäî-
n
âàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí äëÿ êàæäîãî
p
• ñîñòîÿòåëüíîé , åñëè βbn → β , ãäå β
ñâîÿ
βbn .
Îöåíêà
βbn
ÿâëÿåòñÿ
èñòèííîå çíà÷åíèå îöåíèâàåìîãî ïàðàìåò-
ðà,
• àñèìïòîòè÷åñêè íîðìàëüíîé ,
åñëè
1
). Ñîîòâåòñòâåííî,
2
n
àñèìïòîòè÷åñêèì ñìåùåíèåì , Σ
(îáû÷íî
δ =
d
nδ (βbn − β) → N (µ, Σ)
δ
íàçûâàåòñÿ
äëÿ êàêîãî-òî
δ>0
ñêîðîñòüþ ñõîäèìîñòè , µ
àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðè-
öåé,
•
áóäó÷è àñèìïòîòè÷åñêè íîðìàëüíîé è àñèìïòîòè÷åñêè íåñìåù¼ííîé íàðÿäó ñ
äðóãîé îöåíêîé
βen , àñèìïòîòè÷åñêè áîëåå ýôôåêòèâíîé ,
÷åì
d
βen ,
åñëè ïðè
nδ (βbn − β) → N (0, Σ),
d
e
nδ (βen − β) → N (0, Σ),
ìàòðèöà
e −Σ
Σ
ÿâëÿåòñÿ íåîòðèöàòåëüíî îïðåäåëåííîé.
Ñîñòîÿòåëüíîñòü îöåíêè íåîáõîäèìàÿ íîðìà, ãîâîðÿùàÿ, ÷òî ÷åì áîëüøå äàííûõ,
òåì áëèæå íàøà îöåíêà ê èñòèííîìó ïàðàìåòðó. Ìîæíî, êîíå÷íî, ïðåäñòàâèòü ñåáå
íåñîñòîÿòåëüíóþ îöåíêó, îáëàäàþùóþ æåëàåìûìè ñâîéñòâàìè â ìàëåíüêèõ âûáîðêàõ, íî òàêàÿ ñèòóàöèÿ îòíîñèòñÿ ê ðàçðÿäó ðåäêèõ èñêëþ÷åíèé.
7
Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü âàæíà ïî òîé ïðè÷èíå, ÷òî ïðîâåðêà ñòàòèñòè÷åñêèõ ãèïîòåç è ïîñòðîåíèå äîâåðèòåëüíûõ èíòåðâàëîâ òðåáóþò çíàíèÿ ðàñïðåäåëåíèÿ
îöåíêè, à òàê êàê òî÷íîãî ðàñïðåäåëåíèÿ ìû íå çíàåì, ïîëüçóåìñÿ àñèìïòîòè÷åñêèì,
íîðìàëüíûì, ðàñïðåäåëåíèåì. Çäåñü ôèãóðèðóåò èìåííî íîðìàëüíîå ðàñïðåäåëåíèå,
ïîñêîëüêó ïðåäåëüíûå òåîðåìû, ÿâëÿþùèåñÿ ñåðäöåì àñèìïòîòèòåñêîé òåîðèè, ãîâîðÿò èìåííî î íîðìàëüíîñòè ýìïèðè÷åñêèõ ñðåäíèõ â áåñêîíå÷íûõ âûáîðêàõ.
Ýôôåêòèâíîñòü îöåíêè æåëàòåëüíà, ïîñêîëüêó ÷åì áîëåå ýôôåêòèâíà îöåíêà, òåì
òî÷íåå îíà ïðåäñêàçûâàåò èñòèííûé ïàðàìåòð. Ðàñøèðÿÿ îïðåäåëåíèå, ìîæíî ñêàçàòü, ÷òî äèñïåðñèÿ ýôôåêòèâíîé îöåíêè ìèìíèìàëüíà ñðåäè äèñïåðñèé îöåíîê èç
íåêîòîðîãî êëàññà.
3
Î ïîñëåäîâàòåëüíîñòÿõ ñëó÷àéíûõ âåëè÷èí
Ïðè ïðåäïîëîæåíèè î ñëó÷àéíîé ïðèðîäå èñõîäíûõ äàííûõ ïîñòðîåííûå îöåíêè ÿâëÿþòñÿ, êàê ïðàâèëî, ñëó÷àéíûìè âåëè÷èíàìè. Äëÿ äàëüíåéøåãî èññëåäîâàíèÿ ñòàòèñòè÷åñêèõ ñâîéñòâ îöåíîê äàäèì íåñêîëüêî îïðåäåëåíèé è ðåçóëüòàòîâ, îòíîñÿùèõñÿ ê òèïàì ñõîäèìîñòè ïîñëåäîâàòåëüíîñòåé ñëó÷àéíûõ âåëè÷èí.
Îïðåäåëåíèå 1 (ñõîäèìîñòü ïî÷òè íàâåðíîå). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü
Zn
ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå
as
ðîÿòíîñòüþ åäèíèöà ), ò.å. Zn → Z , åñëè
P
n
lim Zn = Z
n→∞
o
Z ïî÷òè íàâåðíîå
(èëè
ñ âå-
= 1,
Z.
ò.å. ïî÷òè êàæäàÿ òðàåêòîðèÿ ñõîäèòñÿ ê
Îïðåäåëåíèå 2 (ñõîäèìîñòü ïî âåðîÿòíîñòè). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü
p
Zn ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå Z ïî âåðîÿòíîñòè , ò.å. Zn → Z
èëè
p lim Zn = Z ,
åñëè
∀ε > 0
lim P {kZn − Zk > ε} = 0,
n→∞
ò.å. âåðîÿòíîñòü áîëüøèõ îòêëîíåíèé îò
Z
ñòðåìèòñÿ ê 0.
Îïðåäåëåíèå 3 (ñõîäèìîñòü â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü
â ñðåäíåêâàäðàòè÷åñêèõ
Zn
ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå
ms
îòêëîíåíèÿõ , ò.å. Zn → Z , åñëè
lim E kZn − Zk2 = 0,
n→∞
ò.å. ñðåäíåêâàäðàòè÷åñêàÿ îøèáêà ñòðåìèòñÿ ê 0.
8
Z
Îïðåäåëåíèå 4 (ñõîäèìîñòü ïî ðàñïðåäåëåíèþ). Ìàòðè÷íàÿ ïîñëåäîâàòåëüíîñòü
d
Zn →
Zn
Z
ñëó÷àéíûõ âåëè÷èí ñõîäèòñÿ ê ñëó÷àéíîé ìàòðèöå
d
èëè Zn → DZ , ãäå DZ ðàñïðåäåëåíèå Z , åñëè
Z ïî ðàñïðåäåëåíèþ , ò.å.
lim P {Zn ≤ z} = P {Z ≤ z}
n→∞
äëÿ âñåõ òî÷åê íåïðåðûâíîñòè
z
ðàñïðåäåëåíèÿ
DZ .
Ìîæíî ïîêàçàòü, ÷òî ñõîäèìîñòü ïî âåðîÿòíîñòè ñëåäóåò èç ñõîäèìîñòè ïî÷òè íàâåðíîå èëè ñõîäèìîñòè â ñðåäíåêâàäðàòè÷åñêèõ îòêëîíåíèÿõ. Ñõîäèìîñòü ïî ðàñïðåäåëåíèþ, â ñâîþ î÷åðåäü, âûòåêàåò èç ñõîäèìîñòè ïî âåðîÿòíîñòè.
as
p
ms
Ðåçóëüòàò 1.
{Zn → Z
Ðåçóëüòàò 2.
Zn → Z ⇒ Zn → Z .
p
èëè
Zn → Z} ⇒ Zn → Z .
d
Ðåçóëüòàò 3. Åñëè
Z
êîíñòàíòà, òî
p
d
Zn → Z ⇔ Zn → Z
Ïðèìåð. Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí
Z
Z Z Z Z
, , , ,..., ,...,
1 2 3 4
n
{Zn } :
ãäå
Z èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå. Òîãäà E(Zn ) = 0 è V ar(Zn ) =
Òàêèì îáðàçîì
4
ms
Zn → 0,
à, ñëåäîâàòåëüíî, è
p
1
.
n2
Zn → 0.
Î ïîñëåäîâàòåëüíîñòÿõ ôóíêöèé ñëó÷àéíûõ âåëè÷èí
Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ òåîðåì, êîòîðûå íàì ïîíàäîáÿòñÿ âïîñëåäñòâèè.
Çäåñü îíè ïðèâåäåíû áåç äîêàçàòåëüñòâà.
Òåîðåìà (ÌàííàÂàëüäà). Ïóñòü ôóíêöèÿ
g : Rk1 ×k2 → Rl1 ×l2
íåïðåðûâíà, à
Zn
ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí. Òîãäà
as
•
åñëè
Zn → Z ,
•
åñëè
Zn → Z ,
•
åñëè
Zn → Z
•
åñëè
Zn → Z ,
p
ms
d
Çàìå÷àíèå : Åñëè
as
òî
g(Zn ) → g(Z),
òî
g(Zn ) → g(Z),
è
p
g
òî
Z
ëèíåéíà, òî
ms
g(Zn ) → g(Z),
d
g(Zn ) → g(Z).
êîíñòàíòà, òî äëÿ âûïîëíåíèÿ òåîðåìû äîñòàòî÷íà òîëüêî ëî-
êàëüíàÿ íåïðåðûâíîñòü ôóíêöèè
g
â òî÷êå
Z.
Òåîðåìà (Ñëóöêîãî). Åñëè ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí
âåðîÿòíîñòè ê íåêîòîðîé êîíñòàíòå
U,
Un
ñõîäèòñÿ ïî
à ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí
p
d
ñõîäèòñÿ ïî ðàñïðåäåëåíèþ ê ñëó÷àéíîé âåëè÷èíå V , ò.å. Un → U è Vn → V , òî
9
Vn
d
• Un + Vn → U + V,
d
• Un Vn → U V,
d
• Un−1 Vn → U −1 V ,
åñëè
P r{det(Un ) = 0} = 0.
Åù¼ ðàç îáðàòèì âíèìàíèå íà òîò ôàêò, ÷òî â òåîðåìå Ñëóöêîãî îäíà ïîñëåäîâàòåëüíîñòü äîëæíà ñõîäèòüñÿ
ïî âåðîÿòíîñòè ê êîíñòàíòå .
Åñëè ýòî íå òàê, òî
òåîðåìà, âîîáùå ãîâîðÿ, íå âåðíà. Ñëåäóþùèé ïðèìåð äåìîíñòðèðóåò ýòî.
Ïðèìåð. Ïóñòü ñëó÷àéíàÿ âåëè÷èíà
ëåíèå, ò.å.
Îäíàêî,
èìååò ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäå-
Z ∼ N (0, 1).
Ðàññìîòðèì äâå ïîñëåäîâàòåëüíîñòè ñëó÷àéíûõ âåëè÷èí :
p
d
è {Xn } = {Z, −Z, Z, −Z, . . . }. ßñíî, ÷òî {Zn } → Z è {Xn } →
{Zn } = {Z, Z, Z, Z, . . .}
Z.
Z
{Zn + Xn } = {2Z, 0, 2Z, 0, 2Z, . . . }.
Òàêèì îáðàçîì, ïîñëåäîâàòåëüíîñòü
ñóììû ñëó÷àéíûõ âåëè÷èí íå ñõîäèòñÿ âîîáùå íèêóäà, ò.å. òåîðåìà Ñëóöêîãî íåïðèìåíèìà.
Òåîðåìà (Äåëüòà Ìåòîä). Ïóñòü ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåêòîðîâ
ìåðíîñòè
k×1
óäîâëåòâîðÿåò óñëîâèþ
êîíñòàíòà, à ôóíêöèÿ
k
g: R → R
√
ãäå
G=
l
√
d
n(Zn − Z) → N (0, Σ),
ãäå
Z
ðàç-
Z = p lim Zn
íåïðåðûâíî äèôôåðåíöèðóåìà â òî÷êå
Z.
Òîãäà
d
n(g(Zn ) − g(Z)) → N (0, GΣG0 ),
∂g(z)
| .
∂z 0 z=Z
Ïðèìåðû 1 è 2 äåìîíñòðèðóþò ïðèìåíåíèå òåîðåìû ÌàííàÂàëüäà è Äåëüòà Ìåòîäà íà ïðàêòèêå.
Ïðèìåð 1. Ïóñòü
p
x→µ
ðåíöèðóåìóþ ôóíêöèþ
è
√
d
n(x − µ) → N (0, Σ).
g(x) = x0 x.
Ðàññìîòðèì íåïðåðûâíî äèôôå-
Ïî òåîðåìå ÌàííàÂàëüäà
√
d
Σ−1/2 n(x − µ) → N (0, Ik ),
ãäå
(Σ−1/2 )0 Σ−1/2 = Σ−1 .
Òàêèì îáðàçîì, ïîëó÷àåì ñëåäóþùèé ðåçóëüòàò :
√
d
n(x − µ)0 Σ−1 (x − µ) → χ2 (k).
Èñïîëüçóÿ Äåëüòà Ìåòîä è ó÷èòûâàÿ, ÷òî
√
Ïðèìåð 2. Ïóñòü
√
G=
∂(x0 x)
|
∂x0 µ
= 2x0 |µ = 2µ0 ,
d
n(x0 x − µ0 µ) → N (0, 4µ0 Σµ).
x1
µ1
d
n
−
→ N (0, I2 ).
x2
µ2
10
ïîëó÷èì :
Ðàññìîòðèì íåïðåðûâíî äèôôåðåíöèðóåìóþ ôóíêöèþ
g
x1
x2
Âàëüäà,
=
x1
. Ïî òåîðåìå Ìàííà
x2
x1 − µ1 d N (0, 1)
→
,
x 2 − µ2
N (0, 1)
ò.å. èíòåðåñóþùàÿ íàñ âåëè÷èíà èìååò ðàñïðåäåëåíèå Êîøè. Ïðèìåíÿÿ æå Äåëüòà
Ìåòîä, èìååì :
x1
x2
G=
∂(x1 , x2 ) ∂
òàê ÷òî
√
5
=
(µµ12 )
1
µ1
,−
µ2 µ2

2 
µ1
x 1 µ1 d
 1 + µ2
n
−
→ N 0,
x 2 µ2
µ22
,

.
Ïðåäåëüíûå òåîðåìû äëÿ íåçàâèñèìûõ íàáëþäåíèé
Îñíîâíûìè èíñòðóìåíòàìè ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ â àñèìïòîòè÷åñêîì
ïîäõîäå ÿâëÿþòñÿ
ìû
Çàêîíû Áîëüøèõ ×èñåë
(ÇÁ×) è
Öåíòðàëüíûå Ïðåäåëüíûå Òåîðå-
(ÖÏÒ). ÇÁ× ïðåäñòàâëÿåò ñîáîé ðåçóëüòàò î ñõîäèìîñòè âûáîðî÷íîãî ñðåäíåãî
ê ïîïóëÿöèîííîìó ñðåäíåìó, ÖÏÒ äàåò ïðåäñòàâëåíèå î ïðåäåëüíîì ðàñïðåäåëåíèè
îïðåäåëåííûì îáðàçîì íîðìèðîâàííîãî öåíòðèðîâàííîãî âûáîðî÷íîãî ñðåäíåãî. Ñóùåñòâóåò äîâîëüíî áîëüøîå êîëè÷åñòâî ôîðìóëèðîâîê ÇÁ× è ÖÏÒ. Íàñ áóäóò èíòåðåñîâàòü ïðåäåëüíûå òåîðåìû äëÿ äâóõ îñíîâíûõ ñëó÷àåâ : ñëó÷àé
áëþäåíèé
è ñëó÷àé
ñòàöèîíàðíûõ ýðãîäè÷íûõ âðåìåííûõ ðÿäîâ .
íåçàâèñèìûõ íàÄàëåå ïðèâîäÿòñÿ
ÇÁ× è ÖÏÒ äëÿ íåçàâèñèìûõ èëè ñåðèéíî íåñêîððåëèðîâàííûõ ñêàëÿðíûõ ñëó÷àéíûõ âåëè÷èí.
Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû
{Zn }∞
i=1
íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû.
Êðîìå òîãî, ïóñòü ñóùåñòâóåò ìàòåìàòè÷åñêîå îæèäàíèå
E|Zi |.
Òîãäà
n
1X
as
Zi → E[Zi ].
n i=1
Òåîðåìà Êîëìîãîðîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû
∞,
2
{Zn }∞
i=1 íåçàâèñèìû è èìåþò êîíå÷íûå äèñïåðñèè σi . Åñëè
òî
σi2
i=1 i2
P∞
<
" n
#
n
1X
1X
as
Zi − E
Zi → 0.
n i=1
n i=1
Òåîðåìà ×åáûøåâà (íåñêîððåëèðîâàííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû
{Zn }∞
i=1 íåñêîððåëèðîâàíû, ò.å. Cov(Zi , Zj ) = 0 äëÿ i 6= j . Åñëè
11
1
n2
Pn
i=1
σi2 →
n→∞
0,
òî
" n
#
n
1X
1X
p
Zi − E
Zi → 0.
n i=1
n i=1
Òåîðåìà Ëèíäáåðãà-Ëåâè (íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû
ñ ìàòåìàòè÷åñêèì îæèäàíèåì
√
{Zn }∞
i=1
E[Zi ] = µ
è äèñïåðñèåé
n
n
íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû
1X
Zi − µ
n i=1
!
V ar[Zi ] = σ 2 .
Òîãäà :
d
→ N (0, σ 2 ).
Òåîðåìà Ëÿïóíîâà (íåçàâèñèìûå íåîäíîðîäíûå íàáëþäåíèÿ). Ïóñòü ñëó÷àéíûå âåëè÷èíû
ïåðñèåé
{Zn }∞
i=1
V ar[Zi ] =
íåçàâèñèìû ñ ìàòåìàòè÷åñêèì îæèäàíèåì
σi2 è òðåòüèì öåíòðàëüíûì ìîìåíòîì
åñëè
E[|Zi − µi |3 ] = νi .
Òîãäà,
P
1/3
( ni=1 νi )
→ 0,
P
1/2
( ni=1 σi2 ) n→∞
òî
6
E[Zi ] = µi , äèñ-
Pn
i=1 (Zi − µi ) d
→ N (0, 1).
Pn
1/2
( i=1 σi2 )
Àñèìïòîòè÷åñêèå ñòàòèñòè÷åñêèå âûâîäû
Èäåÿ ïîñòðîåíèÿ ñòàòèñòè÷åñêèõ âûâîäîâ ïðè ïîìîùè àñèìïòîòè÷åñêîãî ìåòîäà äîâîëüíî î÷åâèäíà. Âìåñòî òî÷íîãî ðàñïðåäåëåíèÿ îöåíêè áåðåòñÿ àñèìïòîòè÷åñêîå, íà
îñíîâàíèè êîòîðîãî ñòðîÿòñÿ ðàñïðåäåëåíèÿ òåñòîâûõ ñòàòèñòèê.
Ïðèìåð. Ïóñòü
√
d
n(Z n − µ) → N (0, σ 2 ).
 äàííîì ñëó÷àå ìû èìååì äåëî ñ âûáîðî÷íûì ñðåäíèì
Z n,
êîòîðîå ñîãëàñíî ÖÏÒ
èìååò àñèìïòîòè÷åñêè íîðìàëüíîå ðàñïðåäåëåíèå. Çàìåòèì, ÷òî â äàííîì ñëó÷àå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî ïàðàìåòðà
σ2,
ïîýòîìó ñòàòèñòèêà
Zn
ÿâëÿåòñÿ
àñèìïòîòè÷åñêè íåïèâîòàëüíîé ñòàòèñòèêîé .
Îïðåäåëåíèå. Ñòàòèñòèêà íàçûâàåòñÿ (àñèìïòîòè÷åñêè)
ïèâîòàëüíîé , åñëè åå (àñèì-
ïòîòè÷åñêîå) ðàñïðåäåëåíèå íå çàâèñèò îò íåèçâåñòíûõ ïàðàìåòðîâ.
Âîçâðàùàÿñü ê íàøåìó ïðèìåðó, ìû ìîæåì ïîëó÷èòü ïèâîòàëüíóþ ñòàòèñòèêó,
ïîñòðîèâ ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè
√
n(Z n − µ)
=
σ
b
√
σ
b2 :
n(Z n − µ) σ d
→ N (0, 1),
σ
σ
b
12
√
d
òàê êàê ñîãëàñíî ÖÏÒ
n(Z n − µ)/σ → N (0, 1), à â ñèëó ñîñòîÿòåëüíîñòè îöåíêè
p
σ
b2 , σ/b
σ → 1. Òåïåðü, çíàÿ àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ïîñòðîåííîé ñòàòèñòèêè ìîæíî ïîñòðîèòü äîâåðèòåëüíûé èíòåðâàë. Òàê àñèìïòîòè÷åñêèé äîâåðèòåëüíûé
èíòåðâàë äëÿ
µ
áóäåò
σ
b N (0,1)
σ
b N (0,1)
Z n − √ q1− α , Z n + √ q1− α .
2
2
n
n
Ïðåäïîëîæèì òåïåðü, ÷òî íàì íóæíî ïðîòåñòèðîâàòü ãèïîòåçó
ãëàñíî ïîñòðîåííîìó íàìè
îòâåðãàòüñÿ, åñëè
√
H 0 : µ = µ0 .
Ñî-
α-ïðîöåíòíîìó äîâåðèòåëüíîìó èíòåðâàëó ãèïîòåçà áóäåò
N (0,1)
n|Z n − µ0 |/b
σ > q1− α
2
.  ïðîòèâíîì ñëó÷àå ãèïîòåçà ïðèíèìàåò-
ñÿ. Îñòàëîñü ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó äèñïåðñèè. Îêàçûâàåòñÿ, âûáîðî÷íàÿ
äèñïåðñèÿ áóäåò ñîñòîÿòåëüíîé îöåíêîé äëÿ äèñïåðñèè :
v
v
u n
u n
X
u1 X
u1
p
2
t
(Zi − Z n ) = t
(Zi − µ)2 − (Z n − µ)2 → σ,
σ
b=
n i=1
n i=1
ïîñêîëüêó èç ÇÁ× ñëåäóåò, ÷òî
7
1
n
Pn
i=1 (Zi
p
− µ)2 → E[(Zi − µ)2 ] = σ 2
è
p
(Z n − µ)2 → 0.
Àñèìïòîòèêà äëÿ ñòàöèîíàðíûõ âðåìåííûõ ðÿäîâ
Äî ñèõ ïîð ìû ðàññìàòðèâàëè àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê â ñëó÷àå íåçàâèñèìûõ íàáëþäåíèé, è åñëè ó íàñ åñòü ïîñëåäîâàòåëüíîñòü
ìîãëè ñêàçàòü, ÷òî ó íàñ èìååòñÿ
n
Z 1 , Z2 , Z3 , . . . , Zn ,
ìû
íàáëþäåíèé.  ñëó÷àå âðåìåííûõ ðÿäîâ (íàáëþ-
äåíèé âî âðåìåíè) ýòî, âîîáùå ãîâîðÿ, íå òàê. Êàæäàÿ òðàåêòîðèÿ
îäíî íàáëþäåíèå ,
ïðåäñòàâëÿåò ñîáîé â îáùåì ñëó÷àå
Z1 , Z2 , Z3 , . . . , ZT
à èç îäíîãî íàáëþäåíèÿ äå-
ëàòü ñòàòèñòè÷åñêèå âûâîäû ïðîáëåìàòè÷íî. Ïîýòîìó íà ïðèðîäó èñõîäíûõ äàííûõ
ïðèõîäèòñÿ íàêëàäûâàòü êàêóþ-òî ñòðóêòóðó. ×àñòî äëÿ ýòîãî èñïîëüçóþòñÿ ïðåäïîëîæåíèÿ î
ñòàöèîíàðíîñòè è ýðãîäè÷íîñòè
ýòî ñòàáèëüíîñòü ðàñïðåäåëåíèÿ
Zt
ðÿäà. Ãðóáî ãîâîðÿ,
âî âðåìåíè, à
ñòàöèîíàðíîñòü
ýðãîäè÷íîñòü
ýòî ïîòåðÿ
ïàìÿòè, èëè àñèìïòîòè÷åñêàÿ íåçàâèñèìîñòü îò íà÷àëüíûõ äàííûõ. Äàäèì áîëåå
÷åòêèå îïðåäåëåíèÿ :
Îïðåäåëåíèå. Âðåìåííîé ðÿä íàçûâàåòñÿ
ðàñïðåäåëåíèå
Zt , Zt−1 , . . . , Zt−k
ñòðîãî ñòàöèîíàðíûì ,
íå çàâèñèò îò
t
äëÿ ëþáûõ
åñëè ñîâìåñòíîå
k.
Ïîñêîëüêó òî÷íîå îïðåäåëåíèå ýðãîäè÷íîñòè èñïîëüçóåò ïîíÿòèÿ òåîðèè ìåðû, äàäèì èíòóèòèâíîå îïðåäåëåíèå :
Îïðåäåëåíèå. Âðåìåííîé ðÿä
òè÷åñêè íåçàâèñèìû ïðè
Zt
íàçûâàåòñÿ
k → ∞.
13
ýðãîäè÷íûì , åñëè Zt
è
Zt+k
àñèìïòî-
Ïðèâåäåì ïðèìåðû ðàçëè÷íûõ ñòàöèîíàðíûõ èëè íåñòàöèîíàðíûõ è ýðãîäè÷íûõ
èëè íåýðãîäè÷íûõ âðåìåííûõ ðÿäîâ.
Ïðèìåð 1 (ñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû).
• Zt ∼ iid,
íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå íàáëþäåíèÿ,
• εt ∼ iid(0, σ 2 ),
ñèëüíûé áåëûé øóì,
• AR(1) : zt = ρzt−1 + εt , |ρ| < 1,
• M A(1) : zt = εt + θεt−1 .
Ïðèìåð 2 (íåñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû).
• zt = zt−1 + εt ,
ñëó÷àéíîå áëóæäàíèå. Çäåñü äèñïåðñèÿ íàáëþäåíèé ðàñòåò ñî
V ar(zt ) = V ar(zt−1 ) + σε2 , ò.å. ðÿä íå ìîæåò áûòü ñòàöèîíàðåí. Êðîìå
Pt
íà÷àëüíûå äàííûå íå çàáûâàþòñÿ ñî âðåìåíåì : zt = z0 +
i=1 εi , è ðÿä
âðåìåíåì :
òîãî,
íåýðãîäè÷åí.
Ïðèìåð 3 (ñòàöèîíàðíûå íåýðãîäè÷íûå ðÿäû).
•
Ïóñòü
z ∼ N (0, 1)
è
zt = z + εt ,
ãäå
εt
è
z
íåçàâèñèìû. Î÷åâèäíî, ÷òî ðÿä
zt
ñòàöèîíàðåí, íî íåýðãîäè÷åí.
Ïðèìåð 4 (íåñòàöèîíàðíûå ýðãîäè÷íûå ðÿäû).
•
Ñåçîííûé ðÿä :
zt = s(τ, t) + εt ,
ãäå
s(τ, t) = s(τ, t + τ ).
Ðåçóëüòàò. Åñëè ñëó÷àéíûé ïðîöåññ zt ÿâëÿåòñÿ ñòàöèîíàðíûì è ýðãîäè÷íûì, è åñëè
Yt = f (zt , zt−1 . . .)
åñòü ñëó÷àéíàÿ âåëè÷èíà, òî
Yt
òàêæå ÿâëÿåòñÿ ñòàöèîíàðíûì è
t
íàçûâàþòñÿ âñå ðåàëèçîâàâøèåñÿ
ýðãîäè÷íûì ðÿäîì.
Îïðåäåëåíèå.
çíà÷åíèÿ
zk
Èíôîðìàöèåé
âïëîòü äî
Îïðåäåëåíèå. Ðÿä
íèé
zt
zt ,
ò.å.
â ìîìåíò âðåìåíè
It = {zt , zt−1 , . . .}.
íàçûâàåòñÿ
ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùå-
(ÏÌÏ) ïî îòíîøåíèþ ê ñâîåìó ïðîøëîìó, åñëè
E[zt |It−1 ] = 0.
Ñôîðìóëèðóåì ÇÁ× è ÖÏÒ äëÿ âðåìåííûõ ðÿäîâ.
Òåîðåìà ÁèðêîôôàÕèí÷èíà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä
ñòàöèîíàðåí è ýðãîäè÷åí. Êðîìå òîãî, ïóñòü
E[|Zt |] < ∞,
T
1X
as
Zt → E[Zt ]
T t=1
14
òîãäà
{Zt }+∞
t=−∞
ïðè
T → ∞.
Òåîðåìà Áèëëèíãñëåÿ (ïîñëåäîâàòåëüíîñòü ìàðòèíãàëüíûõ ïðèðàùåíèé).
Ïóñòü ðÿä
{Zt }+∞
t=−∞ ñòàöèîíàðåí, ýðãîäè÷åí è ÿâëÿåòñÿ ÏÌÏ ïî îòíîøåíèþ ê ñâîåìó
σ 2 = E[Zt2 ] < ∞,
ïðîøëîìó. Êðîìå òîãî, ïóñòü
òîãäà
T
1 X
d
√
Zt → N (0, σ 2 )
T t=1
ïðè
T → ∞.
Òåîðåìà (çàâèñèìûå íàáëþäåíèÿ). Ïóñòü ðÿä
{Zt }+∞
t=−∞
ñòàöèîíàðåí è ýðãîäè-
÷åí. Êðîìå òîãî, ïóñòü
2
σ =
+∞
X
Cov[Zt , Zt−j ] < ∞.
j=−∞
Òîãäà ïðè îïðåäåëåííûõ óñëîâèÿõ,
√
ïðè
T
T
1X
Zt − E[Zt ]
T t=1
!
d
→ N (0, σ 2 )
T → ∞.
Ïðèâåäåì ïðèìåðû èñïîëüçîâàíèÿ èçëîæåíûõ âûøå òåîðåì äëÿ èññëåäîâàíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ îöåíîê íà âðåìåííûõ ðÿäàõ.
Ïðèìåð. Ðàññìîòðèì àâòîðåãðåññèîííûé ïðîöåññ ïåðâîãî ïîðÿäêà
AR(1) :
xt = ρxt−1 + εt , |ρ| < 1, εt ∼ iid(0, σ 2 ).
Íàñ èíòåðåñóþò àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè
ρb =
PT
xt−1 xt
Pt=2
T
2
t=2 xt−1
PT
= ρ + Pt=2
T
xt−1 εt
t=2
x2t−1
.
Ïî òåîðåìå ÁèðêîôôàÕèí÷èíà,
T
1 X
p
xt−1 εt → E[xt−1 εt ] = 0,
T − 1 t=2
T
1 X 2 p
xt−1 → E[x2t−1 ].
T − 1 t=2
Ñëåäîâàòåëüíî, ïî òåîðåìå Ñëóöêîãî îöåíêà
p
ρb → ρ.
ρb ÿâëÿåòñÿ
ñîñòîÿòåëüíîé îöåíêîé, ò.å.
Òåïåðü íàéäåì àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ÌÍÊ-îöåíêè :
√
T (b
ρ − ρ) =
√1
T −1
1
T −1
PT
t=2 xt−1 εt
PT
2
t−2 xt−1
15
r
T
.
T −1
q
PT
p
T
1
2
2
→ 1, à T −1
t−2 xt−1 → E[xt−1 ]. Ïîêàæåì, ÷òî ïîñëåäîâàòåëüT −1 n→∞
íîñòü xt−1 εt ÿâëÿåòñÿ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé ïî îòíîøåÎ÷åâèäíî, ÷òî
íèþ ê ñâîåìó ïðîøëîìó, ò.å. èíôîðìàöèîííîìó ìíîæåñòâó
It−1 = {xt−2 εt−1 , xt−3 εt−2 . . .} :
E[xt−1 εt |It−1 ] = E[E[xt−1 εt |xt−1 , xt−2 εt−1 . . .]|It−1 ] = 0,
ò.å. ïîñëåäîâàòåëüíîñòü
xt−1 εt
ÿâëÿåòñÿ ÏÌÏ. Òàêèì îáðàçîì, ìû ìîæåì ïðèìåíèòü
ÖÏÒ Áèëëèíãñëåÿ :
T
X
1
d
√
xt−1 εt → N (0, E[x2t−1 ε2t ]).
T − 1 t=2
Çàìåòèâ, ÷òî
E[x2t ] = V ar[xt ] = ρ2 V ar[xt−1 ] + σ 2 =
ðåçóëüòàò :
√
σ2
, ïîëó÷èì îêîí÷àòåëüíûé
1−ρ2
d
T (b
ρ − ρ) → N (0, 1 − ρ2 ).
Ñîîòâåòñòâóþùàÿ ïèâîòàëüíàÿ ñòàòèñòèêà áóäåò
√
T (b
ρ − ρ) d
p
→ N (0, 1).
1 − ρb2
ρ åñòü
"
#
r
r
1 − ρb2
1 − ρb2
CIρ = ρb − 1.96
; ρb + 1.96
.
T
T
 ðåçóëüòàòå, 95%-íûé äîâåðèòåëüíûé èíòåðâàë äëÿ
Îáðàòèìñÿ åùå ðàç ê ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé. Âèä âàðèàöèîííîé ìàòðèöû
â àñèìïòîòè÷åñêîì ðàñïðåäåëåíèè îöåíêè òðåáóåò íåêîòîðîãî ïîÿñíåíèÿ. Êîãäà ìû
èìååì äåëî ñ ïîñëåäîâàòåëüíîñòüþ ìàðòèíãàëüíûõ ïðèðàùåíèé
0
äëÿ
j > 0,
σ 2 = E[Zt2 ].
Zt , ó íàñ E[Zt Zt−j ] =
ïîýòîìó àñèìïòîòè÷åñêàÿ äèñïåðñèÿ äëÿ ÏÌÏ èìååò ïðîñòîé âèä :
Îäíàêî, âñ¼ ñëîæíåå äëÿ áîëåå çàâèñèìûõ íàáëþäåíèé :
#
" T
#
T
X
1
1 X
Zt = V ar
Zt =
V ar √
T
T t=1
t=1
1
=
[T V ar(Zt ) + (T − 1)Cov(Zt , Zt+1 ) + (T − 1)Cov(Zt , Zt−1 ) +
T
+ (T − 2)Cov(Zt , Zt+2 ) + (T − 2)Cov(Zt , Zt−2 ) + . . . +
+∞
X
+ Cov(Z1 , ZT ) + Cov(ZT , Z1 )] →
Cov(Zt , Zt−j ).
"
T →∞
j=−∞
Ðàññìîòðèì ïðèìåð ñ çàâèñèìûìè íàáëþäåíèÿìè, êîãäà àñèìïòîòè÷åñêóþ äèñïåðñèîííóþ ìàòðèöó ïðèõîäèòñÿ ñ÷èòàòü ïî óêàçàííîé âûøå ôîðìóëå. ßñíî, ÷òî â ýòîì
ñëó÷àå îøèáêè äîëæíû áûòü ñêîððåëèðîâàíûìè.
16
Ïðèìåð. Ðàññìîòðèì ïðîöåññ ñêîëüçÿùåãî ñðåäíåãî ïåðâîãî ïîðÿäêà
M A(1) :
zt = εt + θεt−1 , εt ∼ iid(0, σ 2 ).
Çàìåòèì, ÷òî
V ar(zt ) = (1 + θ2 )σ 2 , Cov(zt , zt−1 ) = θσ 2 , Cov(zt , zt−j ) = 0, j > 1.
 ýòîì ñëó÷àå,
+∞
X
Cov(zt , zt−j ) = (1 + θ2 )σ 2 + 2θσ 2 = (1 + θ)2 σ 2 .
j=−∞
Òîãäà, ñîãëàñíî ÖÏÒ äëÿ çàâèñèìûõ íàáëþäåíèé,
T
1 X
d
√
zt → N (0, (1 + θ)2 σ 2 ).
T t=1
Îáðàòèì âíèìàíèå íà òî, ÷òî â ýòîì ñëó÷àå
{zt−1 , zt−2 , zt−3 . . .},
ò.ê.
zt
íå ÿâëÿåòñÿ ÏÌÏ îòíîñèòåëüíî
It =
E[zt |zt−1 , zt−2 , . . .] = θεt−1 6= 0.
Äëÿ ïîëó÷åíèÿ ïèâîòàëüíîé ñòàòèñòèêè âîçíèêàåò íåîáõîäèìîñòü ñîñòîÿòåëüíîãî
îöåíèâàíèÿ àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöû. Âèä èñêîìîé îöåíêè ìîæåò
áûòü
T
T −1
T
X
1 X
1X
0
b
Ω=
(Zt − Z)(Zt − Z) +
{(Zt − Z)(Zt−j − Z)0 + (Zt − Z)(Zt+j − Z)0 }.
T t=1
T
j=1
t=j+1
Óâû, òàêàÿ îöåíêà íå áóäåò ñîñòîÿòåëüíîé, ò.å.
p
b9
Ω
Ω. Äåëî â òîì, ÷òî èç-çà êîíå÷íî-
ñòè âûáîðêè íåâîçìîæíî ñîñòîÿòåëüíî îöåíèòü êðàéíèå ÷ëåíû ðÿäà. Òàêèì îáðàçîì,
èñïîëüçóÿ ýðãîäè÷íîñòü, íåîáõîäèìî îáðåçàòü ðÿä íà ñëàãàåìîì íîìåð
òàêîì, ÷òîáû ïðè
T →∞
ìû èìåëè
m→∞
è
m/T → 0.
m << T ,
Íüþè è Óýñò ïðåäëîæè-
ëè ñîñòîÿòåëüíóþ îöåíêó âàðèàöèîííîé ìàòðèöû, êîòîðàÿ ïî ïîñòðîåíèþ ÿâëÿåòñÿ
ïîëîæèòåëüíî îïðåäåëåííîé :
bNW =
Ω
m X
j=−m
|j|
1−
m+1
1
T
min(T,T +j)
X
(Zt − Z)(Zt−j − Z)0 .
t=max(1,1+j)
Äëÿ ïðàêòè÷åñêîãî èñïîëüçîâàíèÿ áûëà ïðåäëîæåíà ñëåäóþùàÿ ôîðìóëà âûáîðà
m:
" 1/3 #
T
m= 4
.
100
Òàêîé âûáîð
m äàåò õîðîøèå ðåçóëüòàòû â ñìûñëå òî÷íîñòè îöåíîê, çà èñêëþ÷åíèåì
òåõ ñëó÷àåâ, êîãäà çàòóõàíèå âîçìóùåíèé â ïðîöåññå ïðîèñõîäèò ìåäëåííî, ò.å. êîðíè
ñîîòâåòñòâóþùèõ ïîëèíîìîâ ëåæàò áëèçêî ê åäèíè÷íîìó êðóãó.
17
Âåðíåìñÿ ê óæå ðàññìîòðåííîìó ïðèìåðó MA(1) :
zt = εt + θεt−1 .
Âîò ðåçóëüòàò,
êîòîðûé ìû ïîëó÷èëè :
T
1 X
d
√
zt → N (0, (1 + θ)2 σ 2 ).
T t=1
Äîïóñòèì òåïåðü, ÷òî ìû õîòèì ïîëó÷èòü ñîñòîÿòåëüíóþ îöåíêó äëÿ àñèìïòîòè÷åñêîé äèñïåðñèè. Íà ïðàêòèêå ó íàñ åñòü òðè âîçìîæíûõ ñïîñîáà :
•
èðîâàòü ñîñòîÿòåëüíóþ îöåíêó
•
p
p
θb → θ è σ
b2 → σ 2 , à çàòåì ñêîíñòðób 2σ
àñèìïòîòè÷åñêîé äèñïåðñèè : σ
b2 = (1 + θ)
b2 .
Ìû ìîæåì ïîñòðîèòü ñîñòîÿòåëüíûå îöåíêè
z
σz2 = V ar(zt ) + 2Cov(zt , zt−1 ), ìû
\
ìîæåì ñêîíñòðóèðîâàòü ñîñòîÿòåëüíóþ îöåíêó â âèäå σ
b2 = V\
ar(zt )+2Cov(z
t , zt−1 ),
Çíàÿ, ÷òî èñêîìàÿ äèñïåðñèÿ âûðàæàåòñÿ êàê
z
ãäå
T
T
1X
1X 2
\
\
V ar(zt ) =
z , Cov(zt , zt−1 ) =
zt zt−1 .
T t=1 t
T t=2
•
Ìû ìîæåì èñïîëüçîâàòü ïðèâåäåííóþ âûøå îöåíêó ÍüþèÓýñòà :
σ
bz2
8
=
m X
j=−m
|j|
1−
m+1
1
T
min(T,T +j)
X
zt zt−j .
t=max(1,1+j)
Ââåäåíèå â àñèìïòîòèêó äëÿ íåñòàöèîíàðíûõ ïðîöåññîâ
Åñëè âðåìåííîé ðÿä íå ñòàöèîíàðåí, à èìååò ñòîõàñòè÷åñêèå òðåíäû, ïîñòðîåíèå ñòàòèñòè÷åñêèõ âûâîäîâ çíà÷èòåëüíî óñëîæíÿåòñÿ. Çäåñü ìû ðàññìîòðèì ïðîñòåéøèé
ïðèìåð âàæíîãî êëàññà íåñòàöèîíàðíûõ ïðîöåññîâ. Ïóñòü
Xt
îïèñûâàåòñÿ óðàâíåíè-
åì ñëó÷àéíîãî áëóæäàíèÿ, ò.å. :
Xt = Xt−1 + εt , X0 = 0, εt ∼ iid(0, σ 2 ).
Òîãäà âûáîðî÷íîå ñðåäíåå âûðàæàåòñÿ ñëåäóþùèì îáðàçîì :
T
1X
εT
2
T −t+1
Xt =
+ εT −1 + · · · +
εt + · · · + ε1 .
T t=1
T
T
T
Ñëåäîâàòåëüíî,
V ar
T
1X
Xt
T t=1
ò.å.
V ar
!
= σ2
T
1X
Xt
T t=1
1+
!
T −1
T
= σ2
2
2 2 !
2
1
+ ··· +
+
,
T
T
(T + 1)(2T + 1)
= O(T ).
6T
18
Ðàññóæäàÿ àíàëîãè÷íî, â ðåçóëüòàòå ìû ïîëó÷èì :
T
1 X
T 3/2
ãäå
V1 , V2 , V3
t=1
T
T
1X
1 X 2 p
p
Xt → V1 ,
Xt−1 εt → V2 , 2
X → V3 ,
T t=1
T t=1 t−1
p
íåêîòîðûå ñëó÷àéíûå âåëè÷èíû.
Åñëè ìû òåïåðü èñïîëüçóåì ÌÍÊ-îöåíêó äëÿ
ρ,
êîòîðîå ðàâíî åäèíèöå, òî àñèì-
ïòîòè÷åñêèå ñâîéñòâà ýòîé îöåíêè áóäóò ñëåäóþùèå :
p
T (b
ρ − 1) →
V2
.
V3
ñóïåðñîñòîÿòåëüíà , ò.å. ñêîðîñòü ñõîäèìî√
ñòè ê àñèìïòîòè÷åñêîìó ðàñïðåäåëåíèþ ïðåâûøàåò
T . Âî-âòîðûõ, àñèìïòîòè÷åñêîå
Âî-ïåðâûõ, ÌÍÊ-îöåíêà â äàííîì ñëó÷àå
ðàñïðåäåëåíèå íåñòàíäàðòíî : îíî íå ÿâëÿåòñÿ íîðìàëüíûì, çàòî îáëàäàåò íåíóëåâûìè ñìåùåíèåì è ñêîøåííîñòüþ. Îíî íîñèò íàçâàíèå
II
1
ðàñïðåäåëåíèÿ ÄèêèÔóëëåðà .
Áóòñòðàïîâñêèé ïîäõîä
Ïðèáëèæåíèå èñòèííîãî ðàñïðåäåëåíèÿ áóòñòðàïîâñêèì
 îñíîâå áóòñòðàïîâñêîãî ïîäõîäà ëåæèò èäåÿ, ÷òî èñòèííîå ðàñïðåäåëåíèå äàííûõ
ìîæíî õîðîùî ïðèáëèçèòü ýìïèðè÷åñêèì. Òàêèì îáðàçîì ìîæåò áûòü ïîëó÷åíî ïðèáëèæåííîå ðàñïðåäåëåíèå èíòåðåñóþùåé íàñ ñòàòèñòèêè. Ïóñòü èç èñõîäíîé ïîïóëÿöèè ñ ðàñïðåäåëåíèåì
F (x)
ôóíêöèÿ ðàñïðåäåëåíèÿ
ìèòñÿ ê
F (x)
ïðè
áûëà ïîëó÷åíà âûáîðêà ðàçìåðà
Fn (x) =
n → ∞.
1
n
PT
i=1
I(Xi 6 x)
n.
Òîãäà ýìïèðè÷åñêàÿ
ðàâíîìåðíî ïî÷òè íàâåðíîå ñòðå-
Ýòî ñâîéñòâî ìîòèâèðóåò èñïîëüçîâàíèå áóòñòðàïà.
×òîáû áîëåå íàãëÿäíî ïîÿñíèòü áóòñòðàïîâñêèé ìåòîä, ðàññìîòðèì ïðîñòåéøèé
ïðèìåð. Ïóñòü ó íàñ åñòü âñåãî äâà íàáëþäåíèÿ :
x1
1
x2
2
=
,
=
.
y1
2
y2
1
Äîïóñòèì, íàñ èíòåðåñóåò êîýôôèöèåíò ðåãðåññèè
ñëó÷àå ÌÍÊ-îöåíêà
θ
y
íà
x,
ò.å.
ðàâíà
x1 y1 + x2 y2
1×2+2×1
4
=
= .
θb =
2
2
2
2
x1 + x2
1 +2
5
Ýìïèðè÷åñêàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ äàííûõ åñòü
(x, y)0 =
(
(1, 2)0
ñ âåðîÿòíîñòüþ
1/2
0
ñ âåðîÿòíîñòüþ
1/2
(2, 1)
19
yi = θxi + εi .
 ýòîì
Ïî îòíîøåíèþ ê ýòîìó ðàñïðåäåëåíèþ äàííûå èç äâóõ íàáëþäåíèé ðàñïðåäåëåíû
ñëåäóþùèì îáðàçîì :


(1, 2)0 , (1, 2)0



 (2, 1)0 , (2, 1)0
0
0
(x1 , y1 ) , (x2 , y2 ) =

(1, 2)0 , (2, 1)0



 (2, 1)0 , (1, 2)0
ñ âåðîÿòíîñòüþ
1/4
ñ âåðîÿòíîñòüþ
1/4
ñ âåðîÿòíîñòüþ
1/4
ñ âåðîÿòíîñòüþ
1/4
Ýòî ðàñïðåäåëåíèå è ÿâëÿåòñÿ áóòñòðàïîâñêèì. Ñîîòâåòñòâåííî, ÌÍÊ-îöåíêà ðàñïðåäåëåíà ñîãëàñíî åå áóòñòðàïîâñêîìó ðàñïðåäåëåíèþ


 1/2
∗
b
θ2 =
4/5


2
ñ âåðîÿòíîñòüþ
1/4
ñ âåðîÿòíîñòüþ
1/2
ñ âåðîÿòíîñòüþ
1/4
Èñïîëüçóÿ ýòî áóòñòðàïîâñêîå ðàñïðåäåëåíèå, ìîæíî ñòðîèòü äîâåðèòåëüíûå èíòåðâàëû èëè òåñòèðîâàòü ãèïîòåçû îáû÷íûì îáðàçîì.
Ïðèìåð, ðàññìîòðåííûé íàìè, áûë ÷ðåçâû÷àéíî ïðîñò : ðàçìåð èñõîäíîé âûáîðêè
áûë ðàâåí 2.  îáùåì ñëó÷àå, êîãäà ìû èìååì
n
íàáëþäåíèé, êîëè÷åñòâî âàðèàíòîâ
äëÿ áóòñòðàïîâñêèõ ñòàòèñòèê èìååò ïîðÿäîê
n
. Òàêèì îáðàçîì, â âû÷èñëèòåëüíîì
n
ïëàíå çàäà÷à ñèëüíî óñëîæíÿåòñÿ ïî ìåðå ðîñòà
2
n.
Ïðèáëèæåíèå ñ ïîìîùüþ ñèìóëÿöèé
Êàê óïîìèíàëîñü, ïðè óâåëè÷åíèè ðàçìåðà âûáîðêè îáúåì âû÷èñëåíèé äëÿ ïîëó÷åíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ áûñòðî âîçðàñòàåò. Ïîýòîìó, êàê ïðàâèëî, ïðîöåäóðà áóòñòðàïèðîâàíèÿ îñóùåñòâëÿåòñÿ ñ ïîìîùüþ ñèìóëÿöèé. Çäåñü ìû ïðèâåäåì
îïèñàòåëüíûé àëãîðèòì ïîñòðîåíèÿ áóòñòðàïîâñêèõ äîâåðèòåëüíûõ èíòåðâàëîâ.
Áóòñòðàïîâñêèé àëãîðèòì.
B (îáû÷íî õâàòàåò 1000). Äëÿ b = 1, 2, . . . , B
1. Âûáðàòü êîëè÷åñòâî ïñåâäîâûáîðîê
∗ ∗
∗
ïîñòðîèòü ïñåâäîâûáîðêè (z1 ; z2 ; . . . ; zn )b , âûòÿãèâàÿ ýëåìåíòû ïñåâäîâûáîðîê
ñëó÷àéíûì îáðàçîì
ñ âîçâðàùåíèåì
èç èñõîäíîé âûáîðêè
b∗
äîé ïñåâäîâûáîðêè âû÷èñëèòü ïñåâäîñòàòèñòèêó θ
b
2. Ïîëó÷åííûå ïñåâäîñòàòèñòèêè
 êà÷åñòâå êâàíòèëåé
∗
θb1∗ , . . . , θbB
∗
qα∗ 1 , q1−α
2
b ∗ ; . . . ; z ∗ )b ).
= θ((z
n
1
îòñîðòèðîâàòü â ïîðÿäêå âîçðàñòàíèÿ.
âçÿòü çíà÷åíèÿ
êîòîðûõ ïîñòðîèòü äîâåðèòåëüíûé èíòåðâàë.
20
(z1 ; . . . ; zn ). Äëÿ êàæ-
∗
∗
θb[Bα
, θb[B(1−α
,
1]
2 )+1]
íà îñíîâå
3
Êàêèå ñòàòèñòèêè áóòñòðàïèòü ?
Îòâåò íà âîïðîñ, êàêèå ñòàòèñòèêè ëó÷øå èñïîëüçîâàòü ïðè ïîñòðîåíèè äîâåðèòåëüíûõ èíòåðâàëîâ ñ ïîìîùüþ áóòñòðàïà, êðîåòñÿ â äâóõ ïðîñòûõ ñîîáðàæåíèÿõ. Âîïåðâûõ, áóòñòðàïîâñêîå ðàñïðåäåëåíèå öåíòðèðîâàíî íå îêîëî èñòèííîãî çíà÷åíèÿ
ñòàòèñòèêè, à îêîëî åãî âûáîðî÷íîãî àíàëîãà. Âî-âòîðûõ, ïîëàãàåòñÿ áóòñòðàïèðîâòü àñèìïòîòè÷åñêè ïèâîòàëüíûå ñòàòèñòèêè.
Ðàññìîòðèì íåñêîëüêî âàðèàíòîâ áóòñòðàïîâñêèõ ñòàòèñòèê, èñïîëüçóåìûõ äëÿ ïîñòðîåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ è ïîä÷åðêíåì èõ ïîëîæèòåëüíûå è îòðèöàòåëüíûå êà÷åñòâà. Ïóñòü íàñ èíòåðåñóåò ïîñòðîåíèå ñòàòèñòè÷åñêèõ âûâîäîâ îòíîñèòåëüíî ïàðàìåòðà
•
β
èç åå îöåíêè
βb.
Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë.  äàííîì ñëó÷àå áóòñòðàïèðóåìîé ñòàòèñòèêîé ÿâëÿåòñÿ ñàìà îöåíêà, ò.å.
÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå
ðàñïðåäåëåíèÿ ∗
∗
qα/2
, q1−α/2
,
θb = βb.
{θbb∗ = βbb∗ }B
b=1 .
Òàêèì îáðàçîì, ìû ïîëó-
Ñîîòâåòñòâóþùèå êâàíòèëè
à äîâåðèòåëüíûé èíòåðâàë ∗
∗
CIE = [qα/2
, q1−α/2
].
Ýôðîíîâñêèé äîâåðèòåëüíûé èíòåðâàë áûë ïîïóëÿðåí, êîãäà áóòñòðàïîâñêèé
ïîäõîä òîëüêî íà÷èíàë èñïîëüçîâàòüñÿ. Íà ñàìîì äåëå, ýòîò äîâåðèòåëüíûé
èíòåðâàë äàåò ïëîõóþ àïïðîêñèìàöèþ äëÿ èñòèííûõ óðîâíåé çíà÷èìîñòè, ïîñêîëüêó ñîõðàíÿåò ñìåùåíèå èñõîäíîé âûáîðêè.
•
Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Õîëë ïðåäëîæèë èñïîëüçîâàòü äëÿ
ïîñòðîåíèÿ äîâåðèòåëüíîãî èíòåðâàëà ðåöåíòðèðîâàííóþ ñòàòèñòèêó
θb = βb −β ,
÷òî ñíèìàåò ïðîáëåìó ñìåùåíèÿ, ñâÿçàííîãî ñ êîíå÷íîñòüþ âûáîðêè. Òàêèì
îáðàçîì, ïîëó÷àåòñÿ áóòñòðàïîâñêîå ðàñïðåäåëåíèå
ñòâóþùèå êâàíòèëè ∗
∗
,
qα/2
, q1−α/2
b B .
{θbb∗ = βbb∗ − β}
b=1
Ñîîòâåò-
à äîâåðèòåëüíûé èíòåðâàë ∗
∗
CIH = [βb − q1−α/2
, βb − qα/2
].
Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë äàåò ëó÷øóþ, ÷åì Ýôðîíîâñêèé, àïïðîêñèìàöèþ óðîâíåé çíà÷èìîñòè. Ïëþñîì èñïîëüçîâàíèÿ Õîëëîâñêîãî äîâåðèòåëüíîãî èíòåðâàëà ÿâëÿåòñÿ îòñóòñòâèå íåîáõîäèìîñòè îöåíèâàíèÿ ñòàíäàðòíûõ
îøèáîê, õîòÿ, êàê óâèäèì âïîñëåäñòâèè, òàêàÿ ñòðàòåãèÿ îáîðà÷èâàåòñÿ ñåðüåçíûì ìèíóñîì.
•
t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë. Òàêîé èíòåðâàë èñïîëüçóåò â êà÷åñòâå áóòñòðàïèðóåìîé ñòàòèñòèêè t-ñòàòèñòèêó, ò.å.
21
βb − β
.
b
se(β)
Òàêèì îáðàçîì,
íàõîäÿò áóòñòðàïîâñêîå ðàñïðåäåëåíèå ñòàòèñòèêè
(
βbb∗ − βb
se(βb∗ )
b
þùèå êâàíòèëè
)B
è ñîîòâåòñòâó-
b=1
∗
∗
qα/2
, q1−α/2
, à ñàì t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë ñòðî-
ÿò êàê
b ∗
b
b ∗
CIt = [βb − se(β)q
1−α/2 , β − se(β)qα/2 ].
t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åùå ëó÷øå àïïðîêñèìèðóåò èñòèííûå
óðîâíè çíà÷èìîñòè, ÷åì Õîëëîâñêèé äîâåðèòåëüíûé èíòåðâàë. Íî èñïîëüçîâàòü åãî ðåêîìåíäóåòñÿ òîëüêî åñëè ñòàíäàðòíûå îøèáêè ìîæíî ïîñòðîèòü êà÷åñòâåííî.
•
Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë. Òàêîé èíòåðâàë èñïîëüçóåò â êà÷åñòâå áóòñòðàïèðóåìîé ñèììåòðèçîâàííóþ t-ñòàòèñòèêó
(
)B
b
|βb − β|
|βbb∗ − β|
. Ðàñïðåäåëåíèå áóòñòðàïîâñêîé ñòàòèñòèêè åñòü
, à ïðàb
se(β)
se(βbb∗ ) b=1
∗
âûé êâàíòèëü qα . Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë åñòü
b ∗ , βb + se(β)q
b ∗ ].
CI|t| = [βb − se(β)q
1−α
1−α
Ñèììåòðè÷íûé t-ïðîöåíòíûé äîâåðèòåëüíûé èíòåðâàë èìååò â îïðåäåëåííûõ
ñëó÷àÿõ ïðåèìóùåñòâî ïåðåä t-ïðîöåíòíûì äîâåðèòåëüíûì èíòåðâàëîì. À èìåííî, åñëè àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå ñòàòèñòèêè
êàê â ñëó÷àå àñèìïòîòè÷åñêîé íîðìàëüíîñòè), òî
b
β−β
ñèììåòðè÷íî (êàê ðàç
CI|t|
äàåò ëó÷øóþ àïïðîêñè-
ìàöèþ óðîâíåé çíà÷èìîñòè.
4
Êîððåêòèðîâêà ñìåùåíèÿ
Áóòñòðàï ïîçâîëÿåò ñêîððåêòèðîâàòü ñìåùåíèå, ñâÿçàííîå ñ êîíå÷íîñòüþ âûáîðêè.
Ïóñòü ó íàñ åñòü ñìåù¼ííàÿ, íî ñîñòîÿòåëüíàÿ ñòàòèñòèêà
βb :
b 6= β.
E[β]
Òîãäà ìû ìîæåì âûðàçèòü ñìåùåíèå ñëåäóþùèì îáðàçîì :
b − β.
Bias = E[β]
Åñëè ó íàñ åñòü âîçìîæíîñòü êà÷åñòâåííî îöåíèòü ñìåùåíèå, òî ìû ìîæåì ñêîððåêòèðîâàòü èñõîäíóþ ñòàòèñòèêó :
[
βe = βb − Bias.
22
Ñìåùåíèå æå ìîæíî îöåíèòü ñ ïîìîùüþ áóòñòðàïà :
B
1 X b∗ b
∗
b
b
Bias = E [βb ] − β =
β − β.
B b=1 b
∗
∗
Òàêèì îáðàçîì, ñêîððåêòèðîâàííàÿ ñòàòèñòèêà åñòü
!
B
1 X b∗ b
β − β = 2βb − βb∗ .
B b=1 b
βe = βb −
5
Òåñòèðîâàíèå ãèïîòåç ïðè ïîìîùè áóòñòðàïà
Îäíîé èç îñíîâíûõ öåëåé áóòñòðàïà ÿâëÿåòñÿ òåñòèðîâàíèå ãèïîòåç. Ðàññìîòðèì,
êàê ñ ïîìîùüþ áóòñòðàïà òåñòèðóþòñÿ ïðîñòåéøèå ñòàòèñòè÷åñêèå ãèïîòåçû. Ïóñòü
íóëåâàÿ ãèïîòåçà èìååò âèä
•
H0 : β = β 0 ,
ãäå
β
ñêàëÿð.
Àëüòåðíàòèâíàÿ ãèïîòåçà îäíîñòîðîííÿÿ :
Ha : β > β 0 .
Áóòñòðàïèì t-
ïðîöåíòíóþ ñòàòèñòèêó
βb − β
θb =
b
se(β)
è ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè è ñîîòâåòñòâóþùèé
êâàíòèëü :
(
βb∗ − βb
θbb∗ = b
se(βb∗ )
)B
b
Ãèïîòåçà
•
H0
îòâåðãàåòñÿ, åñëè
∗
⇒ q1−α
.
b=1
βb − β 0
∗
> q1−α
.
b
se(β)
Àëüòåðíàòèâíàÿ ãèïîòåçà äâóñòîðîííÿÿ :
Ha : β 6= β 0 .
áóòñòðàïèì ñèììåòðè÷íóþ t-ïðîöåíòíóþ ñòàòèñòèêó
|βb − β|
.
θb =
b
se(β)
Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü :
(
b
|βb∗ − β|
θbb∗ = b
se(βb∗ )
b
Ãèïîòåçà
H0
îòâåðãàåòñÿ, åñëè
)B
∗
⇒ q1−α
.
b=1
|βb − β 0 |
∗
> q1−α
.
b
se(β)
23
 ýòîì ñëó÷àå ìû
Ïóñòü íóëåâàÿ ãèïîòåçà èìååò âèä
H0 : β = β 0 ,
ãäå
β
âåêòîð.  ýòîì ñëó÷àå
ìû áóòñòðàïèì Âàëüäîâñêóþ ñòàòèñòèêó (ñ òî÷íîñòüþ äî êîýôôèöèåíòà ïðîïîðöèîíàëüíîñòè)
θb = (βb − β)0 Vbβ−1 (βb − β).
Ñîîòâåòñòâåííî, ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå è êâàíòèëü :
oB
n
b 0 Vb ∗−1 (βb∗ − β)
b
θbb∗ = (βbb∗ − β)
b
β
b=1
Ãèïîòåçà
H0
îòâåðãàåòñÿ, åñëè
∗
.
⇒ q1−α
∗
.
θb0 = (βb − β 0 )0 Vbβ−1 (βb − β 0 ) > q1−α
Ïóñòü òåïåðü íóëåâàÿ ãèïîòåçà èìååò âèä ëèíåéíûõ îãðàíè÷åíèé íà êîýôôèöèåíòû
H0 : Rβ = r,
ãäå
R
ìàòðèöà îãðàíè÷åíèé.  ýòîì ñëó÷àå ìû ñíîâà áóòñòðàïèì
Âàëüäîâñêóþ ñòàòèñòèêó (ñ òî÷íîñòüþ äî êîýôôèöèåíòà ïðîïîðöèîíàëüíîñòè)
θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r).
Ïîëó÷àåì áóòñòðàïîâñêîå ðàñïðåäåëåíèå, èç êîòîðîãî íàõîäèì ñîîòâåòñòâóþùèé êâàíòèëü :
n
oB
b 0 R0 (RVb ∗ R0 )−1 R(βb∗ − β)
b
θbb∗ = (βbb∗ − β)
β
b
b=1
∗
⇒ q1−α
.
Çàìåòèì, ÷òî ìû ðåöåíòðèðóåì áóòñòðàïîâñêóþ ñòàòèñòèêó. Áåç ýòîãî áóòñòðàïîâñêîå ðàñïðåäåëåíèå óíàñëåäîâàëî áû ñìåùåíèå, ñâîéñòâåííîå ïåðâîíà÷àëüíîé ñòàòèñòèêå. Ãèïîòåçà
6
H0
îòâåðãàåòñÿ, åñëè
∗
θb = (Rβb − r)0 (RVbβ R0 )−1 (Rβb − r) > q1−α
.
Àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå
Èíîãäà ãîâîðÿò, ÷òî ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå.  ýòîé ãëàâå ìû îáñóäèì, ÷òî òàêîå àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå è â êàêèõ
ñëó÷àÿõ îíî èìååò ìåñòî.
Fθb(x).
∗
Îáîçíà÷èì áóòñòðàïîâñêîå ðàñïðåäåëåíèå ýòîé ñòàòèñòèêè ÷åðåç F b (x). Ãîâîðÿò, ÷òî
θ
Ïóñòü ó íàñ åñòü íåêîòîðàÿ ñòàòèñòèêà
θb,
èñòèííîå ðàñïðåäåëåíèå êîòîðîé
ñ ïîìîùüþ áóòñòðàïà äîñòèãàåòñÿ àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå, åñëè îøèáêà àïïðîêñèìàöèè èñòèííîãî ðàñïðåäåëåíèÿ
Fθb(x)
áóòñòðàïîâñêèì
Fθb∗ (x)
áîëüøåãî ïî-
ðÿäêà ìàëîñòè, ÷åì îøèáêà àïïðîêñèìàöèè àñèìïòîòè÷åñêèì ðàñïðåäåëåíèåì ïðè
ñòðåìëåíèè îáúåìà âûáîðêè ê áåñêîíå÷íîñòè.
Ïðèâåäåì ïðèìåðû, èñïîëüçóþùèå ðàçëîæåíèå Ýäæâîðòà ôóíêöèè ðàñïðåäåëåíèÿ
ñòàòèñòèêè âîêðóã ïðåäåëüíîãî ðàñïðåäåëåíèÿ.
Ïðèìåð 1 : àñèìïòîòè÷åñêè ïèâîòàëüíàÿ t-ñòàòèñòèêà. Ïóñòü áóòñòðàïèðóåìàÿ íàìè ñòàòèñòèêà åñòü
βb − β
.
θb =
b
se(β)
24
Åå àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå, êàê ìû óæå âèäåëè, ÿâëÿåòñÿ ñòàíäàðòíûì íîðd
b→
ìàëüíûì : θ
N (0, 1) (ò.å. ñòàòèñòèêà àñèìïòîòè÷åñêè ïèâîòàëüíàÿ). Îáîçíà÷èì
òî÷íîå ðàñïðåäåëåíèå ñòàòèñòèêè ÷åðåç
Fθb(x),
à áóòñòðàïîâñêîå ÷åðåç
Fθb∗ (x).
Äëÿ
êóìóëÿòèâíîé ôóíêöèè ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ èñïîëüçóåì îáû÷íîå îáîçíà÷åíèå
Φ(x).
Èòàê, ðàçëîæèì èñòèííîå è áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìïòîòè÷åñêîãî :
Çäåñü
h1 (x, F )
íåïðåðûâíàÿ ïî
1
h1 (x, F ) h2 (x, F )
+
+O
,
Fθb(x) = Φ(x) + √
n
n3/2
n
h1 (x, Fb) h2 (x, Fb)
1
∗
Fθb (x) = Φ(x) + √
+
+O
.
n
n3/2
n
÷åòíàÿ ïî x, íåïðåðûâíàÿ ïî F ôóíêöèÿ, h2 (x, F )
F
íå÷åòíàÿ ïî
x,
ôóíêöèÿ. Îøèáêè àïïðîêñèìàöèè òî÷íîãî ðàñïðåäåëåíèÿ àñèì-
ïòîòè÷åñêèì è áóòñòðàïîâñêèì, ñîîòâåòñòâåííî, ðàâíû
h1 (x, F )
Φ(x) − Fθb(x) = √
+O
n
1
√
n
=O
1
√
n
,
1
h1 (x, Fb) − h1 (x, F )
1
√
+O
=O
.
− Fθb(x) =
n
n
n
b) − h1 (x, F )
âîñïîëüçîâàëèñü òåì ôàêòîì, ÷òî ðàçíîñòü h1 (x, F
Fθb∗ (x)
Çäåñü ìû
èìååò àñèì-
1
ïòîòèêó √ , ïîñêîëüêó
n
√ √
n Fb(x) − F (x) =
n
n
1X
1[xi ≤ x] − E [1[xi ≤ x]]
n i=1
!
d
→ N (0, P {xi ≤ x}P {xi > x}).
Òàêèì îáðàçîì, â äàííîì ïðèìåðå èñïîëüçîâàíèå áóòñòðàïà ïðèâîäèò ê àñèìïòîòè÷åñêîìó ðàôèíèðîâàíèþ.
Ïðèìåð 2 : àñèìïòîòè÷åñêè íåïèâîòàëüíàÿ ñòàòèñòèêà. Ðàññìîòðèì ñòàòèñòèêó
θb =
√
d
n(βb − β) → N (0, Vβ ).
Ñîõðàíèâ îáîçíà÷åíèå êóìóëÿòèâíûõ ôóíêöèé ðàñïðåäåëåíèÿ äëÿ òî÷íîãî ðàñïðåäåëåíèÿ è áóòñòðàïîâñêîãî èç ïðåäûäóùåãî ïðèìåðà, îáîçíà÷èì àñèìïòîòè÷åñêîå
ðàñïðåäåëåíèå ÷åðåç
Φ(x, Vβ ).
Çàìåòèì, ÷òî òåïåðü íàøà ñòàòèñòèêà àñèìïòîòè÷å-
ñêè íåïèâîòàëüíàÿ, ò.å. åå àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå çàâèñèò îò íåèçâåñòíîãî
ïàðàìåòðà, â äàííîì ñëó÷àå
Vβ .
Êàê â ïðåäûäóùåì ïðèìåðå, ðàçëîæèì òî÷íîå è
áóòñòðàïîâñêîå ðàñïðåäåëåíèÿ âîêðóã àñèìïòîòè÷åñêîãî :
h1 (x, F )
+O
Fθb(x) = Φ(x, Vβ ) + √
n
25
1
,
n
Fθb∗ (x)
=
Φ(x, Vβ∗ )
h1 (x, Fb)
+ √
+O
n
1
.
n
Îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòè÷åñêîãî è áóòñòðàïîâñêîãî ðàñïðåäåëåíèé ñ÷èòàþòñÿ àíàëîãè÷íî ïðåäûäóùåìó ïðèìåðó :
1
1
,
=O √
n
n
1
1
∗
∗
.
Fθb (x) − Fθb(x) = Φ(x, Vβb ) − Φ(x, Vβb) + O
=O √
n
n
h1 (z, F )
Φ(x, Vβ ) − Fθb(x) = − √
+O
n
Êàê âèäíî, â äàííîì ñëó÷àå èñïîëüçîâàíèå áóòñòðàïà íå ïðèâîäèò ê àñèìïòîòè÷åñêîìó ðàôèíèðîâàíèþ. Âîîáùå, êàê ïðàâèëî, áóòñòðàïèðîâàíèå
íåïèâîòàëüíûõ
àñèìïòîòè÷åñêè
ñòàòèñòèê íå äàåò àñèìïòîòè÷åñêîãî ðàôèíèðîâàíèÿ.
Ïðèìåð 3 : àñèìïòîòè÷åñêè ïèâîòàëüíàÿ ñèììåòðè÷íàÿ t-ñòàòèñòèêà. Òåïåðü ðàññìîòðèì â êà÷åñòâå ïðèìåðà ñèììåòðè÷íóþ t-ñòàòèñòèêó
|βb − β| d
→ |N (0, 1)|.
θb =
b
se(β)
Ñîõðàíÿÿ îáîçíà÷åíèÿ ïðåäûäóùèõ ïðèìåðîâ, ðàçëîæèì òî÷íîå è áóòñòðàïîâñêîå
ðàñïðåäåëåíèÿ :
1
βb − β
2h2 (x, F )
≤ x} = 2Φ(x) − 1 +
+O
,
Fθb(x) = P r{−x ≤
b
n
n3/2
se(β)
2h2 (x, Fb)
1
∗
Fθb (x) = 2Φ(x) − 1 +
+O
.
n
n3/2
Òàêèì îáðàçîì, îøèáêè àïïðîêñèìàöèè äëÿ àñèìïòîòèêè è áóòñòðàïà èìåþò ïîðÿäêè
1
,
2Φ(x) − 1 − Fθb(x) = O
n
2
1
1
∗
Fθb (x) − Fθb(x) =
h2 (x, Fb) − h2 (x, F ) + O
=O
.
n
n3/2
n3/2
Òàêèì îáðàçîì, ìû ïîëó÷àåì àñèìïòîòè÷åñêîå ðàôèíèðîâàíèå. Çàìåòèì, ÷òî áóòñòðàïèðîâàíèå ñèììåòðè÷íîãî äâóñòîðîííåãî òåñòà èìååò îøèáêó áîëåå âûñîêîãî
ïîðÿäêà, ÷åì áóòñòðàïèðîâàíèå îäíîñòîðîííåãî òåñòà.
7
Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå êðîññ-ñåêöèé
Ðàññìîòðèì ñëó÷àé ïðîñòåéøåé ìíîæåñòâåííîé ðåãðåññèè ñ íåçàâèñèìûìè íàáëþäåíèÿìè :
y = x0 β + e, E[e|x] = 0, {(xi , yi )} ∼ iid.
Ñóùåñòâóåò íåñêîëüêî àëüòåðíàòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ ïñåâäîâûáîðêè äëÿ ýòîé
ðåãðåññèè :
26
1.
Íåïàðàìåòðè÷åñêîå ïîñòðîåíèå ïñåâäîâûáîðêè. Èç èñõîäíûõ íàáëþäåíèé
2.
{(xi , yi )}ni=1
n
ñëó÷àéíî ñ âîçâðàùåíèåì èçâëåêàþòñÿ
íàáëþäåíèé
(x∗i , yi∗ ).
Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì. Ñíà÷àëà îöåíèâàåòñÿ ìîäåëü è
íàõîäèòñÿ ñîñòîÿòåëüíàÿ îöåíêà
Èç ìíîæåñòâà ïàð
n
þòñÿ
yi∗
=
íàáëþäåíèé
{(xi , ebi )}ni=1
(x∗i , eb∗i ).
βb.
Çàòåì âû÷èñëÿþòñÿ îñòàòêè :
ebi = yi − x0i βb.
ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì èçâëåêà-
Çàòåì âîññòàíàâëèâàåòñÿ ïåðåìåííàÿ ëåâîé ÷àñòè
b b∗ . Çàìåòèì, ÷òî â äàííîì êîíòåêñòå ýòîò ìåòîä ïîñòðîåíèÿ ïñåâäîx0∗
i β +e
i
âûáîðêè èäåíòè÷åí íåïàðàìåòðè÷åñêîìó ìåòîäó, íî èäåíòè÷íîñòü ïðîïàäàåò â
áîëåå ñëîæíûõ ñëó÷àÿõ.
3.
Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé). Åñëè
èññëåäîâàòåëþ çàðàíåå èçâåñòíî, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, òî ýôôåêòèâíîñòü áóòñòðàïà ìîæíî óâåëè÷èòü, èçâëåêàÿ ñëó÷àéíî ñ âîçâðàùåíèåì
x∗i
4.
èç
{xi }ni=1
è
eb∗i
èç
{b
ei }ni=1
ïî îòäåëüíîñòè.
Ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì (ñïåöèàëüíûé ñëó÷àé). Åñëè èññëåäîâàòåëü çíàåò, ÷òî îøèáêè è ðåãðåññîðû íåçàâèñèìû, è, êðîìå òîãî,
îøèáêè ðàñïðåäåëåíû íîðìàëüíî, ò.å.
ei ∼ N (0, σ 2 ),
òî ýôôåêòèâíîñòü áóò-
ñòðàïà ìîæíî óâåëè÷èòü (ïî ñðàâíåíèþ ñ ïðåäûäóùèì ñëó÷àåì), âûáèðàÿ ðåãðåññîðû è îñòàòêè äëÿ ïñåâäîâûáîðêè ïî îòäåëüíîñòè, è, êðîìå òîãî, îñòàòêè
ñòîèò èçâëåêàòü èç íîðìàëüíîãî ðàñïðåäåëåíèÿ, ò.å.
ñ âîçâðàùåíèåì èç
8
x∗i
èçâëåêàþòñÿ ñëó÷àéíî
N (0, σ
b2 ).
Ïîñòðîåíèå ïñåâäîâûáîðîê ïðè áóòñòðàïå âðåìåííûõ ðÿäîâ
Âðåìåííîé ðÿä îòëè÷àåòñÿ îò êðîññ-ñåêöèîííîé âûáîðêè òåì, ÷òî íàáëþäåíèÿ çäåñü
çàâèñèìû, ïîýòîìó ñëó÷àéíîå ïåðåìåøèâàíèå ïðè íåïàðàìåòðè÷åñêîì áóòñòðàïå ðàçðóøàåò ýòó çàâèñèìîñòü, òàê ÷òî âåðîÿòíîñòíàÿ ñòðóêòóðà ïñåâäîäàííûõ óæå íå
èìèòèðóåò âåðîÿòíîñòíóþ ñòðóêòóðó äàííûõ. ×òîáû èçáåæàòü ýòîãî, èñïîëüçóåòñÿ
áëî÷íûé áóòñòðàï, â êîòîðîì ïñåâäîâûáîðêà ñòðîèòñÿ èç áëîêîâ èñõîäíîé âûáîðêè.
Àíàëîãè÷íî ñëó÷àþ íåçàâèñèìûõ íàáëþäåíèé, âî âðåìåíûõ ðÿäàõ âîçìîæíî ïîñòðîåíèå ïñåâäîâûáîðêè ïî îñòàòêàì, îäíàêî òàêîé ñïîñîá ïðèìåíèì òîëüêî â òåõ ðåäêèõ
ñëó÷àÿõ, êîãäà îøèáêè èëè èííîâàöèè ñåðèéíî íåçàâèñèìû. Ðàññìîòðèì íåñêîëüêî
àëüòåðíàòèâíûõ ñïîñîáîâ ïîñòðîåíèÿ áëî÷íîé ïñåâäîâûáîðêè.
1.
Ïîñòðîåíèå ïñåâäîâûáîðêè èç ïåðåêðûâàþùèõñÿ áëîêîâ. Èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî ïåðåêðûâàþùèõñÿ áëîêîâ. Äëèíà áëîêà
âûáèðàåòñÿ èññëåäîâàòåëåì èñõîäÿ èç âðåìåííîé ñòðóêòóðû ðÿäà. Ïóñòü
27
{yt }Tt=1
èñõîäíàÿ âûáîðêà, à
l äëèíà áëîêà. Òîãäà â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ
y1 , . . . , yl , âî âòîðîé y2 , . . . , yl+1 , â òðåòèé y3 , . . . , yl+2 , è íàêîíåö â T −l+1-ûé íàáëþäåíèÿ
yT −l+1 , . . . , yT .
Ïðè ïîñòðîåíèè ïñåâäîâûáîðêè áëîêè èçâëåêàþòñÿ
ñëó÷àéíî ñ âîçâðàùåíèåì.
2.
Ïîñòðîåíèå ïñåâäîâûáîðêè èç íåïåðåêðûâàþùèõñÿ áëîêîâ. Â äàííîì
ñëó÷àå èñõîäíàÿ âûáîðêà äåëèòñÿ íà íåêîòîðîå êîëè÷åñòâî íåïåðåêðûâàþùèõñÿ áëîêîâ. Äëèíà áëîêà, òàê æå êàê è â ïðåäûäóùåì ñëó÷àå, âûáèðàåòñÿ èññëåäîâàòåëåì. Ïóñòü èñõîäíàÿ âûáîðêà ñîñòîèò èç íàáëþäåíèé
y1 , . . . , y l ,
â ïåðâûé áëîê âîéäóò íàáëþäåíèÿ
íåö, â ïîñëåäíèé
T l
-ûé áëîê íàáëþäåíèÿ
âî âòîðîé {yt }Tt=1 .
yl+1 , . . . , y2l ,
Òîãäà
è íàêî-
yl[ T ]−l+1 , . . . , yl[ T ] . Ïðè ïîñòðîåíèè
l
l
ïñåâäîâûáîðêè áëîêè èçâëåêàþòñÿ ñëó÷àéíûì îáðàçîì ñ âîçâðàùåíèåì.
3.
Ïîñòðîåíèå ñòàöèîíàðíîé ïñåâäîâûáîðêè. Ïðåäûäóùèå äâà âàðèàíòà ïîñòðîåíèÿ ïñåâäîâûáîðêè, êàê ïðàâèëî, íàðóøàþò ñòàöèîíàðíîñòü ðÿäà, ò.å. èç
ñòàöèîíàðíîé èñõîäíîé âûáîðêè ïîëó÷àþòñÿ íåñòàöèîíàðíûå ïñåâäîâûáîðêè.
×òîáû ïîëó÷èòü ñòàöèîíàðíóþ ïñåâäîâûáîðêó, áûë ïðåäëîæåí ñïîñîá, îñíîâàííûé íà íåôèêñèðîâàííîé äëèíå áëîêîâ. À èìåííî, çàäàåòñÿ âåðîÿòíîñòü
îêîí÷àíèÿ áëîêà
p.
òåì ñ âåðîÿòíîñòüþ
Ïåðâûé ýëåìåíò ïñåâäîâûáîðêè âûáèðàåòñÿ ñëó÷àéíî. Çà-
(1 − p)
â òåêóùèé áëîê âêëþ÷àåòñÿ ñëåäóþùèé ýëåìåíò
èñõîäíîé âûáîðêè, à ñ âåðîÿòíîñòüþ
p íà÷èíàåòñÿ íîâûé áëîê, ïåðâûé ýëåìåíò
êîòîðîãî ñíîâà âûáèðàåòñÿ ñëó÷àéíî èç èñõîäíîé âûáîðêè. Òàê ïðîäîëæàåòñÿ,
ïîêà â ïñåâäîâûáîðêó íå áóäåò íàáðàíî íóæíîå êîëè÷åñòâî ýëåìåíòîâ.
III
Îñíîâíûå ýêîíîìåòðè÷åñêèå ïîíÿòèÿ
Äàííûé ðàçäåë êðàòêî ïîâòîðÿåò îñíîâíûå ïîíÿòèÿ, èçó÷åííûå â êóðñå ñòàòèñòèêè
è òåîðèè âåðîÿòíîñòåé.
1
Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå
Ïóñòü
(X, Y )
ïàðà ñëó÷àéíûõ âåëè÷èí. Ôóíêöèÿ ñîâìåñòíîé ïëîòíîñòè ðàñïðåäå-
ëåíèÿ
f(X,Y ) (x, y) ≥ 0
îáëàäàåò ñâîéñòâîì íîðìèðîâêè
Z
+∞
−∞
Z
+∞
f(X,Y ) (x, y)dxdy = 1.
−∞
28
Âåðîÿòíîñòü äëÿ
(X, Y )
[a, b] × [c, d]
ïîïàñòü â ïðÿìîóãîëüíèê
P r{a ≤ X ≤ b, c ≤ Y ≤ d} =
d
Z
b
Z
c
f(X,Y ) (x, y)dxdy.
a
X
Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ðàñïðåäåëåíèÿ
ñòüþ
(X, Y )
îïðåäåëÿåòñÿ êàê
ñâÿçàíà ñ ñîâìåñòíîé ïëîòíî-
êàê
fX (x) =
+∞
Z
f(X,Y ) (x, y)dy.
−∞
Óñëîâíàÿ ïëîòíîñòü ðàñïðåäåëåíèÿ
Y
ïðè
X=x
fY |X=x (x, y) =
f(X,Y ) (x, y)
.
fX (x)
[c, d] îïðåäåëÿþòñÿ
Z d
P r{c ≤ Y ≤ d | X = x} =
fY |X=x (x, y)dy,
Óñëîâíûå âåðîÿòíîñòè ïîïàäàíèÿ
Y
åñòü
â îòðåçîê
âûðàæåíèÿìè
c
P r{c ≤ Y ≤ d | a ≤ X ≤ b} =
Óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå
Y
RdRb
c
fX,Y (x, y)dxdy
.
Rb
f
(x)dx
X
a
a
ïðè óñëîâèè
E[Y | X = x] =
X=x
åñòü
+∞
Z
yfY |X=x (x, y)dy.
−∞
Çàìåòèì, ÷òî ôóíêöèÿ óñëîâíîãî ìàòåìàòè÷åñêîãî îæèäàíèÿ
÷àéíîé âåëè÷èíîé (òàê êàê
X
ñëó÷àåí). Èìååò ìåñòî
E[Y | X] ÿâëÿåòñÿ ñëó-
çàêîí ïîñëåäîâàòåëüíûõ ìàòå-
ìàòè÷åñêèõ îæèäàíèé :
E[h(X, Y )] = E[E[h(X, Y ) | X]],
ãäå
h(X, Y ) ïðîèçâîëüíàÿ ôóíêöèÿ îò (X, Y ).  ñëó÷àå íåïðåðûâíûõ ðàñïðåäåëåíèé
ñïðàâåäëèâîñòü ýòîãî çàêîíà ëåãêî ïîêàçàòü :
Z
+∞
−∞
2
Z
+∞
h(x, y)f(X,Y ) (x, y)dxdy =
Z
−∞
+∞
Z
−∞
+∞
h(x, y)fY |X (x, y)dy fX (x)dx.
−∞
Ïðåäñêàçûâàíèå
×àñòî â ýêîíîìåòðèêå âñòðå÷àåòñÿ ñèòóàöèÿ, êîãäà èññëåäîâàòåëü õî÷åò ïî ïåðåìåííûì
X
(íàçûâàåìûõ
ðåãðåññîðàìè )
ïðåäñêàçàòü çíà÷åíèå
Y
(íàçûâàåìîé
çàâèñèìîé
ïåðåìåííîé ). Ñóùåñòâóåò íåñêîëüêî ïîëåçíûõ ðåçóëüòàòîâ, ñâÿçàííûõ ñ òàêîé ïîñòàíîâêîé çàäà÷è.
Òåîðåìà. Îïòèìàëüíûì ïðåäèêòîðîì
Y
èç
X
â ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðà-
òè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå
29
E[Y | X].
Äîêàçàòåëüñòâî. Ïóñòü
g(X)
ïðîèçâîëüíûé ïðåäèêòîð. Òîãäà ñðåäíåêâàäðàòè÷-
íàÿ îøèáêà ïðåäñêàçàíèÿ áóäåò âûðàæàòüñÿ ñëåäóþùèì îáðàçîì :
M SP E = E[(Y − g(X))2 ] = E[(Y − E[Y |X] + E[Y |X] − g(X))2 ] =
= E[(Y − E[Y |X])2 ] + E[(E[Y |X] − g(X))2 ] ≥ E[(Y − E[Y |X])2 ].
Çàìåòèì, ÷òî ðàâåíñòâî äîñòèãàåòñÿ ïðè
g(X) = E[Y |X],
ò.å. óñëîâíîå ìàòåìàòè÷å-
ñêîå îæèäàíèå äåéñòâèòåëüíî ìèíèìèçèðóåò ñðåäíåêâàäðàòè÷íóþ îøèáêó ïðåäñêàçàíèÿ.
Îïðåäåëåíèå.
Îøèáêîé îïòèìàëüíîãî ïðåäñêàçàíèÿ
íàçûâàåòñÿ âåëè÷èíà
e=Y −
E[Y |X].
Îøèáêà îïòèìàëüíîãî ïðåäñêàçàíèÿ îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè :
⇒ E[e] = 0
E[e|X] = 0
⇒ E[eh(X)] = 0.
Îòñþäà â ÷àñòíîñòè ñëåäóåò, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå ÿâëÿåòñÿ íåñìåù¼ííûì ïðåäèêòîðîì.
Îïðåäåëåíèå.
öèÿ îò
Ëèíåéíûì ïðåäèêòîðîì Y ïî X
íàçûâàåòñÿ ëþáàÿ ëèíåéíàÿ ôóíê-
X : g(X) = a + bX.
Òåîðåìà. Îïòèìàëüíûì ëèíåéíûì ïðåäèêòîðîì
Y
ñðåäíåêâàäðàòè÷íîé îøèáêè ïðåäñêàçàíèÿ ÿâëÿåòñÿ
òîð
BLP (Y |X) = α + βX,
β=
Cov(X, Y )
,
V ar(X)
ïî
X
â ñìûñëå ìèíèìèçàöèè
íàèëó÷øèé ëèíåéíûé ïðåäèê-
α = E[Y ] − βE[X].
Äîêàçàòåëüñòâî. Çàäà÷à ìèíèìèçàöèè
M SP E = E[(Y − a − bX)2 ] → min
a,b
èìååò óñëîâèÿ ïåðâîãî ïîðÿäêà
−E[2(Y − a − bX)] = 0,
Îòñþäà ìîæíî ïîëó÷èòü
α
è
β
−E[2(Y − a − bX)X] = 0.
èç ïîñòàíîâêè òåîðåìû.
Òåîðåìà. Íàèëó÷øåé ëèíåéíîé àïïðîêñèìàöèåé äëÿ óñëîâíîãî ñðåäíåãî
E[Y |X]
â
ñìûñëå ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè àïïðîêñèìàöèè ÿâëÿåòñÿ íàèëó÷øèé ëèíåéíûé ïðåäèêòîð
BLP (Y |X).
Äîêàçàòåëüñòâî. Àíàëîãè÷íî äîêàçàòåëüñòâó ïðåäûäóùåé òåîðåìû íóæíî ðåøèòü
îïòèìèçàöèîííóþ çàäà÷ó
M SAE = E[(E[Y |X] − a − bX)2 ] → min.
a,b
30
Ïîëó÷èì
α
è
β
èç ïîñòàíîâêè ïðåäûäóùåé òåîðåìû.
Îïðåäåëåíèå. Îøèáêîé íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ íàçûâàåòñÿ âåëè÷èíà
u = Y − BLP (Y |X).
Îøèáêà íàèëó÷øåãî ëèíåéíîãî ïðåäñêàçàíèÿ îáëàäàåò ñâîéñòâàìè
E[u] = 0,
Òåîðåìà. Åñëè óñëîâíîå ñðåäíåå
3
E[uX] = 0.
E[Y |X]
X,
ëèíåéíî ïî
òî
E[Y |X] = BLP (Y |X).
Ñâîéñòâà äâóìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ
Ðàññìîòðèì äâóìåðíóþ ñëó÷àéíóþ âåëè÷èíó, ðàñïðåäåëåííóþ ñîãëàñíî íîðìàëüíîìó çàêîíó :
Y
∼N
X
σY2
µY
,
µX
ρσX σY
ρσX σY
σY2
!!
.
Åå ïëîòíîñòü ðàñïðåäåëåíèÿ çàäàåòñÿ ñëåäóþùèì âûðàæåíèåì :
 
1

p
exp −
f(X,Y ) (x, y) =
2

2πσX σY 1 − ρ
x − µX
σX
2
+

2
y − µY
(x − µX )(y − µY )
− 2ρ

σY
σX σY

.
2
2(1 − ρ )

Íèæå ïåðå÷èñëåíû ñâîéñòâà òàêîãî ðàñïðåäåëåíèÿ.
1. Êàæäàÿ èç êîìïîíåíò äâóìåðíîé íîðìàëüíîé âåëè÷èíû ðàñïðåäåëåíà íîðìàëüíî :
2
X ∼ N (µX , σX
).
Y |X = x íîðìàëüíî :
σY
2
2
Y |X = x ∼ N µY + ρ (x − µX ), σY (1 − ρ ) .
σX
2. Óñëîâíîå ðàñïðåäåëåíèå
Èç ýòîãî ñâîéñòâà òàêæå âûòåêàåò óñëîâíàÿ ãîìîñêåäàñòè÷íîñòü è
E[Y |X] =
BLP [X|Y ].
3. Åñëè
Y
è
X
íåñêîððåëèðîâàíû (ò.å.
ρ = 0),
òî
Y
è
X
íåçàâèñèìû.
4. Ëèíåéíàÿ ôóíêöèÿ îò íîðìàëüíîé ñëó÷àéíîé âåëè÷èíû ÿâëÿåòñÿ òàêæå íîðìàëüíîé ñëó÷àéíîé âåëè÷èíîé :
Y
A
∼N
X
Çäåñü
A
2×2
σY2
µY
A
,A
µX
ρσX σY
ρσX σY
ìàòðèöà ëèíåéíîãî ïðåîáðàçîâàíèÿ.
31
σY2
!
A0
!
.
4
Ñâîéñòâà ìíîãîìåðíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ
Ïóñòü
Y
ìíîãîìåðíàÿ âåëè÷èíà, ðàñïðåäåëåííàÿ ñîãëàñíî íîðìàëüíîìó çàêîíó, ò.å.
Y ∼ N (µ, Σ),
ãäå
µ
k×1
äåëåíèÿ
Y
âåêòîð ñðåäíèõ,
k×k
äèñïåðñèîííàÿ ìàòðèöà. Ïëîòíîñòü ðàñïðå-
åñòü
fY (y) =
Ðàçîáüåì
Σ
Y
1
(2π)k/2 |Σ|1/2
(y − µ)0 Σ−1 (y − µ)
exp −
.
2
íà äâå ÷àñòè :
Y1
Y =
∼N
Y2
!!
Σ11 Σ12
µ1
,
= N (µ, Σ).
µ2
Σ21 Σ22
Ìíîãîìåðíîå íîðìàëüíîå ðàñïðåäåëåíèå îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè :
1.
Y1 ∼ N (µ1 , Σ11 ).
2.
Y2 |Y1 = y1 ∼ N (µ2 + B 0 (y1 − µ1 ), Σ22 − B 0 Σ11 B),
3. Åñëè
4.
Σ12 = 0,
òî
Y1
è
Y2
ãäå
B = Σ−1
11 Σ12 .
íåçàâèñèìû.
g + HY ∼ N (g + Hµ, HΣH 0 ),
ãäå
g
ôèêñèðîâàííûé âåêòîð, à
H
ìàòðèöà
ëèíåéíîãî ïðåîáðàçîâàíèÿ.
5
Ïðèíöèï àíàëîãèé
Ïðè ïîñòðîåíèè âñåâîçìîæíûõ îöåíîê èñïîëüçóþò
ïðèíöèï àíàëîãèé , îñíîâíàÿ èäåÿ
êîòîðîãî ñîñòîèò â çàìåíå íåèçâåñòíîé èñòèííîé ôóíêöèè ðàñïðåäåëåíèÿ èçâåñòíîé
ýìïèðè÷åñêîé. Ýòó èäåþ ìû óæå âñòðå÷àëè ïðè èçó÷åíèè áóòñòðàïà. Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð
X , FX (x).
θ
èçâåñòíûì îáðàçîì çàâèñèò îò ôóíêöèè ðàñïðåäåëåíèÿ
Òîãäà, ñîãëàñíî ïðèíöèïó àíàëîãèé, îöåíêó
èñòèííóþ ôóíêöèþ ðàñïðåäåëåíèÿ
FX (x)
θb ìîæíî
ïîñòðîèòü, çàìåíèâ
íà åå âûáîðî÷íûé àíàëîã
n
1X
I[xi ≤ x].
Fn (x) =
n i=1
Ïðèâåäåì ïðèìåðû.
Ïðèìåð 1. Ïóñòü èíòåðåñóþùèé íàñ ïàðàìåòð åñòü òåîðåòè÷åñêîå ñðåäíåå :
θ = E[X] =
Z
+∞
−∞
32
xdF (x).
Òîãäà, ïî ïðèíöèïó àíàëîãèé, åãî àíàëîãîâàÿ îöåíêà áóäåò ðàâíà
θb =
Z
+∞
−∞
n
1X
xi .
xdFn (x) =
n i=1
Ïðèìåð 2 : ÌÍÊ-îöåíêà. Ïîêàæåì, ÷òî ÌÍÊ-îöåíêà òàêæå ÿâëÿåòñÿ àíàëîãîâîé
îöåíêîé. Ïóñòü èñõîäíàÿ ìîäåëü áóäåò
y = x0 β + e,
Òîãäà ïàðàìåòð
β
E[ex] = 0.
E[(y − x0 β)x] = 0.
íàõîäèòñÿ èç óñëîâèÿ :
Åãî âèä :
β = (E(xx0 ))−1 E(xy).
Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì ÌÍÊ-îöåíêó :
n
βb =
1X
xi x0i
n i=1
!−1
!
n
1X
xi yi .
n i=1
Ïðèìåð 3 : åù¼ ðàç ÌÍÊ-îöåíêà. ÌÍÊ-îöåíêó ìîæíî ïîëó÷èòü êàê àíàëîãîâóþ
è èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè ïðîãíîçà. Èñõîäíàÿ ðåãðåññèîííàÿ ìîäåëü â ýòîì ñëó÷àå åñòü
E[y|x] = x0 β.
Ïàðàìåòð
β
íàõîäèòñÿ èç óñëîâèÿ ìèíèìèçàöèè ñðåäíåêâàäðàòè÷íîé îøèáêè :
β = arg minE[(y − x0 b)2 ].
b
Ñîîòâåòñòâóþùåå àíàëîãîâîå óñëîâèå çàïèñûâàåòñÿ â âèäå
1
βb = arg min
b n
n
X
(yi − x0i b)2 .
i=1
Î÷åâèäíî, ÷òî ðåçóëüòàòîì ðåøåíèÿ ýòîé çàäà÷è íà ýêñòðåìóì âíîâü ÿâëÿåòñÿ ÌÍÊîöåíêà.
6
Îñíîâíûå ïîíÿòèÿ, ñâÿçàííûå ñ ðåãðåññèåé
Ñåé÷àñ è â äàëüíåéøåì ìû íå áóäåì ðàçëè÷àòü ïðîïèñíûå è ñòðî÷íûå áóêâû äëÿ
îáîçíà÷åíèÿ ñëó÷àéíûõ âåëè÷èí è èõ ðåàëèçàöèé, èíà÷å ìîæíî ñ óìà ñîéòè. Ïóñòü
ó íàñ åñòü ïàðà
(y, x),
ãäå
y
ñêàëÿð, à
x
âåêòîð.
Îïðåäåëåíèå. Ðåãðåññèåé (â øèðîêîì ñìûñëå) íàçûâàåòñÿ êàêîå-ëèáî ñâîéñòâî óñëîâíîãî ðàñïðåäåëåíèÿ
y
ïðè çàäàííîì
x
êàê ôóíêöèÿ îò
33
x.
Ïðèâåäåì íåñêîëüêî ïðèìåðîâ ðåãðåññèé :
Ïðèìåð 1. Ðåãðåññèÿ ñðåäíåãî
E[y|x].
Ïðèìåð 2. Ìåäèàííàÿ ðåãðåññèÿ
M ed[y|x].
Ïðèìåð 3. Êâàíòèëüíàÿ ðåãðåññèÿ
Ïðèìåð 4. Ìîäàëüíàÿ ðåãðåññèÿ
Ðàññìîòðèì ïîäðîáíåå
qα [y|x].
M ode[y|x].
ðåãðåññèþ ñðåäíåãî ,
êîòîðàÿ íàèáîëåå ÷àñòî èñïîëüçóåòñÿ â
ýêîíîìåòðè÷åñêîì àíàëèçå. Îøèáêîé ðåãðåññèè ñðåäíåãî íàçûâàåòñÿ âåëè÷èíà
y − E[y|x].
Ýòà îøèáêà îáëàäàåò ñâîéñòâîì
E[e|x] = 0,
e =
è, êàê ñëåäñòâèå, ñâîéñòâîì
E[eh(x)] = 0 äëÿ ëþáîé ôóíêöèè h(x).  ÷àñòíîñòè, E[e] = 0. Îäíàêî ðåãðåññîðû x è
îøèáêà
e ìîãóò íå áûòü íåçàâèñèìûìè. Ðåãðåññèþ ñðåäíåãî ñðåäíåãî ìîæíî çàïèñàòü
â ïðèâû÷íîì âèäå êàê
y = E[y|x] + e,
E[e|x] = 0.
Ïîêà åùå íå ñäåëàíî íèêàêèõ ïðåäïîëîæåíèé, êðîìå ñóùåñòâîâàíèÿ ââåäåííûõ îáúåêòîâ.
Îáû÷íî èññëåäîâàòåëü, îáëàäàÿ ñîâîêóïíîñòüþ íàáëþäåíèé
íûì îáðàçîì âûáðàííûõ èç ïîïóëÿöèè
ôóíêöèþ
1.
E[y|x].
ñëó÷àé-
õî÷åò îöåíèòü, èñïîëüçóÿ ýòè äàííûå,
Ñóùåñòâóåò íåñêîëüêî ðàçëè÷íûõ ïîäõîäîâ ê äàííîé çàäà÷å :
Íåïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå äåëàþòñÿ ñëàáûå ïðåäïîëîæåíèÿ î ãëàäêîñòè ôóíêöèè
ïëîòíîñòè ðàñïðåäåëåíèÿ
2.
(y, x),
{(yi , xi )}ni=1 ,
E[y|x]
è, âîçìîæíî, åå ïðîèçâîäíîé ïî
x
è
x.
Ïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïðè òàêîì ïîäõîäå ïðåäïîëàãàåòñÿ èçâåñòíûì âèä ôóíêöèè
ðàìåòðîâ
β∈R
k
E[y|x] = g(x, β). Íåèçâåñòíûìè ÿâëÿþòñÿ êîíå÷íîå ÷èñëî ïà-
. Ýòè ïàðàìåòðû îöåíèâàþòñÿ, ÷òî äà¼ò îöåíêó è äëÿ
g(x, β).
Òàêèì îáðàçîì, ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçóåòñÿ, îòñþäà è íàçâàíèå ìåòîäà. Ïàðàìåòðè÷åñêèé ìåòîä îöåíèâàíèÿ ÿâëÿåòñÿ áîëåå ýôôåêòèâíûì,
÷åì íåïàðàìåòðè÷åñêèé, åñëè ñïåöèôèêàöèÿ ìîäåëè ïðàâèëüíàÿ. Îäíàêî, åñëè
ôóíêöèÿ óñëîâíîãî ñðåäíåãî ïàðàìåòðèçîâàíà íåâåðíî, òî îöåíèâàíèå ïðèâîäèò
ê íåñîñòîÿòåëüíûì îöåíêàì äëÿ
3.
E[y|x].
Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå : Ïîëóïàðàìåòðè÷åñêîå îöåíèâàíèå ïðåäñòàâëÿåò ñîáîé íå÷òî ñðåäíåå ìåæäó ïàðàìåòðè÷åñêèì è íåïàðàìåòðè÷åñêèì
ïîäõîäàìè. Ìîæíî ñêàçàòü, ÷òî
E[y|x]
ïàðàìåòðèçóåòñÿ, íî êîëè÷åñòâî ïàðà-
ìåòðîâ áåñêîíå÷íî. Ïðèìåðîì ÿâëÿþòñÿ òàê íàçûâàåìûå èíäåêñíûå ìîäåëè,
ãäå âèä ôóíêöèè óñëîâíîãî ñðåäíåãî íàì íåèçâåñòåí, îäíàêî èçâåñòíî, ÷òî îíà
çàâèñèò îò êîíå÷íîìåðíîé ëèíåéíîé êîìáèíàöèè ðåãðåññîðîâ.
34
IV
1
Ëèíåéíàÿ ðåãðåññèÿ ñðåäíåãî
Ìåòîä íàèìåíüøèõ êâàäðàòîâ
Ïóñòü
E[y|x] = x0 β ,
òîãäà ðåãðåññèÿ ñðåäíåãî çàïèñûâàåòñÿ ïðèâû÷íûì îáðàçîì êàê
y = x0 β + e,
Ïðåäïîëîæèì, ìàòðèöà
{(yi , xi )}ni=1 ∼ iid.
E[e|x] = 0,
E[xx0 ] íåâûðîæäåííàÿ. Òîãäà ïàðàìåòð β , ìèíèìèçèðóþùèé
ñðåäíåêâàäðàòè÷íóþ îøèáêó, áóäåò åäèíñòâåííûì ðåøåíèåì çàäà÷è
β = arg minE[(y − x0 b)2 ].
b
Ïîëüçóÿñü ïðèíöèïîì àíàëîãèé, ìîæíî ïîñòðîèòü îöåíêó äëÿ
n
n
1X
(yi − x0i b)2 =
βb = arg min
b n
i=1
1X
xi x0i
n i=1
!−1
β:
n
1X
xi yi .
n i=1
Ýòî è åñòü îöåíêà ìåòîäà íàèìåíüøèõ êâàäðàòîâ, èëè ÌÍÊ-îöåíêà.
2
Àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ-îöåíêè
Äëÿ âûÿñíåíèÿ àñèìïòîòè÷åñêèõ ñâîéñòâ ÌÍÊ-îöåíêè ïåðåïèøåì åå â ñëåäóþùåì
âèäå :
n
βb = β +
1X
xi x0i
n i=1
!−1
n
1X
xi ei .
n i=1
Êàê ìû óæå çíàåì, ÌÍÊ-îöåíêà ñîñòîÿòåëüíà, ò.å.
p
βb → β .
Êðîìå òîãî, ÌÍÊ-îöåíêà
àñèìïòîòè÷åñêè ðàñïðåäåëåíà ïî íîðìàëüíîìó çàêîíó :
√
n
n(βb − β) =
1X
xi x0i
n i=1
!−1
n
1 X
d
−1
√
xi ei → N 0, Q−1
xx Qe2 xx Qxx ,
n i=1
ãäå ìû èñïîëüçîâàëè ñëåäóþùèå îáîçíà÷åíèÿ :
Qxx = E[xx0 ],
Qe2 xx = E[e2 xx0 ] = V ar[xe].
Ïðèâåäåííûå àñèìïòîòè÷åñêèå ñâîéñòâà ñëåäóþò èç ÇÁ× è ÖÏÒ. Èç çàêîíà áîëüøèõ
÷èñåë ñëåäóåò, ÷òî
n
1X
p
xi x0i → E[xx0 ] = Qxx ,
n i=1
n
1X
p
xi ei → E[xe] = E[xE[e|x]] = 0,
n i=1
35
÷òî âëå÷¼ò ñîñòîÿòåëüíîñòü ÌÍÊ-îöåíêè. Èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ
íåçàâèñèìûõ îäèíàêîâî ðàñïðåäåëåííûõ âåëè÷èí ñëåäóåò, ÷òî
n
1 X
d
√
xi ei → N (0, V ar[xe]) = N (0, Qe2 xx ) ,
n i=1
÷òî âëå÷¼ò àñèìïòîòè÷åñêóþ íîðìàëüíîñòü ÌÍÊ-îöåíêè.
Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé, êîãäà ðåãðåññèîííàÿ îøèáêà óñëîâíî ãîìîñêåäàñòè÷íà, ò.å.
E[e2 |x] = σ 2 = const.
 ýòîì ñëó÷àå
Qe2 xx = σ 2 Qxx
è àñèìïòîòè÷åñêîå
ðàñïðåäåëåíèå ÌÍÊ-îöåíêè èìååò äèñïåðñèîííóþ ìàòðèöó â óïðîùåííîì âèäå :
√
d
n(βb − β) → N 0, σ 2 Q−1
xx .
Êðîìå òîãî, ëåãêî ïîñòðîèòü ñîñòîÿòåëüíóþ îöåíêó ýòîé äèñïåðñèîííîé ìàòðèöû :
n
1X
p
b2→
σ
b =
(yi − x0i β)
σ2,
n i=1
2
n
X
p
bxx = 1
Q
xi x0i → Qxx .
n i=1
Ñîñòîÿòåëüíîñòü ïåðâîé îöåíêè ñëåäóåò èç ÇÁ×. Ñîñòîÿòåëüíîñòü ïîñëåäíåé äîâîëüíî ëåãêî ïîêàçàòü :
n
1X
b2=
(yi − x0i β)
n i=1
n
n
n
X
1X 0
1X
b2+ 2
b =
(yi − x0i β)2 +
(xi β − x0i β)
(yi − x0i β)(x0i β − x0i β)
n i=1
n i=1
n i=1
!
n
n
n
X
X
1X
1
b0
b +2
b
=
(yi − x0i β)2 + (β − β)
xi x0i (β − β)
(yi − x0i β)x0i (β − β).
n i=1
n i=1
n i=1
=
Äàëåå, ïðèìåíÿÿ ÇÁ× è òåîðåìó Ñëóöêîãî, ïîëó÷èì :
n
1X
p
(yi − x0i β)2 → σ 2 ,
n i=1
b0
(β − β)
!
n
1X
p
b →
xi x0i (β − β)
0,
n i=1
n
2X
p
b →
(yi − x0i β)x0i (β − β)
0.
n i=1
Âñ¼ âìåñòå âëå÷¼ò ñîñòîÿòåëüíîñòü îöåíêè óñëîâíîé äèñïåðñèè ðåãðåññèîííîé îøèáêè :
n
1X
p
b2→
(yi − x0i β)
σ2.
n i=1
36
Òåïåðü ðàññìîòðèì îáùèé ñëó÷àé óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè.  ýòîì ñëó÷àå
íàì íóæíî ñîñòîÿòåëüíî îöåíèòü ìàòðèöó
Qe2 xx . Ìîæíî ïîêàçàòü, ÷òî ñîñòîÿòåëüíîé
îöåíêîé ýòîé ìàòðèöû áóäåò ñëåäóþùàÿ :
n
X
p
b2→
be2 xx = 1
Q
xi x0i (yi − x0i β)
Qe2 xx .
n i=1
Èòàê, ñîñòîÿòåëüíàÿ îöåíêà äèñïåðñèîííîé ìàòðèöû ÌÍÊ-îöåíêè â ñëó÷àå óñëîâíîé
ãåòåðîñêåäàñòè÷íîñòè çàïèøåòñÿ êàê
b−1
b
b−1
Vbβ = Q
xx Qe2 xx Qxx .
Áóäåì íàçûâàòü
ñòàíäàðòíîé îøèáêîé îöåíêè βbj
r h i
1 b
se(βbj ) =
Vβ .
n
jj
Òîãäà ñîîòâåòñòâóþùàÿ
t-ñòàòèñòèêà
âåëè÷èíó
áóäåò àñèìïòîòè÷åñêè ïèâîòàëüíîé îöåíêîé,
àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå êîòîðîé ÿâëÿåòñÿ ñòàíäàðòíûì íîðìàëüíûì :
tj =
βbj − βj d
→ N (0, 1).
se(βbj )
Âàëüäîâñêàÿ ñòàòèñòèêà äëÿ îãðàíè÷åíèé îáùåãî âèäà
÷åíèé
l ≤ k,
h(β) = 0,
ãäå ÷èñëî îãðàíè-
èìååò àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå õè-êâàäðàò :
h
i−1
d
b0 H
b →
b Vbβ H
b0
W = h(β)
h(β)
χ2 (l),
ãäå èñïîëüçîâàíû îáîçíà÷åíèÿ
H=
3
∂h(β)
,
∂β 0
b
b = ∂h(β) .
H
∂β 0
Ñâîéñòâà ÌÍÊ-îöåíêè â êîíå÷íûõ âûáîðêàõ
Ââåäåì ñëåäóþùèå îáîçíà÷åíèÿ :
X = (x1 , x2 , . . . , xn )0 ,
y = (y1 , y2 , . . . , yn )0 ,
ε = (e1 , e2 , . . . , en )0 .
Òîãäà óæå çíàêîìóþ íàì ðåãðåññèîííóþ ìîäåëü ëèíåéíîãî óñëîâíîãî ñðåäíåãî ìîæíî
ïåðåïèñàòü â ìàòðè÷íîì âèäå
y = Xβ + ε,
E[ε|X] = 0.
ÌÍÊ-îöåíêà â òàêîì ñëó÷àå çàïèøåòñÿ êàê
βb = (X 0 X)−1 X 0 y = β + (X 0 X)−1 X 0 ε.
Ýòà îöåíêà îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè â êîíå÷íûõ âûáîðêàõ :
37
•
Óñëîâíàÿ íåñìåù¼ííîñòü :
b
E[β|X]
= β + (X 0 X)−1 X 0 E[ε|X] = β.
•
Áåçóñëîâíàÿ íåñìåù¼ííîñòü ñëåäóåò èç óñëîâíîé íåñìåù¼ííîñòè.
•
Óñëîâíàÿ äèñïåðñèÿ îöåíêè åñòü
b
V ar[β|X]
= (X 0 X)−1 X 0 ΩX(X 0 X)−1 ,
ãäå
4
Ω = V ar[y|X] = E[εε0 |X].
Îáîáùåííûé ìåòîä íàèìåíüøèõ êâàäðàòîâ
Îïðåäåëåíèå. Ïóñòü
E[y|X] = Xβ .
ñîäåðæàùèé îöåíêè âèäà
îò
A(X)y ,
Êëàññîì
ãäå
A(X)
ëèíåéíûõ îöåíîê β
ìàòðèöà
k × n,
íàçûâàåòñÿ êëàññ,
êîòîðàÿ çàâèñèò òîëüêî
X.
Ïðèìåð. Äëÿ ÌÍÊ-îöåíêè
Îïðåäåëåíèå. Ïóñòü
A(X) = (X 0 X)−1 X 0 .
E[y|X] = Xβ .
Êëàññîì
çûâàåòñÿ êëàññ, ñîäåðæàùèé îöåíêè âèäà
òîëüêî îò
X
Çàìåòèì, ÷òî
íà-
A(X)y , ãäå A(X) ìàòðèöà k×n, çàâèñÿùàÿ
è óäîâëåòâîðÿþùàÿ óñëîâèþ
Ïðèìåð. Äëÿ ÌÍÊ-îöåíêè
ëèíåéíûõ íåñìåù¼ííûõ îöåíîê β
A(X)X = Ik .
A(X)X = (X 0 X)−1 X 0 X = Ik .
V ar[A(X)y|X] = A(X)ΩA(X)0 . Ìû õîòèì íàéòè ëèíåéíóþ íåñìåù¼í-
íóþ îöåíêó, êîòîðàÿ ìèíèìèçèðóåò
V ar[A(X)y|X].
Òåîðåìà (Ãàóññà-Ìàðêîâà). Íàèëó÷øåé ëèíåéíîé íåñìåù¼ííîé îöåíêîé ëèíåéíîé
ðåãðåññèè ñðåäíåãî ÿâëÿåòñÿ îöåíêà
βe = A∗ (X)y,
ãäå
A∗ (X) = (X 0 Ω−1 X)−1 X 0 Ω−1 .
 ýòîì ñëó÷àå äèñïåðñèîííàÿ ìàòðèöà îöåíêè èìååò âèä
e
V ar[β|X]
= (X 0 Ω−1 X)−1 .
Äîêàçàòåëüñòâî. Îöåíêà
èáî
βe
ïðèíàäëåæèò êëàññó ëèíåéíûõ íåñìåù¼ííûõ îöåíîê,
A∗ (X)X = Ik . Âîçüìåì ïðîèçâîëüíóþ ìàòðèöó A(X), òàêóþ, ÷òî A(X)X = Ik . Â
ýòîì ñëó÷àå èìåþò ìåñòî ñëåäóþùèå ðàâåíñòâà :
(A(X) − A∗ (X))X = 0,
(A(X) − A∗ (X))ΩA∗ (X)0 = (A(X) − A∗ (X))ΩΩ−1 X(X 0 Ω−1 X)−1 = 0.
38
Òîãäà
V ar[A(X)Y |X] = A(X)ΩA(X)0 =
= (A(X) − A∗ (X) + A∗ (X))Ω(A(X) − A∗ (X) + A∗ (X))0 =
e
= (A(X) − A∗ (X))Ω(A(X) − A∗ (X))0 + V ar[A∗ (X)Y |X] ≥ V ar[β|X].
íîê.
βe ÿâëÿåòñÿ
Îïðåäåëåíèå. Ïóñòü
E[y|X] = Xβ .
Ñëåäîâàòåëüíî, îöåíêà
îöåíêîé
íàèëó÷øåé â êëàññå ëèíåéíûõ íåñìåù¼ííûõ îöå-
Îöåíêà
βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y
îáîáù¼ííîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ
Ñëåäñòâèå 1. ÎÌÍÊ-îöåíêà
íàçûâàåòñÿ
(ÎÌÍÊ).
βe ÿâëÿåòñÿ ýôôåêòèâíîé â êëàññå ëèíåéíûõ íåñìåù¼í-
íûõ îöåíîê.
Ñëåäñòâèå 2. Åñëè îøèáêà ëèíåéíîé ðåãðåññèè ñðåäíåãî îáëàäàåò ñâîéñòâîì óñëîâíîé ãîìîñêåäàñòè÷íîñòè, òî
βe = βb,
ò.å. ÌÍÊ- è ÎÌÍÊ-îöåíêè ñîâïàäàþò.
Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ óñëîâíûå äèñïåðñèîííûå ìàòðèöû ÌÍÊ- è
ÎÌÍÊ-îöåíîê â êîíå÷íûõ âûáîðêàõ äëÿ ñëó÷àåâ óñëîâíîé ãåòåðî- è ãîìîñêåäàñòè÷íîñòè.
OLS
GLS
Ãîìîñêåäàñòè÷íîñòü
σ 2 (X 0 X)−1
σ 2 (X 0 X)−1
Ãåòåðîñêåäàñòè÷íîñòü
(X 0 X)−1 X 0 ΩX(X 0 X)−1
(X 0 Ω−1 X)−1
βe ÿâëÿåòñÿ íåäîñòóïíîé ,
Çàìå÷àíèå 1. ÎÌÍÊ-îöåíêà
âåñòíà.
Çàìå÷àíèå 2. ÎÌÍÊ-îöåíêà
òîäà íàèìåíüøèõ êâàäðàòîâ
βe ÿâëÿåòñÿ
ïîñêîëüêó ìàòðèöà
÷àñòíûì ñëó÷àåì îöåíêè
Ω
íåèç-
âçâåøåííîãî ìå-
(ÂÌÍÊ)
βbW LS = (X 0 W X)−1 X 0 W Y,
ãäå
5
W
ïîëîæèòåëüíî îïðåäåëåííàÿ ìàòðèöà.
Àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíîê
Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà ÎÌÍÊ-îöåíêè. Äëÿ ýòîãî ïðåäñòàâèì åå â
ñëåäóþùåì âèäå :
n
βe = β +
1 X xi x0i
n i=1 σ 2 (xi )
39
!−1
n
1 X xi ei
.
n i=1 σ 2 (xi )
Ïîëüçóÿñü çàêîíîì áîëüøèõ ÷èñåë è öåíòðàëüíîé ïðåäåëüíîé òåîðåìîé, ïîëó÷èì :
n
xx0
1 X xi x0i p
→ Qxx/σ2 = E 2
,
n i=1 σ 2 (xi )
σ (x)
n
1 X xi ei p
xe
→E 2
= 0,
n i=1 σ 2 (xi )
σ (x)
n
1 X xi ei d
√
2 .
→
N
0,
Q
xx/σ
n i=1 σ 2 (xi )
Ïîñëåäíåå âûðàæåíèå ñëåäóåò èç
E
"
xe
σ 2 (x)
2 #
xx0
2
= E 2 E[e |x] = Qxx/σ2 .
σ (x)
Òàêèì îáðàçîì, ÎÌÍÊ-îöåíêà ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé.
Íèæå ïðèâåäåíà òàáëèöà, ñîäåðæàùàÿ àñèìïòîòè÷åñêèå äèñïåðñèîííûå ìàòðèöû
ÌÍÊ- è ÎÌÍÊ-îöåíîê äëÿ ñëó÷àåâ óñëîâíîé ãåòåðî- è ãîìîñêåäàñòè÷íîñòè :
OLS
σ
Ãîìîñêåäàñòè÷íîñòü
ãäå
zi = f (xi )
GLS
Q−1
xx/σ 2
Q−1
xx
βe àñèìïòîòè÷åñêè ýôôåêòèâíà â
!−1
n
n
X
1
1X
0
b
βIV =
zi xi
zi yi ,
n i=1
n i=1
äëÿ ëþáîé ôóíêöèè
= σ 2 Q−1
xx
Q−1
xx/σ 2
−1
Q−1
xx Qe2 xx Qxx
Ãåòåðîñêåäàñòè÷íîñòü
Òåîðåìà. ÎÌÍÊ-îöåíêà
2
êëàññå îöåíîê âèäà
f : Rk → Rk .
Äîêàçàòåëüñòâî. Çàìåòèì, ÷òî ÌÍÊ- è ÎÌÍÊ-îöåíêè ïðèíàäëåæàò óêàçàííîìó
êëàññó, ò.ê. äëÿ ÌÍÊ
zi = xi ,
à äëÿ ÎÌÍÊ
n
βbIV =
1X 0
zi xi
n i=1
zi = xi /σ 2 (xi ).
!−1
Ðàññìîòðèì îöåíêó
n
1X
zi yi .
n i=1
Ëåãêî ïîêàçàòü, ÷òî îíà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà ñ àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöåé
−1
Vzz = Q−1
zx Qe2 zz Qxz ,
40
ãäå
Qzx = E[zx0 ],
à
Qe2 zz = E[zz 0 e2 ] = E[zz 0 σ 2 (x)].
Çíàÿ, ÷òî àñèìïòîòè÷åñêàÿ äèñ-
−1
ïåðñèÿ ÎÌÍÊ-îöåíêè ðàâíà Q
xx/σ 2 , ðàññìîòðèì ðàçíîñòü
Vzz −
Q−1
xx/σ 2
−1
0
0 2
= (E[zx ])
−1
E[zz σ (x)] (E[xz ])
−1
= (E[vu0 ])
−1
0
−1
xx0
− E 2
=
σ (x)
−1
E[vv 0 ] (E[uv 0 ]) − (E[uu0 ]) =
h
i
−1
0 −1
0
0
0 −1
0
= (E[vu ])
E[vv ] − E[vu ] (E[uu ]) E[uv ] (E[uv 0 ]) =
−1
= (E[vu0 ])
Çäåñü
−1
E[ww0 ] (E[uv 0 ])
≥ 0.
v = zσ(x), u = x/σ(x) è w = v−E[vu0 ](E[uu0 ])−1 u. Òàêèì îáðàçîì, ìû ïîêàçàëè,
÷òî ÎÌÍÊ-îöåíêà àñèìïòîòè÷åñêè ýôôåêòèâíà â óêàçàííîì êëàññå.
Ðåçóëüòàò. ÎÌÍÊ-îöåíêà ÿâëÿåòñÿ àíàëîãîâîé îöåíêîé, ò.å. ìîæåò áûòü ïîëó÷åíà
èç ïðèíöèïà àíàëîãèé. À èìåííî, ÎÌÍÊ-îöåíêà ïîëó÷àåòñÿ èç óñëîâèÿ
n
x
=0
E e
σ(x)
6
1X
e xi = 0.
(yi − x0i β)
n i=1
σ(xi )
⇒
Äîñòóïíàÿ ÎÌÍÊ-îöåíêà
Êàê óæå áûëî çàìå÷åíî, ÷òîáû ïîëó÷èòü ÎÌÍÊ-îöåíêó, íàì íåîáõîäèìî çíàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê
σ 2 (xi ),
Ω,
ãëàâíàÿ äèàãîíàëü êîòîðîé íàïè÷êàíà âåëè÷èíàìè
à íà îñòàëüíûõ ìåñòàõ ñòîÿò íóëè. Åñòåñòâåííî ïîëàãàòü, ÷òî ýòè ïàðàìåòðû
ÿâëÿþòñÿ íåèçâåñòíûìè àïðèîðè, ïîýòîìó îíè äîëæíû áûòü îöåíåíû. Ïëîõî òî, ÷òî
äëÿ ýòîãî íåîáõîäèìà ìîäåëü äëÿ
σ 2 (x).
Ýòó ôóíêöèþ ìîæíî (è íóæíî !) îöåíèâàòü
íåïàðàìåòðè÷åñêè, íî ìû ïîêà ê ýòîìó íå ãîòîâû.
Îáû÷íî ïðåäïîëàãàþò, ÷òî äèñïåðñèÿ îøèáîê åñòü ëèíåéíàÿ ôóíêöèÿ îò íåêîòîðîé
òðàíñôîðìàöèè
x:
σ 2 (x) = E[e2 |x] = z 0 γ,
ãäå
z
x,
åñòü íåêîòîðàÿ òðàíñôîðìàöèÿ
íàïðèìåð
z = x2 .
Åñëè ïðåäïîëîæåíèå ïðà-
ñêåäàñòè÷íóþ ðåãðåññèþ
âèëüíîå, òî ìîæíî îöåíèòü
e2 = z 0 γ + ε,
E[ε|z] = 0.
Îöåíèâ èñõîäíóþ ðåãðåññèþ ñ ïîìîùüþ ÌÍÊ è ñêåäàñòè÷íóþ ðåãðåññèþ, èñïîëüçóÿ
êâàäðàòû ÌÍÊ-îñòàòêîâ âìåñòî êâàäðàòîâ îøèáîê, òàêæå ñ ïîìîùüþ ÌÍÊ, èìååì :
γ
b=
X
i
zi zi0
!−1
b
ebi = yi − x0i βb = ei + x0i (β − β),
X
i
zi e2i + 2
X
i
b i+
zi x0i (β − β)e
41
X
i
b 2
zi (x0i (β − β))
!
p
→ γ.
Òàêèì îáðàçîì, ìû ïîëó÷àåì ñîñòîÿòåëüíûå îöåíêè äèñïåðñèé îøèáîê :
σ
b2 (xi ) = zi0 γ
b,
ïîñëå ÷åãî, ìû ìîæåì ïîñòðîèòü äîñòóïíóþ îöåíêó îáîáùåííîãî ìåòîäà íàèìåíüøèõ
êâàäðàòîâ (ÄÎÌÍÊ) :
βeF =
n
X
xi x0i
σ
b2 (xi )
i=1
!−1
n
X
xi yi
b −1 X)−1 X 0 Ω
b −1 y.
= (X 0 Ω
2
σ
b (xi )
i=1
Ïðèâåäåì àëãîðèòì ïîñòðîåíèÿ ÄÎÌÍÊ-îöåíêè :
1. Èñïîëüçóÿ ÌÍÊ, îöåíèòü èñõîäíóþ ðåãðåññèþ è ïîëó÷èòü îñòàòêè
1, . . . , n.
Ïðîãíàòü ñêåäàñòè÷íóþ ðåãðåññèþ, ïîëó÷èòü îöåíêè
îöåíêè äèñïåðñèé îøèáîê
2
σ
b (xi )
(èëè
b ).
Ω
γ
b
ebi
äëÿ
i=
è ïîñòðîèòü
2. Ïîñòðîèòü ÄÎÌÍÊ-îöåíêó
βeF =
n
X
xi x0i
σ
b2 (xi )
i=1
!−1
n
X
xi yi
b −1 X)−1 X 0 Ω
b −1 y.
= (X 0 Ω
2 (x )
σ
b
i
i=1
Âîîáùå ãîâîðÿ, òàêîé àëãîðèòì ïîñòðîåíèÿ îöåíîê äèñïåðñèè îøèáîê íå ãàðàíòèðóåò èõ ïîëîæèòåëüíîñòü. Íèæå ïðèâåäåíû ñïîñîáû èçáåæàòü
1. Âûáðàòü íåêîòîðîå ìàëîå
δ > 0.
Ïîëîæèòü
2. Âûáðîñèòü òå íàáëþäåíèÿ, äëÿ êîòîðûõ
3. Ïîëîæèòü
σ
b2 (xi ) =
1
n
Pn
σ
b2 (xi ) < 0.
σ
b2 (xi ) = max(zi0 γ
b, δ).
σ
b2 (xi ) < 0.
0
b äëÿ òåõ íàáëþäåíèé, äëÿ êîòîðûõ
j=1 zj γ
σ
b2 (xi ) < 0.
Ðåçóëüòàò. Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ïðàâèëüíî ñïåöèôèöèðîâàíà, òî ÄÎÌÍÊîöåíêà
βeF
àñèìïòîòè÷åñêè ýêâèâàëåíòíà ÎÌÍÊ-îöåíêå
√
d
βe,
ò.å.
n(βeF − β) → N (0, Q−1
xx/σ 2 ).
Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå åñòü
n
X
xi x0i
b
Vβ = n
σ
b2 (xi )
i=1
!−1
.
Åñëè ñêåäàñòè÷íàÿ ôóíêöèÿ ñïåöèôèöèðîâàíà íåïðàâèëüíî, òî îöåíêà
ìåíåå, îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :
√
d
−1
−1
e
n(βF − β) → N 0, Qxx/σ2 Qxx/σ4 e2 Qxx/σ2 ,
42
βeF ,
òåì íå
ãäå èñïîëüçîâàíû ñëåäóþùèå îáîçíà÷åíèÿ :
Qxx/σ2
xx0
=E 0 ,
zγ
Qxx/σ4 e2
xx0 2
=E
e .
(z 0 γ)2
Ñîñòîÿòåëüíàÿ îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèè â ýòîì ñëó÷àå ðàâíà
X xi x0
i
Vbβ = n
7
i
zi0 γ
b
!−1
X xi x0
i 2
eb
0 2 i
(z
γ
b
)
i
i
X xi x0
i
i
zi0 γ
b
!−1
.
Ðåãðåññèÿ ñ íåñëó÷àéíîé âûáîðêîé
 ñëó÷àå, êîãäà íàáëþäåíèÿ ïðåäñòàâëÿþò ñîáîé íåñëó÷àéíóþ âûáîðêó, äèñïåðñèîííàÿ ìàòðèöà îøèáîê
îöåíêè
βb = (X 0 X)−1 X 0 y
Ω = V ar[y|X]
íå ÿâëÿåòñÿ äèàãîíàëüíîé. Äèñïåðñèÿ ÌÍÊ-
â ýòîì ñëó÷àå åñòü
b
V ar[β|X]
= (X 0 X)−1 X 0 ΩX(X 0 X)−1 ,
à äèñïåðñèÿ ÎÌÍÊ-îöåíêè
βe = (X 0 Ω−1 X)−1 X 0 Ω−1 y
åñòü
e
V ar[β|X]
= (X 0 Ω−1 X)−1 .
×òîáû ïîñòðîèòü ïèâîòàëüíóþ ñòàòèñòèêó â ñëó÷àå íåñëó÷àéíûõ íàáëþäåíèé, íåîáõîäèìî ïàðàìåòðèçîâàòü äèñïåðñèîííóþ ìàòðèöó îøèáîê
Ω
íåáîëüøèì ÷èñëîì ïà-
ðàìåòðîâ.
8
ÌÍÊ è ÎÌÍÊ â ðåãðåññèÿõ íà âðåìåííûõ ðÿäàõ
Ðàññìîòðèì ñëåäóþùóþ ðåãðåññèîííóþ ìîäåëü :
yt = x0t β + et ,
ãäå
{(xt , yt )}Tt=1
E[e2t |It−1 ] = σ 2 (It−1 ),
E[et |It−1 ] = 0,
ñòàöèîíàðíûé è ýðãîäè÷íûé ïðîöåññ, à
It−1 = {yt−1 , yt−2 , . . . ; xt , xt−1 , . . .}.
Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü :
xt = (yt−1 , yt−2 , . . . , yt−p )0 .
•
Ìîäåëü
•
Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà :
AR(p),
ãäå
st+1 − st = α + β(ft − st ) + et ,
ãäå
ft
öåíà ôîðâàðäíîãî êîíòðàêòà, à
43
st
E[et |It−1 ] = 0,
òåêóùèé îáìåííûé êóðñ.
•
Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè :
E[et |It−1 ] = 0,
πt+1 = α + βit + et ,
ãäå
πt+1
èíôëÿöèÿ, à
it
ïðîöåíòíàÿ ñòàâêà.
Çàìåòèì, ÷òî óñëîâíîå ìàòåìàòè÷åñêîå îæèäàíèå
E[Y |X]
íå åñòü
Xβ ,
ïîýòîìó íå
ñëåäóåò îæèäàòü õîðîøèõ ñâîéñòâ â êîíå÷íûõ âûáîðêàõ. Ðàññìîòðèì àñèìïòîòè÷åñêèå ñâîéñòâà ÌÍÊ- è ÎÌÍÊ-îöåíîê.
ÌÍÊ-îöåíêà. ßñíî, ÷òî ÌÍÊ-îöåíêà ñîñòîÿòåëüíà :
T
X
βb =
xt x0t
!−1
T
X
p
xt yt → β.
t=1
t=1
Ýòî ñëåäóåò èç òîãî, ÷òî :
E[xt et ] = E[E[xt et |It−1 ]] = E[xt E[et |It−1 ]] = 0.
Êðîìå òîãî, èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû äëÿ ïîñëåäîâàòåëüíîñòåé ìàðòèíãàëüíûõ ïðèðàùåíèé ñëåäóåò àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü ÌÍÊ-îöåíêè :
√
ãäå
d
T (βb − β) → N (0, Vβ ),
−1
Vβ = Q−1
xx Qe2 xx Qxx ,
Qxx = E[xt x0t ], Qe2 xx = E[xt x0t e2t ]. Íåäèàãîíàëüíûå ýëåìåíòû ìàòðèöû Qe2 xx
ðàâíû
0, ïîñêîëüêó
E[xt et x0t−j et−j ] = E[E[xt et x0t−j et−j |It−1 ]] = E[xt E[et |It−1 ]x0t−j et−j ] = 0.
ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà â ìîäåëÿõ áåç ñåðèéíîé êîððåëÿöèèè â îøèáêàõ,
î÷åâèäíî, òîæå áóäåò ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà. Âûãëÿäèò ÎÌÍÊîöåíêà ñëåäóþùèì îáðàçîì :
βe =
T
X
t=1
xt
x0t
2
σ (It−1 )
!−1
T
X
xt
yt .
2
σ (It−1 )
t=1
Íà ïðàêòèêå ÎÌÍÊ-îöåíêà ðåäêî èñïîëüçóåòñÿ âî âðåìåííûõ ðÿäàõ, ïîñêîëüêó òðåáóåò çíàíèÿ èëè ñîñòîÿòåëüíîãî îöåíèâàíèÿ ñêåäàñòè÷íîé ôóíêöèè
â ïðèíöèïå ìîæåò çàâèñåòü îò áåñêîíå÷íîé ïðåäûñòîðèè
σ 2 (It−1 ), êîòîðàÿ
It−1 .
Òåïåðü ðàññìîòðèì ðåãðåññèîííóþ ìîäåëü íà âðåìåííûõ ðÿäàõ áîëåå îáùåãî âèäà,
ñ âîçìîæíîñòüþ ñåðèéíîé êîððåëÿöèè â îøèáêàõ :
yt = x0t β + et ,
ãäå
E[et |It−q ] = 0,
It−q = {yt−q , yt−q−1 , . . . ; xt , xt−1 , . . .}.
Ïðèìåðàìè òàêèõ ìîäåëåé ìîãóò ñëóæèòü :
44
E[e2t |It−q ] = σ 2 (It−q ),
xt = (yt−q , yt−q−1 , . . . , yt−q−p+1 )0 .
•
Ìîäåëü
•
Ëèíåéíîå ïðåäñêàçàíèå îáìåííîãî êóðñà :
ARM A(p, q),
ãäå
st+q − st = α + β(ft,q − st ) + et ,
ãäå
ft,q
öåíà ôîðâàðäíîãî êîíòðàêòà íà
q
E[et |It−q ] = 0,
ïåðèîäîâ âïåðåä, à
st
òåêóùèé
îáìåííûé êóðñ.
•
Ëèíåéíîå ïðåäñêàçàíèå èíôëÿöèè :
πt+q = α + βit,q + et ,
ãäå
πt+q
èíôëÿöèÿ, à
it,q
E[et |It−q ] = 0,
ïðîöåíòíàÿ ñòàâêà íà
ÌÍÊ-îöåíêà.
T
X
βb =
xt x0t
!−1
t=1
T
X
q
ïåðèîäîâ âïåðåä.
xt yt .
t=1
Îöåíêà îñòàåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé, ò.å.
√
íî ìàòðèöà
Qe2 xx
d
T (βb − β) → N (0, Vβ ),
−1
Vβ = Q−1
xx Qe2 xx Qxx ,
ñ÷èòàåòñÿ ïî ôîðìóëå
Qe2 xx =
E[xt x0t e2t ]
+
q−1
X
(E[xt x0t−j et et−j ] + E[xt x0t+j et et+j ]).
j=1
Ñóììà ñîäåðæèò êîíå÷íîå ÷èñëî êîìïîíåíò
2q − 1,
èáî äëÿ
j >q−1
0
E[xt x0t−j et et−j ] = E[E[xt Xt−j
et et−j |It−q ]] = E[xt x0t−j E[et |It−q ]et−j ] = 0.
×òîáû ñîñòîÿòåëüíî îöåíèòü àñèìïòîòè÷åñêóþ äèñïåðñèþ ÌÍÊ-îöåíêè
Vβ
â ñëó÷àå
ñåðèéíîé êîððåëÿöèè îøèáîê, ìîæíî âîñïîëüçîâàòüñÿ, íàïðèìåð, ôîðìóëîé ÍüþèÓýñòà.
ÎÌÍÊ-îöåíêà. ÎÌÍÊ-îöåíêà íå èñïîëüçóåòñÿ â ìîäåëÿõ ñ ñåðèéíîé êîððåëÿöèåé
îøèáîê. Çàìåòèì,÷òî â ýòîì ñëó÷àå
βe 6=
T
X
t=1
xt
x0t
2
σ (It−1 )
!−1
45
T
X
xt
yt .
2
σ (It−1 )
t=1
V
Ëèíåéíûå ìîäåëè ñ èíñòðóìåíòàëüíûìè ïåðåìåííûìè
1
Ýíäîãåííûå ïåðåìåííûå
E[y|x]
Áûâàþò ñëó÷àè, êîãäà óñëîâíîå ñðåäíåå
íå ÿâëÿåòñÿ èíòåðåñóþùèì íàñ îáú-
åêòîì. Ïðèâåäåì íåñêîëüêî ïðèìåðîâ.
Ïðèìåð 1. Ïóñòü
E[y|x∗ ] = (x∗ )0 β ,
îäíàêî ïåðåìåííûå
ìè. Âìåñòî íèõ èññëåäîâàòåëü íàáëþäàåò ïåðåìåííûå
îò
x
∗
è
y.
x∗
ÿâëÿþòñÿ íåíàáëþäàåìû-
x = x ∗ + u,
ãäå
u
íåçàâèñèìà
 ýòîì ñëó÷àå ÌÍÊ-îöåíêà áóäåò íåñîñòîÿòåëüíîé :
y = (x∗ )0 β + e = (x − u)0 β + e = x0 β + v,
v = e − u0 β,
E[xv] = E[(x∗ + u)(e − u0 β)] = −E[uu0 ] 6= 0
⇒
p
βb 9 β.
 òàêîé ñèòóàöèè àñèìïòîòè÷åñêîå ñìåùåíèå îöåíêè ñâÿçàíî ñ îøèáêîé èçìåðåíèÿ.
Ïðèìåð 2. Ïóñòü ó íàñ åñòü ñèñòåìà ëèíåéíûõ óðàâíåíèé
Cïðîñ
Q = −β1 P + e1
:
:
Q = β2 P + e2
e1
∼ iid(0, I2 ).
e2
Ïðåäëîæåíèå
ãäå
Î÷åâèäíî, ÷òî â ýòîì ñëó÷àå öåíû êîððåëèðóþò ñ îøèáêàìè :
E[e1 P ] 6= 0,
E[e2 P ] 6= 0.
Ïîýòîìó, èñïîëüçóÿ ÌÍÊ-îöåíêó â ðåãðåññèè
Q
íà
P,
ìû ïîëó÷èì
p E[QP ]
βb →
.
E[P 2 ]
Èñõîäíóþ ñèñòåìó ëåãêî ðàçðåøèòü îòíîñèòåëüíî âûïóñêà è öåí :
1
Q
=
P
β1 + β2
β2
1
! e1
,
e2
−1
β1
îòêóäà ñðàçó æå ñëåäóåò, ÷òî
E[QP ] =
β2 − β1
,
β1 + β2
E[P 2 ] =
2
.
β1 + β2
Òàêèì îáðàçîì, ÌÍÊ-îöåíêà íå ñîñòîÿòåëüíà íè äëÿ
äëÿ ÷åãî-òî ñðåäíåãî ìåæäó íèìè :
β2 − β1
p E[QP ]
=
βb →
.
2
E[P ]
2
46
β1 ,
íè äëÿ
β2 ,
à ñîñòîÿòåëüíà
 îáîèõ ïðèìåðàõ ïåðåìåííûå, êîððåëèðóþùèå ñ îøèáêàìè, ÿâëÿþòñÿ ýíäîãåíûìè,
è ÌÍÊ-îöåíèâàíèå íåñîñòîÿòåëüíî.
Îïðåäåëåíèå. Ïåðåìåííàÿ
íàçûâàåòñÿ
ýíäîãåííîé ,
åñëè
Îïðåäåëåíèå. Ïåðåìåííàÿ
x
â ïðàâîé ÷àñòè ñòðóêòóðíîãî óðàâíåíèÿ
y = x0 β + e
E[e|x] 6= 0.
z
y = x0 β + e, åñëè E[e|z] = 0. Â
íàçûâàåòñÿ ýêçîãåííîé äëÿ ñòðóêòóðíîãî óðàâíåíèÿ
ýòîì ñëó÷àå
z
ìîæåò èñïîëüçîâàòüñÿ êàê
èíñòðóìåíò
äëÿ îöåíèâàíèÿ ïàðàìåòðîâ óðàâíåíèÿ.
Çàìåòèì, ÷òî â îáû÷íîé ðåãðåññèè óñëîâíîãî ñðåäíåãî ðåãðåññîðû ÿâëÿþòñÿ ýêçîãåííûìè ïåðåìåííûìè, ò.å. äëÿ ìîäåëè
y = x0 β + e,
E[e|x] = 0
z = x ÿâëÿåòñÿ ýêçîãåííîé ïåðåìåííîé. ÌÍÊ êàê ðàç è èñïîëüçóåò å¼ êàê èíñòðóìåíò.
2
Òî÷íàÿ èäåíòèôèêàöèÿ
Ðàññìîòðèì ñëó÷àé, êîãäà êîëè÷åñòâî èíñòðóìåíòîâ
ãðåññîðîâ
k
òî÷íîé èäåíòèôèêàöèè ).
(ñëó÷àé
ñîâïàäàåò ñ êîëè÷åñòâîì ðå-
Ïóñòü ìàòðèöà
æäåíà. Èç îïðåäåëåíèÿ èíñòðóìåíòîâ ñëåäóåò, ÷òî
óñëîâèåì âàëèäíîñòè
l
Qzz = E[zz 0 ]
íåâûðî-
E[ze] = 0. Ýòî óñëîâèå íàçûâàåòñÿ
èíñòðóìåíòîâ. Ïðèìåíÿÿ ê íåìó ïðèíöèï àíàëîãèé, ïîëó÷èì
n
1X
zi (yi − x0i βbIV ) = 0,
n i=1
îòêóäà ïîëó÷àåì
èíñòðóìåíòàëüíóþ îöåíêó
βbIV =
n
X
zi x0i
!−1
i=1
n
X
zi yi .
i=1
 ìàòðè÷íîì âèäå èíñòðóìåíòàëüíàÿ îöåíêà âûãëÿäèò ñëåäóþùèì îáðàçîì :
βbIV = (Z 0 X)−1 Z 0 Y,
Z = (z10 , z20 , . . . , zn0 )0 .
 êîíå÷íûõ âûáîðêàõ èíñòðóìåíòàëüíàÿ îöåíêà ñìåùåíà, îäíàêî ÿâëÿåòñÿ ñîñòîÿòåëüíîé è àñèìïòîòè÷åñêè íîðìàëüíîé :
√
ãäå
E[βbIV |Z, X] = (Z 0 X)−1 Z 0 E[Y |Z, X] 6= β,
d
n(βbIV − β) → N (0, Vβ ),
−1
Vβ = Q−1
zx Qe2 zz Qxz ,
Qzx = E[zx0 ], Qe2 zz = E[e2 zz 0 ]. Çàìåòèì, ÷òî âûøåïðèâåä¼ííàÿ àñèìïòîòèêà ñïðà-
âåäëèâà òîëüêî ïðè âûïîëíåíèè
óñëîâèÿ ðåëåâàíòíîñòè : ìàòðèöà Qzx
47
äîëæíà áûòü
íåâûðîæäåííîé. Ñîñòîÿòåëüíûå îöåíêè ìàòðèö
çîì :
n
X
bzx = 1
Q
zi x0i ,
n i=1
Qzx , Qe2 zz
ñòðîÿòñÿ î÷åâèäíûì îáðà-
n
X
be2 zz = 1
Q
zi zi0 eb2i ,
n i=1
ebi = yi − x0i βbIV .
Çàìåòèì, ÷òî äîìíîæåíèå èíñòðóìåíòîâ ñëåâà íà ëþáóþ ñîðàçìåðíóþ íåâûðîæäåííóþ ìàòðèöó êîíñòàíò
C
íå ìåíÿåò âèäà èíñòðóìåíòàëüíîé îöåíêè
ñòâåííî, å¼ ñòàòèñòè÷åñêèõ ñâîéñòâ.
3
βbIV , è, åñòå-
Ñâåðõèäåíòèôèêàöèÿ
Ðàññìîòðèì ñëó÷àé, êîãäà
l>k
ñâåðõèäåíòèôèêàöèè ).
(ñëó÷àé
Ïóñòü ìàòðèöà
Qzz
íåâûðîæäåíà. Èäåÿ ïîñòðîåíèÿ èíñòðóìåíòàëüíîé îöåíêè â ýòîì ñëó÷àå ñîñòîèò â
ñëåäóþùåì. Ñíà÷àëà íàéä¼ì ëèíåéíûé ïî
z
x:
E[zu0 ] = 0.
x = Γz + u,
Èç ïîñëåäíåãî óñëîâèÿ íàõîäèì
ïðåäèêòîð
Γ:
E[z(x − Γz)0 ] = 0
⇒
Γ0 = (E[zz 0 ])−1 E[zx0 ] = Q−1
zz Qzx .
Òåïåðü, âîçâðàùàÿñü ê èñõîäíîé ñòðóêòóðíîé ôîðìå, ìû ìîæåì íàïèñàòü :
y = (Γz + u)0 β + e = (Γz)0 β + v,
v = e + u0 β.
Î÷åâèäíî, âûïîëíÿåòñÿ ñîîòíîøåíèå
E[Γzv] = ΓE[z(e + u0 β)] = 0,
ïîýòîìó ïàðàìåòð ñòðóêòóðíîãî óðàâíåíèÿ ìîæíî çàïèñàòü êàê
−1
β = (E[Γz(Γz)0 ])−1 E[Γzy] = (Qxz Qzz
Qzx )−1 Qxz Q−1
zz Qzy .
Ïðèìåíÿÿ ïðèíöèï àíàëîãèé, ïîëó÷èì èíñòðóìåíòàëüíóþ îöåíêó (íàçûâàåìóþ îöåíêîé
äâóõøàãîâîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ ) äëÿ ñëó÷àÿ ñâåðõèäåíòèôèêàöèè :

βb2SLS = 
n
X
xi zi0
i=1
n
X
i=1
zi zi0
!−1
n
X
i=1
−1
zi x0i 
n
X
i=1
xi zi0
n
X
zi zi0
i=1
èëè â ìàòðè÷íîé ôîðìå,
βb2SLS = (X 0 Z(Z 0 Z)−1 Z 0 X)−1 X 0 Z(Z 0 Z)−1 Z 0 Y.
48
!−1
n
X
i=1
zi yi ,
Èíñòðóìåíòàëüíàÿ îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà, îäíàêî â îáùåì ñëó÷àå íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè ýôôåêòèâíîé :
p
βb2SLS → β,
√
d
n(βb2SLS − β) → N (0, V2SLS ),
ãäå
−1
−1
−1
−1
−1
V2SLS = (Qxz Q−1
zz Qzx ) Qxz Qzz Qe2 zz Qzz Qzx (Qxz Qzz Qxz ) .
Îñîáûì ñëó÷àåì ÿâëÿåòñÿ ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè, êîãäà
σ 2 = const.
ïîñêîëüêó
E[e2 |z] =
 ýòîì ñëó÷àå àñèìïòîòè÷åñêàÿ äèñïåðñèîííàÿ ìàòðèöà óïðîùàåòñÿ,
Qe2 zz = σ 2 Qzz :
−1
V2SLS = σ 2 (Qxz Q−1
zz Qzx ) .
Çàìåòèì, ÷òî íåñìîòðÿ íà ïðèñóòñòâèå äâóõ øàãîâ â íàçâàíèè, îöåíêó ìîæíî ïîäñ÷èòàòü ñðàçó ïî îäíîé ôîðìóëå.  òî æå âðåìÿ ïîíèìàíèå å¼ äâóõøàãîâîé ïðèðîäû
ïîìîãàåò â íåêîòîðûõ ñëó÷àÿõ ëó÷øå îðèåíòèðîâàòüñÿ â ñâîéñòâàõ îöåíêè.
Àíàëîãè÷íî ñëó÷àþ òî÷íîé èäåíòèôèêàöèè ïðè ñâåðõèäåíòèôèêàöèè íåîáõîäèìî,
÷òîáû ðàíã ìàòðèöû
Qxz
áûë ðàâåí êîëè÷åñòâó ðåãðåññîðîâ
k:
rank(Qxz ) = k.
Çàìå÷àíèå. Îöåíêó
èäåíòèôèêàöèåé :
βb2SLS
βb2SLS =
Çäåñü
ξi
n
X
ìîæíî âûðàçèòü êàê èíñòðóìåíòàëüíóþ îöåíêó ñ òî÷íîé
ξi x0i
i=1
!−1
n
X
ξi yi ,
ξi =
i=1
n
X
xj zj0
j=1
n
X
zj zj0
!−1
zi .
j=1
òðàíñôîðìèðîâàííûå èíñòðóìåíòû. Íî ñ òî÷êè çðåíèÿ àñèìïòîòè÷åñêîé
ýôôåêòèâíîñòè òàêàÿ òðàíñôîðìàöèÿ íåîïòèìàëüíà.
4
Íåïîëíàÿ èäåíòèôèêàöèÿ
Åñëè ìàòðèöà
Qzx
èìååò ðàíã ìåíüøå
k,
òî óñëîâèå èäåíòèôèêàöèè íå âûïîëíåíî.
 èíñòðóìåíòàõ íå õâàòàåò èíôîðìàöèè, ñïîñîáíîé îäíîçíà÷íî èäåíòèôèöèðîâàòü
ïàðàìåòð.  ýòîì ñëó÷àå èíñòðóìåíòàëüíûå îöåíêè áóäóò èìåòü íåïðèÿòíûå àñèìïòîòè÷åñêèå ñâîéñòâà.
Ïðèìåð. Ðàññìîòðèì ñëåäóþùóþ ìîäåëü :
l = k = 1,
y = βx + e,
E[e|z] = 0,
49
E[xz] = 0.
Ïîñëåäíåå ðàâåíñòâî îçíà÷àåò, ÷òî ðàíã
Qxz
ðàâåí 0, ò.å. íå âûïîëíåíî óñëîâèå ðå-
ëåâàíòíîñòè èíñòðóìåíòîâ. Ñîãëàñíî öåíòðàëüíîé ïðåäåëüíîé òåîðåìå èìååò ìåñòî
ñîâìåñòíàÿ ñõîäèìîñòü :
n
n
1 X
d
√
zi xi → N (0, Qz2 x2 ).
n i=1
1 X
d
√
zi ei → N (0, Qz2 e2 ),
n i=1
Òàêèì îáðàçîì, èíñòðóìåíòàëüíàÿ îöåíêà óæå íå áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé :
βbIV
ãäå
D
P
zi yi
=P
=β+
zi xi
√1
n
√1
n
P
i zi ei
P
i zi xi
d
→ β + D,
íåêîå íåãàóññîâñêîå ðàñïðåäåëåíèå ñ òÿæ¼ëûìè õâîñòàìè. Òàêèì îáðàçîì,
àñèìïòîòè÷åñêîå ðàñïðåäåëåíèå îöåíêè íå ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíûì è
äàæå íå èìååò êîíå÷íîãî ñðåäíåãî.
Åñëè ó íàñ åñòü ïîäîçðåíèå, ÷òî èíñòðóìåíòû íåðåëåâàíòíûå, ñòîèò âíà÷àëå ïðîòåñòèðîâàòü ãèïîòåçó :
H0 : E[xz] = 0,
è åñëè ýòà ãèïîòåçà îòâåðãàåòñÿ, òî èíñòðóìåíò
íàä¼æíûé. Íà ïðàêòèêå ÷àùå âñåãî ðóêîâîäñòâóþòñÿ çíà÷åíèåì F-ñòàòèñòèêè ïðè
ëèíåéíîé ðåãðåññèè
5
x
íà
z.
Áóòñòðàïèðîâàíèå èíñòðóìåíòàëüíûõ îöåíîê
Ïðîöåäóðà áóòñòðàïà äëÿ èíñòðóìåíòàëüíûõ îöåíîê ïðàêòè÷åñêè íè÷åì íå îòëè÷àåòñÿ îò ïîñòðîåíèÿ áóòñòðàïîâñêîãî ðàñïðåäåëåíèÿ äëÿ îáû÷íîé ñòàòèñòèêè îò íåçàâèñèìûõ íàáëþäåíèé. Åñòü, ïðàâäà, òîíêèé ìîìåíò â ñëó÷àå ñâåðõèäåíòèôèêàöèè.
Ñëó÷àé
l = k.
βbIV =
X
zi x0i
−1 X
zi yi ,
∗
βbIV
=
X
zi∗ x∗0
i
−1 X
zi∗ yi∗ .
Åñëè îöåíêà àñèìïòîòè÷åñêîé äèñïåðñèîííîé ìàòðèöà âûãëÿäèò êàê
VbIV = n
X
zi x0i
−1 X
zi zi0 eb2i
X
xi zi0
−1
,
òî å¼ áóòñòðàïîâñêèé àíàëîã ∗
VbIV
=n
Ñëó÷àé
l > k.
X
zi∗ x∗0
i
−1 X
zi∗ zi∗0 eb∗2
i
X
x∗i zi∗0
−1
.
Çàìåòèì, ÷òî õîòÿ â ïîïóëÿöèè âûïîëíåíî óñëîâèå
âûáîðêå îíî íàðóøàåòñÿ, èáî
n
1X
zi ebi 6= 0.
n i=1
50
E[ze] = 0,
â
Ïîýòîìó ïðè áóòñòðàïå íóæíî ïîìíèòü ïðî ðåöåíòðèðîâàíèå. Èòàê, èíñòðóìåíòàëüíàÿ îöåíêà åñòü
βb2SLS = (. . .)−1
X
xi zi0
X
zi zi0
−1 X
zi yi ,
à å¼ áóòñòðàïîâñêèé àíàëîã ∗
βb2SLS
= (. . .∗ )−1
X
x∗i zi∗0
X
zi∗ zi∗0
−1 X
zi∗ yi∗ −
X
Ñîîòâåòñòâåííî,
Vb2SLS = n(. . .)−1
X
xi zi0
X
zi zi0
−1 X
zi zi0 eb2i
X
zi zi0
zi ebi .
−1 X
zi x0i (. . .)−1 ,
−1 X
X
−1 X
X
X
∗ −1
∗ ∗0
∗
zi∗ x∗0
z
z
u∗i u∗0
zi∗ zi∗0
= n(. . .∗ )−1
x∗i zi∗0
Vb2SLS
i (. . . ) .
i
i i
P
∗
∗ ∗
Çäåñü ui = zi e
bi − n1 nj=1 zj ebj .
6
Èíñòðóìåíòàëüíûå ïåðåìåííûå âî âðåìåííûõ ðÿäàõ
Ðàññìîòðèì ñëåäóþùóþ ìîäåëü âðåìåííîãî ðÿäà :
yt = x0t β + et ,
E[et |It−1 ] = 0,
It−1 = {yt−1 , yt−2 . . . ; xt , xt−1 , . . .}.
Âîçüì¼ì âåêòîð èíñòðóìåíòîâ
zt = (yt−1 , yt−2 , . . . , yt−ly , x0t , x0t−1 , . . . , x0t−lx )0 .
Îí âàëèäíûé, òàê êàê âñå ýëåìåíòû ïðèíàäëåæàò
It−1 ,
è
E[et |zt ] = E[E[et |It−1 ]|zt ] = 0.
Ïðè òàêèì îáðàçîì âûáðàííîì èíñòðóìåíòå èíñòðóìåíòàëüíàÿ îöåíêà
βb2SLS
ñîâ-
ïàäàåò ñ ÌÍÊ-îöåíêîé (óïðàæíåíèå : ïî÷åìó ?), è, ñîîòâåòñòâåííî, îáëàäàåò òåìè æå
ñâîéñòâàìè. Ïîýòîìó â äàííîé çàäà÷å îáû÷íî èñïîëüçóþò ðàñøèðåíèå èíñòðóìåíòàëüíûõ îöåíîê îöåíêè îáîáùåííîãî ìåòîäà ìîìåíòîâ. Òî æå ñàìîå ñïðàâåäëèâî è
â áîëåå îáùåé ìîäåëè, äîïóñêàþùåé àâòîêîððåëÿöèþ îøèáîê :
yt = x0t β + et ,
VI
1
E[et |It−q ] = 0,
zt = {yt−q , . . . , yt−ly , x0t , . . . , x0t−lx }0 .
Îöåíèâàíèå íåëèíåéíîé ðåãðåññèè ñðåäíåãî
Íåëèíåéíîñòü ïî îòíîøåíèþ ê ðåãðåññîðàì
Ïóñòü óñëîâíîå ñðåäíåå
E[y|x] = g(x, β) äëÿ íåêîòîðîé íåëèíåéíîé ôóíêöèè g(·, ·). Â
ýòîì ñëó÷àå ìû èìååì äåëî ñ íåëèíåéíîé ìîäåëüþ. Òåì íå ìåíåå, ñóùåñòâóþò ñëó÷àè
íåëèíåéíîñòåé, ñâîäÿùèåñÿ ê ëèíåéíîìó ñëó÷àþ ñ ïîìîùüþ òðàíñôîðìàöèé.
51
Ïóñòü
g(x, β) íåëèíåéíà ïî ðåãðåññîðàì x è ëèíåéíà ïî ïàðàìåòðàì β , òîãäà ìîæíî
âûïîëíèòü òàêóþ òðàíñôîðìàöèþ
x → z,
÷òî
E[y|z] = z 0 β .
Ïðèìåð 1. Ïóñòü óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé îò ðåãðåññîðîâ ñëåäóþùåãî âèäà :
g(x, β) = β0 + β1 x1 + β2 x2 + β3 x1 x2 + β4 x21 + β5 x22 .
Òîãäà ïîäõîäÿùåé òðàíñôîðìàöèåé áóäåò :
z = (1, x1 , x2 , x1 x2 , x21 , x22 )0 .
Ïðèìåð 2. Óñëîâíîå ñðåäíåå âûðàæàåòñÿ íåëèíåéíîé ôóíêöèåé ðåãðåññîðîâ ñëåäóþùåãî âèäà :
g(x, β) = β0 + β1 x + β2 x2 + · · · + βp xp .
Ñîîòâåòñòâóþùàÿ òðàíñôîðìàöèÿ ðåãðåññîðîâ :
z = (1, x, . . . , xp ).
Íåîáõîäèìî îòìåòèòü î ñëîæíîñòè â èíòåðïðåòàöèè êîýôôèöèåíòîâ. Ìàðæèíàëüíîå
âëèÿíèå ðåãðåññîðà
x
åñòü
∂g(x, β)
= β1 + 2β2 x + · · · + pβp xp−1 .
∂x
Íåÿñíî, êàêîå
x ïîäñòàâëÿòü â äàííóþ ôîðìóëó, ÷òîáû ïîëó÷èòü ÷èñëåííîå çíà÷åíèå.
Ìîæíî îöåíèòü â êàêîì-òî êîíêðåòíîì
èëè èñïîëüçîâàòü ñðåäíåå çíà÷åíèå
ìèðîâàííûõ ðåãðåññîðîâ
x, êîòîðîå îïðåäåëÿåòñÿ èç êîíòåêñòà çàäà÷è,
x, èëè æå îöåíèòü â ñðåäíèõ çíà÷åíèÿ òðàíñôîð-
x, x2 , . . . , xp−1 .  ëþáîì ñëó÷àå êîýôôèöèåíòû β1 , β2 , . . . , βp
ñàìè ïî ñåáå íå èìåþò ýêîíîìè÷åñêîãî ñìûñëà. Èìååò ñìûñë òîëüêî èõ îïðåäåë¼ííûå
êîìáèíàöèè.
Ëèíåéíûìè ïî-ñóùåñòâó ìîäåëÿìè íàçûâàþòñÿ òàêèå, êîòîðûå, íåñìîòðÿ íà îáìàí÷èâóþ íåëèíåéíîñòü, ìîæíî ïðåîáðàçîâàòü ê ëèíåéíîìó âèäó. Ðàññìîòðèì òàêîé
ïðèìåð :
y = AK α L1−α exp(e),
E[e|A, K, L] = 0.
Çäåñü ëîãàðèôìè÷åñêàÿ òðàíñôîðìàöèÿ ìîäåëè ñâîäèò åå ê ëèíåéíîìó ñëó÷àþ :
E[log Y | log A, log K, log L] = log A + α log K + (1 − α) log L.
52
2
Íåëèíåéíûå ðåãðåññèîííûå ìîäåëè
 äàííîé ãëàâå ìû ðàññìîòðèì íåëèíåéíûå ìîäåëè, êîòîðûå íå ïðèâîäÿòñÿ ê ëèíåéíûì, ò.å.
E[y|x] = g(x0 β) 6= z 0 β
äëÿ ëþáîé ôóíêöèè
z(x).
Ïðèìåðû.
• g(x, β) = β1 + β2
x
1 + β3 x
• g(x, β) = β1 + β2 eβ3 x
• g(x, β) = (β1 + β2 x1 )1[x2 ≤ β3 ] + (β4 + β5 x1 )1[x2 > β3 ]
Ïóñòü ôóíêöèÿ
g(x, β)
äèôôåðåíöèðóåìà ïî îáîèì àðãóìåíòàì.
Îïðåäåëåíèå. Âåëè÷èíà
∂g(x, β)
= gβ (x, β)
∂β 0
íàçûâàåòñÿ
êâàçèðåãðåññîðîì .
 îáû÷íîé ëèíåéíîé ðåãðåññèè
g(x, β) = x0 β
⇒
ò.å. êâàçèðåãðåññîð íå çàâèñèò îò ïàðàìåòðà
gβ (x) = x,
β.
Îäíàêî â îáùåì ñëó÷àå êâàçèðå-
ãðåññîðû çàâèñÿò îò ïàðàìåòðîâ ìîäåëè. Ýòîò ôàêò óñëîæíÿåò îïðåäåë¼ííûå ýòàïû
îöåíèâàíèÿ è èíôåðåíöèè.
3
Îöåíèâàíèå íåëèíåéíûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ
Íàì èçâåñòíî, ÷òî ïàðàìåòð
β
åñòü ðåøåíèå ìèíèìèçàöèîííîé çàäà÷è
β = arg minE[(y − g(x, b))2 ].
b
Èñïîëüçóÿ ïðèíöèï àíàëîãèé, ïîëó÷èì îöåíêó
äðàòîâ (ÍÌÍÊ) :
íåëèíåéíîãî ìåòîäà íàèìåíüøèõ êâà-
n
1X
β = arg min
(yi − g(xi , b))2 .
b n
i=1
Óñëîâèå ïåðâîãî ïîðÿäêà åñòü
n
1X
b β (xi , β)
b = 0.
(yi − g(xi , β))g
n i=1
ßñíî, ÷òî ÿâíîå àíàëèòè÷åñêîå âûðàæåíèå äëÿ
βb
ïîëó÷èòü â îáùåì ñëó÷àå íåâîç-
ìîæíî, ïîýòîìó äëÿ íàõîæäåíèÿ ÍÌÍÊ-îöåíîê ïîëüçóþòñÿ ÷èñëåííûìè ìåòîäàìè.
53
Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì êîíöåíòðàöèè. Îäíèì èç ÷èñëåííûõ ìåòîäîâ ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ìåòîä êîíöåíòðàöèè. Ðàçäåëèì ïàðàìåòðû
çàäà÷è íà äâå ãðóïïû, óäîâëåòâîðÿþùèå óñëîâèÿì
β = (γ10 , γ20 )0 ,
g(x, β) = γ10 x(γ2 ).
Ãðóáî ãîâîðÿ, óñëîâíîå ñðåäíåå ëèíåéíî ïî ïàðàìåòðàì
ðàì
γ1
è íåëèíåéíî ïî ïàðàìåò-
γ2 . Êðîìå òîãî, ïðåäïîëàãàåòñÿ, ÷òî ÷èñëî ïàðàìåòðîâ γ2 íåâåëèêî, ÷òîáû ìîæíî
áûëî áûñòðî áåãàòü ïî èõ ñåòêå.
Ïðèìåð.  êà÷åñòâå ïðèìåðà ïðèâåäåì ñëåäóþùóþ ìîäåëü :
g(x, β) = β1 + β2 eβ3 x .
Òîãäà ñîîòâåòñòâóþùåå ðàçäåëåíèå ïàðàìåòðîâ ñëåäóþùåå :
γ1 = (β1 , β2 )0 ,
γ2 = β3
⇒
x(γ2 ) = (1, eβ3 x )0 .
 ïîäîáíûõ ñëó÷àÿõ èñïîëüçóåòñÿ äâóõóðîâíåâàÿ ïðîöåäóðà îöåíèâàíèÿ ïàðàìåòðîâ :
#
n
X
1
βb = arg min min
(yi − γ10 xi (γ2 ))2 .
γ
n
1
γ2
i=1
"
1. Ïðè ôèêñèðîâàííîì ïàðàìåòðå
γ2
ïàðàìåòð
γ
b1 (γ2 ) = (X 0 (γ2 )X(γ2 ))−1 X 0 (γ2 )Y,
γ1
îöåíèâàåòñÿ ñ ïîìîùüþ ÌÍÊ :
X(γ2 ) = (x1 (γ2 ), . . . , x2 (γ2 ))0 .
2. ×èñëåííî ðåøàåòñÿ îïòèìèçàöèîííàÿ çàäà÷à
"
#
n
1X
(yi − γ
b10 xi (γ2 ))2 .
γ
b2 = arg min
γ2
n i=1
Ïîñêîëüêó ðàçìåðíîñòü
γ2
ìàëåíüêàÿ, òî îïòèìóì ëåãêî íàõîäèòñÿ íà ñåòêå.
Ïðèâåäåì àëãîðèòì ìåòîäà êîíöåíòðàöèè.
•
Äëÿ ïàðàìåòðà
•
Äëÿ êàæäîãî
γ2
γ2
íà íåêîòîðîì èíòåðâàëå
íà ýòîé ñåòêå îöåíèâàåòñÿ
1
åòñÿ öåëåâîå çíà÷åíèå
n
•
Èç âñåõ çíà÷åíèé
γ2
Pn
i=1 (yi
0
[γ 2 , γ 2 ]
γ
b1 (γ2 )
2
−γ
b1 (γ2 ) xi (γ2 ))
ñòðîèòñÿ ñåòêà.
ñ ïîìîùüþ ÌÍÊ è âû÷èñëÿ-
.
íà ñåòêå âûáèðàåòñÿ òî, äëÿ êîòîðîãî öåëåâîå çíà÷åíèå
íàèìåíüøåå.
54
•
Åñëè íåîáõîäèìî, â îêðåñòíîñòè ïîëó÷åííîãî çíà÷åíèÿ
γ2 ñòðîèòñÿ áîëåå ìåëêàÿ
ñåòêà, è ïðîöåäóðà ïîâòîðÿåòñÿ.
Ïîëó÷åíèå ÍÌÍÊ-îöåíêè ìåòîäîì ëèíåàðèçàöèè. Äðóãèì ÷èñëåííûì ìåòîäîì ïîëó÷åíèÿ ÍÌÍÊ-îöåíêè ÿâëÿåòñÿ ëèíåàðèçàöèÿ óñëîâèÿ ïåðâîãî ïîðÿäêà.
Äîïóñòèì, ÷òî
βb1
íà÷àëüíîå ïðåäïîëîæåíèå î ÷èñëåííîì çíà÷åíèè îöåíèâàåìûõ
ïàðàìåòðîâ. Òîãäà ñ ïîìîùüþ ëèíåàðèçàöèè ïðåäëàãàåòñÿ èòåðàòèâíàÿ ïðîöåäóðà
ïåðåõîäà
ìàëîãî
βbj → βbj+1 .
Ýòà ïðîöåäóðà ïðîäîëæàåòñÿ äî òåõ ïîð, ïîêà äëÿ äîñòàòî÷íî
ε íå áóäåò âûïîëíåíî óñëîâèå |βbj+1 −βbj | < ε. Áîëåå äåòàëüíî : ëèíåàðèçîâàííîå
óñëîâèå ïåðâîãî ïîðÿäêà äëÿ ÍÌÍÊ-îöåíêè åñòü
n
1X
(yi − g(xi , βbj ) − gβ (xi , βbj )(βbj+1 − βbj ))gβ (xi , βbj ) ≈ 0.
n i=1
Ââîäÿ îáîçíà÷åíèå
dj =
n
X
i=1
gβ (xi , βbj )gβ (xi , βbj )0
!−1
n
X
i=1
gβ (xi , βbj )(yi − g(xi , βbj )),
èìååì èòåðàòèâíóþ ïðîöåäóðó â âèäå
Åñëè
dj
βbj+1 = βbj + dj .
ñëèøêîì âåëèêî (ïðîöåäóðà íå ñõîäèòñÿ), òî âûáèðàåòñÿ íåêîòîðîå
λj ∈ [0, 1],
òàêîå, ÷òîáû öåëåâàÿ ôóíêöèÿ áûëà ìèíèìàëüíîé, à ïðîöåäóðà ìîäèôèöèðóåòñÿ êàê
βbj+1 = βbj + λj dj .
4
Àñèìïòîòè÷åñêèå ñâîéñòâà ÍÌÍÊ-îöåíêè
Îïðåäåëåíèå. Ãîâîðÿò, ÷òî çàäà÷à óäîâëåòâîðÿåò óñëîâèþ
b=β
òîãäà è òîëüêî òîãäà, êîãäà
g(x, β) = g(x, b)
èäåíòèôèêàöèè ,
åñëè
ñ âåðîÿòíîñòüþ 1.
Åñëè ýòî óñëîâèå âûïîëíåíî, òî ââèäó òîæåñòâà
E[(y − g(x, b))2 ] = E[(y − g(x, β))2 ] + E[(g(x, β) − g(x, b))2 ]
ìèíèìèçàòîð ëåâîé ÷àñòè ðàâåí èñòèííîìó çíà÷åíèþ ïàðàìåòðà
β
è îïðåäåë¼í îä-
íîçíà÷íî.
Ïðèìåðû.
•
Ðàññìîòðèì ëèíåéíóþ ìîäåëü. Ïóñòü ìàòðèöà
ãäà ïðè
β 6= b
Qxx = E[xx0 ]
âûïîëíÿåòñÿ ñîîòíîøåíèå :
E[(x0 β − x0 b)2 ] = (β − b)0 Qxx (β − b) > 0.
Ñëåäîâàòåëüíî,
x0 β 6= x0 b
ñ âåðîÿòíîñòüþ 1.
55
íåâûðîæäåíà. Òî-
•
Ðàññìîòðèì òåïåðü ïðèìåð, ãäå íåò èäåíòèôèêàöèè :
g(x, β) = β1 + β2 eβ4 +β3 x = β1 + elog β2 +β4 +β3 x .
Èäåíòèôèöèðîâàòü ïàðàìåòðû
β2
è
β4
îäíîâðåìåííî íåâîçìîæíî.
Îïðåäåëåíèå. Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ ôóíêöèé
{zi (θ)}ni=1
óäîâëåòâîðÿåò
ðàâíîìåðíîìó çàêîíó áîëüøèõ ÷èñåë (ÐÇÁ×), åñëè
n
n
1X
1X
p
supk
zi (θ) − p lim
zi (θ)k → 0.
n i=1
n i=1
θ
Ëåììà. Åñëè ïîñëåäîâàòåëüíîñòü
{zi (θ)}ni=1
óäîâëåòâîðÿåò ÐÇÁ× è
n
n
1X b p
1X
zi (θn ) → p lim
zi (θ).
n i=1
n i=1
p
θbn → θ,
òî
Äîêàçàòåëüñòâî. Çàïèøåì ïîñëåäîâàòåëüíîñòü íåðàâåíñòâ, âîñïîëüçîâàâøèñü ÐÇÁ×
è òåîðåìîé Ìàííà-Âàëüäà :
n
n
1 X
X
1
zi (θbn ) − p lim
zi (θ) ≤
n
n
i=1
i=1
n
n
n
n
1 X
X
X
X
1
1
1
≤ zi (θbn ) − p lim
zi (θ) + p lim
zi (θ) − p lim
zi (θ) ≤
n
b b
n
n
n
i=1
i=1
i=1
i=1
θn
θn
n
n
n
n
1 X
1X
1X
1X
≤ sup zi (θ) − p lim
zi (θ) + p lim
zi (θ) − p lim
zi (θ)
b
n
n
n
θ n
i=1
i=1
i=1
i=1
θn
p
→ 0.
Êàê ñëåäñòâèå, ïðè âûïîëíåíèè ÐÇÁ× äëÿ ñîîòâåòñòâóþùèõ ñëàãàåìûõ èìååì ñîñòîÿòåëüíîñòü ñëåäóþùèõ îöåíîê :
n
X
p
be2 xx = 1
xi x0i eb2i → Qe2 xx ,
Q
n i=1
ãäå
n
X
p
b β (xi , β)
b0→
bgg = 1
Q
gβ (xi , β)g
Qgg ,
n i=1
Qgg = E[gβ (x, β)gβ (x, β)0 ].
Òåîðåìà. Ïóñòü âûïîëíåíû ñëåäóþùèå òðåáîâàíèÿ :
1. Âûïîëíåíî óñëîâèå èäåíòèôèêàöèè ;
2. Ôóíêöèÿ
g(x, β)
äâàæäû íåïðåðûâíî äèôôåðåíöèðóåìà ïî
b;
3. Äëÿ ñëåäóþùèõ ïîñëåäîâàòåëüíîñòåé âûïîëíÿåòñÿ ÐÇÁ× :
(yi − g(xi , β))2 ,
gβ (xi , β)gβ (xi , β)0 ,
56
(yi − g(xi , β))
∂gβ (xi , β)
;
∂β 0
4. Ìàòðèöà
Qgg = E[gβ (x, β)gβ (x, β)0 ]
5. Ìàòðèöà
Qe2 gg = E[gβ (x, β)gβ (x, β)0 e2 ]
íåâûðîæäåíà ;
ñóùåñòâóåò.
Òîãäà ÍÌÍÊ-îöåíêà ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :
p
βb → β,
√
d
−1
n(βb − β) → N (0, Q−1
gg Qe2 gg Qgg ).
Äîêàçàòåëüñòâî.
1.
Ñîñòîÿòåëüíîñòü : Äëÿ ëþáîãî
n → ∞,
ε > 0
ñ âåðîÿòíîñòüþ, ñòðåìÿùåéñÿ ê 1 ïðè
èìååì :
n
n
X
1X
ε
b 2< 1
(yi − g(xi , β))
(yi − g(xi , β))2 + ,
n i=1
n i=1
3
1 Pn
2
βb ìèíèìèçèðóåò
i=1 (yi − g(xi , b)) . Ïîñêîëüêó ÐÇÁ× âûïîën
(yi − g(xi , β))2 ,
òàê êàê îöåíêà
íÿåòñÿ äëÿ
n
X
b 2] < 1
b 2 + ε.
E[(yi − g(xi , β))
(yi − g(xi , β))
n i=1
3
Àíàëîãè÷íî,
n
1X
ε
(yi − g(xi , β))2 < E[(yi − g(xi , β))2 ] + .
n i=1
3
Ñóììèðóÿ ýòè òðè íåðàâåíñòâà, ïîëó÷àåì :
b 2 ] < E[(y − g(xi , β))2 ] + ε.
E[(y − g(xi , β))
Òåïåðü îïðåäåëèì
ñêîëüêó
β
ε.
Äëÿ ýòîãî âûáåðåì îòêðûòóþ îêðåñòíîñòü
β , N (β).
Ïî-
ðåøàåò çàäà÷ó íà ìèíèìóì, äîëæíî áûòü âûïîëíåíî ñëåäóþùåå ñî-
îòíîøåíèå :
inf E[(y − g(x, b))2 ] > E[(y − g(x, β))].
b∈N (β)c
Âûáåðåì ñëåäóþùåå
ε=
ε:
inf E[(y − g(x, b))2 ] − E[(y − g(x, β))],
b∈N (β)c
òîãäà âûïîëíåíî ñëåäóþùåå ñîîòíîøåíèå :
b 2] <
E[(y − g(x, β))
÷òî îçíà÷àåò, ÷òî
βb ∈ N (β).
inf E[(y − g(x, b))2 ],
b∈N (β)c
Ñëåäîâàòåëüíî,
57
p
βb → β .
2.
Àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü : Ðàçëîæèì óñëîâèå ïåðâîãî ïîðÿäêà â ðÿä
Òýéëîðà âîêðóã
β:
n
1X
(yi − g(xi , β))gβ (xi , β) +
n i=1
"
#
n
b
∂g
(x
,
β)
1X
β
i
b
e β (xi , β)
e 0 (βb − β) = 0,
+
(yi − g(xi , β))
− gβ (xi , β)g
n i=1
∂β 0
βe ïîêîìïîíåíòíî. Ñëåäîâàòåëüíî,
#)−1
( n "
X
b
√
∂g
(x
,
β)
1
β
i
b
e β (xi , β)
e0
n(βb − β) =
(yi − g(xi , β))
− gβ (xi , β)g
×
n i=1
∂β 0
ãäå
β
ëåæèò ìåæäó
β
è
n
1 X
d
× √
(yi − g(xi , β))gβ (xi , β) →
n i=1
−1
∂gβ (x, β)
d
0
→ − E (yi − g(xi , β))
− gβ (x, β)gβ (x, β)
N (0, Qe2 gg )
∂β 0
−1
2 qq Q
= N Q−1
Q
e
gg
gg .
Òåîðåìà äîêàçàíà.
Ðàññìîòðèì ñïåöèàëüíûé ñëó÷àé óñëîâíîé ãîìîñêåäàñòè÷íîñòè :
E[e2 |x] = σ 2 = const.
Êàê è äëÿ ëèíåéíîé ìîäåëè, èìååò ìåñòî óïðîùåíèå :
Qe2 gg = σ 2 Qgg
5
⇒
√
d
n(βb − β) → N (0, σ 2 Q−1
gg ).
Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü è ÂÍÌÍÊ-îöåíêà
ÍÌÍÊ-îöåíêó ìîæíî ðàññìàòðèâàòü êàê àíàëîãîâóþ îöåíêó, ïîëó÷åííóþ èç óñëîâèÿ
E[egβ (x, β)] = 0.
Ìîæíî ïîñòðîèòü äðóãóþ àíàëîãîâóþ îöåíêó, íåñêîëüêî èçìåíèâ
óñëîâèå íåñêîððåëèðîâàííîñòè :
gβ (x, β)
= 0.
E e 2
σ (x)
Ýòî óñëîâèå ñëåäóåò èç ðåãðåññèîííîãî ïðåäïîëîæåíèÿ. Ñîãëàñíî ïðèíöèïó àíàëîãèé
n
e
1X
e gβ (xi , β) = 0.
(yi − g(xi , β))
n i=1
σ 2 (xi )
58
Ðåøåíèå
βe,
ïîëó÷åííîå èç ýòîãî óðàâíåíèÿ, ÿâëÿåòñÿ îöåíêîé âçâåøåííîãî íåëèíåé-
íîãî ìåòîäà íàèìåíüøèõ êâàäðàòîâ (ÂÍÌÍÊ-îöåíêîé). Îíà ðåøàåò ìèíèìèçàöèîííóþ çàäà÷ó
1
βe = arg min
b n
n
X
(yi − g(xi , b))
σ 2 (xi )
i=1
,
ñîñòîÿòåëüíà è àñèìïòîòè÷åñêè íîðìàëüíà :
√
p
βe → β,
Q
d
n(βe − β) → N (0, Q−1
gg ),
σ2
gβ (x, β)gβ (x, β)0
=E
.
σ 2 (x)
gg
σ2
 óñëîâèÿõ óñëîâíîé ãåòåðîñêåäàñòè÷íîñòè ÂÍÌÍÊ-îöåíêà áîëåå àñèìïòîòè÷åñêè
ýôôåêòèâíà ïî ñðàâíåíèþ ñ ÍÌÍÊ, òî÷íî òàê æå êàê ÎÌÍÊ ïî ñðàâíåíèþ ñ ÌÍÊ
äëÿ ëèíåéíîé ðåãðåññèè. Ìîæíî åù¼ óòâåðæäàòü, ÷òî ÂÍÌÍÊ-îöåíêà
βe
ÿâëÿåòñÿ
àñèìïòîòè÷åñêè ýôôåêòèâíîé â êëàññå îöåíîê, óäîâëåòâîðÿþùèõ óñëîâèþ
n
1X
(yi − g(xi , βbIV ))zi = 0,
n i=1
ãäå
6
zi
ïðîèçâîëüíàÿ ôóíêöèÿ îò
xi ,
èìåþùàÿ òó æå ðàçìåðíîñòü
k × 1.
Ïðèëîæåíèå : ìîäåëü áèíàðíîãî âûáîðà
Ðàññìîòðèì ñëåäóþùóþ íåëèíåéíóþ ìîäåëü :
yi =
(
1
x0i β + ei ≥ 0,
0
èíà÷å,
ei |xi ∼ N (0, 1).
Íàéä¼ì ôîðìó ðåãðåññèè :
E[y|x] = P {x0 β + e ≥ 0|x} = P {e ≥ −x0 β|x} = Φ(x0 β).
Âèäíî, ÷òî ðåãðåññèÿ íåëèíåéíàÿ. ÍÌÍÊ-îöåíêà â ýòîì ñëó÷àå åñòü
1
βb = arg min
b n
n
X
(yi − Φ(x0i b))2
i=1
ñ àñèìïòîòè÷åñêèìè ñâîéñòâàìè
p
βb → β,
√
d
−1
n(βb − β) → N (0, Q−1
gg Qe2 gg Qgg ),
ãäå
gβ (x, β) = f (x0 β)x,
Qgg = E[f (x0 β)2 xx0 ],
59
Qe2 gg = E[f (x0 β)2 (y − Φ(x0 β))2 xx0 ].
Àñèìïòîòè÷åñêè ýôôåêòèâíàÿ ÂÍÌÍÊ-îöåíêà åñòü
1
βe = arg min
b n
n
X
i=1
èáî
(yi − Φ(x0i b))2
,
b − Φ(x0 β))
b
Φ(x0 β)(1
i
i
σ 2 (x) = V ar[y|x] = Φ(x0 β)(1 − Φ(x0 β)) 6= const.
Âûâåäåì å¼ àñèìïòîòè÷åñêèå ñâîéñòâà :
p
βe → β,
7
√
d
n(βe − β) → N
0, E
0
2
0
f (x β) xx
− Φ(x0 β))
Φ(x0 β)(1
−1 !
.
Èíôåðåíöèÿ ïðè íåèäåíòèôèöèðîâàííîñòè íåêîòîðûõ ïàðàìåòðîâ ïðè íóëåâîé ãèïîòåçå
 íåëèíåéíûõ ìîäåëÿõ ìîæåò ñëîæèòüñÿ îñîáàÿ ñèòóàöèÿ, êîãäà òåñòèðîâàíèå ñòàòèñòè÷åñêèõ ãèïîòåç íåñòàíäàðòíî. Ðàññìîòðèì äâà ïðèìåðà.
Ïðèìåð 1. Ðåãðåññèÿ ñ ãëàäêèìè ïîðîãàìè :
1
+ e, E[e|x] = 0.
1 + ex−β5
÷òî β3 = β4 = 0 (ò.å. òåñòèðóåòñÿ
y = (β1 + β2 x) + (β3 + β4 x)
Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â òîì,
ìîäåëè), òî ïðè ýòîé íóëåâîé ãèïîòåçå ïàðàìåòð
β5
ëèíåéíîñòü
íåèäåíòèôèöèðóåì.
Ïðèìåð 2. Ðàññìîòðèì ñëåäóþùóþ ðàçíîâèäíîñòü ARCH-M ìîäåëè :
yt = β0 + x0t β1 + γσt2 + et ,
E[et |It−1 ] = 0,
E[e2t |It−1 ] = σt2 = α0 + α1 e2t−1 .
Åñëè íóëåâàÿ ãèïîòåçà ñîñòîèò â îòñóòñòâèè ARCH ýôôåêòà, ò.å.
ïðè íóëåâîé ãèïîòåçå ïàðàìåòð
γ
H0 : α1 = 0,
òî
íåèäåíòèôèöèðóåì, òàê êàê óñëîâíàÿ äèñïåðñèÿ
ïîñòîÿííà è å¼ âëèÿíèå ïîãëîùàåòñÿ ñâîáîäíûì ÷ëåíîì
β0 .
 òàêèõ ñèòóàöèÿõ ñòàíäàðòíàÿ òåñòîâàÿ ñòàòèñòèêà (íàïðèìåð, t èëè Âàëüäîâñêàÿ) àñèìïòîòè÷åñêè ðàñïðåäåëåíà íå òàê, êàê ìû ïðèâûêëè, ò.å. íå êàê ñòàíäàðòíî
íîðìàëüíàÿ èëè õè-êâàäðàò ñëó÷àéíàÿ âåëè÷èíà. Âîò êàê îáû÷íî ðåøàåòñÿ ïîäîáíàÿ
ïðîáëåìà. Ïóñòü
β = (β10 , β20 )0 ,
ãäå
β1
èäåíòèôèöèðóåòñÿ ïðè íóëåâîé ãèïîòåçå, à
íåò. Ïîñòðîèì Âàëüäîâñêóþ ñòàòèñòèêó
W (β2 )
äëÿ âñåõ âîçìîæíûõ çíà÷åíèé
β2
β2 .
Òîãäà ñóï-Âàëüäîâñêàÿ ñòàòèñòèêà
sup W = supW (β2 )
β2
ñõîäèòñÿ ê íåêîòîðîìó íåñòàíäàðòíîìó ðàñïðåäåëåíèþ, êîòîðîå ïîëó÷àþò ñ ïîìîùüþ ñèìóëÿöèé.
Ïîìèìî ïðèâåä¼ííûõ âûøå, ïðèìåðàìè ÿâëÿþòñÿ òåñòèðîâàíèå íà ëèíåéíîñòü ñàìîâîçáóæäàþùèõñÿ ïîðîãîâûõ àâòîðåãðåññèé è òåñòèðîâàíèå íà îòñóòñòâèÿ ñòðóêòóðíûõ ñäâèãîâ.
60