Робастная регрессия с применением t

68
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
¹1
Ðîáàñòíàÿ ðåãðåññèÿ ñ ïðèìåíåíèåì t-ðàñïðåäåëåíèÿ
è EM-àëãîðèòìà
Øâåäîâ À.Ñ.
 pàáîòå pàññìàòpèâàåòñÿ ëèíåéíàÿ påãpåññèîííàÿ ìîäåëü. EM-àëãîpèòì ïpåäñòàâëÿåò ñîáîé pàñïpîñòpàíåííûé ïîäõîä ê îöåíêå ïàpàìåòpîâ òàêèõ ìîäåëåé íà îñíîâå îáùåãî ïpèíöèïà ìàêñèìèçàöèè ïpàâäîïîäîáèÿ. Èçâåñòíî, ÷òî ýòîò ìåòîä îöåíêè ïàpàìåòpîâ ÿâëÿåòñÿ pîáàñòíûì,
åñëè îøèáêè íåçàâèñèìû, îäèíàêîâî pàñïpåäåëåíû è èìåþò ìíîãîìåpíîå
t-pàñïpåäåëåíèå.
 ïpåäûäóùèõ pàáîòàõ òàêîé ïîäõîä ê îöåíêå ïàpàìåòpîâ påãpåññèîííûõ ìîäåëåé ïpèìåíÿëñÿ ëèøü ïpè óñëîâèè, ÷òî îøèáêè èìåþò ìíîãîìåpíîå t-pàñïpåäåëåíèå ñ ÷èñëîâûì ïàpàìåòpîì ñòåïåíåé ñâîáîäû.  íàñòîÿùåé pàáîòå pàññìàòpèâàåòñÿ áîëåå îáùàÿ ñèòóàöèÿ, êîãäà îøèáêè
ìîãóò èìåòü ìíîãîìåpíîå t-pàñïpåäåëåíèå ñ âåêòîpíûì ïàpàìåòpîì ñòåïåíåé ñâîáîäû. Íåíàáëþäàåìûå âåëè÷èíû â EM-àëãîpèòìå ïpè ýòîì îêàçûâàþòñÿ ñëó÷àéíûìè ìàòpèöàìè.
Íà ÷èñëåííûõ ïpèìåpàõ ïpè pàçëè÷íûõ pàñïpåäåëåíèÿõ îøèáîê èññëåäîâàíû ïpåèìóùåñòâà òàêîãî ïîäõîäà ïî ñpàâíåíèþ ñ ìåòîäîì íàèìåíüøèõ êâàäpàòîâ.
Êëþ÷åâûå ñëîâà: ðîáàñòíàÿ ðåãðåññèÿ; ìíîãîìåðíîå t-ðàñïðåäåëåíèå; EM-àëãîðèòì.
1. Ââåäåíèå
Ðåãpåññèîííûå ìîäåëè ÿâëÿþòñÿ îñíîâíûì èíñòðóìåíòîì äëÿ âûÿâëåíèÿ çàâèñèìîñòåé ìåæäó pàçëè÷íûìè ïîêàçàòåëÿìè ïpàêòè÷åñêè âî âñåõ îáëàñòÿõ ýêîíîìè÷åñêîé íàóêè. Îäíàêî êëàññè÷åñêèå è íàèáîëåå pàñïpîñòpàíåííûå ìåòîäû ïîñòpîåíèÿ
påãpåññèîííûõ ìîäåëåé íå îáëàäàþò ñâîéñòâîì pîáàñòíîñòè, ÷òî, â pÿäå ñëó÷àåâ, ìîæåò
ïpèâîäèòü ê íåâåpíûì påçóëüòàòàì. Ðîáàñòíûå ìåòîäû â ýêîíîìåòpèêå èçâåñòíû äîñòàòî÷íî äàâíî (ñì., íàïpèìåp, [11]). Íî âñå æå â íàñòîÿùåå âpåìÿ, ñêîpåå, ìîæíî ãîâîpèòü îá óñèëåíèè òåíäåíöèè ê ïpèìåíåíèþ pîáàñòíûõ ìåòîäîâ, à íå îá îáÿçàòåëüíîì
òpåáîâàíèè èñïîëüçîâàíèÿ òàêèõ ìåòîäîâ õîòÿ áû íàpÿäó ñ êëàññè÷åñêèìè äëÿ êîíòpîëÿ êà÷åñòâà påçóëüòàòîâ.
Èäåÿ èñïîëüçîâàòü påãpåññèîííûå ìîäåëè, ó êîòîpûõ îøèáêè èìåþò íå íîpìàëüíûå (ãàóññîâñêèå) pàñïpåäåëåíèÿ, à t-pàñïpåäåëåíèÿ, âîçíèêàåò, äàæå åñëè íå ñâÿçû____________________
Øâåäîâ À.Ñ. – ä. ôèç.-ìàò. í., ïðîôåññîð êàôåäðû ìàòåìàòè÷åñêîé ýêîíîìèêè è ýêîíîìåòðèêè
ÍÈÓ «Âûñøåé øêîëû ýêîíîìèêè», e-mail: ashvedov@hse.ru
Ñòàòüÿ ïîñòóïèëà â Ðåäàêöèþ â äåêàáðå 2010 ã.
2011
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
69
âàòü ýòîò ïîäõîä ñ pîáàñòíîñòüþ ïpîöåäóp îöåíêè ïàpàìåòpîâ. Åùå â XIX â. ó÷åíûå
çíàëè «îá îïàñíîñòÿõ, ïîpîæäàåìûõ äëèííûìè õâîñòàìè ôóíêöèé pàñïpåäåëåíèÿ îøèáîê» (ñì. [2, ñ. 7]). ( íàñòîÿùåå âpåìÿ ÷àùå èñïîëüçóåòñÿ òåpìèí íå «äëèííûå õâîñòû»,
à «òÿæåëûå õâîñòû».) Èçíà÷àëüíîå èñïîëüçîâàíèå ïpè àíàëèçå ïpåäïîëîæåíèÿ î íîpìàëüíîñòè îøèáîê âêëþ÷àåò è ïpåäïîëîæåíèå î ëåãêèõ õâîñòàõ ôóíêöèé pàñïpåäåëåíèÿ. Ýòî ìîæåò íå îòâå÷àòü ñóùåñòâó äåëà è ïpèâîäèòü ê èñêàæåíèÿì â âûâîäàõ.
Îäíèì èç ñàìûõ pàñïpîñòpàíåííûõ ïîäõîäîâ ê ìîäåëèpîâàíèþ òÿæåëûõ õâîñòîâ ÿâëÿåòñÿ èñïîëüçîâàíèå t-pàñïpåäåëåíèÿ.
Õîòÿ äëÿ ëèíåéíûõ påãpåññèîííûõ ìîäåëåé, ó êîòîpûõ îøèáêè èìåþò t-pàñïpåäåëåíèå, è íå ñóùåñòâóåò òàêîé çàìêíóòîé è êpàñèâîé òåîpèè, êàê äëÿ ëèíåéíûõ påãpåññèîííûõ ìîäåëåé, ó êîòîpûõ îøèáêè èìåþò íîpìàëüíîå pàñïpåäåëåíèå, ìîæíî ãîâîpèòü è î ïpåèìóùåñòâàõ ìîäåëåé ñ t-pàñïpåäåëåíèåì. Òàê, ôàêòè÷åñêè, påãpåññèîííûå ìîäåëè, ó êîòîðûõ îøèáêè èìåþò t-pàñïpåäåëåíèå, âêëþ÷àþò â ñåáÿ â êà÷åñòâå
÷àñòíîãî ñëó÷àÿ påãpåññèîííûå ìîäåëè, ó êîòîpûõ îøèáêè èìåþò íîðìàëüíîå pàñïpåäåëåíèå, ïîñêîëüêó ïpè ñòpåìëåíèè ÷èñëà ñòåïåíåé ñâîáîäû ê áåñêîíå÷íîñòè t-pàñïpåäåëåíèÿ ïåpåõîäÿò â íîpìàëüíîå pàñïpåäåëåíèå. È påçóëüòàòû â ïpåäïîëîæåíèè, ÷òî
îøèáêè èìåþò t-pàñïpåäåëåíèå ñ äîñòàòî÷íî áîëüøèì ÷èñëîì ñòåïåíåé ñâîáîäû, è â
ïpåäïîëîæåíèè, ÷òî îøèáêè èìåþò íîpìàëüíîå pàñïpåäåëåíèå, îêàçûâàþòñÿ ïðàêòè÷åñêè íåîòëè÷èìûìè. Íàêîíåö, ïpè îöåíêå ìåòîäîì ìàêñèìàëüíîãî ïpàâäîïîäîáèÿ ïàpàìåòpîâ påãpåññèîííûõ ìîäåëåé, ó êîòîpûõ îøèáêè èìåþò t-pàñïpåäåëåíèÿ, ìîæíî
èñïîëüçîâàòü ïpîöåäópû, îáëàäàþùèå ñâîéñòâîì pîáàñòíîñòè.
Íåpåäêî ñòàòèñòè÷åñêèå äàííûå, ïî êîòîpûì ñòpîèòñÿ påãpåññèîííàÿ ìîäåëü,
ñîäåpæàò påçêî âûäåëÿþùèåñÿ íàáëþäåíèÿ (outliers). Ýòè íàáëþäåíèÿ ñóùåñòâåííî
îòäåëåíû îò îñíîâíîé ÷àñòè è íå ïîä÷èíÿþòñÿ îáùåé ñòpóêòópå.  êàêèõ-òî ñëó÷àÿõ
òàêèå âûápîñû ÿâëÿþòñÿ ïpîñòî ñëåäñòâèåì îøèáîê, äîïóùåííûõ ïpè ñáîpå èëè îáðàáîòêå èíôîpìàöèè, íî ìîãóò îòpàæàòü è påàëüíûå ýôôåêòû.
Ïpè èñïîëüçîâàíèè ìíîãèõ îáùåïpèíÿòûõ ïpîöåäóp äëÿ îöåíêè ïàpàìåòpîâ äàæå îäíî påçêî âûäåëÿþùååñÿ íàáëþäåíèå ìîæåò îêàçàòü î÷åíü ñèëüíîå è ÷àñòî èñêàæàþùåå ïpàâèëüíóþ êàpòèíó äåéñòâèå. Ýòî ëåãêî ïîíÿòü íà ïpèìåpå âûáîpî÷íîãî
ñpåäíåãî èëè âûáîpî÷íîé äèñïåpñèè. Òî æå îòíîñèòñÿ è ê ìåòîäó íàèìåíüøèõ êâàäðàòîâ ïpè îïpåäåëåíèè êîýôôèöèåíòîâ â ëèíåéíîé påãpåññèîííîé ìîäåëè.
Ðîáàñòíûå ïpîöåäópû îöåíêè ïàpàìåòpîâ ïpåòåíäóþò íà òî, ÷òîáû äàâàòü õîðîøåå ñîîòâåòñòâèå îáùåé ñòpóêòópå è ïpè íàëè÷èè påçêî âûäåëÿþùèõñÿ íàáëþäåíèé, êàê è â ñëó÷àå, êîãäà påçêî âûäåëÿþùèåñÿ íàáëþäåíèÿ îòñóòñòâóþò. Âûÿâëåííàÿ òàêèì îápàçîì ñòpóêòópà, â ñâîþ î÷åpåäü, ìîæåò áûòü èñïîëüçîâàíà äëÿ îáíàðóæåíèÿ påçêî âûäåëÿþùèõñÿ íàáëþäåíèé äàæå ïpè pàáîòå ñ ìíîãîìåpíûìè ñòàòèñòè÷åñêèìè äàííûìè.
 êàêîé ìåpå ìîæíî ãîâîpèòü, ÷òî ýòè ïpåòåíçèè ñîîòâåòñòâóþò äåéñòâèòåëüíîñòè? Ñóùåñòâóþò pàçëè÷íûå ïîäõîäû ê ïîñòpîåíèþ pîáàñòíûõ àëãîpèòìîâ. Èíîãäà
påçêî âûäåëÿþùèåñÿ íàáëþäåíèÿ àâòîìàòè÷åñêè èãíîpèpóþòñÿ. Äëÿ òåõ ìåòîäîâ, êîòîðûå èçó÷àþòñÿ â íàñòîÿùåé pàáîòå, âêëàä òàêèõ íàáëþäåíèé òîëüêî óìåíüøàåòñÿ.
Äëÿ êàæäîãî êëàññà àëãîpèòìîâ ñëîâà «õîpîøåå ñîîòâåòñòâèå îáùåé ñòpóêòópå è ïpè
íàëè÷èè påçêî âûäåëÿþùèõñÿ íàáëþäåíèé» íàïîëíÿþòñÿ ñâîèì ñîäåpæàíèåì.
Ñpåäè ïpåäøåñòâóþùèõ pàáîò, â êîòîpûõ èçó÷àþòñÿ àëãîpèòìû òîãî æå êëàññà,
÷òî è ó íàñ, íàçîâåì [7, 12, 19]. Ê ïåðå÷èñëåííûì ìîæíî áûëî áû äîáàâèòü è èíòåðåñíóþ pàáîòó [13], îäíàêî â [8, ñ. 165] óêàçûâàåòñÿ íà íåïpàâèëüíûå âûâîäû, èìåþùèåñÿ
â ýòîé pàáîòå. Ïîäpîáíåå î «ïîäâîäíûõ êàìíÿõ», âîçíèêàþùèõ, åñëè âêëþ÷àòü â ñî-
70
¹1
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
ñòàâ àpãóìåíòîâ ôóíêöèè ïpàâäîïîäîáèÿ ÷èñëî ñòåïåíåé ñâîáîäû t-pàñïpåäåëåíèÿ, ñì.
[8, 14].
Ðîáàñòíûå àëãîpèòìû äpóãèõ êëàññîâ ïpåäñòàâëåíû, íàïpèìåp, â êíèãàõ [15, 18].
Ïðèìåíÿåòñÿ è áàéåñîâñêèé ïîäõîä (ñì., íàïpèìåp, [9]). Èç ðàáîò ïðèêëàäíîé íàïðàâëåííîñòè íàçîâåì [17, 22].
Ñîäåpæàíèå íàñòîÿùåé pàáîòû ñëåäóþùåå. Â ïàpàãpàôå 2 íà ïpèìåpå ìíîæåñòâåííîé påãpåññèè (íàáëþäåíèÿ îäíîìåpíûå, îáúÿñíÿþùèõ ôàêòîpîâ íåñêîëüêî) îáñóæäàåòñÿ ñâÿçü M-îöåíîê è ìåòîäà íàèìåíüøèõ êâàäpàòîâ ñ èòåpàöèîííî ìîäèôèöèðóåìûìè âåñàìè. Â ïàpàãpàôå 3 ïpèâîäèòñÿ îïèñàíèå EM-àëãîpèòìà, ñïåöèàëèçèðîâàííîãî
ìåòîäà íàõîæäåíèÿ òî÷êè ìàêñèìóìà èìåííî ôóíêöèè ïpàâäîïîäîáèÿ.  ïàpàãpàôå 4
èçëàãàþòñÿ íåêîòîpûå påçóëüòàòû, îòíîñÿùèåñÿ ê îöåíêå ïàpàìåòpîâ ìíîæåñòâåííîé
påãpåññèè ñ îøèáêàìè, èìåþùèìè îäíîìåpíîå t-pàñïpåäåëåíèå. Îáúÿñíÿåòñÿ, ïî÷åìó
ïðèìåíåíèå EM-àëãîpèòìà â äàííîì ñëó÷àå äàåò pîáàñòíûé ìåòîä îöåíêè ïàpàìåòpîâ påãpåññèè. Òàêæå â ýòîì ïàpàãpàôå ïpèâîäÿòñÿ påçóëüòàòû ÷èñëåííîãî èññëåäîâàíèÿ ïî ìåòîäó Ìîíòå-Êàpëî.  ïàpàãpàôå 5 óñòàíàâëèâàþòñÿ äâå íîâûå òåîðåìû î ìàòpè÷íîì ãàììà-pàñïpåäåëåíèè. Çàòåì ýòè òåîpåìû èñïîëüçóþòñÿ â ïàpàãpàôå 6,
ãäå påçóëüòàòû, èçëîæåííûå â ïàpàãpàôå 4, îáîáùàþòñÿ íà ñëó÷àé ìíîãîìåðíîé
påãpåññèè (íàáëþäåíèÿ ìíîãîìåpíûå, îáúÿñíÿþùèõ ôàêòîpîâ íåñêîëüêî). Ïpè ýòîì
îøèáêè èìåþò t-pàñïpåäåëåíèå ñ âåêòîpíûì ïàpàìåòpîì ñòåïåíåé ñâîáîäû (ââåäåííîå â [3, 4]). Ïpèåì, ïpèìåíÿåìûé â ïàpàãpàôå 6, êîãäà â EM-àëãîpèòìå â êà÷åñòâå íåíàáëþäàåìûõ ïåpåìåííûõ áåpóòñÿ ñëó÷àéíûå ìàòpèöû, âèäèìî, èñïîëüçóåòñÿ âïåðâûå. Òàêæå â ýòîì ïàpàãpàôå ïpèâîäÿòñÿ påçóëüòàòû îäíîãî pàñ÷åòà.
2. Ðîáàñòíîñòü M-îöåíîê
Ðàññìîòðèì îáû÷íóþ ëèíåéíóþ ðåãðåññèþ
q
(1)
yi =
еx
i ab a
+ ei , i = 1,..., n .
a =1
Îáúÿñíÿþùèå ïåðåìåííûå xi a ñ÷èòàþòñÿ èçâåñòíûìè ÷èñëàìè. ×åðåç y1 ,..., yn
îáîçíà÷àþòñÿ è îäíîìåðíûå íàáëþäåíèÿ, è ñëó÷àéíûå âåëè÷èíû, ïðåäñòàâëÿþùèå ñîáîé âåðîÿòíîñòíóþ ìîäåëü äëÿ ýòèõ íàáëþäåíèé. Ïðåäïîëàãàåòñÿ, ÷òî ñëó÷àéíûå âåëè÷èíû e1,..., en íåçàâèñèìû, îäèíàêîâî ðàñïðåäåëåíû, è êàæäàÿ èç íèõ èìååò ôóíêöèþ ïëîòíîñòè
(2)
1 ж ei ц
jзз чч ,
s иsш
ãäå j( x ) – íåêîòîðàÿ èçâåñòíàÿ ôóíêöèÿ ïëîòíîñòè; s > 0 – ìàñøòàáèðóþùèé ìíîæèòåëü. (Êàê îáû÷íî, èñïîëüçóåòñÿ îäíî è òî æå îáîçíà÷åíèå ei è äëÿ ñëó÷àéíîé âåëè÷èíû, è äëÿ àðãóìåíòà ôóíêöèè ïëîòíîñòè.) Çàäà÷à ñîñòîèò â íàõîæäåíèè ïàðàìåòðîâ b1 ,...,b q è s .
(
)
(
)
Åñëè ââåñòè â ðàññìîòðåíèå q -ìåðíûå âåêòîðà xi = x i1 ,..., xiq ў è b = b1 ,...,b q ў,
øòðèõ îçíà÷àåò òðàíñïîíèðîâàíèå, òî ñóììó, âõîäÿùóþ â ïðàâóþ ÷àñòü (1), ìîæíî
îáîçíà÷èòü xiўb .
2011
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
71
Äëÿ îïðåäåëåíèÿ âåêòîðà b ìîæåò áûòü èñïîëüçîâàí ìåòîä íàèìåíüøèõ êâàäðàòîâ ñ âåñàìè, êîãäà îöåíêà âåêòîðà b ñòðîèòñÿ ïóòåì ìèíèìèçàöèè âûðàæåíèÿ
n
е w (y
(3)
i
i
- xiўb )2 ,
i =1
ãäå w1,..., wn – çàðàíåå âûáðàííûå ïîëîæèòåëüíûå ÷èñëà.  ÷àñòíîñòè, ïðè w1 = ... = wn = 1
äàííûé ìåòîä ÿâëÿåòñÿ îáû÷íûì ìåòîäîì íàèìåíüøèõ êâàäðàòîâ. (Ìû ñåé÷àñ íå êàñàåìñÿ òåîðåòè÷åñêèõ ñâîéñòâ ìåòîäà íàèìåíüøèõ êâàäðàòîâ ñ âåñàìè. Ïîä÷åðêíåì
òîëüêî, ÷òî ðå÷ü íå èäåò îá îáîáùåííîì ìåòîäå íàèìåíüøèõ êâàäðàòîâ, ñì., íàïðèìåð, [1, ãë. 5], õîòÿ òàì è âîçíèêàþò ñõîäíûå óðàâíåíèÿ.) Ïðèðàâíèâàíèå ê íóëþ
÷àñòíûõ ïðîèçâîäíûõ ôóíêöèè (3) ïî b1 ,..., b q , ÷òî ÿâëÿåòñÿ íåîáõîäèìûì óñëîâèåì ìèíèìóìà, äàåò ñèñòåìó óðàâíåíèé
n
еx
(4)
i a wi
( yi - xiўb ) = 0 ,
a = 1,..., q .
i =1
Ñ äðóãîé ñòîðîíû, îöåíêà ïàðàìåòðîâ b è s ìîæåò áûòü ïðîèçâåäåíà ìåòîäîì
ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ, êîãäà èùåòñÿ ìàêñèìóì ôóíêöèè
n
(5)
- n log s +
ж y i - xiўb ц
чч .
s ш
е log jззи
i =1
Åñëè ââåñòè â ðàññìîòðåíèå ôóíêöèþ
w( x ) = -
(6)
1 jў( x )
,
x j( x )
òî ïðèðàâíèâàíèå ê íóëþ ÷àñòíûõ ïðîèçâîäíûõ ôóíêöèè (5) ïî b1 ,...,b q äàåò ñèñòåìó óðàâíåíèé
n
еx
(7)
i =1
ж yi - xiўb ц
чч( y i - xiўb ) = 0 , a = 1,..., q .
и s ш
i a wз
з
Óðàâíåíèÿ (7), õîòÿ è ïîõîæè íà óðàâíåíèÿ (4), îòëè÷àþòñÿ îò íèõ òåì, ÷òî âåñà
çàâèñÿò îò èñêîìîãî ïàðàìåòðà b . Ââåäåì â ðàññìîòðåíèè n ґ q ìàòðèöó X , i -ÿ ñòðîêà êîòîðîé – ýòî xўi , è äèàãîíàëüíóþ n ґ n ìàòðèöó W , ó êîòîðîé i -é ýëåìåíò íà ãëàâíîé äèàãîíàëè – ýòî wi . Òîãäà óðàâíåíèÿ (4) ìîæíî çàïèñàòü â ôîðìå X ў W ( y - Xb ) = 0 ,
ãäå y = ( y ,..., y )ў . Îòñþäà
1
(8)
n
b = ( X ў WX ) -1 X ў W y ,
åñëè ìàòðèöà X ў WX íåâûðîæäåííàÿ. Ýòîò æå ïðèåì ìîæåò áûòü èñïîëüçîâàí è äëÿ
ðåøåíèÿ óðàâíåíèé (7).
72
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
¹1
Ïðåäïîëîæèì, ÷òî ôóíêöèÿ w ( x ) îáëàäàåò ñëåäóþùèìè ñâîéñòâàìè. Âî-ïåðâûõ, îíà ïðèíèìàåò òîëüêî íåîòðèöàòåëüíûå çíà÷åíèÿ. Âî-âòîðûõ, ýòà ôóíêöèÿ ìîíîòîííî íå óáûâàåò ïðè x < 0 è ìîíîòîííî íå âîçðàñòàåò ïðè x > 0 . Â-òðåòüèõ, w( x )
ñòðåìèòñÿ ê íóëþ è ïðè x ® Ґ , è ïðè x ® -Ґ . Òîãäà ìîæíî ãîâîðèòü î ðîáàñòíîñòè
îöåíîê ïàðàìåòðà b, ïîëó÷åííûõ ïðè ïîìîùè ñèñòåìû óðàâíåíèé (7), ïîñêîëüêó ðåçêî âûäåëÿþùèìñÿ íàáëþäåíèÿì yi , êàê ïðàâèëî, ñîîòâåòñòâóþò áîëüøèå ïî àáñîж y - xiўb ц
чч .
ëþòíîé âåëè÷èíå ðàçíîñòè yi - xiўb è, ñîîòâåòñòâåííî, ìàëûå âåñà wзз i
и s ш
1 -x2 / 2
Íåòðóäíî óâèäåòü, ÷òî åñëè j( x ) =
e
– ôóíêöèÿ ïëîòíîñòè ñòàíäàðòíî2p
ãî íîðìàëüíîãî ðàñïðåäåëåíèÿ, òî w( x ) є 1 . È â ýòîì ñëó÷àå ñèñòåìà óðàâíåíèé (7) íå
ïðèâîäèò ê ðîáàñòíûì îöåíêàì ïàðàìåòðà b. Îòñþäà âîçíèêàåò èäåÿ ðàññìîòðåòü
òàê íàçûâàåìûå Ì-îöåíêè, êîòîðûå âêëþ÷àþò â ñåáÿ â êà÷åñòâå ÷àñòíîãî ñëó÷àÿ îöåíêè ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ (ñì., íàïðèìåð, [2, 6]).  ýòîì ñëó÷àå ôóíêöèÿ w( x ) ,
èñïîëüçóåìàÿ â ñèñòåìå óðàâíåíèé (7), íå îáÿçàòåëüíî ñâÿçàíà ñ ôóíêöèåé j( x ) ñîîòíîøåíèåì (6). Çàòî ìîæíî ïîòðåáîâàòü, ÷òîáû ôóíêöèÿ w ( x ) îáëàäàëà òðåìÿ ïåðå÷èñëåííûìè âûøå ñâîéñòâàìè. Èëè äàæå áîëåå ñèëüíûìè ñâîéñòâàìè, íàïðèìåð, îáðàùàëàñü â íîëü ïðè äîñòàòî÷íî áîëüøèõ ïî àáñîëþòíîé âåëè÷èíå x .
Àðãóìåíòàöèÿ â ïîëüçó Ì-îöåíîê ìîæåò áûòü è òàêîé. Åñëè ôóíêöèÿ j( x ) íà
ïðàêòèêå âñå ðàâíî íå èçâåñòíà, òî ïî÷åìó íóæíî íà÷èíàòü ñ âûáîðà ôóíêöèè j( x ), à
íå ñ âûáîðà ôóíêöèè w ( x ) ? Ìîæåò áûòü, ïðàâèëüíåå íà÷èíàòü ñ âûáîðà ôóíêöèè
w ( x ), à ôóíêöèþ j( x ) îïðåäåëÿòü èç óðàâíåíèÿ (6)?
Íî ìû âñå æå íà÷íåì ñ âûáîðà ôóíêöèè j( x ), à íå ñ âûáîðà ôóíêöèè w ( x ).
Ïðè ëþáîì a > 0 ìîæíî ðàññìîòðåòü ôóíêöèþ
(9)
j( x ) =
G (a + 0,5) ж
x 2 цч
з1 +
з
ч
2pa
G ( a ) и 2a ш
1
- a - 0 ,5
– ôóíêöèþ ïëîòíîñòè t -ðàñïðåäåëåíèÿ ñ 2a ñòåïåíÿìè ñâîáîäû. Èçâåñòíî, ÷òî
ïðè a ® Ґ ôóíêöèÿ j( x ) ïåðåõîäèò â ôóíêöèþ ïëîòíîñòè ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ. Íåòðóäíî óâèäåòü, ÷òî åñëè ôóíêöèÿ j( x ) çàäàåòñÿ ôîðìóëîé (9),
2a + 1
òî îïðåäåëÿåìàÿ ñîîòíîøåíèåì (6) ôóíêöèÿ w ( x ) èìååò âèä w( x ) =
. È â ýòîì
2a + x 2
ñëó÷àå ìîæíî îæèäàòü, ÷òî ïîëó÷åííàÿ ïóòåì ðåøåíèÿ ñèñòåìû óðàâíåíèé (7) îöåíêà
ïàðàìåòðà b áóäåò îáëàäàòü ñâîéñòâîì ðîáàñòíîñòè (äàæå åñëè íå ïåðåõîäèòü îò îöåíîê ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ ê áîëåå îáùèì Ì-îöåíêàì), ïîñêîëüêó w ( x ) ñòðåìèòñÿ ê íóëþ è ïðè x ® Ґ , è ïðè x ® -Ґ .
Åñëè çàïèñàòü ñèñòåìó óðàâíåíèé (7) â âèäå (8), òî W – ýòî äèàãîíàëüíàÿ
ж y - xiўb ц
n ґ n ìàòðèöà, ó êîòîðîé i -é ýëåìåíò íà ãëàâíîé äèàãîíàëè ðàâåí wз i
ч . Ðåи s ш
2011
73
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
øèòü óðàâíåíèå (8) ìîæíî ïîïûòàòüñÿ ìåòîäîì ïðîñòîé èòåðàöèè. Âûáðàâ íà÷àëüíîå
ïðèáëèæåíèå b ( 0 ) , íàïðèìåð, ïðè ïîìîùè ìåòîäà íàèìåíüøèõ êâàäðàòîâ, ò.å. ðåøèâ
óðàâíåíèå (8) ñ åäèíè÷íîé ìàòðèöåé W , çàòåì ïðèíèìàåì
(
b ( r +1) = X ў W ( r ) X
(10)
)
-1
X ў W (r) y ,
ãäå W (r ) – ýòî äèàãîíàëüíàÿ n ґ n ìàòðèöà, ó êîòîðîé i -é ýëåìåíò íà ãëàâíîé äèàж y - xiўb ( r ) ц
ч.
ãîíàëè ðàâåí wзз i
ч
(r)
и s
ш
Ïðèðàâíèâàíèå ê íóëþ ÷àñòíîé ïðîèçâîäíîé ôóíêöèè (5) ïî s äàåò âûðàæåíèå
(11)
s2 =
n
1
е(y
n
i
i =1
ж y - xiўb ц
чч( y i - xiўb ) ,
- xiўb ) wзз i
и s ш
÷òî ðàâíîñèëüíî ñîîòíîøåíèþ
s2 =
1
( y - Xb )ўW ( y - Xb ) .
n
Ïîñëåäíåå óðàâíåíèå ïîçâîëÿåò íàõîäèòü çíà÷åíèÿ s èòåðàöèÿìè:
(12)
2
s( r +1) =
1
n
(y - Xb )ўW (y - Xb ) .
( r +1)
(r)
( r +1)
2
Äëÿ îïðåäåëåíèÿ s( 0 ) ìîæåò áûòü èñïîëüçîâàíà åäèíè÷íàÿ ìàòðèöà W .
Õîðîøî èçâåñòíî, ÷òî ïîñëåäîâàòåëüíîñòü çíà÷åíèé, ïîëó÷àåìûõ ïðè ïîìîùè
ìåòîäà ïðîñòîé èòåðàöèè, ìîæåò áûòü êàê ñõîäÿùåéñÿ, òàê è íå áûòü ñõîäÿùåéñÿ.
Íà ïðàêòèêå ýòîò ìåòîä îáû÷íî ïðèìåíÿþò äëÿ íåáîëüøèõ ðàñ÷åòîâ, ðóêîâîäñòâóÿñü ïðèíöèïîì «ðàç ñîøëîñü, çíà÷èò, ðåøåíèå ïîëó÷åíî». Õîòÿ è ñóùåñòâóþò óñëîâèÿ, ãàðàíòèðóþùèå ñõîäèìîñòü ìåòîäà ïðîñòîé èòåðàöèè. Êðîìå òîãî, â ïðàâîé
÷àñòè (12) ñòîèò íå b (r ) , à b ( r +1) , ò.å. â äàííîì ñëó÷àå ïðîèçâîäèòñÿ íåêîòîðîå óñëîæíåíèå ìåòîäà ïðîñòîé èòåðàöèè.
 ïàðàãðàôå 4 ïîêàçàíî, ÷òî äëÿ ìíîæåñòâåííîé ëèíåéíîé ðåãðåññèè, êîãäà
îøèáêè èìåþò t -ðàñïðåäåëåíèå, ïðèìåíåíèå EM-àëãîðèòìà ïðèâîäèò ê òîìó æå
2
èòåðàöèîííîìó ïðîöåññó (10), (12) äëÿ îïðåäåëåíèÿ b ( r +1) , s ( r +1) . À òîãäà ïðèìåíèìû òåîðåìû î ñõîäèìîñòè èòåðàöèîííîãî ïðîöåññà, ïîñòðîåííîãî íà îñíîâå EMàëãîðèòìà.  ðàìêàõ EM-àëãîðèòìà òàêæå ìîæíî ïðîâåñòè îáîáùåíèå íà ñëó÷àé,
êîãäà íàáëþäåíèÿ y1,..., y n íå îäíîìåðíûå, à m -ìåðíûå (ñì. ïàðàãðàô 6).
Áîëåå ïîäðîáíî ñâÿçü ìåòîäà íàèìåíüøèõ êâàäðàòîâ ñ èòåðàöèîííî ìîäèôèöèðóåìûìè âåñàìè è ðîáàñòíûõ ïðîöåäóð îñâåùàåòñÿ, íàïðèìåð, â ðàáîòå [21].
74
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
¹1
3. EM-àëãîðèòì
EM-àëãîðèòì ïðåäíàçíà÷åí äëÿ ïîèñêà òî÷êè, â êîòîðîé äîñòèãàåò ìàêñèìóìà
ôóíêöèÿ ïðàâäîïîäîáèÿ, ïóòåì ïîñòðîåíèÿ íåêîòîðîãî èòåðàöèîííîãî ïðîöåññà. Êàæäûé øàã èòåðàöèîííîãî ïðîöåññà ñîñòîèò èç äâóõ ïîäøàãîâ. E-ïîäøàã çàêëþ÷àåòñÿ â
íàõîæäåíèè îæèäàíèÿ (expectation) íåêîòîðîé ôóíêöèè îò ñëó÷àéíûõ âåëè÷èí. Ïðè
ýòîì îæèäàíèå ñàìî îêàçûâàåòñÿ ôóíêöèåé èíòåðåñóþùåãî ïàðàìåòðà. M-ïîäøàã –
ýòî ìàêñèìèçàöèÿ (maximization), îïðåäåëåíèå òîãî çíà÷åíèÿ ïàðàìåòðà, ïðè êîòîðîì
äàííàÿ ôóíêöèÿ äîñòèãàåò ìàêñèìóìà. Ïåðâûå áóêâû ïðèâåäåííûõ àíãëèéñêèõ ñëîâ è
äàþò íàçâàíèå àëãîðèòìà. Îáçîð ðàçëè÷íûõ çàäà÷, äëÿ ðåøåíèÿ êîòîðûõ ïðèìåíÿåòñÿ
EM-àëãîðèòì, ìîæíî íàéòè, íàïðèìåð, â ðàáîòå [16].
Ïóñòü y = ( y1,..., yn ) – ýòî íàáîð íàáëþäåíèé, âîîáùå ãîâîðÿ, ìíîãîìåðíûõ.
z = (z1 ,..., zn ) – íàáîð íåíàáëþäàåìûõ âåëè÷èí òàêæå, âîîáùå ãîâîðÿ, ìíîãîìåðíûõ.
Ñ îäíîé ñòîðîíû, ïðåäïîëàãàåòñÿ, ÷òî íåíàáëþäàåìûå âåëè÷èíû çàìåòíî âëèÿþò íà
íàáëþäàåìûå, è ïðèâëå÷åíèå èõ äëÿ àíàëèçà îòâå÷àåò ñóùåñòâó äåëà. Ñ äðóãîé ñòîðîíû, íàõîæäåíèå òî÷åê ìàêñèìóìà ôóíêöèé â ðàìêàõ EM-àëãîðèòìà ìîæåò îêàçàòüñÿ
çíà÷èòåëüíî áîëåå ïðîñòîé è íàäåæíîé ñ âû÷èñëèòåëüíîé òî÷êè çðåíèÿ ïðîöåäóðîé,
÷åì íåïîñðåäñòâåííîå íàõîæäåíèå òî÷êè ìàêñèìóìà èñõîäíîé ôóíêöèè ïðàâäîïîäîáèÿ.  êàêèõ-òî çàäà÷àõ íå âûçûâàåò ñîìíåíèé, ÷òî èìåííî ñëåäóåò âçÿòü â êà÷åñòâå
íåíàáëþäàåìûõ âåëè÷èí.  äðóãèõ çàäà÷àõ îòâåò íà ýòîò âîïðîñ íå ñòîëü î÷åâèäåí.
Îáîçíà÷èì ÷åðåç h ñîâìåñòíóþ ôóíêöèþ ïëîòíîñòè ñëó÷àéíûõ âåêòîðîâ y è
z, ÷åðåç g – óñëîâíóþ ôóíêöèþ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà z ïðè çàäàííîì y ,
÷åðåç f – ìàðãèíàëüíóþ ôóíêöèþ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà y. Âñå ýòè ôóíêöèè ïëîòíîñòè ñ÷èòàþòñÿ çàâèñÿùèìè îò íåêîòîðîãî ïàðàìåòðà q, âîîáùå ãîâîðÿ,
ìíîãîìåðíîãî. Èìååò ìåñòî ñîîòíîøåíèå
f ( y ; q) =
h( y , z; q)
.
g ( z | y; q)
Ïåðåõîäÿ ê ëîãàðèôìàì, ïîëó÷àåì ñîîòíîøåíèå äëÿ ëîãàðèôìè÷åñêèõ ôóíêöèé
ïðàâäîïîäîáèÿ
(13)
l (q | y ) = l (q | y , z ) - log g ( z | y; q) .
Çàäà÷à ñîñòîèò â íàõîæäåíèè òî÷êè q, â êîòîðîé äîñòèãàåò ìàêñèìóìà ôóíêöèÿ l (q | y ) . Ïóñòü q(r ) – çíà÷åíèå ïàðàìåòðà q, íàéäåííîå ïðè r -é èòåðàöèè. Óìíîæèì ëåâóþ è ïðàâóþ ÷àñòè (13) íà g ( z | y; q( r ) ) è ïðîèíòåãðèðóåì ïî z. Ââåäåì îáîçíà÷åíèÿ
U (q | y; q( r ) ) = l (q | y , z ) g ( z | y; q( r ) ) dz ,
т
r(q | y; q( r ) ) = log g ( z | y; q) g ( z | y; q( r ) ) dz .
т
Òîãäà
(14)
l (q | y ) = U (q | y; q(r ) ) - r(q | y; q(r ) ) .
2011
75
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
Çàìåòèì, ÷òî
т
log
g ( z | y ; q( r ) )
g ( z | y; q( r ) ) dz
g ( z | y ; q)
– ýòî ðàññòîÿíèå Êóëüáàêà – Ëåéáëåðà ìåæäó ôóíêöèÿìè ïëîòíîñòè g ( z | y; q( r ) ) è
g ( z | y; q) , êîòîðîå, êàê èçâåñòíî, âñåãäà íåîòðèöàòåëüíî. Ïîýòîìó ïðè ëþáîì q
(15)
r(q | y; q(r ) ) Ј r(q( r ) | y; q( r ) ) .
E-ïîäøàã ñîñòîèò â íàõîæäåíèè îæèäàåìîãî ëîãàðèôìè÷åñêîãî ïðàâäîïîäîáèÿ
U (q | y; q(r ) ) .
M-ïîäøàã ñîñòîèò â íàõîæäåíèè òî÷êè
q(r +1) = arg max U (q | y; q(r ) ) .
q
Èç (14), (15) è ñïîñîáà îïðåäåëåíèÿ òî÷êè q( r +1) ñëåäóåò, ÷òî
(16)
l (q( r +1) | y ) і l (q( r ) | y ) .
Ñîîòíîøåíèÿ (16) ïîêàçûâàþò, ÷òî äâèæåíèå èäåò «â ïðàâèëüíîì íàïðàâëåíèè»,
íî åùå íå ãàðàíòèðóþò, ÷òî ïîñëåäîâàòåëüíîñòü q(r ) ñõîäèòñÿ. Óñëîâèÿ îáùåãî õàðàêòåðà, èç êîòîðûõ ñëåäóåò ñõîäèìîñòü ýòîé ïîñëåäîâàòåëüíîñòè ê òî÷êå ìàêñèìóìà
ôóíêöèè l (q | y ), äàþòñÿ â ðàáîòå [20] òåîðåìàìè 1 è 4.
4. Ìíîæåñòâåííàÿ ëèíåéíàÿ ðåãðåññèÿ
 ýòîì ïàðàãðàôå ðàññìàòðèâàåòñÿ íàáîð îäíîìåðíûõ íàáëþäåíèé y1,..., y n , è
áóäåì ïðåäïîëàãàòü, ÷òî íåíàáëþäàåìûå âåëè÷èíû z1 ,..., zn òàêæå îäíîìåðíûå è, êðîìå
òîãî, ïîëîæèòåëüíûå. Äâóìåðíûå ñëó÷àéíûå âåëè÷èíû ( y1 , z1 ) ,…, ( yn , zn ) ñ÷èòàåì íåçàâèñèìûìè.
Ïðåäïîëîæèì, ÷òî ñîâìåñòíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíûõ âåëè÷èí yi è zi
èìååò âèä
(17)
ж z e2 ц
expз - i i ч g (zi ) ,
з 2s 2 ч
s 2p
и
ш
z1i / 2
ãäå ei = yi - xiўb â ñîîòâåòñòâèè ñ (1). Áóäåì èñïîëüçîâàòü îáîçíà÷åíèå q äëÿ ïàðû b, s .
Òîãäà h( y , z; b, s) – ýòî ïðîèçâåäåíèå ôóíêöèé (17) ïðè i = 1,..., n . Ñëåäîâàòåëüíî,
n
1
log h ( y, z; b , s) = - log 2p - n log s +
2
2
n
е
i =1
log zi -
1
2s 2
n
е
i =1
n
zi ei2 +
е log g (z ) .
i
i =1
76
¹1
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
Ïðåíåáðåãàÿ ñëàãàåìûìè, íå çàâèñÿùèìè íè îò b, íè îò s, ïîëó÷àåì âûðàæåíèå äëÿ
ëîãàðèôìè÷åñêîé ôóíêöèè ïðàâäîïîäîáèÿ
l (q | y , z ) = - n log s -
(18)
1
2s 2
n
2
i i
еz e
.
i =1
 ñîîòâåòñòâèè ñ îïðåäåëåíèåì, äàííûì â ïàðàãðàôå 3,
(
) (
)
U q | y ; q( r ) = E l ( q | y , z ) | y ; q( r ) ,
ãäå l (q | y , z ) ðàññìàòðèâàåòñÿ êàê ôóíêöèÿ ñëó÷àéíîãî âåêòîðà z. Èç (18) ñëåäóåò,
÷òî ýòà ôóíêöèÿ ëèíåéíà îòíîñèòåëüíî z1 ,..., z n .
Ðàñïðåäåëåíèå âåðîÿòíîñòåé ñ ñîâìåñòíîé ôóíêöèåé ïëîòíîñòè (17) íàçûâàåòñÿ
íîðìàëüíûì-ãàììà ðàñïðåäåëåíèåì, åñëè
g ( z) =
(19)
Aa
G( a )
exp(- Az ) z a -1 ,
ãäå a > 0 , A > 0 . Òîãäà, êàê íåòðóäíî óâèäåòü, (âûêëàäêè äëÿ m -ìåðíîãî ñëó÷àÿ ïðèâîäÿòñÿ â ïàðàãðàôå 6) ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîé âåëè÷èíû yi
èìååò âèä (2), ãäå
j( x ) = ( 2p) -1 / 2
(20)
Aa
G(a + 0,5)
(A + 0,5x )
2
G( a )
a + 0 ,5
.
Èç (6) ñëåäóåò, ÷òî â ýòîì ñëó÷àå
w( x ) =
(21)
a + 0,5
A + 0,5x 2
.
Ââåäåì îáîçíà÷åíèå ei( r ) = y i - xiўb ( r ) è âîñïîëüçóåìñÿ òåì, ÷òî
ж 1
ц
E zi | yi ; q( r ) = w з ( r ) ei( r ) ч .
иs
ш
(
(22)
)
Äîêàçàòåëüñòâî ñîîòíîøåíèÿ (22) äëÿ m -ìåðíîãî ñëó÷àÿ ïðèâîäèòñÿ â ïàðàãðàôå 6. Äëÿ îäíîìåðíîãî ñëó÷àÿ (22) äîêàçàíî â ðàáîòå [7], è â ýòîì äîêàçàòåëüñòâå íå
òðåáóåòñÿ, ÷òîáû ôóíêöèÿ g (z ) îáÿçàòåëüíî èìåëà âèä (19). Èç (18) è (22) ñëåäóåò, ÷òî
(
)
U q | y; q( r ) = - n log s -
n
1
2s
2
ж 1
е w зи s
i =1
(r)
ц
ei( r ) ч ( y i - xiўb )2 .
ш
Òàêèì îáðàçîì, E-ïîäøàã EM-àëãîðèòìà âûïîëíåí. Âûïîëíåíèå M-ïîäøàãà
àíàëîãè÷íî ïðîöåäóðå, îïèñàííîé â ïàðàãðàôå 2 (ñð. (3), (5), (7), (11), (12)).
2011
77
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
Ïðèìåð 1. Ñîêðàùåíèÿ Ì1 è Ì2 â ýòîì ïðèìåðå èñïîëüçóþòñÿ äëÿ îáîçíà÷åíèÿ
îäíîãî èç äâóõ ìåòîäîâ, ïðèìåíÿåìûõ äëÿ îïðåäåëåíèÿ ïàðàìåòðà b è ñòàíäàðòíîãî
îòêëîíåíèÿ âîçìóùåíèé s.
Ì1 – ìåòîä ìàêñèìàëüíîãî ïðàâäîïîäîáèÿ â ïðåäïîëîæåíèè íîðìàëüíîñòè âîçìóùåíèé.
Ì2 – EM-àëãîðèòì â ïðåäïîëîæåíèè, ÷òî âîçìóùåíèÿ èìåþò t -ðàñïðåäåëåíèå
ñ òðåìÿ ñòåïåíÿìè ñâîáîäû.
Ðàññìàòðèâàþòñÿ òðè ðàçëè÷íûõ âèäà ñãåíåðèðîâàííûõ ðÿäîâ íàáëþäåíèé.
Í0 – íàáëþäåíèÿ ñîîòâåòñòâóþò ìîäåëè ñ íîðìàëüíûìè âîçìóùåíèÿìè.
Í1 – íàáëþäåíèÿ ñîîòâåòñòâóþò ìîäåëè ñ íîðìàëüíûìè e -çàñîðåííûìè âîçìóùåíèÿìè, e = 0,1 .
Í2 – íàáëþäåíèÿ ñîîòâåòñòâóþò ìîäåëè ñ âîçìóùåíèÿìè, èìåþùèìè t -ðàñïðåäåëåíèå ñ òðåìÿ ñòåïåíÿìè ñâîáîäû.
Öåëüþ ÿâëÿåòñÿ èññëåäîâàòü ïîâåäåíèå êàæäîãî èç ìåòîäîâ äëÿ «ñâîèõ» è «÷óæèõ» ðÿäîâ íàáëþäåíèé. Äëÿ ïðîñòîòû ìû îãðàíè÷èâàåìñÿ ëèøü âîçìóùåíèÿìè,
èìåþùèìè êîíå÷íûå äèñïåðñèè.
Ïóñòü n = 15 , q = 1 , xi 1 = 1 ïðè êàæäîì i , 1 Ј i Ј n . Ñëó÷àéíàÿ âåëè÷èíà ei èìååò ôóíêöèþ ïëîòíîñòè (2), ãäå j( x ) – ëèáî ôóíêöèÿ ïëîòíîñòè ñòàíäàðòíîãî íîðìàëüíîãî ðàñïðåäåëåíèÿ, ëèáî ôóíêöèÿ ïëîòíîñòè t -ðàñïðåäåëåíèÿ ïðè 2a = 3 ; îáå ýòè
ôóíêöèè ïëîòíîñòè ïðèâåäåíû â ïàðàãðàôå 2. Äëÿ ãåíåðàöèè íàáëþäåíèé yi èñïîëüçóþòñÿ çíà÷åíèÿ b = 1 , s = 0,3 . Ïðè èñïîëüçîâàíèè íîðìàëüíûõ âîçìóùåíèé s = s .
Ïðè èñïîëüçîâàíèè âîçìóùåíèé, èìåþùèõ t -ðàñïðåäåëåíèå ñ n ñòåïåíÿìè ñâîáîäû,
s=s
n-2
.
v
Ïðè ãåíåðàöèè ðÿäà ñ e -çàñîðåííûìè íàáëþäåíèÿìè ñ÷èòàåòñÿ, ÷òî ñ âåðîÿòíîñòüþ (1 - e ) ñòàíäàðòíîå îòêëîíåíèå âîçìóùåíèÿ ðàâíî s, è ñ âåðîÿòíîñòüþ e ðàâíî 5s.
Äëÿ êàæäîãî èç òðåõ âèäîâ ãåíåðèðóåòñÿ L = 300 ðÿäîâ íàáëþäåíèé äëèíû n .
Äëÿ l -ãî ýêñïåðèìåíòà, l = 1,..., L çíà÷åíèÿ ïàðàìåòðîâ b l è sl îïðåäåëÿþòñÿ è ìåòîäîì Ì1, è ìåòîäîì Ì2. Çàòåì îïðåäåëÿþòñÿ ñðåäíèå çíà÷åíèÿ
b=
1
L
L
е
bl , s =
l =1
1
L
L
еs
l
l =1
è ñðåäíåêâàäðàòè÷åñêèå îòêëîíåíèÿ
ж1
з
зL
и
L
1/ 2
ц
2
е (bl - b ) чч
l =1
ш
ж1
, з
зL
и
L
1/ 2
ц
е (sl - s ) 2 чч
l =1
.
ш
Ðåçóëüòàòû äëÿ ñðåäíèõ çíà÷åíèé ïðèâåäåíû â òàáë. 1 è 2.  ñêîáêàõ äàþòñÿ
ñðåäíåêâàäðàòè÷åñêèå îòêëîíåíèÿ.
78
¹1
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
Òàáëèöà 1.
Ðåçóëüòàòû äëÿ ïàðàìåòðà β, èñòèííîå çíà÷åíèå β = 1
Í0
Í1
Í2
Ì1
1,011
(0,071)
1,016
(0,133)
1,011
(0,067)
Ì2
1,017
(0,074)
1,019
(0,081)
1,012
(0,050)
Òàáëèöà 2.
Ðåçóëüòàòû äëÿ ïàðàìåòðà s, èñòèííîå çíà÷åíèå s = 0,3
Í0
Í1
Í2
Ì1
0,273
(0,052)
0,472
(0,228)
0,244
(0,093)
Ì2
0,370
(0,079)
0,454
(0,130)
0,276
(0,070)
Ñðàâíèâàÿ ðåçóëüòàòû äëÿ ðÿäîâ âèäà Í0 è Í2, ìû âèäèì, ÷òî «ñâîé» ìåòîä
(ò.å. ìåòîä Ì1 äëÿ ðÿäîâ Í0 è ìåòîä Ì2 äëÿ ðÿäîâ Í2) äàåò ëó÷øèå ðåçóëüòàòû è
â ñìûñëå ìåíüøåãî ðàçáðîñà (ò.å. ñðåäíåêâàäðàòè÷åñêîãî îòêëîíåíèÿ), è â ñìûñëå áëèçîñòè ñðåäíåãî çíà÷åíèÿ íàéäåííûõ ïàðàìåòðîâ ê èñòèííûì çíà÷åíèÿì (çà èñêëþ÷åíèåì çíà÷åíèÿ b = 1,012, êîòîðîå íåñêîëüêî õóæå, ÷åì çíà÷åíèå b = 1,011 ).
Íà ïåðâûé âçãëÿä, ðåçóëüòàòû äëÿ ïàðàìåòðà b äëÿ ðÿäîâ âèäà Í2 ïðîòèâîðå÷àò òåîðåìå Ãàóññà – Ìàðêîâà. Ìåòîä Ì1 ñîâïàäàåò ñ ìåòîäîì íàèìåíüøèõ êâàäðàòîâ, è, êàçàëîñü áû, äèñïåðñèÿ îöåíêè äîëæíà áûòü íàèìåíüøåé. À ñðåäíåêâàäðàòè÷åñêîå îòêëîíåíèå 0,067 ñóùåñòâåííî áîëüøå, ÷åì ñðåäíåêâàäðàòè÷åñêîå îòêëîíåíèå
0,050, ïîëó÷åííîå ïðè èñïîëüçîâàíèè ìåòîäà Ì2. Íà ñàìîì äåëå, ýòîò ïðèìåð âñåãî
ëèøü ïîêàçûâàåò, ÷òî òðåáîâàíèå ëèíåéíîñòè è íåñìåùåííîñòè îöåíêè, ñîäåðæàùååñÿ
â òåîðåìå Ãàóññà – Ìàðêîâà, íå ìîæåò áûòü îòáðîøåíî. Ìåòîä Ì2 íå ÿâëÿåòñÿ ëèíåéíûì.
Äëÿ ðÿäîâ âèäà Í1 â ðåçóëüòàòàõ äëÿ ïàðàìåòðà b âèäíà ðîáàñòíîñòü ìåòîäà
Ì2. Ïîëó÷åííîå ñðåäíåêâàäðàòè÷åñêîå îòêëîíåíèå ïðèìåðíî â 1,65 ðàçà ìåíüøå,
÷åì äëÿ ìåòîäà Ì1. Ðàçëè÷èå â ñðåäíèõ, 1,016 è 1,019, íîñèò ñëó÷àéíûé õàðàêòåð.
Òàê, äëÿ äðóãîé ñåðèè èç 300 ýêñïåðèìåíòîâ äëÿ ðÿäîâ âèäà Í1 äëÿ ïàðàìåòðà b ïðè
èñïîëüçîâàíèè ìåòîäà Ì1 ïîëó÷åíû ðåçóëüòàòû
äà Ì2 – ðåçóëüòàòû
1,019
(0,085)
1,023
(0,140)
, à ïðè èñïîëüçîâàíèè ìåòî-
. Ïðîÿâëÿåòñÿ ðîáàñòíîñòü ìåòîäà Ì2 è â ðåçóëüòàòàõ
äëÿ ïàðàìåòðà s äëÿ ðÿäîâ ýòîãî âèäà.
2011
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
79
5. Äâå òåîðåìû î ìàòðè÷íîì ãàììà-ðàñïðåäåëåíèè
Òåîðèÿ ìàòðè÷íûõ ãàììà-ðàñïðåäåëåíèé èçëàãàåòñÿ, íàïðèìåð, â [10]. Íàèáîëåå
èçâåñòíûìè èç ýòèõ ðàñïðåäåëåíèé ÿâëÿþòñÿ, âèäèìî, ðàñïðåäåëåíèÿ Óèøàðòà. Òàêæå â ðàáîòå [10, ñ. 122–124] ðàññìàòðèâàþòñÿ ìàòðè÷íûå ãàììà-ðàñïðåäåëåíèÿ ñ âåêòîðíûì ïàðàìåòðîì – íåêîòîðîå åñòåñòâåííîå îáîáùåíèå ðàñïðåäåëåíèé Óèøàðòà.
Ïðè òîì, ÷òî ëåãêèìè è êîðîòêèìè ôîðìóëèðîâêè çäåñü áûòü íå ìîãóò, îáîçíà÷åíèÿ,
èñïîëüçóåìûå â [10] è äðóãèõ ðàáîòàõ äëÿ ðàñïðåäåëåíèé ñ âåêòîðíûì ïàðàìåòðîì, ñ
íàøåé òî÷êè çðåíèÿ, íåñêîëüêî èçáûòî÷íû, âîçìîæíî, èç-çà ýòîãî îñòàëèñü íåèññëåäîâàííûìè ñâîéñòâà ýòèõ ðàñïðåäåëåíèé. Áîëåå ïðîçðà÷íûå îáîçíà÷åíèÿ äëÿ ìàòðè÷íûõ ãàììà-ðàñïðåäåëåíèé ñ âåêòîðíûì ïàðàìåòðîì èñïîëüçóþòñÿ â ðàáîòå [3].
Çäåñü ìû ïîâòîðèì òîëüêî ñàìûå íåîáõîäèìûå îïðåäåëåíèÿ.
{ }im, j=1
Äëÿ m ґ m ìàòðèöû C = ci j
ïðè k = 1,..., m ðàññìàòðèâàþòñÿ ïîäìàòðèöû
{ }ik, j =1 è C[k ] = {ci j }im, j =m-k +1 .
C [ k ] = ci j
Ðàññìàòðèâàåòñÿ òàêæå âåêòîð a = (a1,..., am ) òàêîé, ÷òî a j > 0,5( j - 1) ïðè
j = 1,..., m. Ìíîãîìåðíàÿ ãàììà-ôóíêöèÿ îïðåäåëÿåòñÿ ñëåäóþùèì îáðàçîì:
m
Gm* ( a ) = p m( m-1) / 4
Х G(a
j
)
- 0,5( j - 1) ,
j =1
ãäå G(Ч) – îáû÷íàÿ ãàììà-ôóíêöèÿ. Äîïîëíèòåëüíî ñ÷èòàåòñÿ, ÷òî
a0 = 0 , am+1 = 0,5( m + 1) .
Ïàðàìåòðàìè ðàññìàòðèâàåìûõ ãàììà-ðàñïðåäåëåíèé ÿâëÿþòñÿ âåêòîð a óêàçàííîãî âèäà è ïîëîæèòåëüíî îïðåäåëåííàÿ m ґ m ìàòðèöà A. Ôóíêöèÿ ïëîòíîñòè
èìååò âèä
m
(23)
g ( z ) = g a , A etr( - Az )
Х| z
[ j]
a j - a j +1
|
,
j =1
ãäå z – ïîëîæèòåëüíî îïðåäåëåííàÿ m ґ m ìàòðèöà; etr (C ) = exp( tr C ) ; | C | – îïðåäåëèòåëü ìàòðèöû C . Êîýôôèöèåíò g a, A çàäàåòñÿ ôîðìóëîé
(24)
g a,A
m -1
ж
ц
a -a
= з Gm* ( a)
| A[ m- j ] | j j +1 ч
з
ч
j =0
и
ш
-1
Х
(ñð. (23) è (24) ñ (19)).
Ïóñòü T – ñèììåòðè÷íàÿ m ґ m ìàòðèöà òàêàÿ, ÷òî ìàòðèöà A - T ïîëîæèòåëüíî îïðåäåëåííàÿ. (Èçíà÷àëüíî ñèììåòðè÷íàÿ ìàòðèöà T ìîæåò áûòü âçÿòà ïðîèçâîëüíî. Ïðè íåêîòîðîì e > 0 ìàòðèöà A - eT áóäåò ïîëîæèòåëüíî îïðåäåëåííîé.  ýòîì
ñìûñëå óñëîâèå, ÷òî ìàòðèöà A - T ïîëîæèòåëüíî îïðåäåëåííàÿ, íå ÿâëÿåòñÿ îãðàíè-
80
¹1
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
÷èòåëüíûì.) Ïóñòü Z – ïîëîæèòåëüíî îïðåäåëåííàÿ ñëó÷àéíàÿ ìàòðèöà ñ ôóíêöèåé
ïëîòíîñòè (23). Îïðåäåëèì ïðîèçâîäÿùóþ ôóíêöèþ ìîìåíòîâ
M (T ) = E etr (T Z ) .
Èç ôîðìóëû
m
tr(T Z ) =
m
е
Tl l Z l l + 2
l =1
ееT
k l Zk l
k =1 l > k
ñëåäóåò, ÷òî
¶M (T )
(25)
¶Tl l
( )
= E Zl l ,
T =0
à ïðè l > k
¶ M (T )
(26)
¶Tk l
( )
= 2 E Zk l .
T =0
Òåîðåìà 1.
M (T ) =
g a,A
g a , A-T
m -1
=
Х| ( A - T )
[ m- j ] a j - a j +1
|
j =0
ж
з
з
и
m -1
ц
[ m - j ] a j - a j +1 ч
Х| A
|
j =0
ч
ш
-1
.
Äîêàçàòåëüñòâî ñëåäóåò èç âûðàæåíèÿ
m
M (T ) = g a , A
т
etr(-( A - T ) z )
Х| z
[ j]
|
a j - a j +1
dz
j =1
z >0
è èç ôîðìóëû (24).
Ïðè j = 0,..., m - 1 îïðåäåëèì m ґ m ìàòðèöó Cm- j òàêóþ, ÷òî
(Cm- j ) [m- j ]= (A[m- j ] )-1 ,
îñòàëüíûå ýëåìåíòû ìàòðèöû Cm- j ðàâíû íóëþ.
Òåîðåìà 2.
m-1
E(Z ) =
е (a
j +1 - a j
)Cm- j .
j =0
Äîêàçàòåëüñòâî. ×òîáû íàéòè îæèäàíèå êàæäîãî ýëåìåíòà Z k l , k Ј l , ñëó÷àéíîé ìàòðèöû Z , âîñïîëüçóåìñÿ ôîðìóëàìè (25), (26) è òåîðåìîé 1.
2011
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
81
Çàôèêñèðóåì j òàêîå, ÷òî l Ј m - j . Ìèíîð ýëåìåíòà Ak l - Tk l ìàòðèöû ( A - T )[ m- j ]
îáîçíà÷èì M k l . ×åðåç S îáîçíà÷èì îïðåäåëèòåëü ýòîé ìàòðèöû. Ââåäåì îáîçíà÷åíèå
sk l = Ak l - Tk l . Òîãäà
m- j
(27)
е (-1)
S=
u+ l
su l M u l .
u =1
Äèôôåðåíöèðîâàíèå ôóíêöèè (27) ïî sl l íå âûçûâàåò çàòðóäíåíèé, ïîñêîëüêó
íè îäèí èç ìèíîðîâ îò sl l íå çàâèñèò. Èìååì
(28)
¶S
¶ sl l
(
= M l l = ( A - T )[ m - j ] ( A - T )[ m - j ]
)
-1
ll .
Äèôôåðåíöèðîâàíèå ôóíêöèè (27) ïî sk l ïðè k < l íåñêîëüêî òðóäíåå. Âñå ìèíîðû êðîìå M l l ìîãóò çàâèñåòü îò sk l , ïîñêîëüêó sl k = sk l . Èìååì
(29)
¶S
¶ sk l
m- j
= (-1)k +l M k l +
е (-1)
u+ l
¶
su l
¶ sk l
u =1
u №l
M ul .
Îáîçíà÷èì ÷åðåç M u l ,l v îïðåäåëèòåëü ìàòðèöû, ïîëó÷àþùåéñÿ èç ( A - T )[ m- j ]
âûêèäûâàíèåì ñòðîê ñ íîìåðàìè u è l è ñòîëáöîâ ñ íîìåðàìè l è v . Òîãäà ïðè u < l
m- j
l -1
M ul =
е
( -1)v + l -1 sl v M u l ,l v -
v =1
е (-1)
v + l -1
sl v M u l ,l v ;
v = l +1
ïðè u > l
m- j
l -1
M ul =
е
( -1)v +l sl v M u l ,l v -
v =1
е (-1)
v +l
sl v M u l ,l v .
v = l +1
Íè îäèí èç îïðåäåëèòåëåé M u l ,l v , âõîäÿùèõ â äâå ïîñëåäíèå ôîðìóëû, îò sk l
íå çàâèñèò. Âòîðûìè ñóììàìè â ïðàâûõ ÷àñòÿõ òàêæå, î÷åâèäíî, ìîæíî ïðåíåáðå÷ü,
ïîñêîëüêó k < l . Ïîýòîìó ïðè u < l
¶
¶ sk l
M u l = (-1) k +l -1 M u l ,l k ;
ïðè u > l
¶
¶ sk l
M u l = (-1) k +l M u l ,l k .
82
¹1
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
Èç (29) ïðè k < l íàõîäèì
¶S
¶ sk l
m- j
l -1
= (-1)k +l M k l +
е
( -1)u +l su l ( -1)k +l -1 M l k ,u l +
u =1
е (-1)
u+ l
su l (-1) k +l M l k ,u l .
u = l +1
Òî åñòü ïðè k < l
(30)
¶S
¶ sk l
(
= 2 ( -1)k +l M k l = 2 ( A - T )[ m- j ] ( A - T )[ m- j ]
)
-1
kl .
Èçìåíåíèÿ, êîòîðûå íóæíî âíåñòè â ïðèâåäåííûå âûêëàäêè ïðè m - j Ј 2
èëè ïðè l = m - j , î÷åâèäíû.
Òå æå âûðàæåíèÿ (28) è (30) ïîëó÷àþòñÿ ïðè äèôôåðåíöèðîâàíèè ( A - T )[ m- j ]
ïî Tl l è ïî Tk l , òîëüêî â ïðàâûå ÷àñòè äîáàâëÿåòñÿ çíàê ìèíóñ.
Âîñïîëüçîâàâøèñü òåîðåìîé 1, ôîðìóëàìè (28) è (30), ïîëó÷àåì
m-l
¶M (T )
¶Tl l
= -
е (a
- a j +1
j
) (A[m- j ] ) -l l1 ,
j =0
T =0
è ïðè k < l
m- l
¶M (T )
¶Tk l
= -2
е (a
j
- a j +1
) (A[m- j ] ) -k1l .
j =0
T =0
Âîñïîëüçîâàâøèñü (25) è (26), ïðè k Ј l ïîëó÷àåì
m-1
E ( Zk l ) =
е (a
j +1 - a j
)(Cm- j )k l .
j =0
Òåîðåìà 2 äîêàçàíà.
Òåîðåìà 2 äëÿ ñëó÷àÿ a1 = ... = am èçâåñòíà. Äîêàçàòåëüñòâî ïðèâîäèòñÿ, íàïðèìåð, â [10]. Ïðè ýòîì è â [10], è â äðóãèõ ðàáîòàõ èñïîëüçóåòñÿ íå ïðîèçâîäÿùàÿ
ôóíêöèÿ ìîìåíòîâ, à õàðàêòåðèñòè÷åñêàÿ ôóíêöèÿ. Èñïîëüçîâàíèå ïðîèçâîäÿùåé
ôóíêöèè ìîìåíòîâ ïîçâîëÿåò èçáåæàòü ðàññìîòðåíèÿ ìàòðèö ñ êîìïëåêñíûìè ýëåìåíòàìè. Òåîðåìà 1, õîðîøî èçâåñòíàÿ äëÿ îäíîìåðíîãî ñëó÷àÿ, ïðè m > 1 , ïî-âèäèìîìó, ÿâëÿåòñÿ íîâîé äàæå äëÿ ñëó÷àÿ a1 = ... = am .
6. Ìíîãîìåðíàÿ ëèíåéíàÿ ðåãðåññèÿ
Ðàññìîòðèì óðàâíåíèÿ, àíàëîãè÷íûå (1):
(31)
yi = bў xi + ei , i = 1,..., n .
2011
83
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
Îáúÿñíÿþùèå ïåðåìåííûå xi a – èçâåñòíûå ÷èñëà, xi = xi1 ,..., xiq ў ; b – q ґ m
(
)
ìàòðèöà. ×åðåç y1 ,..., yn îáîçíà÷àþòñÿ è m -ìåðíûå íàáëþäåíèÿ, è ñëó÷àéíûå âåêòîðà,
ïðåäñòàâëÿþùèå ñîáîé âåðîÿòíîñòíóþ ìîäåëü äëÿ ýòèõ íàáëþäåíèé. Ïðåäïîëàãàåòñÿ,
÷òî m -ìåðíûå ñëó÷àéíûå âåêòîðà e1,..., en íåçàâèñèìû è îäèíàêîâî ðàñïðåäåëåíû.
Íåíàáëþäàåìûå âåëè÷èíû z1 ,..., zn ÿâëÿþòñÿ ïîëîæèòåëüíî îïðåäåëåííûìè m ґ m
ñëó÷àéíûìè ìàòðèöàìè. Êàê è â îäíîìåðíîì ñëó÷àå, ( y1 , z1 ) ,…, ( yn , zn ) íåçàâèñèìû.
Ñîâìåñòíîå ðàñïðåäåëåíèå yi è zi áóäåì ñ÷èòàòü íîðìàëüíûì-ãàììà, ò.å. ñîâìåñòíàÿ
ôóíêöèÿ ïëîòíîñòè èìååò âèä
(32)
(2p)- m / 2
1
s
2
1/ 2
zi
ж 1 ў ц
expзз ei zi ei чч g (zi ) ,
и 2s 2
ш
ãäå g (zi ) îïðåäåëÿåòñÿ ôîðìóëîé (23), è ei = yi - bў xi â ñîîòâåòñòâèè ñ (31).
Ðàññìîòðèì âåêòîð b = (b1,..., bm ) , ãäå b j = a j + 0,5 ïðè j = 1,..., m . Ïóñòü b0 = 0 ,
bm +1 = 0,5( m + 1) .
Ïðè x О R m ðàññìîòðèì ôóíêöèþ
(33)
j( x ) = (2p )-m / 2
Gm* (b)
Gm* ( a)
A
-1 / 2
m -1
ж 1 [ m- j ]ў [ m- j ] -1 [ m- j ] ц
зз1 + x
(A
) x
чч
2
и
ш
j =0
b j - b j +1
Х
Îíà ÿâëÿåòñÿ ôóíêöèåé ïëîòíîñòè ìíîãîìåðíîãî t -ðàñïðåäåëåíèÿ ñ âåêòîðíûì ïàðàìåòðîì ñòåïåíåé ñâîáîäû (ñì. [3; 4]); ñð. (20). Çäåñü äëÿ m -ìåðíîãî âåêòîðà x ÷åðåç
x[k ] îáîçíà÷àåòñÿ k -ìåðíûé âåêòîð, ñîñòîÿùèé èç ïåðâûõ k êîìïîíåíò âåêòîðà x ,
k = 1,..., m .
Òåîðåìà 3. Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà yi èìååò âèä
(34)
ж1 ц
jзз ei чч ,
s иs ш
1
m
ãäå ôóíêöèÿ j çàäàåòñÿ ôîðìóëîé (33).
Äîêàçàòåëüñòâî. Ìàðãèíàëüíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà yi ïîëó÷àåòñÿ èíòåãðèðîâàíèåì ïî îáëàñòè zi > 0 ñîâìåñòíîé ôóíêöèè ïëîòíîñòè (32). ×òîáû íåñêîëüêî ñîêðàòèòü ôîðìóëû, âíóòðè äîêàçàòåëüñòâà òåîðåìû áóäåì èñïîëüçîâàòü îáîçíà÷åíèå z âìåñòî zi è îáîçíà÷åíèå e âìåñòî ei . Âî-ïåðâûõ, çàìåòèì, ÷òî
eўze = tr (eeўz ) .
Èñïîëüçóÿ (23) è (24), ïîëó÷àåì ñëåäóþùåå âûðàæåíèå äëÿ ìàðãèíàëüíîé ôóíêöèè
ïëîòíîñòè:
84
¹1
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
(2p )-m / 2 g a, A
ж ж
ц ц
1
etrзз - зз A +
eeў чч z чч
m
2
s z >0 и и
2s
ш ш
1
-m / 2
= (2p)
т
ga ,A
m -1
1
s
G * ( b)
m m
Х
j =0
m
Хz
b j - b j +1
[ j]
dz =
j =1
ж
ц
1
зз A +
eeў чч
2
2s
и
ш
[ m - j ] bi - b j +1
.
Åñëè âîñïîëüçîâàòüñÿ òåì, ÷òî
A[ m- j ] +
ў
ж
1 [ m- j ]ў [ m- j ] -1 [ m- j ] ц
чч ,
e[ m- j ]e[ m- j ] = A[ m- j ] зз1 +
e
(A
) e
2s
и 2s 2
ш
1
2
(ñì., íàïðèìåð, ëåììó 5 â [3]), òî ïîëó÷àåì âûðàæåíèå
*
(2p)- m / 2 Gm* (b)
1
Gm (a ) s m
A
-1 / 2
m -1
ж
1 [ m- j ]ў [ m- j ] -1 [ m- j ] ц
чч
зз1 +
e
(A
) e
2s 2
ш
j=0 и
b j - b j +1
Х
.
Òåîðåìà 3 äîêàçàíà.
Òåîðåìà 4. Óñëîâíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà zi ïðè óñëîâèè
yi – ýòî ôóíêöèÿ ïëîòíîñòè ìàòðè÷íîãî ãàììà-ðàñïðåäåëåíèÿ ñ âåêòîðíûì ïàðàìåò1
ðîì b è ñ ìàòðè÷íûì ïàðàìåòðîì A +
ei ei ў .
2s 2
Äîêàçàòåëüñòâî. Óñëîâíàÿ ôóíêöèÿ ïëîòíîñòè ñëó÷àéíîãî âåêòîðà zi ïðè óñëîâèè yi – ýòî îòíîøåíèå ñîâìåñòíîé ôóíêöèè ïëîòíîñòè (32) ê ìàðãèíàëüíîé ôóíêöèè
ïëîòíîñòè (34). Êàê è â äîêàçàòåëüñòâå ïðåäûäóùåé òåîðåìû, áóäåì èñïîëüçîâàòü îáîçíà÷åíèå z âìåñòî zi è îáîçíà÷åíèå e âìåñòî ei . Èñêîìàÿ óñëîâíàÿ ôóíêöèÿ ïëîòíîñòè ïðåäñòàâèìà â âèäå äðîáè ñ ÷èñëèòåëåì
ж ж
ц ц
1
etrзз - зз A +
eeў чч z чч
2
2s
ш ш
и и
m
Хz
b j - b j +1
[ j]
j =1
è ñî çíàìåíàòåëåì
m -1
Gm* (b)
Х
A[ m- j ]
bi - b j +1
m -1
ж
1 [ m- j ]ў [ m- j ] -1 [ m- j ] ц
чч
зз1 +
e
(A
) e
2s 2
ш
j=0 и
b j - b j +1
Х
j =0
.
Èñïîëüçóÿ, êàê è â äîêàçàòåëüñòâå ïðåäûäóùåé òåîðåìû, ëåììó 5 èç [3], ïîëó÷àåì
ñëåäóþùåå âûðàæåíèå äëÿ çíàìåíàòåëÿ:
m -1
Gm* (b)
[ m- j ]
ХA
j =0
Òåîðåìà 4 äîêàçàíà.
+
1
2s 2
e
[ m - j ] [ m - j ]ў
e
b j - b j +1
-1
ж
ц
ч .
= зg
1
з b , A + 2 eeў ч
2s
и
ш
2011
85
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
Áóäåì èñïîëüçîâàòü îáîçíà÷åíèå q äëÿ ïàðû b , s . Èç (32) ñëåäóåò, ÷òî è â ìíîãîìåðíîì ñëó÷àå ëîãàðèôìè÷åñêàÿ ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä, ñõîäíûé ñ (18):
(35)
n
1
l (q | y , z ) = - n log s m -
2s
2
е e ўz e
.
i i i
i =1
Ââèäó ëèíåéíîñòè l (q | y , z ) ïî z1 ,..., zn , ÷òîáû ïîñòðîèòü ôóíêöèþ U (q | y; q(r ) ) ,
äîñòàòî÷íî çíàòü óñëîâíîå îæèäàíèå E ( zi | yi ; q(r ) ) .
Ïðè j = 0,..., m - 1 è ïðè x О R m îïðåäåëèì m ґ m ìàòðèöó Cm- j (x ) òàêóþ, ÷òî
-1
(Cm- j ( x ))
[ m- j ]
[ m- j ] ц
жж
1 ц
ч ,
= з зз A + xx ў чч
ч
зи
2
ш
и
ш
îñòàëüíûå ýëåìåíòû ìàòðèöû Cm- j (x ) ðàâíû íóëþ. Ïîëîæèì
m -1
е (b
w( x ) =
j +1 - b j
)Cm- j ( x )
j =0
ж 1 ( r) ц
(ñð. (21)). Òîãäà íà îñíîâàíèè òåîðåì 2 è 4 ïîëó÷àåì E zi | yi ; q( r ) = wзз
ei чч (ñð. (22)).
и s( r )
ш
Îïðåäåëèì m ґ m ìàòðèöû
(
)
ж 1 ( r) ц
wi( r ) = wзз
ei чч , i = 1,..., n .
и s( r )
ш
 ñîîòâåòñòâèè ñ îïðåäåëåíèåì ôóíêöèè U (q | y; q(r ) ) â ïàðàãðàôå 3 (ñì. òàêæå
ïàðàãðàô 4) è ñ (35) ïîëó÷àåì
U (b, s | y; b( r ) , s( r ) ) = -nm log s -
n
1
2s 2
е жзи y ў - x ўb цчш w
i
i
(r)
i
( yi - bў xi ) .
i =1
Äèôôåðåíöèðîâàíèå ôóíêöèè U ïî ba k , a = 1,..., q , k = 1,..., m è ïðèðàâíèâàíèå
ïðîèçâîäíîé ê íóëþ ñ ó÷åòîì ñèììåòðè÷íîñòè ìàòðèöû w äàåò óðàâíåíèå
n
(36)
m
еx е
ia
i =1
j =1
ж
wi(,rj)k з yi j
з
q
-
и
еx
ц
ч=0.
i gb g j ч
g =1
ш
Äèôôåðåíöèðîâàíèå ôóíêöèè U ïî s è ïðèðàâíèâàíèå ïðîèçâîäíîé ê íóëþ
äàåò óðàâíåíèå
(37)
s2 =
1
n
жз y ў - x ўb цч w
е
и
ш
nm
i
i =1
i
(r)
i
( yi - bў xi )
86
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
¹1
(ñð. (11), (12)). Íàéäåííûå èç óðàâíåíèé (36) è (37) çíà÷åíèÿ b è s ïðèíèìàþòñÿ â êà÷åñòâå b( r +1) è s( r +1) . Çíà÷åíèÿ b( 0 ) è s(0 ) ðàññ÷èòûâàþòñÿ ñ åäèíè÷íûìè ìàòðèöàìè wi .
Äðóãîé âàðèàíò ïðèìåíåíèÿ EM-àëãîðèòìà â ëèíåéíîé ðåãðåññèè, êîãäà îøèáêè
èìåþò ìíîãîìåðíîå t -ðàñïðåäåëåíèå, ïðåäñòàâëåí, íàïðèìåð, â ðàáîòå [12].
Ïðèìåð 2. Ïóñòü m = 3 , n = 1000 , q = 2 . Ïðè êàæäîì i = 1,..., n âåêòîð xi ў = (1, i ) ,
à òðåõìåðíàÿ ñëó÷àéíàÿ âåëè÷èíà ei èìååò ôóíêöèþ ïëîòíîñòè (33), (34) ñ ïàðàìåòðàìè a = (2,5,9) ,
ж 1 1,3 1,5 ц
ч
з
A = з1,3 2 2 ч ,
з1,5 2 4 ч
и
ш
s = 12 . Ïðè ãåíåðàöèè òðåõìåðíûõ âîçìóùåíèé ñ óêàçàííûì t -ðàñïðåäåëåíèåì ïðèìåíÿåòñÿ àëãîðèòì Ìåòðîïîëèñà (ñì., íàïðèìåð, [5]). Äëÿ ãåíåðàöèè íàáëþäåíèé èñïîëüçóåòñÿ ìàòðèöà
ж10 20 - 30 ц
чч .
b = зз
и 0,3 - 0,2 0,4 ш
Ïðîâîäÿ àíàëîãèþ ñ âðåìåííûìè ðÿäàìè, ìîæíî ñêàçàòü, ÷òî ðàññìàòðèâàåòñÿ ìîäåëü ñî ñâîáîäíûì ÷ëåíîì è ñ òðåíäîì, à âîçìóùåíèÿ ïðåäñòàâëÿþò ñîáîé òðåõìåðíûé áåëûé øóì, èìåþùèé t -ðàñïðåäåëåíèå ñ âåêòîðíûì ïàðàìåòðîì ñòåïåíåé
ñâîáîäû.
Ïðè ïðèìåíåíèè EM-àëãîðèòìà, ò.å. ïðè èñïîëüçîâàíèè èòåðàöèîííîãî ïðîöåññà,
îñíîâàííîãî íà ôîðìóëàõ (36), (37), ñõîäèìîñòü â ïðîâåäåííîì ýêñïåðèìåíòå áûëà äîñòèãíóòà ïîñëå 20 èòåðàöèé. Ïîëó÷åíû çíà÷åíèÿ ïàðàìåòðîâ
ж10,185
b = зз
и 0,299
20,268
- 29,681ц
ч,
- 0,201
0,400 чш
s = 11,533 . Ðåçóëüòàòû ÿâëÿþòñÿ óäîâëåòâîðèòåëüíûìè. Îòìåòèì, ÷òî ïðè ïðèìåíåíèè ìåòîäà íàèìåíüøèõ êâàäðàòîâ ïîëó÷åíî çíà÷åíèå ïàðàìåòðà
ж10,191
b = зз
и 0,299
20,399
- 29,634 ц
ч.
- 0,201
0,400 чш
Îíî æå èñïîëüçîâàëîñü â êà÷åñòâå íà÷àëüíîãî çíà÷åíèÿ b ( 0 ) â EM-àëãîðèòìå.
 äàííîì ðàñ÷åòå ìåòîä íàèìåíüøèõ êâàäðàòîâ óñòóïàåò EM-àëãîðèòìó.
2011
ÝÊÎÍÎÌÈ×ÅÑÊÈÉ ÆÓÐÍÀË ÂØÝ
87
* *
*
Ñ ÏÈ Ñ ÎÊ Ë È Ò Å Ð À Ò Ó Ð Û
1. Ìàãíóñ ß.Ð., Êàòûøåâ Ï.Ê., Ïåðåñåöêèé À.À. Ýêîíîìåòðèêà. Íà÷àëüíûé êóðñ. Ì.:
Äåëî, 2004.
2. Õüþáåð Ï. Ðîáàñòíîñòü â ñòàòèñòèêå. Ì.: Ìèð, 1984.
3. Øâåäîâ À.Ñ. Áåòà-pàñïpåäåëåíèå ñëó÷àéíîé ìàòpèöû è åãî ïpèìåíåíèå â ìîäåëè
ñîñòîÿíèå-íàáëþäåíèå: ïpåïpèíò. WP2/2009/01. Ì.: ÃÓ ÂØÝ, 2009.
4. Øâåäîâ À.Ñ. t-pàñïpåäåëåíèå ñëó÷àéíîé ìàòpèöû è åãî ïpèìåíåíèå â påãpåññèîííîé
ìîäåëè: ïpåïpèíò. WP2/2010/01. Ì.: ÃÓ ÂØÝ, 2010.
5. Øâåäîâ À.Ñ. Î ìåòîäàõ Ìîíòå-Êàpëî ñ öåïÿìè Ìàpêîâà // Ýêîíîìè÷åñêèé æóðíàë Âûñøåé øêîëû ýêîíîìèêè. 2010. Ò. 14. ¹ 2. Ñ. 227–243.
6. Andrews D.F. A Robust Method for Multiple Linear Regression // Technometrics. 1974.
16. Ð. 523–531.
7. Dempster A.P., Laird N.M., Rubin D.B. Iteratively Reweighted Least Squares for Linear
Regression When Errors are Normal/Independent Distributed // Multivariate Analysis – V / ed.
by P.R. Krishnaiah. Amsterdam: North-Holland, 1980. Ð. 35–57.
8. Fernandez C., Steel M.F.J. Multivariate Student-t Regression Models: Pitfalls and
Inference // Biometrika. 1999. 86 (1). Ð. 153–167.
9. Fonseca T.C.O., Ferreira M.A.R., Migon H.S. Objective Bayesian Analysis for the
Student-t Regression Model // Biometrika. 2008. 95 (2). Ð. 325–333.
10. Gupta A.K., Nagar D.K. Matrix Variate Distributions. N.Y.: Chapman & Hall, 1999.
11. Koenker R. Robust Methods in Econometrics // Econometric Reviews. 1982. 1. Ð. 213–
255.
12. Lange K.L., Little R.J.A., Taylor J.M.G. Robust Statistical Modelling Using the t-distribution // Journal of the American Statistical Association. 1989. 84. Ð. 881–896.
13. Liu C.H., Rubin D.B. ML Estimation of the t-distribution Using EM and its Extensions, ECM and ECME // Statistica Sinica. 1995. 5. Ð. 19–39.
14. Lucas A. Robustness of the Student-t Based M-estimator // Communications in
Statistics – Theory and Methods. 1997. 26 (5). Ð. 1165–1182.
15. Maronna R.A., Martin R.D., Yohai V.J. Robust Regression – Theory and Methods.
N.Y.: Wiley, 2006.
16. Meng X.L., van Dyk D.A. The EM Algorithm – An Old Folk-song Sung to a Fast
New Tune (with discussion) // Journal of the Royal Statistical Society. 1997. B. 59. Ð. 511–567.
17. Preminger A., Franck R. Forecasting Exchange Rates – A Robust Regression
Approach // International Journal of Forecasting. 2007. 23(1). Ð. 71–84.
18. Rousseeuw P.J., Leroy A.M. Robust Regression and Outlier Detection. N.Y.: Wiley,
1987.
19. Rubin D.B. Iteratively Reweighted Least Squares // Encyclopedia of Statistical
Sciences. N.Y.: Wiley, 1983. Vol. 4. Ð. 272–275.
20. Wu C.F.J. On the Convergence Properties of the EM Algorithm // Annals of
Statistics. 1983. 11. Ð. 95–103.
21. Yuan K.-H., Bentler P.M. Robust Mean and Covariance Structure Analysis through
Iteratively Reweighted Least Squares // Psychometrika. 2000. 65(1). Ð. 43–58.
22. Zellner A., Ando T. Bayesian and Non-Bayesian Analysis of the Seemingly Unrelated
Regression Model with Student-t Errors, and its Application for Forecasting // International
Journal of Forecasting. 2010. 26. Ð. 413–434.