Байесовские методы

Ãëàâà 9
Áàéåñîâñêèå ìåòîäû
Öåëü ãëàâû:
Ïîñëå èçó÷åíèÿ äàííîé ãëàâû âû ñìîæåòå:
• Îïèñûâàòü îöåíêó ïðèáëèæåíèÿ ïî Áàéåñó
• Ïîëüçîâàòüñÿ ôîðìóëîé Áàéåñà äëÿ ðàñ÷åòà ïðîñòûõ âåðîÿòíîñòåé
• Ïîíèìàòü âçàèìîîòíîøåíèÿ ìåæäó àïðèîðíûì ðàñïðåäåëåíèåì ïàðàìåòðà, ôóíêöèåé ïðàâäîïîäîáèÿ è àïîñòåðèîðíûì ðàñïðåäåëåíèåì
• Îïðåäåëÿòü àïîñòåðèîðíîå ðàñïðåäåëåíèå â ïðîñòûõ ñëó÷àÿõ
• Îïèñûâàòü è ïîëüçîâàòüñÿ íàèáîëåå îáùèìè òèïàìè ôóíêöèè
óùåðáà
• Ïðèìåíÿòü Áàéåñîâñêèå ìåòîäû äëÿ îïðåäåëåíèÿ òî÷åê è èíòåðâàëîâ îöåíêè ïàðàìåòðîâ
Ÿ1
Ââåäåíèå
Äî ñèõ ïîð ìû ðàññìàòðèâàëè êëàññè÷åñêóþ îöåíêó ñòàòèñòè÷åñêîãî
ïðèáëèæåíèÿ. Â ýòîé ãëàâå ìû ðàññìîòðèì Áàéåñîâñêèå ìåòîäû ïðåäîñòàâëÿþùèå àëüòåðíàòèâíóþ îöåíêó ïðèáëèæåíèÿ.
Ìû áóäåì ïîëüçîâàòüñÿ Áàéåñîâñêèì ïîäõîäîì â Ãëàâå 6 (Òåîðèÿ
Äîñòîâåðíîñòè (âåðîÿòíîñòè)).
Ñîäåðæàíèå ãëàâû Ñore reading ââîäèò íàñ â îñíîâíûå èäåè Áàéåñîâñêîé
230
ñòàòèñòèêè. Çàòåì â íåé ôîðìóëèðóåòñÿ Òåîðåìà Áàéåñà è ïðèâîäÿòñÿ ïðèìåðû åå ïðèìåíåíèÿ.  ïîñëåäóþùèõ ÷àñòÿõ ðàññìàòðèâàþòñÿ
àïðèîðíîå è àïîñòåðèîðíîå ðàñïðåäåëåíèÿ è ïðèìåíåíèå ðàçëè÷íûõ
ôóíêöèé óùåðáà.  ôèíàëüíîé ÷àñòè äåìîíñòðèðóåòñÿ ïðèìåíåíèå áåòà/áèíîìèàëüíîé ìîäåëè â Áàéåñîâñêîé ñòàòèñòèêå.
Ÿ2
Ïîäõîäû ê ñòàòè÷åñêèì âûâîäàì
2.1
Êëàññè÷åñêèé ïîäõîä
×àñòî èññëåäîâàòåëè, èçó÷àþùèå íåèçâåñòíûé ïàðàìåòð ãåíåðàëüíîé
ñîâîêóïíîñòè, ïîëó÷àþò èíôîðìàöèþ èç äðóãèõ èñòî÷íèêîâ ïåðåä íà÷àëîì ðàáîòû ïðåäñòàâëÿþùèé ÷åòêèå ïðèçíàêè òåõ çíà÷åíèé ïàðàìåòðà,
êîòîðûå îí âåðîÿòíî ìîæåò ïðèíèìàòü. Ýòà äîïîëíèòåëüíàÿ èíôîðìàöèÿ ìîæåò áûòü â òàêîé ôîðìå, ÷òî åå íåëüçÿ íåïîñðåäñòâåííî âñòàâèòü
â ýòó ðàáîòó. Êëàññè÷åñêèé ñòàòèñòè÷åñêèé ïîäõîä íå ïðåäîñòàâëÿåò
èíäèêàòîðîâ, ïî êîòîðûì èññëåäîâàòåëü ìîæåò ñäåëàòü âûâîä ìîæíî ëè
ó÷èòûâàòü ýòó äîïîëíèòåëüíóþ èíôîðìàöèþ.
Ïðèìåðîì ýòîãî ÿâëÿåòñÿ òî, êîãäà ñòðàõîâàÿ êîìïàíèÿ ïåðåñìàòðèâàåò ñòàâêè ñòðàõîâîãî âçíîñà äëÿ îòäåëüíîãî òèïà ñòðàõîâîãî ïîëèñà
è ïðè ýòîì èìååò äîñòóï ê ðåçóëüòàòàì äðóãèõ ñòðàõîâûõ êîìïàíèé,
â òîé æå ñòåïåíè êàê è ê äàííûì ñîáñòâåííûõ äåðæàòåëåé ñòðàõîâûõ
ïîëèñîâ. Ýòè äàííûå íåëüçÿ ñðàâíèâàòü íåïîñðåäñòâåííî, ïîòîìó ÷òî
ñðîêè è óñëîâèÿ ïîëèñîâ äðóãèõ êîìïàíèé ìîãóò ñëåãêà îòëè÷àòüñÿ. Îäíàêî â ýòèõ äîïîëíèòåëüíûõ äàííûõ ìîæåò ñîäåðæàòüñÿ ìíîãî ïîëåçíîé
èíôîðìàöèè, êîòîðîé íå ñëåäóåò ïðåíåáðåãàòü.
2.2
Áàéåñîâñêèé ïîäõîä
Áàéåñîâñêèé ìåòîä äàåò áîëåå ãèáêèé ïîäõîä, ïîçâîëÿþùèé èññëåäîâàòåëþ ñî÷åòàòü ëþáóþ äîñòóïíóþ àïðèîðíóþ èíôîðìàöèþ ñ
ðåçóëüòàòàìè èññëåäîâàíèé äëÿ ñîçäàíèÿ ïîëíîé îáùåé êàðòèíû.
Ñîãëàñíî áàéåñîâñêîìó ïîäõîäó ïàðàìåòðû ãåíåðàëüíîé ñîâîêóïíîñòè,
êîòîðûå îáû÷íî íåèçâåñòíû, ñ÷èòàþòñÿ òàê, êàê åñëè áû îíè ÿâëÿëèñü
ñëó÷àéíûìè âåëè÷èíàìè, ò.å. îíè ìîäåëèðóþòñÿ, èñïîëüçóÿ âåðîÿòíîñòíóþ ôóíêöèþ èëè ôóíêöèþ ïëîòíîñòè ðàñïðåäåëåíèÿ âåðîÿòíîñòè,
231
îòðàæàþùèå ñòåïåíü âåðîÿòíîñòè, ñ êîòîðîé îíè ìîãóò ïðèíèìàòü îïðåäåëåííûå çíà÷åíèÿ, îïèðàÿñü íà äîñòóïíóþ èíôîðìàöèþ.
Áàéåñîâñêèé ïîäõîä âêëþ÷àåò ñëåäóþùèå øàãè:
Øàã 1 (âûáîð ïàðàìåòðà àïðèîðíîãî ðàñïðåäåëåíèÿ)
Êàæäûé íåèçâåñòíûé ïàðàìåòð ïåðâîíà÷àëüíî ïîäðàçóìåâàåòñÿ, ÷òî
îí ïîëó÷àåòñÿ èç îòäåëüíîãî àïðèîðíîãî ðàñïðåäåëåíèÿ, âûáðàííîãî äî
òîãî, êàê èññäåëîâàíèå áûëî ñäåëàíî. Âûáðàííîå àïðèîðíîå ðàñïðåäåëåíèå îòðàæàåò ïåðâîíà÷àëüíîå "ìíåíèå"èññëåäîâàòåëÿ îòíîñèòåëüíî ïàðàìåòðà, îñíîâàííîå íà ëþáîé äîñòóïíîé äîñòîâåðíîé êëþ÷åâîé èíôîðìàöèè.
Øàã 2(îïðåäåëåíèå ôóíêöèè ïðàâäîïîäîáèÿ)
Çàòåì ïðîâîäèòñÿ èññëåäîâàíèå/ýêñïåðèìåíò äëÿ ïîëó÷åíèÿ äîïîëíèòåëüíûõ äàííûõ î íåèçâåñòíîì ïàðàìåòðå. Äëÿ ëþáîãî óêàçàííîãî
çíà÷åíèÿ ïàðàìåòðà ìîæåò áûòü îïðåäåëåíà ôóíêöèÿ ïðàâäîïîäîáèÿ ïîëó÷åíèÿ îòäåëüíîãî ðåçóëüòàòà â èññëåäîâàíèè.
Øàã 3 (îïðåäåëåíèå àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ
ïàðàìåòðà)
Àïîñòåðèîðíîå ðàñïðåäåëåíèå ïàðàìåòðà äëÿ íåèçâåñòíûõ ïàðàìåòðîâ
îïðåäåëÿåòñÿ äàëåå ñî÷åòàÿ àïðèîðíîå ðàñïðåäåëåíèå ïàðàìåòðà ñ ôóíêöèåé ïðàâäîïîäîáèÿ ðåçóëüòàòîâ. Àïîñòåðèîðíîå ðàñïðåäåëåíèå îòðàæàåò ìíåíèå èññëåäîâàòåëÿ îòíîñèòåëüíî ïàðàìåòðà ïîñëå ïðîâåäåíèÿ èññëåäîâàíèÿ.
Øàã 4 (âûáîð ôóíêöèè óùåðáà)
Âûáèðàåòñÿ ôóíêöèè óùåðáà, êîòîðàÿ îòðàæàåò íàñêîëüêî "ñåðüåçíû"ëþáûå ðàñõîæäåíèÿ ìåæäó îöåíèâàåìûì çíà÷åíèåì ïàðàìåòðà è
äåéñòâèòåëüíûì çíà÷åíèåì ïàðàìåòðà.
Øàã 5 (îöåíêà íåèçâåñòíîãî ïàðàìåòðà)
Çàòåì àïîñòåðèîðíîå ðàñïðåäåëåíèå ñî÷åòàåòñÿ ñ ôóíêöèåé ïîòåðè äëÿ
ïîëó÷åíèÿ îöåíêè íåèçâåñòíîãî ïàðàìåòðà. 1
1 Òîìàñ Áåéåñ Thomas Bayes (1702-1761) àíãëèéñêèé òåîëîã è èññëåäîâàòåëü òåîðèè
âåðîÿòíîñòè.
232
Ÿ3
Ôîðìóëà Áàéåñà
Îäíèì èç êëþ÷åâûõ øàãîâ â Áàéåñîâñêîì ïîäõîäå ÿâëÿåòñÿ ñî÷åòàíèå
àïðèîðíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà ñ ôóíêöèåé ïðàâäîïîäîáèÿ äëÿ
îïðåäåëåíèÿ àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà. Ýòî îñóùåñòâëÿåòñÿ c èñïîëüçîâàíèåì ðåçóëüòàòîâ òåîðèè âåðîÿòíîñòè, èçâåñòíûõ êàê
Ôîðìóëà Áàéåñà, êîòîðàÿ ìîæåò áûòü ñôîðìóëèðîâàíà òàê:
Ôîðìóëà Áàéåñà (äèñêðåòíàÿ ôîðìà)
Ïðåäïîëîæèì, ÷òî ó íàñ åñòü íàáîð âçàèìîèñêëþ÷àþùèõ è ñîñòàâëÿþùèõ ïîëíóþ ãðóïïó ñîáûòèé, òàê ÷òî A1, A2, ..., Am è äðóãîå ñîáûòèå
B òàêîå ÷òî P (B) 6= 0. Òîãäà ìû ìîæåì âû÷èñëèòü P (Ai |B)ñëåäóþùèì
îáðàçîì:
P (Ai |B) =
P (B|Ai )P (Ai )
Σi P (B|Ai )P (Ai )
Äîêàçàòåëüñòâî
Ðåçóëüòàò ïîëó÷àåòñÿ ñðàçó, êàê òîëüêî ìû âñòàâëÿåì ïðîìåæóòî÷íûé
øàã:
P (Ai |B) =
P (Ai ∧B)
P (B)
=
P (B|Ai )P (Ai )
Σi P (B|Ai )P (Ai )
Ïåðâîå ðàâåíñòâî ñëåäóåò èç îïðåäåëåíèÿ óñëîâíîé âåðîÿòíîñòè P (Ai |B).
Âòîðîå ðàâåíñòâî ñëåäóåò èç îïðåäåëåíèÿ P (B|Ai ) â ÷èñëèòåëå è ïðèâåäåíèÿ êàæäîãî èç âîçìîæíûõ ñîáûòèé Ai â çíàìåíàòåëå.
 ñèòóàöèè, êîãäà ôîðìóëà Áàéåñà èñïîëüçóåòñÿ òàì, ãäå åñòü íàáîð
óñëîâíûõ âåðîÿòíîñòåé, êîòîðûå ìû äîëæíû ïðèâåñòè "ðàçâåðíóòîìó
âèäó".
Ï ð è ì å ð 9.1
80% ñâîèõ êîìïëåêòóþùèõ ó ïîñòàâùèêà X è 20% ó ïîñòàâùèêà Y .  ïðîøëîì ãîäó 5% êîìïëåêòóþùèõ ïîëó÷åííûõ îò ïîñòàâùèêà X áûëè ñ äåôåêòîì è 1% êîìïëåêòóþùèõ
îò ïîñòàâùèêà Y ÿâëÿëèñü äåôåêòíûìè. Â êàêèõ ïðîïîðöèÿõ äåôåêòíûå
êîìïîíåíòû áûëè ïîñòàâëåíû ïîñòàâùèêîì X ?
Ïðîèçâîäñòâåííàÿ êîìïàíèÿ ïîêóïàåò
 ýòîì, íàì ãîâîðèòñÿ, ÷òî âåðîÿòíîñòü òîãî, ÷òî êîìïîíåíò ïîëó÷åííûé
îò îòäåëüíîãî ïîñòàâùèêà îêàæåòñÿ äåôåêòíûì, è íàì òðåáóåòñÿ îáðàòèòü ýòî
äëÿ íàõîæäåíèÿ âåðîÿòíîñòè òîãî, ÷òî ýòîò êîìïîíåíò áûë ïîëó÷åí îò äàííîãî
êîíêðåòíîãî ïîñòàâùèêà.
Ìû ìîæåì ðåøèòü ýòî ïðèìåíÿÿ ôîðìóëó Áàéåñà êàê îïèñàíî íèæå:
233
Ðåøåíèå
Ìåòîä 1. Åñëè ìû îïðåäåëèì ñëåäóþùèå ñîáûòèÿ:
AX : Ïîñòàâùèê X ïîñòàâèë îòäåëüíûé êîìïîíåíò
AY : Ïîñòàâùèê Y ïîñòàâèë îòäåëüíûé êîìïîíåíò
D : Îòäåëüíûé êîìïîíåíò ÿâëÿåòñÿ äåôåêòíûì
Òîãäà âîïðîñ ãîâîðèò íàì î ñëåäóþùèõ âåðîÿòíîñòÿõ:
P (D|AX ) = 0.05 P (AX ) = 0.80
P (D|AY ) = 0.01 P (AY ) = 0.20
Ìû õîòèì íàéòè âåðîÿòíîñòü òîãî, ÷òî êîìïîíåíò, îêàçàâøèéñÿ äåôåêòíûì,
ïðèøåë îò ïîñòàâùèêà
P (AX |D) =
X.
Èñïîëüçóÿ ôîðìóëó Áàéåñà, ïîëó÷àåì:
P (D|AX )P (AX )
00.5 ∗ 0.80
=
= 0.952
P (D|AX )P (AX ) + P (D|AY )P (AY )
0.05 ∗ 0.80 + 0.01 ∗ 0.20
Èòàê, òðåáóåìàÿ âåðîÿòíîñòü ðàâíà
Ìû
òàêæå
ìîãëè
áû
ðåøèòü
ýòó
95.2%.
ïðîáëåìó
èñïîëüçóÿ
ñëåäóþùèé
áîëåå
èíòóèòèâíûé ïîäõîä:
1000
Ìåòîä 2. Ïðåäïîëîæèì, ÷òî ïðîèçâîäñòâåííàÿ êîìïàíèÿ êóïèëà
X
Y.
êîìïîíåíòîâ â ïðîøëîì ãîäó. Òàê êàê ïîñòàâùèê
çíàåì, ÷òî
Ñðåäè
800
800
ïðèáûëè îò
X,
è
200
ïðèáûëè îò
êîìïîíåíòîâ, ïîñòóïèâøèõ îò
X 5
ñíàáæàåò
%, ò.å.
40
80%
âñåãî
èç íèõ, ìû
áûëè äåôåêòíû è
ò.ä. Òàê ÷òî ìû ìîæåì ïîëó÷èòü ñëåäóþùèé òàáëèöó:
Äåôåêòíûõ
Áåç äåôåêòà
Âñåãî
Ïîñòàâùèê
X
40
760
800
Ïîñòàâùèê
Y
2
198
200
42
958
1000
Âñåãî
Òàêèì îáðàçîì,
îò ïîñòàâùèêà
40
èç
42,
ò. å.
95.2
% äåôåêòíûõ êîìïîíåíòîâ ïðèáûëè
X.
Îáðàòèòå âíèìàíèå, ÷òî â èñïîëüçîâàíèè ýòîãî ïîäõîäà îáùåå êîëè÷åñòâî, ìû
åãî ïðèíÿëè ðàâíûì 1000, ïðîèçâîëüíî, ò.ê. âñå ïðîïîðöèîíàëüíî. Ýòîò ôàêò
234
ïîçâîëèò íàì èñïîëüçîâàòü ñîêðàùåíèÿ, ÷òîáû îïðåäåëèòü àïîñòåðèîðíîå
âåðîÿòíîñòíîå ðàñïðåäåëåíèå.
Íà êîíôåðåíöèè ïðèñóòñòâóþò 100
àêòóàðèåâ è 200 áóõãàëòåðîâ. 60% àêòóàðèåâ è 40% áóõãàëòåðîâ ìîãóò
ñäåëàòü ïðîñòóþ óìñòâåííóþ àðèôìåòèêó ïðàâèëüíî. Âî âðåìÿ îáåäà âû
ïîäñëóøèâàåòå îäíî èç âûñêàçûâàíèé ïðåäñòàâèòåëåé "Òðè èç ìîèõ ÷åòûðåõ äåòåé, áûëè ðîæäåíû íà Ðîæäåñòâî, è áëèçíåöû áûëè ðîæäåíû â
íîâîãîäíèé äåíü. "Êàêîâà âåðîÿòíîñòü, ÷òî ýòîò ïðåäñòàâèòåëü ÿâëÿåòñÿ
àêòóàðèåì?
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.1.
Ñëåäóþùåå óïðàæíåíèå ïîêàçûâàåò, ÷òî ìû ìîæåì òàêæå ïðèìåíèòü
ôîðìóëó Áàåñà, êîãäà ñëó÷àé B ñîîòâåòñòâóåò íåïðåðûâíîé ñëó÷àéíîé
âåëè÷èíå, ïðèíèìàþùåé îïðåäåëåííûå çíà÷åíèÿ.
Èñêè, ïðèøåäøèå èç îïðåäåëåííîãî
êëàññà îáùåãî ñòðàõîâàíèÿ, ìîãóò êëàññèôèöèðîâàòüñÿ â òðè âçàèìíî
èñêëþ÷àþùèõ òèïà: S , M è L. Ðàçìåðû èñêîâ â êàæäîé êàòåãîðèè ðàâíû
ñîîòâåòñòâåííî 80 %, 15 % è 5 %.
Ðàñïðåäåëåíèå êîëè÷åñòâà èíäèâèäóàëüíûõ èñêîâ â êàæäîé êàòåãîðèè ìîæåò áûòü ñìîäåëèðîâàíî ñ ïîìîùüþ ôóíêöèè ïëîòíîñòè fx (x) =
2θ2 /x3 , (x > θ), ãäå X ÿâëÿåòñÿ ðàçìåðîì èíäèâèäóàëüíîãî èñêà. Ïàðàìåòðû äëÿ ýòèõ òðåõ êàòåãîðèé - θS =$100,θM =$1000 è θL =$2500
Ó÷èòûâàÿ , ÷òî èíäèâèäóàëüíûé èñê áûë ðàâåí $5000, íàéòè âåðîÿòíîñòü òîãî, ÷òî ýòîò èñê ïðèíàäëåæèò êàæäîé èç ýòèõ òðåõ êàòåãîðèé.
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.2.
Åñëè ïðåäïîëîæèòü, ÷òî ïàðàìåòð θ â ïîñëåäíåì ïðèìåðå ÿâëÿåòñÿ íåïðåðûâíîé âåëè÷èíîé, â îòëè÷àå îò òðåõ äèñêðåòíûõ ïåðåìåííûõ,
êîòîðûå ìû èñïîëüçîâàëè, ìû ïîëó÷àåì íåïðåðûâíóþ ôîðìó ôîðìóëû
Áàéåñà:
Ôîðìóëà Áàéåñà(íåïðåðûâíàÿ ôîðìà)
Ïðåäïîëîæèì, ÷òî ìû èìååì ñëó÷àéíóþ âåëè÷èíó θ ñ ôóíêöèåé ðàñïðåäåëåíèÿ f (θ) è ñëó÷àåì B , òàêîé ÷òî P (B) 6= 0. Òîãäà, ìû ìîæåì
âû÷èñëèòü óñëîâíóþ ôóíêöèþ ðàñïðåäåëåíèÿ θ äàííîãî B ñëåäóþùèì
îáðàçîì:
P (B|θ)f (θ)
f (θ|B) = R
f (θ|B)f (θ)dθ
235
Ÿ4
Ïîëó÷åíèå àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ
4.1
Äèñêðåòíîå àïðèîðíîå ðàñïðåäåëåíèå
Ñëåäóþùèé ïðèìåð ïîêàçûâàåò, êàê ìû ìîæåì ïîëó÷èòü àïîñòåðèîðíîå ðàñïðåäåëåíèå.
Ï ð è ì å ð 9.2
Âû êóïèëè êîðîáêó ëàìïî÷åê íà ðûíêå íåñêîëüêî ìåñÿöåâ
íàçàä. Âû çíàåòå, ÷òî ëàìïî÷êè èìåþò ëèáî ìàëåíüêóþ ñðåäíþþ ïðîäîëæèòåëüíîñòü ðàáîòû 500 ÷àñîâ ëèáî áîëüøóþ - 2 500 ÷àñîâ, íî âû íå ìîæåòå
ñêàçàòü òî÷íî, ïîòîìó ÷òî íà êîðîáêå íå áûëî ÿðëûêà.
Ïîñêîëüêó âû áûâàëè íà ýòîì ðûíêå ïðåæäå, âû ïåðâîíà÷àëüíî íå èìååòå
íèêàêîãî ìíåíèÿ îòíîñèòåëüíî òîãî, ìîãëè ëè âàñ îáìàíóòü.
Ïðèáëèçèòåëüíî ïîñëå 300 ÷àñîâ, ýòè 5 ëàìïî÷åê , êîòîðûå âû èñïîëüçîâàëè, âñå åùå íå ïåðåãîðåëè. Ïðèíèìàÿ, âðåìÿ ðàáîòû îòäåëüíîé ëàìïî÷êè
èìååò ïîêàçàòåëüíîå ðàñïðåäåëåíèå, îöåíèòå âåðîÿòíîñòü ÷òî, âû êóïèëè ëàìïî÷êè ñ áîëüøîé ïðîäîëæèòåëüíîñòüþ ðàáîòû.
Ðåøåíèå
 ýòîì ïðèìåðå, ìû ïåðâîíà÷àëüíî ñ÷èòàåì àëüòåðíàòèâû ðàâíî-
âåðîÿòíûìè, òîãäà àïðèîðíîå ðàñïðåäåëåíèå äëÿ
λ 2 , ïàðàìåòðà ðàñïðåäåëåíèÿ
ñðîêîâ ñëóæáû ëàìïî÷êè, ÿâëÿåòñÿ äèñêðåòíûì ðàñïðåäåëåíèåì:
λ=
1/500, ñ âåðîÿòíîñòüþ 1/2
1/2500, ñ âåðîÿòíîñòüþ 1/2
λ (ìàòåìà1/λ)áóäåò ðàáîòàòü áîëåå 300 ÷àñîâ ðàâíà:
Âåðîÿòíîñòü, ÷òî îòäåëüíàÿ ëàìïî÷êà ñ ïàðàìåòðîì ðàñïðåäåëåíèÿ
òè÷åñêîå îæèäàíèå âðåìåíè ðàáîòû
Z∞
λe−λx dx = e−300λ
300
Òàêèì îáðàçîì, ôóíêöèÿ ïðàâäîïîäîáèÿ òîãî, ÷òî âñå 5 ëàìïî÷åê áóäóò
ðàáîòàòü â ýòîò ìîìåíò ðàâíà:
e−300λ
5
= e−1500λ
Èòàê ìû èìååì:
P (5
P (5
= 1/500) = e−1500/500 = e−3 = 0.04979
−1500/2500 = e−0.6 = 0.54881
|λ = 1/2500) = e
ðàáîòàþò |λ
ðàáîòàþò
Ïðèìåíÿÿ ôîðìóëó Áàéåñà, ïîëó÷àåì:
2 Ò.ê. ìíîãèå ñòóäåíòû ïëîõî âîñïðèíèìàþò çàãëàâíûå ãðå÷åñêèå áóêâû, â ýòîé
ãëàâå àâòîð èñïîëüçóåò ñòðî÷íûå äëÿ îáîçíà÷åíèÿ ñëó÷àéíûõ âåëè÷èí.
236
P (λ = 1/500|5
ðàáîòàþò)
=
P (5 ðàáîòàþò|λ=1/500)P (λ=1/500)
P (5 ðàáîòàþò|λ=1/500)P (λ=1/500)+P (5 ðàáîòàþò|λ=1/2500)P (λ=1/2500)
=
0.04979∗1/2
0.04979∗1/2+0.54881∗1/2
= 0.08318
Îáðàòèòå âíèìàíèå, ÷òî çíàìåíàòåëè äëÿ îáåèõ âåðîÿòíîñòåé äëÿ àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ áûëè òå æå ñàìûå. Òàê ÷òî ìû, òîëüêî ÷òî âû÷èñëèëè íóìåðàòîðû è çàòåì èñïîëüçîâàëè ôàêò, ÷òî àïîñòåðèîðíûå âåðîÿòíîñòè äîëæíû ðàâíÿòüñÿ 1, ÷òîáû íàéòè ôàêòè÷åñêèå âåðîÿòíîñòè. Åñëè ìû
ñìîòðèì íà íóìåðàòîð, ìû âèäèì, ÷òî ýòî - òîëüêî ôóíêöèÿ ïðàâäîïîäîáèÿ
P (5
ðàáîòàþò|λ
= 1/500)
ìîìåíòîâ âðåìåíè, êîãäà
P (λ = 1/500).
Ýòî âåäåò
íàñ ê ñëåäóþùåìó ðåçóëüòàòó:
Íàõîæäåíèå àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ
Àïîñòåðèîðíîå ðàñïðåäåëåíèå
∝
Àïðèîðíîå ðàñïðåäåëåíèå
∗
Ôóíêöèÿ
ïðàâäîïîäîáèÿ
(∝)
ãäå çíàê ïðîïîðöèîíàëüíîñòè
óêàçûâàåò, ÷òî ëþáûå ôàêòîðû, êîòîðûå
íå çàâèñÿò îò íåèçâåñòíûõ ïàðàìåòðîâ, ìîæíî ðàññìîòðåòü êàê êîíñòàíòû è
ñëåäîâàòåëüíî îïóùåííûìè.
Òàêèì îáðàçîì, ìîæíî ðåøèòü çàäà÷ó áîëåå ïðîñòûì îáðàçîì:
Àïðèîðíîå
äåëåíèå
∗
ðàñïðåÔóíêöèÿ
∝
Àïîñòåðèîðíîå ðàñ-
ïðåäåëåíèå
ïðàâäîïîäîáèÿ
Ôàêòè÷åñêîå
àïîñòåðèîðíîå
ðàñïðåäåëåíèå
λ = 1/500:
1/2
e−1500/500
0.04979
=
0.02490
0.08319
λ = 1/500
1/2 e−1500/2500
0.54881
=
0.27441
0.91681
0.29931
1.00000
Âñåãî
Ðåçóëüòàòû ïîñëåäíåé êîëîíêè áûëè ïîëó÷åíû äåëåíèåì ïðåäûäóùåé êîëîíêè íà 0.29931.
237
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.3. Ôîêóñíèê ñìåøàë 5 êîëîä êàðò òàê,
÷òî â êàæäîé êîëîäå ñîäåðæèòñÿ 52 êàðòû è êîëîäû ñîäåðæàò 0, 13, 26,
39 è 52 êðàñíûå êàðòû ñîîòâåòñòâåííî. Âàì ïðåäëîæèëè âûáðàòü îäíó
êîëîäó è èç íåå âûáðàòü 3 êàðòû (âû íå çíàåòå êàêèå êàðòû ñîäåðæàòñÿ â êàæäîé êîëîäå). Ñðåäè âûáðàííûõ êàðò îêàçàëèñü 1 êðàñíàÿ è 2
÷åðíûå êàðòû. Ïðåäïîëàãàÿ. ×òî ôîêóñíèê ãîâîðèò ïðàâäó, îïðåäåëèòü
àïîñòåðèîðíóþ âåðîÿòíîñòü, ÷òî âû âûáðàëè êàæäóþ èç êîëîä.
4.2
Íåïðåðûâíîå àïðèîðíîå ðàñïðåäåëåíèå
Òå æå ðàññóæäåíèÿ ïðèìåíÿþòñÿ â ñëó÷àå, ãäå íåèçâåñòíûé ïàðàìåòð
èìååò íåïðåðûâíîå ðàñïðåäåëåíèå. Òàê, ñíîâà, ìû ìîæåì èñïîëüçîâàòü
ôîðìóëó "Àïîñòåðèîðíîå ðàñïðåäåëåíèå∝ Àïðèîðíîå ðàñïðåäåëåíèå ∗
Ôóíêöèÿ ïðàâäîïîäîáèÿ ÷òîáû íàéòè ðàñïðåäåëåíèå àïîñòåðèîðíîãî ïàðàìåòðà.
Àëãîðèòì íàõîæäåíèÿ àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ ñëåäóþùèé:
Øàã 1(âûáîð àïðèîðíîãî ðàñïðåäåëåíèÿ)
Çàïèøèòå àïðèîðíîå ðàñïðåäåëåíèå íåèçâåñòíîãî ïàðàìåòðà. Ïîìíèòå, ÷òî íåèçâåñòíûé ïàðàìåòð áåðåò ìåñòî "x"â ôóíêöèè ðàñïðåäåëåíèÿ.
Øàã 2(îïðåäåëåíèå ðàñïðåäåëåíèÿ)
Çàïèøèòå (îáúåäèíåííóþ) ôóíêöèþ ïðàâäîïîäîáèÿ äëÿ íàáëþäåíèÿ(é).
Øàã 3(îïðåäåëåíèå ðàñïðåäåëåíèÿ àïîñòåðèîðíîãî ïàðàìåòðà)
Óìíîæèòå àïðèîðíîå ðàñïðåäåëåíèå ïàðàìåòðà è ôóíêöèþ ïðàâäîïîîáèÿ, ÷òîáû íàéòè ôîðìó àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ ïàðàìåòðà.
Âû ìîæåòå ïðîèãíîðèðîâàòü ëþáûå ìíîæèòåëè, êîòîðûå íå ñîäåðæàò
íåèçâåñòíûé ïàðàìåòð. Îíè áóäóò "ïîãëîùåíû"â îòíîøåíèè ïðîïîðöèîíàëüíîñòè.
Øàã 4(èäåíòèôèêàöèÿ ðàñïðåäåëåíèÿ àïîñòåðèîðíîãî
ïàðàìåòðà)
Èëè ïðîñìîòðèòå ñòàíäàðòíûå ðàñïðåäåëåíèÿ, êîòîðûå èìåþò ôóíêöèè ðàñïðåäåëåíèÿ ñ ïîäîáíîé àëãåáðàè÷åñêîé ôîðìîé è äèàïàçîíîì
çíà÷åíèé êàê è íàéäåííàÿ âàìè ôóíêöèÿ ðàñïðåäåëåíèÿ,ò.å ñðàâíèòå ñ
ôóíêöèÿìè ðàñïðåäåëåíèÿ â òàáëèöàõ.
238
Èëè (åñëè íàéäåííîå ðàñïðåäåëåíèå íå ïîõîæå íè íà îäíî èç ñòàíäàðòíûõ ðàñïðåäåëåíèé)ïðîèíòåãðèðóéòå èëè ïðîñóììèðóéòå íåèçâåñòíûé
ïàðàìåòð, ÷òîáû íàéòè íîðìàëèçîâàííóþ êîíñòàíòó àïîñòåðèîðíîé
ôóíêöèè ðàñïðåäåëåíèÿ.
Ï ð è ì å ð 9.3
âàòåëüíîñòè èç
p
Ïðåäïîëîæèì
n
X
- ÷èñëî óñïåõîâ, äîñòèãíóòûõ â ïîñëåäî-
èñïûòàíèé ñ ïîñòîÿííîé íåèçâåñòíîé âåðîÿòíîñòüþ óñïåõà
,è ÷òî àïðèîðíàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ äëÿ
àïîñòåðèîðíîå ðàñïðåäåëåíèå
Ðåøåíèå
p
-
Beta(α, β).
Îïðåäåëèòü
p.
Ôîðìóëà àïðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ äëÿ
èñêëþ÷àÿ ìíîæåòèëè, íå ñîäåðæàùèå
p,
p
-
Beta(α, β),
ñëåäóþùàÿ:
pα−1 (1 − p)β−1 ,0 < p < 1
X
èìååò
Beta(n, p) ðàñïðåäåëåíèå, ñëåäîâàòåëüíî ôóíêöèÿ ïðàâäîïîäîáèÿ, èñp, ñëåäóþùàÿ:
êëþ÷àÿ ìíîæåòèëè, íå ñîäåðæàùèå
px (1 − p)n−x
Ñóììèðóÿ ïîëó÷àåì, ÷òî àïîñòåðèîðíîå ðàñïðåäåëåíèå ïðîïîðöèîíàëüíî
px+α−1 (1 − p)n−x+β−1 , 0 < p < 1
Ñðàâíèâàÿ ïîëó÷åííóþ ôîðìóëó ñ ôîðìóëàìè ðàñïðåäåëåíèé èç òàáëèöû,
âèäèì, ÷òî òàêóþæå ôîðìóëó è äèàïàçîí çíà÷åíèé èìååò Beta- ðàñïðåäåëåíèå
(ïîìíèì, ÷òî
p
x + α è n − x + β.
p - Beta(x + α, n − x + β)
- ñëó÷àéíàÿ âåëè÷èíà)ñ ïàðàìåòðàìè
Èòàê, àïîñòåðèîðíîå ðàñïðåäåëåíèå
Åñëè x1 , x2 , ..., xn ñëó÷àéíàÿ âûáîðêà Exp(λ) ðàñïðåäåëåíèÿ,ãäå ïàðàìåòð λ íåèçâåñòåí, íàéòè àïîñòåðèîðíîå ðàñïðåäåëåíèå äëÿ λ, ïðåäïîëàãàÿ, ÷òî àïðèîðíîå ðàñïðåäåëåíèå Exp(λ0 ).
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.4.
Òàáëèöà â êîíöå ýòîé ãëàâû ïîêàçûâàåò íåêîòîðûå àïîñòåðèîðíûå
ðàñïðåäåëåíèÿ ïàðàìåòðîâ äëÿ ÷àñòî âñòðå÷àþùèõñÿ êîìáèíàöèé ôóíêöèè ïðàâäîïîäîáèÿ è àïðèîðíûõ ðàñïðåäåëåíèé. Íåò íåîáõîäèìîñòè
çàïîìèíàòü ýòó òàáëèöó. Îäíàêî, ðåêîìåíäóåòñÿ ïðîâåðèòü ðåçóëüòàòû,
êîòîðûå âû ìîæåòå ïîëó÷èòü èç òàáëèöû, ðàçáèðàÿ ïðèìåð 5.3.
4.3
Ñîïðÿæåííûå ðàñïðåäåëåíèÿ
(l2) Îáúÿñíåíèå òîãî, ÷òî ïîäðàçóìåâàþò ïîä ñîïðÿæåííûì àïðèîðíûì ðàñïðåäåëåíèåì.
239
Èíîãäà àïðèîðíîå ðàñïðåäåëåíèå è àïîñòåðèîðíîå ðàñïðåäåëåíèå
ïðèíàäëåæàò ê îäíîìó ñåìåéñòâó ðàñïðåäåëåíèé, íàïðèìåð îáà ìîãëè
áû áûòü ãàììà-ðàñïðåäåëåíèÿìè. Òîãäà ãîâîðÿò, ÷òî îíè ôîðìèðóþò
ñîïðÿæåííóþ ïàðó.  òàáëèöå ñîïðÿæåííûå ðàñïðåäåëåíèÿ áûëè îòìå÷åíû ñî çâåçäî÷êîé.
Ôóíêöèÿ ïðàâäîïîäîáèÿ îïðåäåëÿåò, êàêîå ñåìåéñòâî ðàñïðåäåëåíèé
ïðèâåäåò ê ñîïðÿæåííîé ïàðå. Ñîïðÿæåííûå ðàñïðåäåëåíèÿ ìîãóò áûòü
íàéäåíû ñ ïîìîùüþ âûáîðà ñåìåéñòâà ðàñïðåäåëåíèé, êîòîðûå èìåþò
îäèíàêîâûå ôîðìóëû ôóíêöèè ïðàâäîïîäîáèÿ, ðàññìàòðèâàÿ íåèçâåñòíûé ïàðàìåòð êàê ñëó÷àéíóþ âåëè÷èíó.
Ï ð è ì å ð 9.4 x1 , x2 , ..., xn
íàáëþäåíèÿ, èìåþùèå
- íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå (ÍÎÐÍ)
Geo(p)
ðàñïðåäåëåíèå, ãäå
p
íåèçâåñòíî. Íàéòè ñå-
ìåéñòâî ðàñïðåäåëåíèé, êîòîðîìó ïðèíàäëåæàò ñîïðÿæåííûå àïðèîðíîå è
àïîñòåðèîðíîå ðàñïðåäåëåíèÿ.
Ðåøåíèå
Ôóíêöèÿ ïðàâäîïîäîáèÿ èìååò âèä
n
Q
p(1−p)xi −1 = pn (1−p)Σxi −n
i=1
Èòàê, íàì íåîáõîäèìî íàéòè ñåìåéñòâî ôóíêöèé âèäà
ãäå
0 < p < 1,
p÷òî-òî (1 − p)÷òî-òî ,
ò.å. íóæíî èñïîëüçîâàòü beta-ðàñïðåäåëåíèå.
Èñïîëüçîâàíèå ñîïðÿæåííûõ ðàñïðåäåëåíèé ÷àñòî äåëàåò Áàéåñîâñêèå âû÷èñëåíèÿ áîëåå ïðîñòûìè. Îíè òàêæå ïîäõîäÿò äëÿ èñïîëüçîâàíèÿ â ñëó÷àå ñåìåéñòâà ðàñïðåäåëåíèé, êîòîðûå ìîãëè áû áûòü
îïðåäåëåíû äëÿ îáåñïå÷åíèÿ "åñòåñòâåííîé"ìîäåëè äëÿ íåèçâåñòíîãî
ïàðàìåòðà, íàïðèìåð, â ïðåäûäóùåì ïðèìåðå, ãäå ïàðàìåòð p ïðèíèìàåò çíà÷åíèÿ â äèàïàçîíå 0 < p < 1.
4.4
Íåïîäõîäÿùèå àïðèîðíûå ðàñïðåäåëåíèÿ
Èíîãäà ïîëåçíî èñïîëüçîâàòü íåèíôîðìàòèâíîå àïðèîðíîå ðàñïðåäåëåíèå, êîòîðîå ïðåäïîëàãàåò, ÷òî íåèçâåñòíûé ïàðàìåòð îäèíàêîâî
âåðîÿòíî ïðèìåò ëþáîå çíà÷åíèå. Íàïðèìåð, ìû ìîãëè áû èìåòü ïëîòíîñòü íîðìàëüíîãî ðàñïðåäåëåíèÿ ñ ìàòåìàòè÷åñêèì îæèäàíèåì µ, ãäå
ìû íè÷åãî íå çíàåì î µ.Ýòî âåäåò ê ïðîáëåìå â ýòîì ïðèìåðå, ïîòîìó
÷òî ìû áûëè áû äîëæíû ïðèíÿòü U (∞, ∞) çà ôóíêöèþ ðàñïðåäåëåíèÿ
äëÿ µ, ÷òî íå èìååò ñìûñëà, òàê êàê ôóíêöèÿ ðàñïðåäåëåíèÿ äëÿ ýòîé
ïëîòíîñòè áûëà áû âñþäó ðàâíà 0 .
Ìû ìîæåì ëåãêî îáîéòè ýòó ïðîáëåìó, èñïîëüçóÿ ðàñïðåäåëåíèå
U (−N, N ), ãäå N - ïðèíèìàåò î÷åíü áîëüøèå çíà÷åíèÿ, è çàòåì óñòðåìèòü N ê áåñêîíå÷íîñòè. Òîãäà ôóíêöèÿ ðàñïðåäåëåíèÿ - 1/2N , ÿâëÿåòñÿ
240
êîíñòàíòîé. Åñëè ìû èñïîëüçóåì "ïðîïîðöèîíàëüíûé"ìåòîä, îïèñàííûé
âûøå, ñ àïðèîðíûì ðàñïðåäåëåíèåì, ïðîïîðöèîíàëüíûì 1, âñå óäàåòñÿ
ëåãêî âû÷èñëèòü, äàæå ïðè òîì, ÷òî äèàïàçîí çíà÷åíèé â ýòîì ñëó÷àå
áåñêîíå÷íûé.
241
Ôóíêöèÿ ïðàâäîïîäîáèÿ
âûáîðêè
ÍÎÐÑ âåëè÷èí
X1 , ..., Xn
Íåèçâåñòíûé
ïàðàìåòð
P osson(λ)
λ>0
Ôóíêöèÿ ðàñïðåäåëåíèÿ ïàðàìåòðà
àïðèîðíàÿ
Exp(λ0 )
àïîñòåðèîðíàÿ
Gamma(Σx + 1, n + λ0 )
Exp(λ)
Gamma(n + 1, Σx + λ0 )
Gamma(α, λ)
Gamma(αn + 1, Σx + λ0 )
Exp(λ)
Gamma(α0 , λ0 ) Gamma(n + α0 , Σx + λ0 ) *
λ>0
Gamma(αn + α0 , Σx + λ0 ) *
Gamma(α, λ)
B(m, p)
Beta(α0 , β 0 )
0<p<1
Beta(n + α0 , Σx − n + β 0 ) *
Geo(p)
2
N (µ, σ )
LogN (µ, σ 2 )
−∞ < µ < ∞
−∞ < µ < ∞
0
02
N (µ , σ )
U (−∞, ∞)
N
,
1
n
2+
σ
1
σ 02
*
2
N ( n1 Σ log x, σn )
2
U (0, ∞)
λ>0
Gamma(α, λ)
Geo(p)
0
+ µ02
σ2
σ
n
+ 102
σ2
σ
Σx
N ( n1 Σx, σn )
N (µ, σ 2 )
Exp(λ)
Beta(Σx + α0 , nm − Σx + β 0 ) *
Gamma(n + 1, Σx)
Gamma(αn + 1, Σx+)
0<p<1
U (0, 1)
Beta(n + 1, nm − Σx − n + 1)
B(m, p)
Beta(Σx + 1, nm − Σx + 1)
N B(K, p)
Beta(nk + 1, nm − Σx + 1)
242
Ÿ5
Ôóíêöèÿ óùåðáà è Áàéåñîâñêèå îöåíêè
×òîáû ïðèìåíÿòü ìåòîä Áàéåñà äëÿ ïîëó÷åíèÿ âûâîäîâ î íåèçâåñòíûõ ïàðàìåòðàõ, ìû äîëæíû âûáðàòü ôóíêöèþ óùåðáà. Ôóíêöèÿ
óùåðáà ïîêàçûâàåò íàñêîëüêî ñåðüåçíîé áûëà áû "îøèáêà åñëè áû âìåñòî èñòèííîãî ïàðàìåòðà θ ïðèíÿëè θ .
Ìû ìîæåì èñïîëüçîâàòü àïîñòåðèîðíîå ðàñïðåäåëåíèå äëÿ ïàðàìåòðà, ÷òîáû íàéòè îæèäàåìóþ ïîòåðþ, åñëè ìû èñïîëüçóåì â êà÷åñòâå
îöåíêè θ. Åñëè ôóíêöèÿ ðàâíÿåòñÿ Loss(θ, θ) , òî îæèäàåìàÿ ïîòåðÿ
áóäåò ðàâíà:
Z∞
Loss(θ, θ)fpost (θ)dθ
E[Loss(θ, θ)] =
−∞
Îöåíêà Áàéåñà ïðîõîäèò ñëåäóþùèì îáðàçîì:
Íàõîæäåíèå îöåíêè Áàéåñà
Áàéåñîâñêàÿ îöåíêà íåèçâåñòíîãî ïàðàìåòðà - çíà÷åíèå ïàðàìåòðà,
êîòîðîå ìèíèìèçèðóåò îæèäàåìûå ïîòåðè, áàçèðóþùååñÿ íà àïîñòåðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ.
N (µ, σ 2 ) ðàñïðåäåëåíèå, ãäå
µ íåèçâåñòíî, à µ èçâåñòíî. àïðèîðíîå ðàñïðåäåëåíèå µ - U (∞, ∞). Íàéòè âûðàæåíèå äëÿ îæèäàåìûõ ïîòåðü, åñëè ïîòåðè ïðè îöåíêå µ ñ ïîìîùüþ µ ðàâíû
(µ − µ)2 . Íàéäèòå çíà÷åíèå µ, êîòîðîå ìèíèìèçèðóåò îæèäàåìûå ïîòåðè.
Ï ð è ì å ð 9.5 x1 , x2 , ..., xn
Ðåøåíèå
- ÍÎÐÍ, èìåþùèå
Èç òàáëèöû ñëåäóåò, ÷òî àïîñòåðèîðíîå ðàñïðåäåëåíèå äëÿ
N (x, σ 2 /n) Èñïîëüçóÿ ôóíêöèþ óùåðáà
(µ −
µ
-
µ)2 , îæèäàåìûå ïîòåðè ðàâíû:
E[(µ − µ)2 ] = µ2 − 2µE(µ) + E(µ2 ) = µ2 − 2µx + x2 +
Îæèäàåìûå ïîòåðè ïðèìóò íàèìåíüøåå çíà÷åíèå, êîãäà
σ2
σ2
= (µ − x)2 +
n
n
µ = x.
 ýòîì ïðèìåðå ïðè èñïîëüçîâàíèè êâàäðàòè÷íàÿ ôóíêöèè óùåðáà
Áàéåñîâñêàÿ îöåíêà µ îêàçàëàñü ðàâíà x.
Íà ïðàêòèêå, îáû÷íî èñïîëüçóþòñÿ òðè òèïà ôóíêöèè óùåðáà, îêàçûâàåòñÿ, êàæäàÿ èç ýòèõ ôóíêöèé äàåò ïðîñòóþ Áàéåñîâñêóþ îöåíêó,
áàçèðóþùóþñÿ íà àïîñòåðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ. Ýòî ïîêàçàíî
â ñëåäóþùåé òàáëèöå:
243
Ôóíêöèÿ óùåðáà
Áàéåñîâñêàÿ îöåíêà θ
Êâàäðàòè÷íàÿ
îøèáêà óùåðáà
(θ − θ)2
ìàòåìàòè÷åñêîå îæèäàíèå
àïîñòåðèîðíîé ôóíêöèè
âåðîÿòíîñòè
Àáñîëþòíàÿ
îøèáêà óùåðáà
|θ − θ|
ìåäèàíà
àïîñòåðèîðíîé
ôóíêöèè âåðîÿòíîñòè
Áèíàðíàÿ
îøèáêà óùåðáà
I[θ 6= θ]
ìîäà
àïîñòåðèîðíîé
ôóíêöèè âåðîÿòíîñòè
Áèíàðíàÿ îøèáêà óùåðáà îïðåäåëåíà ÷åðåç ôóíêöèþ-èíäèêàòîð I[θ 6= θ],
êîòîðàÿ ïðèíèìàåò çíà÷åíèå 0, åñëè ïðèñóòñòâóåò îøèáêà, è 1 â ïðîòèâíîì ñëó÷àå.
Ï ð è ì å ð 9.6
Ïîêàçàòü, ÷òî ïðè èñïîëüçîâàíèè êâàäðàòè÷íîé ôóíêöèè
óùåðáà, íåïðåðûâíûé ïàðàìåòð
θ
äîëæåí áûòü îöåíåí ñ ïîìîùüþ ìàòåìàòè-
÷åñêîãî îæèäàíèÿ àïîñòåðèîðíîé ôóíêöèè.
Ðåøåíèå
Ìû äîëæíû âûáðàòü òàêîå
E = E[(θ −
θ,
êîòîðîå ìèíèìèçèðóåò îæèäàåìûå ïîòåðè
θ)2 ].
Ìû ìîæåì ðàñêðûòü ýòî âûðàæåíèå
2
E = θ − 2θE[Θ] + E[Θ2 ]
Äëÿ íàõîæäåíèÿ ìèíèìóìà, ïðîäèôôåðåíöèðóåì ïî
θ
dE
= 2θ − 2E[Θ]
dθ
Âûðàæåíèå ïðèíèìàåò çíà÷åíèå 0 ïðè
θ = E[Θ],
ò.å.
θ
ÿâëÿåòñÿ ìàòåìàòè÷å-
ñêîå îæèäàíèåì àïîñòåðèîðíîé ôóíêöèè ðàñïðåäåëåíèÿ.
Äîêàçàòåëüñòâîì, ÷òî ìû ïîëó÷èëè ìèíèìóì ôóíêöèè ÿâëÿåòñÿ:
d2 E
dθ
2
=2>0
Ïîêàçàòü,÷òî èñïîëüçóÿ ôóíêöèþ
áèíàðíîé îøèáêè óùåðáà, äèñêðåòíûé ïàðàìåòð θ äîëæåí áûòü îöåíåí
ñ ïîìîùüþ ìîäû àïîñòåðèîðíîé ôóíêöèè.
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.5.
244
Ïîêàçàòü,÷òî èñïîëüçóÿ ôóíêöèþ
àáñîëþòíîé îøèáêè óùåðáà, íåïðåðûâíûé ïàðàìåòð θ äîëæåí áûòü îöåíåí ñ ïîìîùüþ ìåäèàíû àïîñòåðèîðíîé ôóíêöèè.
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.6.
Ïîëó÷åííûå ðåçóëüòàòû óïðîùàþò íàõîæäåíèå Áàéåñîâñêîé îöåíêè.
Ï ð è ì å ð 9.7 x1 , x2 , ..., xn
ãäå
θ
λ
íåèçâåñòíà, à
α
Gamma(α, λ) ðàñïðåäåëåíèå,
ðàñïðåäåëåíèå λ - Exp(θ), ãäå
îöåíêó λ, èñïîëüçóÿ áèíàðíóþ
- ÍÎÐÍ, èìåþùèå
èçâåñòíà. Àïðèîðíîå
èçâåñòíàÿ êîíñòàíòà. Íàéòè Áàéåñîâñêóþ
îøèáêó óùåðáà
Ðåøåíèå
Ïðåäøåñòâóþùàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ
λ : e−θλ
Ôóíêöèÿ ïðàâäîïîäîáèÿ ïðîïîðöèîíàëüíà:
n
Y
λα e−λxi = λnα e−λΣxi
i=1
Òîãäà àïîñòåðèîðíîå ðàñïðåäåëåíèå ïðîïîðöèîíàëüíî :
λnα e−λΣxi ∗ e−θλ = λnα e−λ(Σxi +θ)
÷òî ñîîòâåòñòâóåò ðàñïðåäåëåíèþ
Gamma(nα + 1, Σxi + θ)
Èñïîëüçóÿ áèíàðíóþ îøèáêó óùåðáà, íåèçâåñòíûé ïàðàìåòð îöåíèâàåòñÿ
ìîäîé àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ
Ïîñëå äèôôåðåíöèðîâàíèÿ ëîãàðèôìà îò ôóíêöèè ðàñïðåäåëåíèÿ è ïðèðàâíèâàíèÿ âûðàæåíèÿ ê 0, íàõîäèì ìîäó ðàñïðåäåëåíèÿ
ðàâíà
Gamma(α, λ).
Îíà
α−1
λ
Òîãäà Áàéåñîâñêàÿ îöåíêà
λ
èìååò âèä:
λ=
nα
Σxi + θ
Äåñÿòü ÍÎÐÍ, èìåþùèõ ðàñïðåäåëåíèå P oisson(λ), ðàâíÿþòñÿ 3,4,3,1,5,5,2,3,3,2.
Ïðåäïîëàãàÿ, ÷òî àïðèîðíîå ðàñïðåäåëåíèå λ - Exp(0.2), íàéòè Áàéåñîâñêóþ îöåíêó λ, èñïîëüçóÿ êâàäðàòè÷íóþ îøèáêó óùåðáà.
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.7.
Ÿ6
Îöåíêà ìåòîäà Áàéåñîâñêèõ îöåíîê
Àíàëîãè÷íûå ïðîöåäóðû, èñïîëüçóþùèåñÿ äëÿ îöåíêè ýôôåêòèâíîñòè (MLE), ìîãóò áûòü ïðèìåíåíû è ê Áàéåñîâñêèì îöåíêàì. Ìû ìîæåì
245
ðàññìîòðåòü ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íîé îøèáêè ïîëó÷àåìûõ îöåíîê è îöåíèòü íà ñîñòîÿòåëüíîñòü,ýôôåêòèâíîñòü è îòêëîíåíèå.
Ï ð è ì å ð 9.8
Åäèíè÷íîå íàáëþäåíèå èñïîëüçóåòñÿ äëÿ îöåíêè ïàðàìåòðà
áèíîìèàëüíîãî ðàñïðåäåëåíèÿ
B(n, θ)
1. Ïîêàæåì, ÷òî MLE ðàâíî
x
n
θ=
2. Ïîêàæåì, ÷òî Áàéåñîâñêàÿ îöåíêà, èñïîëüçóþùàÿ íåèíôîðìàòèâíîå
θe =
ïðåäûäóùåå ðàñïðåäåëåíèå, ðàâíà
x+1
n+2
3. Íàéäåì ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íûõ îøèáîê îáåèõ îöåíîê
è ñðàâíèì èõ ýôôåêòèâíîñòü â ñëó÷àå
Ðåøåíèå
n = 100.
(1) Ôóíêöèÿ ïðàâäîïîäîáèÿ ðàâíà
L(θ) =
n
k
θx (1 − θ)n−x
Òîãäà ïðîëîãîðèôìèðîâàâ, ïîëó÷èì
log L = constant + x log θ + (n − x) log(1 − θ)
Ïðîäèôôåðåíöèðóåì ïî
θ
d
x n−x
log L = −
dθ
θ
1−θ
Ïðèðàâíèâàÿ ïîëó÷åííîå ê 0 è óïðîñòèâ âûðàæåíèå, ïîëó÷èì:
θ=
x
n
Èñïîëüçóÿ ïðåäûäóùóþ ôóíêöèþ ðàñïðåäåëåíèÿ, êîòîðàÿ îäíîðîäíà íà (0,1),
ïîëó÷àåì:
P ost(θ) = constant ∗ θx (1 − θ)n−x , 0 6 θ 6 1
Ïîëó÷èëè ôîðìóëó beta-ðàñïðåäåëåíèÿ ñ ïàðàìåòðàìè
λ = x+1 è β = n−x+1.
Òàêèì îáðàçîì, Áàéåñîâñêàÿ îöåíêà ñ èñïîëüçîâàíèåì êâàäðàòè÷íîé îøèáêè
óùåðáà ÿâëÿåòñÿ ìàòåìàòè÷åñêèì îæèäàíèåì beta-ðàñïðåäåëåíèÿ:
θe =
α
x+1
x+1
=
=
α+β
x+1+n−x+1
n+2
(3) Ìàòåìàòè÷åñêîå îæèäàíèå è äèñïåðñèÿ íàáëþäåíèé áèíîìèàëüíîãî ðàñïðåäåëåíèÿ
B(n, θ)
θ
èìååì:
Òîãäà äëÿ
ðàâíû
E(X) = nθ
E(θ) =
è
V ar(X) = nθ(1 − θ)
1
E(X) = θ
n
246
ñîîòâåòñòâåííî.
Òîãäà
θ
íå èñêàæåíî äëÿ
θ
è ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íîé îøèáêè
ðàâíî:
V ar(θ) =
Äëÿ
1
1
θ(1 − θ)
V ar(X) = 2 nθ(1 − θ) =
2
n
n
n
θe èìååì:
e =x
E(θ)
Òîãäà
θe èìååò
X +1
n+2
=
nθ + 1
6= θ
n+2
èñêàæåíèå ðàâíîå:
nθ + 1
1 − 2θ
−θ =
n+2
n+2
θe :
X +1
1 − 2θ 2
2
e
e
e
M SE(θ) = V ar(θ) + [Bias(θ)] = V ar
+
n+2
n+2
1 − 2θ 2 1 + (n − 4)θ − (n − 4)θ2
1
V ar(X) +
=
=
(n + 2)2
n+2
(n + 2)2
Òîãäà ìàòåìàòè÷åñêîå îæèäàíèå êâàäðàòè÷íîé îøèáêè
Ïðè
n = 100
MSE ðàâíû:
M SE(θ) =
θ(1 − θ)
100
Ìû ìîæåì íàéòè çíà÷åíèå
θ.
è
2
e = 1 + 96θ − 96θ
M SE(θ)
1022
äëÿ êîòîðîãî
M SE(θ)
ìåíüøå :
θ(1 − θ)
1 + 96θ − 96θ2
6
⇒ 1000 − 804θ + 804θ2 > 0
100
1022
Ðåøèâ êâàäðàòíîå íåðàâåíñòâî, ïîëó÷èì:
θ 6 0.146
Òàêèì îáðàçîì, äëÿ áîëüøèõ è ìàëåíüêèõ çíà÷åíèé
θ
θ
èëè
θ > 0.854.
θ (θ 6 0.146 èëè θ > 0.854),
èìååò ìåíüøåå MSE è ÿâëÿåòñÿ áîëåå ýôôåêòèâíîé îöåíêîé. Äëÿ çíà÷åíèé
ìåæäó 0.146 è 0,854,
θe èìååò
ìåíüøåå MSE è ÿâëÿåòñÿ áîëåå ýôôåêòèâíîé
îöåíêîé.
Ÿ7
Áàéåñîâñêèå äîâåðèòåëüíûå èíòåðâàëû
Ìû èñïîëüçîâàëè àïîñòåðèîðíîå ðàñïðåäåëåíèå, ÷òîáû íàéòè òî÷êè
îöåíêè ïàðàìåòðà ðàñïðåäåëåíèÿ, èñïîëüçóÿ ìàòåìàòè÷åñêîå îæèäàíèå,
ìåäèàíó èëè ìîäó àïîñòåðèîðíîãî ðàñïðåäåëåíèÿ.
Ìû ìîæåì òàêæå èñïîëüçîâàòü àïîñòåðèîðíîå ðàñïðåäåëåíèå, ÷òîáû
íàéòè îöåíêó èíòåðâàëà çíà÷åíèé ïàðàìåòðà, èñïîëüçóÿ ñòàíäàðòíûé
247
ïîäõîä ïðèìåíåíèÿ äîâåðèòåëüíûõ èíòåðâàëîâ. Äåéñòâèòåëüíî, âûðàæåíèÿ òèïà P (1.54 < θ < 2.68) = 0.95, ÿâëÿþòñÿ òåïåðü çíà÷àùèìè, òàê
êàê ìû ðàññìàòðèâàåì θ êàê ñëó÷àéíóþ âåëè÷èíó, òîãäà êàê èñïîëüçóÿ
òðàäèöèîííûé ïîäõîä çíà÷åíèå θ áûëà ôèêñèðîâàííîé, íî íåèçâåñòíîé.
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.8. Èñïîëüçóÿ äàííûå çàäà÷è 5.7, íàéòè
ïðèáëèçèòåëüíûé íà 95% Áàéåñîâñêèé äîâåðèòåëüíûé èíòåðâàë äëÿ λ
Èç LogN (µ, 8) ðàñïðåäåëåíèÿ áûë
âçÿòà âûáîðêà îáúåìîì, ðàâíûì 10. Èç âûáîðêè ñëåäóåò, ÷òî Σ log xi =
49.32. Èñïîëüçóÿ ìåòîä Áàéåñîâñêîãî àíàëèçà ñ íåèíôîðìàòèâíîé àïðèîðíîé ôóíêöèåé, íàéòè 95% äîâåðèòåëüíûé èíòåðâàë äëÿ µ.
Âîïðîñ äëÿ ñàìîïîäãîòîâêè 9.9.
 çàêëþ÷åíèè ýòîé ãëàâû ïðèâåäåì ïðèìåð òèïè÷íîãî âîïðîñà íà
ýêçàìåíå ïî òðåòüåé ãëàâå.
Ï ð è ì å ð 9.9
Ïóñòü
X1 , ..., Xn
- ñëó÷àéíàÿ âûáîðêà, èìåþùàÿ ýêñïîíåí-
öèàëüíîå ðàñïðåäåëåíèå ñ ïàðàìåòðîì
θ > 0,
èìåþùàÿ ïëîòíîñòü ðàñïðåäåëå-
íèÿ:
f (x|θ) = θe−θx , x > 0
1.
à Ïîêàæèòå, ÷òî ñîïðÿæåííàÿ ïðåäûäóùàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ
äëÿ -
Gamma(α, λ),
è ñëåäîâàòåëüíî îïðåäåëèòå ïîëíîñòüþ àïî-
ñòåðèîðíîå ðàñïðåäåëåíèå
θ.
á  ÷àñòíîì ñëó÷àå ìàòåìàòè÷åñêîå îæèäàíèå è ñòàíäàðòíîå îòêëîíåíèå ïðåäûäóùåé ôóíêöèè ðàâíî 2.0 è 0.2, ñîîòâåòñòâåííî. Çàïèøèòå ñîîòâåòñòâóþùóþ ïðåäûäóùóþ Gamma ôóíêöèþ.
2.
à Ìàòåìàòè÷åñêîå îæèäàíèå ñëó÷àéíîé âûáîðêè îáúåìà 50 ðàâíî
x = 0.48.
Èñïîëüçóÿ ïðåäûäóùóþ ôóíêöèþ èç ÷àñòè (1)(á), ïî-
ëó÷èòå àïîñòåðèîðíóþ ôóíêöèþ ðàñïðåäåëåíèÿ
îïðåäåëèòå Áàéåñîâñêóþ îöåíêó
θ
è ñëåäîâàòåëüíî
θ, èñïîëüçóÿ êâàäðàòè÷íóþ îøèá-
êó óùåðáà.
á Îáúÿñíèòå, ïî÷åìó àïîñòåðèîðíîå ðàñïðåäåëåíèå ìîæåò áûòü àïïðîêñèìèðîâàíî ïîäõîäÿùèì íîðìàëüíûì ðàñïðåäåëåíèåì.
â Èñïîëüçóéòå íîðìàëüíóþ àïïðîêñèìàöèþ äëÿ îïðåäåëåíèÿ 95%
Áàéåñîâñêîãî èíòåðâàëà äëÿ
Ðåøåíèå
θ.
(1)(à)
Ôóíêöèÿ ïðàâäîïîäîáèÿ ðàâíà:
L(θ) = θe−θx1 θe−θx2 ...θe−θxn = θn e−θ
248
P
xi
Ðàññìàòðèâàÿ íåèçâåñòíûé ïàðàìåòð
θ
êàê ñëó÷àéíóþ âåëè÷èíó, ïîëó÷àåì
âûðàæåíèå â ôîðìå Gamma - ðàñïðåäåëåíèÿ. Ñëåäîâàòåëüíî Gamma - ðàñïðåäåëåíèå ÿâëÿåòñÿ ñîïðÿæåííûì àïðèîðíûì ðàñïðåäåëåíèåì â äàííîì ñëó÷àå.
Gamma(α, λ) â êà÷åñòâå àïðèîðíîãî ðàñïðåäåëåíèÿ äëÿ θ, ïîëó÷èì
Èñïîëüçóÿ
àïîñòåðèîðíîå ðàñïðåäåëåíèå, ïðîïîðöèîíàëüíîå àïðèîðíîìó ðàñïðåäåëåíèþ,
ïîìíîæåííîìó íà ôóíêöèþ ïðàâäîïîäîáèÿ:
P
P
1 α α−1 −λθ
λ θ
e
∗ θn e−θ xi ∝ θn+α−1 e−(λ+ xi )θ
Ã(α)
P
Gamma-ðàñïðåäåëåíèå ñ ïàðàìåòðàìè n = α è λ +
xi .
P ost(θ) ∝
Ýòî äðóãîå
(á) Èñïîëüçóÿ ôîðìóëó äëÿ ìàòåìàòè÷åñêîå îæèäàíèÿ è äèñïåðñèè, ïîëó÷àåì:
α
λ
= 2.0
α
λ2
= 0.22
Ðåøàÿ óðàâíåíèÿ ïîëó÷èì
α = 100
λ = 50
è
(2)(à) Èñïîëüçóÿ ïîëó÷åííûå ðåçóëüòàòû, èìååì àïîñòåðèîðíîå ðàñïðåäåëåíèå - Gamma-ðàñïðåäåëåíèå ñ ïàðàìåòðàìè:
n + α = 150
è
λ+
P
xi = 74
Òîãäà Áàéåñîâñêàÿ îöåíêà
θ
- ìàòåìàòè÷åñêîå îæèäàíèå
ñ èñïîëüçîâàíèåì êâàäðàòè÷íîé îøèáêè óùåðáà
Gamma(150, 74).
θ=
150
= 2.027
74
(á) Êîýôôèöèåíò àñèììåòðèè Gamma-ðàñïðåäåëåíèÿ ðàâåí
ÿâëÿåòñÿ íåáîëüøèì äëÿ
α.
Ò.ê.
α = 150
√
2/ α,
êîòîðûé
è êîýôôèöèåíò ðàñïðåäåëåíèå ìàë,
àïîñòåðèîðíîå ðàñïðåäåëåíèå ÿâëÿåòñÿ ñèììåòðè÷íûì. Ñëåäîâàòåëüíî õîðîøî ïîäõîäèò íîðìàëüíàÿ àïïðîêñèìàöèÿ.
Â
êà÷åñòâå
àëüòåðíàòèâû,
ìîæíî
ïðåäñòàâèòü
ýòî
Gamma-ðàñïðåäåëåíèå
êàê ñóììà 150 ýêñïîíåíöèàëüíûõ ðàñïðåäåëåíèé, êàæäîå èç êîòîðûõ èìååò ïàðàìåòð
λ = 74.
Ò.ê. ìû ñóììèðóåì áîëüøîå êîëè÷åñòâî îäèíàêîâûõ
ñëó÷àéíûõ âåëè÷èí, èç öåíòðàëüíîé ïðåäåëüíîé òåîðåìû ñëåäóåò, ÷òî è ðåçóëüòèðóþùåå ðàñïðåäåëåíèå òàêæå áóäåò íîðìàëüíûì.
(â) 95% äîâåðèòåëüíûé èíòåðâàë äëÿ
N (µ, σ 2 )
ðàñïðåäåëåíèÿ ðàâåí
µ ± 1.96σ .
Ìû èñïîëüçîâàëè íîðìàëüíîå ðàñïðåäåëåíèå ñ òàêèìè æå ìàòåìàòè÷åñêîå
îæèäàíèåì è äèñïåðñèåé êàê è ó àïîñòåðèîðíîãî Gamma-ðàñïðåäåëåíèÿ, ò.å.
µ = 2.027
è
σ2 =
150
742
= 0.02739
249
Ñëåäîâàòåëüíî, Áàéåñîâñêèé èíòåðâàë äëÿ
θ
ðàâåí:
√
2.027 ± 1.96 0.02739 = (1.703, 2.351)
Ÿ8
Êðàòêîå èçëîæåíèå
Áàåñîâñêèé ïîäõîä ê ñòàòèñòè÷åñêîìó âûâîäó, êîòîðûé áàçèðóåòñÿ
íà Áàåñîâñêîé ôîðìóëå, ïðåäïîëàãàåò àïðèîðíîå ðàñïðåäåëåíèå äëÿ
íåèçâåñòíîãî ïàðàìåòðà. Ôóíêöèÿ ïðàâäîïîäîáèÿ â ýòîì ñëó÷àå îïðåäåëÿåòñÿ íà îñíîâå ìíîæåñòâà íàáëþäåíèé. Îáúåäèíÿÿ ïîëó÷åííîå,
âûâîäèòñÿ àïîñòåðèîðíîå ðàñïðåäåëåíèå äëÿ íåèçâåñòíîãî ïàðàìåòðà.
Âî ìíîãèõ ñèòóàöèÿõ åñòü åñòåñòâåííîå àïðèîðíîå ðàñïðåäåëåíèå,
èñïîëüçîâàíèå êîòîðîãî âåäåò ê ñîïðÿæåííîìó àïðèîðíîìó è àïîñòåðèîðíîìó ðàñïðåäåëåíèþ.
Ôóíêöèÿ óùåðáà, íàïðèìåð êâàäðàòè÷íàÿ îøèáêà óùåðáà, àáñîëþòíàÿ îøèáêà óùåðáà èëè áèíàðíàÿ îøèáêà óùåðáà, âûáèðàåòñÿ äëÿ
îïðåäåëåíèÿ ñåðüåçíîñòè íåïðàâèëüíîé îöåíêè.
Ÿ9
Ôîðìóëû
Ôîðìóëà Áàéåñà
P (B|Ai )P (Ai )
P (Ai |B) = P
äèñêðåòíàÿ ôîðìà
P (B|Ai )P (Ai )
i
f (θ|B) = R
P (B|θ)f (θ)
íåïðåðûâíàÿ ôîðìà
P (B|θ)f (θ)dθ
Àïîñòåðèîðíîå ðàñïðåäåëåíèå
Àïîñòåðèîðíîå ðàñïðåäåëåíèå ∝ Àïðèîðíîå ðàñïðåäåëåíèå ∗ Ôóíêöèÿ
ïðàâäîïîäîáèÿ
250