Лекция 7. Статистические парадоксы. Элементы анализа дан

Âûñøàÿ øêîëà ýêîíîìèêè, 2011-12 ó÷åáíûé ãîä
Ôàêóëüòåò ïðèêëàäíîé ïîëèòîëîãèè
Àëãåáðà è àíàëèç
È. À. Õîâàíñêàÿ, È. Â. Ùóðîâ, Þ. Ã. Êóäðÿøîâ, Ê. È. Ñîíèí (ÐÝØ)
Ëåêöèÿ 7. Ñòàòèñòè÷åñêèå ïàðàäîêñû. Ýëåìåíòû àíàëèçà äàííûõ
Àíàëèçèðóÿ òå èëè èíûå ñîáûòèÿ è òåíäåíöèè, ìû ÷àñòî îáðàùàåìñÿ ê ñòàòèñòè÷åñêèì
äàííûì. Èñïîëüçóÿ äàííûå, ìû äåëàåì ïî íèì âûâîäû î ïðîèñõîäÿùåì ïîðîé âûâîäû ñ
î÷åíü ñåðüåçíûìè ïîñëåäñòâèÿìè. Íàïðèìåð, åñëè ðå÷ü èäåò îá àíàëèçå ïîñëåäíåé êàêîé-òî
êîíêðåòíîé ïðàâèòåëüñòâåííîé ïðîãðàììû (ïîòðà÷åíî ñòîëüêî-òî äåíåã, ïîêàçàòåëè ñìåíèëèñü ñ òàêèõ-òî íà òàêèå-òî), âûâîäû î ïðè÷èííîñëåäñòâåííûõ ñâÿçÿõ ìåæäó çàòðàòàìè è
ïðåäïðèíÿòûìè óñèëèÿìè, ñ îäíîé ñòîðîíû, è èçìåíåíèåì ïîêàçàòåëåé ñ äðóãîé, áóäóò
èãðàòü ñóùåñòâåííóþ ðîëü ïðè ïðèíÿòèè ðåøåíèé î áóäóùèõ ïðîåêòàõ.
Íåñìîòðÿ íà òî, ÷òî äëÿ îáðàáîòêè äàííûõ íàóêà çíàåò òûñÿ÷è ìåòîäîâ, ìàòåìàòèêè è
ýêîíîìèñòû ïèøóò ñòàòüè â äåñÿòêè íàó÷íûõ æóðíàëîâ, ïî âñåìó ìèðó ðàáîòàþò îãðîìíûå èññëåäîâàòåëüñêèå öåíòðû, ÷àñòî êàæåòñÿ, ÷òî âñå ýòî ëèøíåå. Ìíîãèì êàæåòñÿ, ÷òî
äîñòàòî÷íî áåãëîãî è, óæ êîíå÷íî, äîñòàòî÷íî ïðèñòàëüíîãî âçãëÿäà íà äàííûå, ÷òîáû ïîíÿòü, êàêèå ñóùåñòâóþò ñâÿçè, êàêèå åñòü òåíäåíöèè, è ÷òî íóæíî äåëàòü. Äåéñòâèòåëüíî,
çà÷àñòóþ òàêîé âçãëÿä íà äàííûå ïîçâîëÿåò ñäåëàòü âàæíûå, î÷åâèäíûå, íî, ê ñîæàëåíèþ,
ñîâåðøåííî íåâåðíûå âûâîäû.
 ýòîé ëåêöèè ìû ïðèâîäèì ïðèìåðû íåñêîëüêèõ ñîâåðøåííî ýëåìåíòàðíûõ ¾ñòàòèñòè÷åñêèõ ïàðàäîêñîâ¿ ñèòóàöèé, êîãäà ¾çäðàâûé ñìûñë¿ è ¾èíòóèöèÿ¿ ïîäñêàçûâàþò
íàì ñîâñåì íå òî, ÷òî íàì ïûòàþòñÿ ðàññêàçàòü ðåàëüíûå äàííûå. Ýòà ëåêöèÿ íå íàó÷èò
âàñ ìåòîäàì ñòàòèñòèêè äëÿ ýòîãî íåîáõîäèìû êàê ìèíèìóì ïîëíîöåííûé êóðñ àíàëèçà
äàííûõ. Ýòà ëåêöèÿ äîëæíà íàó÷èòü âàñ îñòîðîæíîñòè.
Ïàðàäîêñ Ñèìïñîíà
Ðàññìîòðèì ïðèìåð, îïèñàííûé èçâåñòíûì ïîïóëÿðèçàòîðîì ìàòåìàòèêè Ìàðòèíîì
Ãàðäíåðîì. Ïóñòü ìû èìååì ÷åòûðå íàáîðà êàìíåé. Âåðîÿòíîñòü âûòàùèòü ÷åðíûé êàìåíü
èç íàáîðà 1 âûøå, ÷åì èç íàáîðà 2.  ñâîþ î÷åðåäü, âåðîÿòíîñòü âûòàùèòü ÷åðíûé
êàìåíü èç íàáîðà 3 áîëüøå, ÷åì èç íàáîðà 4. Ýòî çíà÷èò, ÷òî â íàáîðå 1 ÷àùå
1
ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿, È. À. Õîâàíñêàÿ, È. Â. Ùóðîâ, Þ. Ã. Êóäðÿøîâ, Ê. È. Ñîíèí
(ÐÝØ)
âñòðå÷àþòñÿ ÷åðíûå êàìíè, ÷åì â íàáîðå 2, à â íàáîðå 3 ÷àùå, ÷åì â íàáîðå 4. Îáúåäèíèì íàáîð 1 ñ íàáîðîì 3 (ïîëó÷èì íàáîð I ), à íàáîð 2 ñ íàáîðîì 4 (íàáîð
II ). Ñîâåðøåííî î÷åâèäíî, ÷òî âåðîÿòíîñòü âûòàùèòü ÷åðíûé êàìåíü èç íàáîðà I áîëüøå,
÷åì èç íàáîðà II, âåäü â íàáîð I ïîïàëè òå íàáîðû, ãäå ÷åðíûå êàìíè áûëè ¾ãóùå¿! Îäíàêî,
â îáùåì ñëó÷àå òàêîå óòâåðæäåíèå íåâåðíî, è ìû ñåé÷àñ ïðèâåäåì ïðèìåð ðàñïîëîæåíèÿ
÷åðíûõ è áåëûõ êàìíåé â íàáîðàõ, êîãäà ýòî ñîâñåðøåííî ¾î÷åâèäíîå¿ óñëîâèå íå âûïîëíèòñÿ. Ïóñòü â íàáîðå 1 6 ÷åðíûõ è 7 áåëûõ êàìíåé, â íàáîðå 4 4 ÷åðíûõ è 5 áåëûõ
êàìíåé, â íàáîðå 3 6 ÷åðíûõ êàìíåé è 3 áåëûõ, â íàáîðå 4 9 ÷åðíûõ êàìíåé è 5
áåëûõ. Òîãäà â íàáîðå 1 ÷åðíûå êàìíè ¾ãóùå¿, âåðîÿòíîñòü âûòàùèòü ÷åðíûé êàìåíü
èç ïåðâîãî íàáîðà âûøå. Äåéñòâèòåëüíî, â íàáîðå 1 âñåãî 13 êàìíåé, èç íèõ 6 ÷åðíûõ,
çíà÷èò, âåðîÿòíîñòü âûíóòü ÷åðíûé êàìåíü ñîñòàâëÿåò 6/13.  íàáîðå 2 âñåãî 9 êàìíåé,
èç íèõ 4 ÷åðíûõ, çíà÷èò, âåðîÿòíîñòü âûíóòü ÷åðíûé êàìåíü ñîñòàâëÿåò 4/9. Ìû âèäèì,
÷òî 6/13 > 4/9, çíà÷èò, âåðîÿòíîñòü âûíóòü ÷åðíûé êàìåíü èç íàáîðà 1 âûøå. Ñðàâíèì
òåïåðü íàáîðû 3 è 4.  íàáîðå 3 6 ÷åðíûõ êàìíåé, à âñåãî êàìíåé 9, çíà÷èò âåðîÿòíîñòü âûáðàòü ÷åðíûé êàìåíü ñîñòàâëÿåò 6/9. Äëÿ íàáîðà 4 ýòà âåðîÿòíîñòü ðàâíà 9/14.
Ìû âèäèì, ÷òî 6/9 > 9/14. Èòàê, íàáîðû  1, 2, 3 è 4 óäîâëåòâîðÿþò òåì òðåáîâàíèÿì,
êîòîðûå ìû ïðåäúÿâèëè â ïîñòàíîâêå çàäà÷è. Òåïåðü ñìåøàåì íàáîðû 1 è 3 (ò. å. òå,
ãäå ÷åðíûå êàìíè ëåæàò ¾ãóùå¿) è íàáîðû 2 è 4, ò. å. ¾ìåíåå ÷åðíûå¿ íàáîðû. Êàêîâî æå ñîîòíîøåíèå ÷åðíûõ è áåëûõ øàðîâ â íàáîðå II - ñìåñè ¾áîëåå ÷åðíûõ¿ íàáîðîâ
1 è 3? Òàì áóäåò 12 ÷åðíûõ è 10 áåëûõ êàìíåé, ò. å. âåðîÿòîíñòü âûíóòü ÷åðíûé
êàìåíü ðàâíà 14/22. Âî íàáîðå II, ñîáðàííîì èç ¾ìåíåå ÷åðíûõ¿ íàáîðî⠝2 è 4 áóäåò
13 ÷åðíûõ è 10 áåëûõ øàðîâ, ò. å. âåðîÿòíîñòü âûíóòü ÷åðíûé øàð ñîñòàâèò 13/23. Èòàê,
íàáîð II, ñîáðàíûé èç ¾ìåíåå ÷åðíûõ¿ íàáîðî⠝2 è 4 çàãàäî÷íûì îáðàçîì îêàçàëñÿ
áîëåå ÷åðíûì!
Åñëè ðàçîáðàíûé âûøå ïðèìåð âûãëÿäèò íåñêîëüêî çàãàäî÷íî, òî âòîðîé ïðèìåð ñäåëàåò
ïàðàêîñ Ñèìïñîíà ïðîñòûì è ïîíÿòíûì. Ðàññìîòðèì îïÿòü 4 íàáîðà ÷åðíûõ è áåëûõ øàðîâ.
Òîëüêî òåïåðü ñîîòíîøåíèå ÷åðíûõ è áåëûõ øàðîâ íàáîðàõ áóäåò òàêèì (ñì. òàáë. 1).
Ìû âèäèì, ÷òî ñíîâà âûïîëíåíû âñå òðåáîâàíèÿ óñëîâèÿ çàäà÷è: íàáîð 1 ¾áîëåå
÷åðíûé¿, ÷åì íàáîð 2, íàáîð 3 ¾áîëåå ÷åðíûé¿, ÷åì íàáîð 4. Îäíàêî, íàáîð 4 âñå
æå áîëåå ÷åðíûé è ÷åì íàáîð 2, è ÷åì íàáîð 1, è îí êóäà áîëüøå, ÷åì îáà ýòè íàáîðà.
Ò. å. èìåííî ñîñòàâ íàáîðà 4 áóäåò ðåøàþùèì â ñìåñè íàáîðî⠝2 è 4. Èòàê, ìû
âèäèì, ÷òî íàáîð I òåïåðü ñîñòîèò èç 25 ÷åðíûõ è 11 áåëûõ øàðîâ, âåðîÿòíîñòü âûíóòü
÷åðíûé øàð îòòóäà ñîñòàâëÿåò 25/36 = 0, 69444. Íàáîð II ñîñòîèò èç 4010 ÷åðíûõ è 1010
ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿
ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿, È. À. Õîâàíñêàÿ, È. Â. Ùóðîâ, Þ. Ã. Êóäðÿøîâ, Ê. È. Ñîíèí
(ÐÝØ)
÷¼ðíûå øàðû áåëûå øàðû
íàáîð 1
20
10
íàáîð 2
10
10
íàáîð 3
5
1
íàáîð 4
4000
1000
Òàáëèöà 1: Ðàñïðåäåëåíèå ÷¼ðíûõ è áåëûõ øàðîâ
áåëûõ øàðîâ, è îí ãîðàçäî ¾áîëåå ÷åðíûé¿ âåðîÿòíîñòü âûíóòü èç ýòîãî íàáîðà ÷åðíûé
øàð ñîñòàâëÿåò 4010/5020 = 0, 7988.
Ôåíîìåí Óèëëà Ðîäæåðñà
Ôåíîìåí Óèëëà Ðîäæåðñà áëèçîê ê ïàðàäîêñó Ñèìïñîíà, ôàêòè÷åñêè, â íåì îïèñûâàåòñÿ òîò æå ýôôåêò, òîëüêî â äðóãèõ òåìèíàõ. Íàçâàíèå ýòîãî ïàðàäîêñà îñíîâûâàåòñÿ
íà ñëåäóþùåé öèòàòå, ïðèïèñûâàåìîé êîìåäèàíòó Óèëëó Ðîäæåðñó: ¾Êîãäà îêè ïîêèíóëè
Îêëàõîìó è ïåðååõàëè â Êàëèôîðíèþ, îíè ïîâûñèëè ñðåäíèé èíòåëëåêò îáîèõ øòàòîâ¿
(îêè ïðåçðèòåëüíîå èëè ïðîñòîðå÷íîå íàçâàíèå æèòåëåé Îêëàõîìû).
Èòàê, âîïðîñ. Ïóñòü åñòü äâà ìíîæåñòâà ÷èñåë À è Â, íàïðèìåð, íàáîðû IQ äâóõ êëàññîâ.
Ìîæåò ëè òàêîå áûòü, ÷òî ïðè ïåðåìåùåíèè êàêèõ-òî ÷èñåë èç ìíîæåñòâà À â ìíîæåñòâî
 ñðåäíåå çíà÷åíèå îáîèõ ýòèõ ìíîæåñòâ ïîâûñèòñÿ? Çàäóìàåìñÿ: äëÿ òîãî, ÷òîáû ïîñëå
ïåðåìåùåíèÿ êîãî-òî èç À â  ñðåäíåå çíà÷åíèå À ïîâûñèëîñü, ìíîæåñòâó À íóæíî ¾èçáàâèòüñÿ¿ îò êàêîãî-íèáóäü ìàëåíüêîãî ÷èñëà, êëàññó À èçáàâèòüñÿ îò ïëîõèõ ó÷åíèêîâ.
Ìîæåò ëè ïðè ýòîì ïîâûñèòüñÿ ñðåäíèé óðîâåíü êëàññà  ? Î÷åâèäíûé îòâåò íåò, íå ìîæåò ñíîâà íåâåðåí. Äåéñòâèòåëüíî, ðàññìîòðèì òàêèå ìíîæåñòâà: A = {10, 20, 30, 40, 50}
è B = {1, 2, 3, 4, 5}
Ñðåäíåå çíà÷åíèå ìíîæåñòâà À ñîñòàâëÿåò
10 + 20 + 30 + 40 + 50
= 30
5
ßñíî, ÷òî åñëè ìû âûêèíåì èç ìíîæåñòâà À ñàìîå ìàëåíüêîå ÷èñëî 10, òî ñðåäíåå ñòàíåò
áîëüøå. Äåéñòâèòåëüíî, áåç 10 îíî ñîñòàâèò
20 + 30 + 40 + 50
= 35
4
Îäíàêî, äëÿ ìíîæåñòâà  ÷èñëî 10 íå ìàëåíüêîå, à íàîáîðîò áîëüøîå. Åñëè áåç íåãî
ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿
ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿, È. À. Õîâàíñêàÿ, È. Â. Ùóðîâ, Þ. Ã. Êóäðÿøîâ, Ê. È. Ñîíèí
(ÐÝØ)
ñðåäíåå â ìíîæåñòâå Â ñîñòàâëÿëî (1 + 2 + 3 + 4 + 5) /5 = 3, òî òåïåðü ñðåäíåå áóäåò áîëüøå:
1 + 2 + 3 + 4 + 5 + 10
1
=4
6
6
Èòàê, ïîâûøåíèå ñðåäíåãî â îáîèõ ìíîæåñòâàõ âîçìîæíî, è øóòêà Óèëëà Ðîäæåðñà (çà
êîòîðóþ ìû íèêàê íå îòâå÷àåì) îçíà÷àåò, ÷òî æèòåëè øòàòà Êàëèôîðíèÿ ãëóïåå ñàìûõ
ãëóïûõ îêè.
Ïàðàäîêñ Áåðêñîíà
Ïàðàäîêñ Áåðêñîíà èëè îøèáêà Áåðêñîíà ñîñòîèò â íåâåðíîì çàêëþ÷åíèè î çàâèñèìîñòè
ñîáûòèé À è Â, åñëè ìû íàáëþäàåì òîëüêî òå èñõîäû, äëÿ êîòîðûõ âûïîëíÿåòñÿ õîòÿ áû
îäíî èç ñîáûòèé À èëè Â.
Ïóñòü â ãîðîäå À æèâåò 100 äåâóøåê, èç íèõ 10 êðàñàâèö è 10 óìíèö, ïðè÷åì ñîáûòèÿ
¾ñëó÷àéíî âûáðàííàÿ äåâóøêà óìíèöà¿ è ¾ñëó÷àéíî âûáðàííàÿ äåâóøêà êðàñàâèöà¿ íåçàâèñèìû, ò. å. ðîâíî îäíà äåâóøêà è óìíèöà, è êðàñàâèöà. Äåéñòâèòåëüíî, åñëè
ñðåëè âñåõ äåâóøåê 1/10 ÷àñòü ñîñòàâëÿþò óìíèöû, òî äëÿ òîãî, ÷òîáû ýòè ñîáûòèÿ áûëè
íåçàâèñèìû, ñðåäè êðàñàâèö òîæå äîëæíà áûòü 1/10 óìíèö, ò. å. óìíèöêðàñàâèö áóäåò
(1/10) × 10 = 1.
Ïîñìîòðèì òåïåðü íà ýòó æå ñèòóàöèþ ñ òî÷êè çðåíèÿ æèòåëÿ ñîñåäíåãî ãîðîäà, êîòîðîìó ðàññêàçûâàþò òîëüêî îá èíòåðåñóþùèõ åãî äåâóøêàõ: óìíèöàõ èëè êðàñàâèöàõ. Îí
çíàåò î 19 äåâóøêàõ èç ýòîãî ãîðîäà: 10 óìíèö, 10 êðàñàâèö, íî åäèíñòâåííàÿ óìíèöà
êðàñàâèöà ïîñ÷èòàíà è â òîì è â äðóãîì äåñÿòêå. Èòàê, ñ òî÷êè çðåíèÿ ýòîãî íàáëþäàòåëÿ, âåðîÿòíîñòü òîãî, ÷òî äåâóøêà óìíèöà ñîñòàâëÿåò 10/19, âåðîÿòíîñòü æå, ÷òî äåâóøêà
óìíèöà, ïðè óñëîâèè, ÷òî îíà êðàñàâèöà, ñîñòàâëÿåò âñå òó æå 1/10. Èòàê, íà âçãëÿä ýòîãî íàáëþäàòåëÿ, ñîáûòèÿ çàâèñèìû, ó íèõ åñòü îáðàòíàÿ ñâÿçü ñðåäè êðàñàâèö ðåæå
âñòðå÷àþòñÿ óìíèöû, äóìàåò îí, ÷åì ñðåäè âñåõ äåâóøåê.
Òîò æå ýôôåêò íàáëþäàþò âðà÷è, áèîëîãè, ìíîãèå ñïåöèàëèñòû, êîòîðûå âïîëíå âñåðüåç
íàèìàþòñÿ äàííûìè. Âðà÷ ñðàâíèâàåò ÷àñòîòó òåõ èëè èíûõ çàáîëåâàíèé ñðåäè òåõ, êòî ê
íåìó îáðàùàåòñÿ, ò. å. ñðåäè òåõ, êòî ÷åì-òî áîëåí. Ïîäóìàéòå ñàìè â êàêèõ ñèòóàöèÿõ
âû ñòàëêèâàëèñü ñ òåì, ÷òî äåëàþòñÿ ñëèøêîì ïîñïåøíûå âûâîäû î ïîäîáíîé çàâèñèìîñòè.
ÂØÝ, 2011-12, ¾Àëãåáðà è àíàëèç¿