Краткое содержание лекций 1-3. Статистическая парадигма

Êðàòêîå ñîäåðæàíèå ëåêöèé 1-3.
Ñòàòèñòè÷åñêàÿ ïàðàäèãìà
N
Èìååòñÿ òåîðåòè÷åñêèé ñëó÷àéíûé îáúåêò, êîòîðûé îïèñûâàåò íåêîòîðîå ÿâëåíèå.Y = {Yj }j=1 .
Ñàì îáúåêò íàì íå äîñòóïåí, äîñòóïíû òîëüêî íàáëþäåíèÿ, ïîëó÷åííûå â õîäå ýêñïåðèìåíòà: y1 , . . . , yN .
Çàäà÷à: ïîëó÷èòü èíôîðìàöèþ îá Y ïî y .
×àùå âñåãî â âèäå ñëó÷àéíîãî îáúåêòà âûñòóïàåò íåçàâèñèìàÿ âûáîðêà.
Ïîäõîä Front-oce, ñòàòèñòèêîâ: X1 , . . . , Xn ýòî íàáëþäåíèÿ, òî åñòü êîíêðåòíûå öèôðû ïîëó÷åííûå èç
äàííûõ.
Ïîäõîä Box-oce, âåðîÿòíîñòíèêîâ: X1 , . . . , Xn íåçàâèñèìûå îäèíêîâî ðàñïðåäåëåííûå ñëó÷àéíûå âåëè÷èíû.
Îïðåäåëåíèå.
Ñòàòèñòèêà ôóíêöèÿ îò ðåàëèçàöèè ñëó÷àéíîãî îáúåêòà
f (X1 , . . . , Xn ) ñòàòèñòèêà
Äëÿ âû÷èñëåíèÿ ñòàòèñòèêè íå òðåáóåòñÿ çíàòü íåèçâåñòíûõ ïàðàìåòðîâ ðàñïðåäåëåíèÿ, òîëüêî çíà÷åíèÿ
íàáëþäåíèé.
Ôóíêöèÿ ðàñïðåäåëåíèÿ FXi (y) = P (Xi ≤ y) íåèçâåñòíà. Çàäà÷è ñòàòèñòèêè:
1. Îöåíèòü FXi
2. Îöåíèòü ïàðàìåòðû ðàñïðåäåëåíèÿ Xi
Ïàðàìåòðè÷åñêàÿ ïîñòàíîâêà.
Ðàñïðåäåëåíèå Xi çàâèñèò îò ïàðàìåòðà ìîäåëè.
P (Xi ∈ B) = Pθ (Xi ∈ B)
Ðàñïðåäåëåíèå Pθ ïðèíàäëåæèò çàðàíåå èçâåñòíîìó êëàññó.
Ïðèìåð: èçâåñòíî, ÷òî âðåìÿ æèçíè ìûøè ýêñïîíåíöèàëüíî ðàñïðåäåëåíî, íåèçâåñòåí ïàðàìåòð
ýêñïîíåíöèàëüíîãî ðàñïðåäåëåíèÿ.
Çàìå÷àíèå: ïàðàìåòð θ ìîæåò áûòü ìíîãîìåðíûì, ýòî ïîçâîëÿåò "ñîõðàíÿòü" â íåì äîñòàòî÷íî ìíîãî
èíôîðìàöèè, â òîì ÷èñëå è ëîãè÷åñêîãî òèïà (0/1 èñòèíà/ëîæü).
Ñëó÷àé íåïðåðûâíîãî ðàñïðåäåëåíèÿ: f (x , θ) ïëîòíîñòü Xi , çàâèñÿùàÿ îò ïàðàìåòðà
Ñëó÷àé äèñêðåòíîãî ðàñïðåäåëåíèÿ: Pθ (X1 = m) = g(m, θ)
Ýòè äâà ñëó÷àÿ îõâàòûâàþò âñå ðàñïðåäåëíèÿ, êîòîðûå íóæíû äëÿ îïèñàíèÿ áîëüøèíñòâà èññëåäóåìûõ
îáúåêòîâ.
Îöåíêà ïàðàìåòðîâ ìîäåëè.
Îïðåäåëåíèå. Îöåíêîé íàçûâàåòñÿ ñòàòèñòèêà, çíà÷åíèå êîòîðîé â òîì èëè èíîì ñìûñëå áëèçêî ê èñòèíîìó
çíà÷åíèþ îöåíèâàåìîãî ïàðàìåòðà (èëè ôóíêöèè îò ïàðàìåòðà).
θ̂(X1 , . . . , Xn ) = f (X1 , . . . , Xn ) ≈ θ
Ïðèìåð îöåíêè äëÿ âûáîðêè X1 , . . . , Xn èç Bi(1, p):
Pn
p̂ = X =
i=1
n
Xi P
→EX
=p
Íåïàðàìåòðè÷åñêàÿ ïîñòàíîâêà
Ïðî ðàñïðåäåëåíèå X1 íå èçâåñòíî íè÷åãî.
Ýìïèðè÷åñêàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ ýòî îöåíêà äëÿ "áåñêîíå÷íîìåðíîãî ïàðàìåòðà" èñòèíîé ôóíêöèè
ðàñïðåäåëåíèÿ.
1
Fn (z ) =
n
1 X
I(Xi ≤z )
n i=1
Ýìïèðè÷åñêàÿ ôóíêöèÿ ðàñïðåäåëåíèÿ ñõîäèòñÿ ïî âåðîÿòíîñòè ê èñòèíîìó çíà÷åíèþ ôóíêöèè ðàñïðåäåëåíèÿ
ñëó÷àéíîé âåëè÷èíû X1 â äàííîé òî÷êå.
P
Fn (z )→FX1 (z )
Êðîìå òîãî èìååò ìåñòî ðàâíîìåðíàÿ ñõîäèìîñòü ýìïåðè÷åñêîé ôóíêöèè ðàñïðåäåëåíèÿ ê èñòèíîìó çíà÷åíèþ.
(Òåîðåìà Ãëèâåíêî-Êàíòåëëè)
..
sup |Fn (z ) − FX1 (z )| →0
z
Çàìå÷àíèå: Òåîðåìó Ãëèâåíêî-Êàíòåëëè ýâðèñòè÷åñêè äîñòàòî÷íî ëåãêî óâèäåòü èç ýìïèðè÷åñêîãî ñìûñëà
ïëîòíîñòè è ñâÿçè ïëîòíîñòè è ôóíêöèè ðàñïðåäåëåíèÿ.
Òî÷å÷íûå îöåíêè ïàðàìåòðîâ ìîäåëåé
Ñëó÷àé ïðîèçâîëüíîãî ïàðàìåòðè÷åñêîãî ðàñïðåäåëåíèÿ.
Äàíî ïàðàìåòðè÷åñêîå ðàñïðåäåëåíèå
fX1 (x, θ),
Ïðèìåð
θ = (θ1 , . . . , θk )
fX1 (x, θ) = e−θ1 x Ix≥θ1 C(θ)
Ìåòîäû ïîñòðîåíèÿ îöíåêè:
1. Ìåòîä ìîìåíòîâ.
2. Ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ.
Ìåòîä ìîìåíòîâ
Äëÿ ëþáîãî ðàñïðåäåëåíèÿ ñ êîíå÷íûì m-ì ìîìåíòîì ìîæåì âû÷èñëèòü

EX1 = h1 (θ1 , . . . , θk )



 EX 2 = h (θ , . . . , θ )
2 1
k
1

·
··



m
EX1 = hm (θ1 , . . . , θk )
Ïóñòü θ = h−1 (EX1 , . . . , EXm ), åñëè h−1 ñóùåñòâóåò è äîñòàòî÷íî õîðîøàÿ (íàïðèìåð, íåïðåðûâíàÿ ïî âñåì
àðãóìåíòàì), òîãäà
ˆ 1 , . . . , EX
ˆ m)
θ̂ = h−1 (EX
 ñëó÷àå åñëè am = EX1m ñóøåñòâóåò, îöåíêè
Pn
â1 = X =
â2 = X 2 =
i=1
Pn n
i=1
Xi
Xi2
n
···
Pn
âm = X m =
i=1
Xim
n
ÿâëÿþòñÿ ñîñòîÿòåëüíûìè îöåíêàìè.
Çàìå÷àíèå: ñõîäèìîñòü îöåíîê ìîìåíòîâ ãàðàíòèðóåòñÿ çàêîíîì áîëüøèõ ÷èñåë.
Ìåòîä ìàêñèìóìà ïðàâäîïîäîáèÿ
2
Ïðàâäîïîäîáèåì íàçûâàåòñÿ ïëîòíîñòü ðàñïðåäåëíèÿ ñëó÷àéíîãî âåêòîðà âûáîðêè äëÿ íåïðåðûâíîãî ñëó÷àÿ,
èëè åãî ðàñïðåäåëåíèå äëÿ äèñêðåòíîãî ñëó÷àÿ.
f (X, θ) = f (x1 , θ) · · · f (xn , θ)→
max
θ
X = (X1 , . . . , Xn ) âåêòîð âûáîðêè
îöåíêà
θ̂ = argmaxθ f(x, θ)
Ìåòîä ïîñòðîåíèÿ îöåíîê èç ýìïèðè÷åñêèõ ñîîáðàæåíèé
Ïóñòü îöåíêà f (x) íà âàø âçãëÿä îöåíèâàåò ïàðàìåòð τ (θ).
Ðàññìîòðèì ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí ξn = f (X).
P
Åñëè äëÿ ýòîé ïîñëåäîâàòåëüíîñòè óäàåòñÿ ïîëó÷èòü ñõîäèìîñòü ïî âåðîÿòíîñòè ê òðåáóåìîé ôóíêöèè (ξn →τ (θ)),
òî íàìè ïîëó÷åíà ñîñòîÿòåëüíàÿ îöåíêà äàííîãî ïàðàìåòðà.
Ýñïèðè÷åñêèé ñìûñë çàêîíà áîëüøèõ ÷èñåë è öåíòðàëüíîé ïðåäåëüíîé òåîðåìû.
Çàêîí áîëüøèõ ÷èñåë (ÇÁ×):
Ïóñòü X1 , X2 , . . . íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå ñëó÷àéíûå âåëè÷èíû (í.î.ð.ñ.â.) ñ êîíå÷íûì
ìàòîæèäàíèåì. Òîãäà
Pn
i=1 Xi P
→EX1
n
Òî åñòü èõ ñóììàðíîå çíà÷åíèå äåëåííîå íà êîëè÷åñòâî îáÿçàíî âåñòè ñåáÿ íåñëó÷àéíî: áûòü ïðèìåðíî ðàâíûì
ìàòåìàòè÷åñêîìó îæèäàíèþ.
Öåíòðàëüíàÿ ïðåäåëüíàÿ òåîðåìà (ÖÏÒ)
Ïóñòü X1 , X2 , . . . íåçàâèñèìûå îäèíàêîâî ðàñïðåäåëåííûå ñëó÷àéíûå âåëè÷èíû (í.î.ð.ñ.â.) ñ êîíå÷íûì âòîðûì
ìîìåíòîì (äèñïåðñèåé) è íå ðàâíûå êîíñòàíòå. Òîãäà
v
u n
Pn
Pn
Pn
Pn
u X
X
−
EX
X
−
EX
d
i
i
i
i
i=1
i=1
i=1
i=1
tD
√
Xi →N(0, 1)
−
√
=
n ∗ DXi
i=1
Òî åñòü èõ ñóììàðíîå çíà÷åíèå, äåëåííîå íà êîðåíü èç êîëè÷åñòâà ñ òî÷íîñòüþ äî íåêîòîðîé íîðìèðîâêè âåäåò
ñåáÿ âïîëíå êîíêðåòíûì îáðàçîì êàê ñòàíàäðòíàÿ íîðìàëüíàÿ ñëó÷àéíàÿ âåëè÷èíà.
Ïðîâåðêà ñòàòèñòè÷åñêèõ ãèïîòåç.
Ãèïîòåçà H0
Ïðèìåð: Ñìåðòü ìûøè ïîñëå ýêñïåðèìåíòà ÿâëÿåòñÿ áåðíóëëèåâñêîé ñëó÷àéíîé âåëè÷èíîé ñ ïàðàìåòðîì p =
p0 = 0.01 (ãèïîòåçà î áåçîïàñíîñòè ýêñïåðèìåíòà).
Àëüòåðíàòèâà H1
Ïðèìåð: Ñìåðòü ìûøè ïîñëå ýêñïåðèìåíòà ÿâëÿåòñÿ áåðíóëëèåâñêîé ñëó÷àéíîé âåëè÷èíîé ñ ïàðàìåòðîì p > p0 .
Êðèòåðèé: f (X1 , . . . , Xn ) > T
Åñëè íåðàâåíñòâî â êðèòåðèè âûïîëíÿåòñÿ, òî ñëåäóåò îòáðîñèòü ãèïîòåçó.
Ïðèìåð: Äëÿ ýêñïåðèìåíòà ñ ìûøàìè êðèòåðèé âûãëÿäèò òàê: X1 + . . . + Xn > T , òî åñòü ñ÷èòàåì ÷èñëî
ìåðòâûõ ìûøåé è ñðàâíèâàåì ñ íåêîòîðûì ïîðîãîâûì (Threshold) çíà÷åíèåì. Åñëè ïîãèáëî ñëèøêîì ìíîãî
ìûøåé îòáðàñûâàåì ãèïîòåçó î áåçîïàñíîñòè ýêñïåðèìåíòà.
Îøèáêà ïåðâîãî ðîäà.
P (f (X1 , . . . , Xn ) > T |H0 ) = α
Âåðîÿòíîñòü ñðàáàòûâàíèÿ êðèòåðèÿ ïðè âåðíîé ãèïîòåçå.
Çàìå÷àíèå: Îøèáêó ïåðâîãî ðîäà ÷àñòî áûâàåò çíà÷èòåëüíî ïðîùå ðàñ÷èòàòü ÷åì âñå îñòàëüíûå ïàðàìåòðû,
êðîìå òîãî îøèáêà ïåðâîãî ðîäà ýòî îñíîâíîé ïàðàìåòð âûáîðà êðèòåðèåâ (â ñëó÷àå îòáðîñà õîðîøåé ãèïîòåçû,
âû å¼ óæå íå ñìîæåòå ïåðåïðîâåðèòü, â ñëó÷àå íåîòáðîñà ïëîõîé î÷åâèäíî áóäóò ïðîâîäèòüñÿ åùå òåñòû).
Ïîýòîìó ãðàíè÷íîå çíà÷åíèå äëÿ êðèòåðèÿ âûáèðàåòñÿ èìåííî èç îøèáêè ïåðâîãî ðîäà è ÷àñòî îáîçíà÷àåòñÿ Tα .
Ïðèìåðû ãèïîòåç è êðèòåðèåâ.
3
1. Ãèïîòåçû äëÿ ïðîñòûõ äèñêðåòíûõ ìîäåëåé. Êîíñòðóèðóþòñÿ âðó÷íóþ â òå ñëó÷àÿõ, êîãäà âîçìîæåí
ïîäñ÷åò âåðîÿòíîñòè îøèáêè ïåðâîãî ðîäà.
2. t-êðèòåðèè ðàçëè÷èÿ ñðåäíåãî çíà÷åíèÿ âûáîðêè
3. Êðèòåðèé âèëêîêñîíà ðàçëè÷èÿ ñðåäíèõ çíà÷åíèé íåïàðàìåòðè÷åñêèõ âûáîðîê
4. Êðèòåðèè ñîãëàñèÿ Êîëìîãîðîâà-Ñìèðíîâà
5. Êðèòåðèé ñîãëàñèÿ õè-êâàäðàò ïèðñîíà
Äîâåðèòåëüíîå îöåíèâàíèå ïàðàìåòðîâ
Äîâåðèòåëüíûé èíòåðâàë ýòî ìíîæåñòâî ïîñòðîåííîå ïî íàáëþäåíèÿì, â êîòîðîå ñ áîëüøîé âåðîÿòíîñòüþ
ïîïàäàåò èñòèíîå çíà÷åíèå ïàðàìåòðà.
P θ ∈ [θ̂α− , θ̂α+ ] = P θ ∈ [θ̂α− (X1 , . . . , Xn ), θ̂α+ (X1 , . . . , Xn )] = 1 − α
Îáùåå îïðåäåëåíèå
P θ ∈ Θ̂α (X1 , . . . , Xn ) ≥ γ = 1 − α,
ãäå Θ̂α (X1 , . . . , Xn ) ⊂ Rk .
γ óðîâåíü çíà÷èìîñòè îáû÷íî âûáèðàåòñÿ äîñòàòî÷íî âûñîêèì (95%, 99%).
Ïðèìåð ðàñ÷åòà äîâåðèòåëüíîãî èíòåðâàëà äëÿ íîðìàëüíîé âûáîðêè.
X1 , . . . , Xn âûáîðêà èç N (a, 1)
òî÷å÷íàÿ îöåíêà â = X
xα/2
xα/2
P a ∈ â − √ , â + √
=1−α
n
n
Äîâåðèòåëüíûå èíòåðâàëû äëÿ ïàðàìåòðîâ ãàóññîâñêîé âûáîðêè.
Äîâåðèòåëüíûå èíòåðâàëû äëÿ N (a, σ 2 )
1. Äëÿ a ïðè èçâåñòíîì σ 2 = σ02
xα/2 σ 2
xα/2 σ 2
a ∈ X − √ 0 ,X + √ 0 ,
n
n
ãäå xα êâàíòèëü óðîâåíÿ α ðàñïðåäåëåíèÿ N (0, 1)
2. Äëÿ σ 2 ïðè èçâåñòíîì a = a0
"
#
ns2 ns2
σ ∈
, 2− ,
χ2+
α/2 χα/2
2
ãäå s2 =
1
n
P
2+
2
(Xi − a0 )2 , χ2−
α , χα íèæíèé è âåðõíèé êâàíòèëè ðàñïðåäåëåíèÿ χ ñ n ñòåïåíÿìè ñâîáîäû
3. Äëÿ a ïðè íåèçâåñòíîì σ 2
√
√ #
tα/2 s 2
tα/2 s 2
a∈ X− √
,X + √
,
n
n
"
ãäå tα êâàíòèëü óðîâåíÿ α ðàñïðåäåëåíèÿ ñòüþäåíòà (t-ðàñïðåäåëåíèÿ) c n − 1 ñòåïåíüþ ñâîáîäû
4. Äëÿ σ 2 ïðè íåèçâåñòíîì a
"
#
2
2
(n
−
1)s
(n
−
1)s
σ2 ∈
,
,
χ2+
χ2−
α/2
α/2
ãäå s2 =
1
n−1
P
(Xi − X)2 ,
4
2+
2
χ2−
α , χα íèæíèé è âåðõíèé êâàíòèëè ðàñïðåäåëåíèÿ χ ñ n − 1 ñòåïåíüþ ñâîáîäû
5. Äëÿ a è σ 2 îäíîâðåìåííî

xβ/2 σ
xβ/2 σ

≤a≤X+ √
X− √


n
n
2
(n − 1)s
(n − 1)s2

2

≤
σ
≤

χ2+
χ2−
β/2
β/2
P
1
(Xi − X)2 , xβ/2 êâàíòèëü N (0, 1),
Çäåñü s2 = n−1
2+
2
χ2−
β/2 , χβ/2 âåðõíèå è íèæíèå êâàíòèëè ðàñïðåäåëåíèÿ χ ñ n − 1 ñòåïåíüþ ñâîáîäû,
2
β : (1 − β) = 1 − α.
Äîâåðèòåëüíé èíòåðâàë ïàðàìåòðà ýêñïîíåíöèàëüíîãî ðàñïðåäåëåíèÿ
"
λ ∈ λ̂
2n
χ2−
2n,α/2
, λ̂
#
2n
χ2+
2n,α/2
Ïîñòðîåíèå äîâåðèòåëüíûõ èíòåðâàëîâ äëÿ ïàðàìåòðîâ ðàñïðåäåëåíèÿ ìåòîäîì öåíòðàëüíîé
ôóíêöèè
ñì. Ëàãóòèí.
Ìåäèàíà
m : P (ξ < m) = P (ξ > m) (=
Âûáîðî÷íàÿ ìåäèàíà
1
2
äëÿ íåïðåðûâíûõ ðàñïðåäåëåíèé)

,
n − íå÷åòíîå
 X([ n+1
2 ])
m̂ = 1 
X([ n ]) + X([ n ]+1) ,
n − ÷åòíîå
2
2
2
Äîâåðèòåëüíûé èíòåðâàë äëÿ ìåäèàíû
h
i
−
+
m̂ ∈ X(kn,α
) , X(kn,α
)
Áîëüøèå âûáîðêè
"
−
kn,α
1
= n − xα/2
2
r
11
n
22
#
"
+
kn,α
,
1
= n + xα/2
2
r
11
n
22
#
Ìàëûå âûáîðêè
1
+
P Bi(n, ) ∈ k−
,
k
≥1−α
n,α n,α
2
Ñâîéñòâà îöåíîê è ãèïîòåç.
Îöåíêè
P
1. Ñîñòîÿòåëüíîñòü: θ̂→θ
..
Ñèëüíàÿ ñîñòîÿòåëüíîñòü: θ̂→θ
2. Íåñìåùåííîñòü: Eθ̂ = θ
3. Îïòèìàëüíîñòü: îöåíêà θ̂1 ëó÷øå ÷åì îöåíêà θ̂2 , åñëè Dθ̂1 ≤ Dθ̂2
√
d
2
4. Àñìèïòîòè÷åñêàÿ íîðìàëüíîñòü: n(θ̂ − θ)→N(0, σàññ
).
Ãèïîòåçû
1. Ñîñòîÿòåëüíîñòü: P (f (X1 , . . . , Xn ) > T |H0 ) → 0, P (f (X1 , . . . , Xn ) > T |H1 ) → 1
2. Íåñìåùåííîñòü: P (f (X1 , . . . , Xn ) > T |H0 ) ≤ P (f (X1 , . . . , Xn ) > T |H1 )
3. Îïòèìàëüíîñòü: Ñðàâíåíèå ôóíêöèé ìîùíîñòè êðèòåðèÿ. Àñèìïòîòè÷åñêàÿ ýôôåêòèâíîñòü.
5