2. Àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê. Ñîñòîÿòåëüíîñòü è àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü. Ñïåðâà ñäåëàåì íåñêîëüêî òåðìèíîëîãè÷åñêèõ çàìå÷àíèé. Ïîä ñòàòèñòèêîé ìû ïîíèìàåì èçìåðèìóþ ôóíêöèþ îò âûáîðêè. Ïîä îöåíêîé íåêîòîðîé ôóíêöèè (òî åñòü ïðèáëèæàþùóþ) f (θ). f (θ) ìû ïîíèìàåì ñòàòèñòèêó, îöåíèâàþùóþ Ôîðìàëüíî ëþáóþ ñòàòèñòèêó ìîæíî ñ÷èòàòü îöåíêîé ëþáîé ôóíêöèè îò ïàðàìåòðà, íî èäåéíî ðàçíèöà äîëæíà áûòü ïîíÿòíà. Ìû ñ âàìè ðàññìîòðåëè äâà óñëîâèÿ, êîòîðûå âî ìíîãèõ ñëó÷àÿõ ðàçóìíî íàëàãàòü íà îöåíêè. Äàâàéòå âñïîìíèì: Íåñìåùåííîé îöåíêîé ôóíêöèè f (θ) ìû íàçûâàåì îöåíêó θ̂(X1, ..., Xn), òàêóþ, ÷òî Eθ θ̂(X1, ..., Xn) = f (θ) ïðè âñåõ θ ∈ Θ. Àñèìïòîòè÷åñêè íåñìåùåííîé îöåíêîé ôóíêöèè f (θ) ìû íàçûâàåì îöåíêó θ̂(X1, ..., Xn) (èëè, ÷òî áîëåå òî÷íî, íàáîð îöåíîê θ̂(X1 , ..., Xn ) ïðè âñåõ n), òàêèõ, ÷òî Eθ θ̂(X1 , ..., Xn ) → f (θ) ∀θ ∈ Θ. Êàê ìû óáåäèëèñü, ñàìà ïî ñåáå íåñìåùåííîñòü íå ãàðàíòèðóåò õîðîøèõ ñâîéñòâ îöåíêè, ñêàæåì, X1 â ñõåìå Áåðíóëëè íåñìåùåííàÿ îöåíêà âåðîÿòíîñòè óñïåõà, íî îíà îïèðàåòñÿ òîëüêî íà îäíî íàáëþäåíèå. Ñëåäóþùåå ñâîéñòâî, êîòîðîå ìû îæèäàåì óâèäåòü îò îöåíîê óëó÷øåíèå êà÷åñòâà îöåíêè ïðè óâåëè÷åíèè ÷èñëà íàáëþäåíèé. Èòàê, íàçîâåì îöåíêó (à âåðíåå ïîñëåäîâàòåëüíîñòü îöåíîê P îöåíêîé f (θ), åñëè θ̂(X1 , ..., Xn ) → f (θ), n → ∞ ∀θ ∈ Θ. Îöåíêà íàçûâàåòñÿ θ̂(X1 , ..., Xn ) ïðè âñåõ n) ñîñòîÿòåëüíîé ñèëüíî ñîñòîÿòåëüíîé, åñëè θ̂(X1, ..., Xn) → f (θ) ï.í., n → ∞, ∀θ ∈ Θ. Xn ê ñë.â. X îçíà÷àåò, ÷òî P (|Xn − X| > ε, ñõîäèìîñòü ï.í. ÷òî P (ω : Xn (ω) → X(ω)) = 1. Åñëè Xi ∼ Bernoulli(θ), òî X → θ ï.í. â ñèëó ÓÇÁ×. Çíà÷èò, X ñèëüíî ñîñòîÿòåëüíàÿ Íàïîìíþ, ñõîäèìîñòü ïî âåðîÿòíîñòè ñëó÷àéíûõ âåëè÷èí ε) → 0 ïðè ëþáîì Ïðèìåð 1. îöåíêà. Àíàëîãè÷íûì îáðàçîì â ïðîèçâîëüíîé ìîäåëè, ãäå Xi èìåþò êîíå÷íîå ì.î. X áóäåò ñèëüíî ñîñòîÿòåëü- íîé åãî îöåíêîé. Ñîäåðæàòåëüíî, ñîñòîÿòåëüíîñòü îçíà÷àåò, ÷òî ïðè áîëüøèõ ÷àòüñÿ îò íàñòîÿùåãî çíà÷åíèÿ áîëåå ÷åì íà ε n âåðîÿòíîñòü òîãî, ÷òî ìû áóäåì îòëè- ìàëà, ÷òî âïîëíå åñòåñòâåííî. Ñèëüíàÿ ñîñòîÿòåëüíîñòü îçíà÷àåò, ÷òî óâåëè÷èâàÿ âûáîðêó, ìû ãàðàíòèðîâàíî ñîéäåìñÿ ê íàñòîÿùåìó çíà÷åíèþ. Äëÿ òîãî, ÷òîáû ëó÷øå ïðî÷óâñòâîâàòü, â ÷åì ðàçëè÷èå, ñòîèò âçãëÿíóòü íà ïðèìåð ñî ñòóïåíüêàìè Ðèèñå èç òåîðèè âåðîÿòíîñòåé: Xn = Iω∈[i/2k ,(i+1)/2k ] , ãäå n = 2k + i, i < 2k , ñõîäèòñÿ ê 0 ïî âåðîÿòíîñòè, íî íå ï.í. Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí ñòðàíñòâå Ω = [0, 1] ñ ìåðîé Ëåáåãà, çàäàííàÿ íà ïðî-  öåëîì, íà ïðàêòèêå îáû÷íî çíà÷èìà ñîñòîÿòåëüíîñòü, íî íå òàê âàæíî, ñèëüíàÿ ëè îíà. Ñèëüíàÿ ñîñòîÿòåëüíîñòü, ñêîðåå, èìååò òåîðåòè÷åñêîå çíà÷åíèå Êàê æå ïðîâåðÿòü ñîñòîÿòåëüíîñòü îöåíîê? Âî-ïåðâûõ, ñòîèò íàïîìíèòü, ÷òî ñõîäèìîñòü ïî âåðîd d ÿòíîñòè ê êîíñòàíòå ðàâíîñèëüíà ñõîäèìîñòè ïî ðàñïðåäåëåíèþ → (íàïîìíèì, ÷òî Yn → Y , åñëè P (Yn ≤ y) → P (Y ≤ y) äëÿ âñåõ y : P (Y = y) = 0). ñõîäèìîñòè ô.ð. θ̂ ê ô.ð. f (θ). Òàêèì îáðàçîì, ñîñòîÿòåëüíîñòü ðàâíîñèëüíà Âîïðîñ íà çàñûïêó. À êàê âûãëÿäèò ô.ð. êîíñòàíòû? Âî-âòîðûõ, ïîëåçíûì ìîæåò îêàçàòüñÿ èñïîëüçîâàíèå ëåììû Ñëóöêîãî: d d d Ëåììà 1. Ïóñòü Xn → X , Yn → c, ãäå c - êîíñòàíòà, à → - ñõîäèìîñòü ïî ðàñïðåäåëåíèþ. Òîãäà: d 1) Xn + Yn → X + c, d 2) Xn Yn → cX , d 3) Xn /Yn → X/c ïðè c 6= 0. Â-òðåòüèõ, èç íåðàâåíñòâà ×åáûøåâà íåòðóäíî âûâåñòè ñëåäóþùóþ ëåììó: Yn , Y èìåþò êîíå÷íûé P Yn → Y , n → ∞. Ëåììà 2. Ïóñòü n → ∞. Òîãäà âòîðîé ìîìåíò, ïðè÷åì E(Yn − Y ) = o(1), D(Yn − Y ) = o(1), Òàêèì îáðàçîì, çíàÿ ìàòåìàòè÷åñêîå îæèäàíèå è äèñïåðñèþ îöåíêè, äîñòàòî÷íî óáåäèòüñÿ, ÷òî îíà àñèìïòîòè÷åñêè íåñìåùåííàÿ è äèñïåðñèÿ åå ñòðåìèòñÿ ê íóëþ. Ïðèìåð 2. Ïóñòü Xi ∼ R[0, θ]. Òîãäà îöåíêà 2X ñîñòîÿòåëüíà, ò.ê. P X → θ/2 èç ÇÁ× (áîëåå òîãî, îíà ñèëüíî ñîñòîÿòåëüíà èç ÓÇÁ×). Îöåíêà max Xi ñîñòîÿòåëüíà, ïîñêîëüêó Fmax Xi (x) ðàâíà 0 ïðè x ≤ 1 ïðè X > θ è (x/θ)n ïðè x ∈ [0, θ]. Ïðè n → ∞ îíà ñõîäèòñÿ ê ôóíêöèè Ix≥θ , ò.å. ô.ð. êîíñòàíòû  ñîñòîÿòåëüíîñòè max Xi 0, θ. ìîæíî áûëî óáåäèòüñÿ, íàéäÿ ìàòåìàòè÷åñêîå îæèäàíèå è äèñïåðñèþ ýòîé âåëè÷èíû è ïðèìåíèâ Ëåììó 2. Pn 1 2 2 Ïðèìåð 3. Îöåíêà S = i=1 (Xi − X) n = X2 − X 2 Dθ X1 (åñëè, êîíå÷íî, 2 2 óïîìÿíóòàÿ äèñïåðñèÿ êîíå÷íà) â ñèëó Ëåììû 1, ïîñêîëüêó X ñîñòîÿòåëüíàÿ îöåíêà Eθ X , à X Eθ X . n 2 Áîëåå òîãî, îíà ÿâëÿåòñÿ ñèëüíî ñîñòîÿòåëüíîé èç ÓÇÁ×. Íåñìåùåííàÿ äèñïåðñèÿ S0 = S 2 ÿâëÿåòñÿ n−1 íåñìåùåííîé è ñèëüíî ñîñòîÿòåëüíîé îöåíêîé äèñïåðñèè. áóäåò ñîñòîÿòåëüíîé îöåíêîé Íåêîòîðîå íåóäîáñòâî ñîñòîÿòåëüíîé îöåíêè â òîì, ÷òî îíà íå îïèñûâàåò, ñ êàêîé æå èìåííî ñêîðîñòüþ èìååò ìåñòî ñõîäèìîñòü èññëåäóåìîìó ïàðàìåòðó. Ìåæäó òåì, íà ïðàêòèêå ìû âñåãäà èìååì êîíå÷íóþ âûáîðêó è õîòåëè äëÿ íåå ïðåäñòàâëÿòü áëèçîñòü ê îöåíèâàåìîìó ïàðàìåòðó. Óâåëè÷åíèå ðàçìåðà âûáîðêè ìîæåò áûòü ñîïðÿæåíî ñ ôèíàíñîâûìè çàòðàòàìè, ÷òî ïðèäàåò îñîáåííóþ âàæíîñòü îïðåäåëåíèþ ïîðÿäêà ìàëîñòè îòëè÷èÿ îöåíêè îò îöåíèâàåìîãî ïàðàìåòðà. Ïðèìåð 4. Ñàì ôàêò ñõîäèìîñòè â ïðàêòè÷åñêèõ óñëîâèÿõ ïðàêòè÷åñêè áåñïîëåçåí. Ïðåäñòàâèì ñåáå, 1 . Ôîðìàëüíî ýòî îçíà÷àåò ñõîäèìîñòü, à θ̂(X1 , ..., Xn ) − f (θ) èìååò òèïè÷íûé ïîðÿäîê ìàëîñòè ln ln n 50 ïðàêòè÷åñêè íåò ln ln 10 < 5. Pn −1 Ïðèìåð 5. Åñëè ðàññìîòðåòü îöåíêó X = n i=1 Xi äëÿ ïàðàìåòðà θ - âåðîÿòíîñòè óñïåõà â ñõå÷òî ìå Áåðíóëëè, òî îíà áóäåò íå ïðîñòî ñîñòîÿòåëüíà, íî â ñèëó öåíòðàëüíîé ïðåäåëüíîé òåîðåìû áóäåò óäîâëåòâîðÿòü ñîîòíîøåíèþ Èíà÷å ãîâîðÿ, îöåíêà X √ n(X − θ) d p → Z ∼ N (0, 1). θ(1 − θ) îöåíèâàåò Åñëè ñóùåñòâóþò òàêîå θ ñ ïîãðåøíîñòüþ ïîðÿäêà n−1/2 . σn (θ) θ̂(X1 , ..., Xn ) − f (θ) d → Z ∼ N (0, 1), σn (θ) θ̂ (à âåðíåå ïîñëåäîâàòåëüíîñòü îöåíîê, ïîñêîëüêó ïðè êàæäîì n ñòàòèñòèêà ñâîÿ) íàçûâàåòñÿ àñèìïòîòè÷åñêè íîðìàëüíîé îöåíêîé f (θ). òî îöåíêà Ïî÷åìó èìåííî íîðìàëüíûå îöåíêè? Ê ýòîìó âåäóò äâà ÿâëåíèÿ - âî-ïåðâûõ, êëàññ àñèìïòîòè÷åñêè íîðìàëüíûõ îöåíîê äëÿ ìíîãèõ ìîäåëåé äîñòàòî÷íî áîãàò. Âî-âòîðûõ, ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå èìååò î÷åíü ëåãêèå õâîñòû, òî åñòü äîñòàòî÷íî ìàëî îòêëîíÿåòñÿ îò ñâîåãî ñðåäíåãî. Òàê äëÿ Z ∼ N (0, 1) íàçûâàþò íåòðóäíî óáåäèòüñÿ, ÷òî P (|Z| > 1.96) ≈ 0.05, P (|Z| > 3) ≈ 0.005 (ïîñëåäíåå óòâåðæäåíèå ïðàâèëîì òðåõ ñèãì íîðìàëüíàÿ âåëè÷èíà êðàéíå ðåäêî îòëè÷àåòñÿ îò ñðåäíåãî áîëåå ÷åì íà 3 êîðíÿ èç äèñïåðñèè). Çà ñ÷åò ýòîãî, ñêàæåì, â ìîäåëè ïðèìåðà 5, c áîëüøîé âåðîÿòíîñòüþ ìîæíî ñêàçàòü, ÷òî X ïðîìàõíåòñÿ íå áîëåå ÷åì íà âñå ýòî ïðè äîñòàòî÷íî áîëüøèõ n, p √ √ 3 θ(1 − θ)/ n ≤ 3/(2 n). Îñòàåòñÿ, ïðàâäà, îãîâîðêà, ÷òî ÷òîáû ñõîäèìîñòü èìåëà ìåñòî.  áîëüøèíñòâå ñëó÷àåâ ìû áóäåì ñòàëêèâàòüñÿ ñ ôóíêöèåé σn (θ) âèäà g(n)b(θ), b(θ) > 0.  òàêîì g(n) ïî n, à ïðè îäèíà- ñëó÷àå, ïðåæäå âñåãî, ìû çàèíòåðåñîâàíû â êàê ìîæíî ìåíüøåé ñêîðîñòè ðîñòà b(θ) (ïðè âñåõ θ). Ïðèìåð 6. Åñëè ðàññìîòðåòü ìîäåëü N (θ, 1), òî îöåíêè X1 , X áóäóò àñèìïòîòè÷åñêè íîðìàëüíûìè −1/2 îöåíêàìè θ . Ïåðâàÿ - ñ g(n) = 1, b(θ) = 1, âòîðàÿ c g(n) = n , b(θ) = 1. Îöåíêà X â ýòîì ñìûñëå êîâûõ g(n) ê êàê ìîæíî ìåíüøåìó ëó÷øå, êàê è ñëåäîâàëî îæèäàòü. ×àùå âñåãî íàì áóäóò âñòðå÷àþòñÿ îöåíêè ñ g(n) = n−1/2 (ïî÷åìó èìåííî, ìû îáñóäèì ÷åðåç íåñêîëüêî çàíÿòèé), äëÿ òàêèõ îöåíîê ââåäåì îòíîñèòåëüíóþ ýôôåêòèâíîñòü: eθ̂1 ,θ̂2 = b2 (θ) . b1 (θ) ×òî ñèìâîëèçèðóåò îòíîñèòåëüíàÿ ýôôåêòèâíîñòü? Äàâàéòå ïðåäñòàâèì, ÷òî ìû ïëàòèì çà êàæäûé ýëåìåíò âûáîðêè öåíó p1 , à íàì íåîáõîäèìî îöåíèòü íàø ïàðàìåòð ñ ïîãðåøíîñòüþ ε. Òîãäà ïîãðåø- −1/2 íîñòü èçìåðåíèÿ íà n ýëåìåíòàõ ñ ïîìîùüþ ïåðâîé ñòàòèñòèêè áóäåò èìåòü âèä |Z|n b1 (θ), ñ ïîìîùüþ −1/2 âòîðîé - |Z|n b2 (θ). Òàêèì îáðàçîì, äëÿ îöåíêè ñ íóæíîé òî÷íîñòüþ ñ ïîìîùüþ ïåðâîé ñòàòèñòèêè 2 2 â ñðåäíåì íàì ïîíàäîáèòñÿ (b1 (θ)/ε) èçìåðåíèé, à ñ ïîìîùüþ âòîðîé - (b2 (θ)/ε) . Òàêèì îáðàçîì, îòíîñèòåëüíàÿ ýôôåêòèâíîñòü - ýòî îòíîøåíèå çàòðàò íà îöåíèâàíèå ñ îäèíàêîâîé òî÷íîñòüþ ïåðâûì è âòîðûì ìåòîäîì. Êàê æå äîêàçûâàòü àñèìïîòè÷åñêóþ íîðìàëüíîñòü? Äëÿ àñèìïòîòè÷åñêè íîðìàëüíûõ îöåíîê åñòü ñëåäóþùåå ïðèÿòíîå ñâîéñòâî: Ëåììà 3 (îá àñèìïòîòè÷åñêîé íîðìàëüíîñòè). Ïóñòü g(n) = n îöåíêîé θ̂ −1/2 è b(θ). Òîãäà h(θ̂), ãäå h - äèôôåðåíöèðóåìàÿ h(f (θ)) ñ b1 (θ) = |h0 (f (θ))|b(θ). - àñèìïòîòè÷åñêè íîðìàëüíàÿ îöåíêà Ïðèìåð 7. Îöåíêà 1/X θ̂ èìååì â ïðèìåðå 1 áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé îöåíêîé ôóíêöèè √ 1 X − 1 θ np θ(1 − θ) · ñ ôóíêöèÿ, áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé Èäåéíî ëåììà âûòåêàåò èç ñëåäóþùèõ ñîîáðàæåíèé: èç àñèìïòîòè÷åñêîé íîðìàëüíîñòè θ̂ + Zn−1/2 b(θ), à èç ôîðìóëû Òåéëîðà h(θ̂) ≈ h(f (θ)) + (θ̂ − f (θ))h0 (f (θ)). ýòîì f (θ) f (θ) ≈ 1/θ, ïðè d 1 θ2 → N (0, 1) Èç ýòèõ óñëîâèé ìû ïîëó÷àåì äîñòàòî÷íî øèðîêèé ïðîñòîð äëÿ ïîñòðîåíèÿ àñèìïòîòè÷åñêè íîðìàëüíûõ îöåíîê, èñïîëüçóÿ èìåþùèåñÿ àñèìïòîòè÷åñêè íîðìàëüíûå îöåíêè (êîòîðûå ìû ìîæåì íàõîäèòü, íàïðèìåð, èç ÖÏÒ). M ED (âûáîðî÷íàÿ ìåäèàíà). Ïðè íå÷åòíîì ðàçìåðå âûáîðêè n = 2k + 1 ïîëîæèì M ED = X(k+1) , à ïðè ÷åòíîì (n = 2k ) (X(k) + X(k+1) )/2. Ýòà îöåíêà äëÿ −1 òåîðåòè÷åñêîé ìåäèàíû (x1/2 = F (1/2)) áóäåò ïîäðîáíî èçó÷åíà íà ñëåäóþùåì çàíÿòèè.  áóäóùåì íàì ïîíàäîáèòñÿ ñòàòèñòèêà Xi ∼ exp(θ). 2.1.1 Äëÿ êàêîé ôóíêöèè e−X 2 áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé îöåíêîé è ñ êàêîé àñèìïòîòè÷åñêîé äèñïåðñèåé? 2.2.1 Íàéòè g(n), òàêóþ, ÷òî X(n) −θ) èìååò ïðåäåëüíîå ðàñïðåäåëåíèå è íàéòè ýòî ðàñïðåäåëåíèå, ãäå g(n) Xi ∼ R[0, θ]. (X(1) + X − 1)/2 ÿâëÿåòñÿ ñîñòîÿòåëüíîé îöåíêîé, Xi ñ ïë-üþ exp(θ − x)Ix>θ . √ n X1 ...Xn , n/(1/X1 + ... + 1/Xn ) ÿâëÿþòñÿ ñîñòîÿòåëüíûìè 2.1.2 Íàéòè f1 (θ), f2 (θ), äëÿ êîòîðûõ îöåíêàìè, Xi ∼ R[1, θ]. Áóäóò ëè îíè àñèìïòîòè÷åñêè íîðìàëüíûìè? 4 2 2.2.2 Äîêàçàòü, ÷òî ïðè EX1 < ∞ îöåíêà S ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíîé äëÿ äèñïåðñèè Xi . Óêàçàíèå Äîêàçàòü ñïåðâà ïðè EX = 0. q 2.3.1 Äîêàçàòü, ÷òî 2.3.2 Ïîêàçàòü, ÷òî k (k + 1)X k àñèìïòîòè÷åñêè íîðìàëüíàÿ îöåíêà θ, Xi ∼ R[0, θ] è íàéòè g(n), b(θ). N (θ, 1) îöåíêà θ̂ = X(1 − (1 − b)I|X|<an ), ãäå an → 0 - ôèêñèðîâàííàÿ ïîn → ∞, 0 < b < 1, áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé è íàéòè åå ýôôåêòèâíîñòü 2.1.3 Äîêàçàòü, ÷òî â ìîäåëè ñëåäîâàòåëüíîñòü, ïî ñðàâíåíèþ ñ an √ X. M ED âûáîðêè ðàçìåðà 2n + 1, R[θ − 1, θ + 1]. (Íàéòè ïëîòíîñòü M ED êàê 2.2.3 Äîêàçàòü, ÷òî ìåäèàíà θ â ìîäåëè eM ED,X . îöåíêîé Íàéòè 2.3.3 Äëÿ íîðìàëüíûõ âåëè÷èí ñ ðàñïðåäåëåíèåì îöåíêè θ N (1, θ2 ) ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíîé ïðåäåë P (M ED ∈ (x, x + δ))/δ , δ → 0). ïîñòðîèòü äâå àñèìïòîòè÷åñêè íîðìàëüíûõ è ïîñ÷èòàòü ýôôåêòèâíîñòü îäíîé ïðîòèâ äðóãîé. (Âîñïîëüçîâàòüñÿ äëÿ îäíîé ÖÏÒ, à äëÿ âòîðîé - ëåììîé).