Об оценке параметров нелинейной регрессии

Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
ñïåöèàëüíîãî âèäà
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Ñàíêò-Ïåòåðáóðãñêèé ãîñóäàðñòâåííûé óíèâåðñèòåò
Ìàòåìàòèêî-ìåõàíè÷åñêèé ôàêóëüòåò
Êàôåäðà ñòàòèñòè÷åñêîãî ìîäåëèðîâàíèÿ
Íàó÷íûé ðóêîâîäèòåëü: ä.ô-ì.í., ïðîô. Åðìàêîâ Ñ.Ì.
Ðåöåíçåíò: ñò.íàó÷í.ñîòð. Ñîëíöåâ Â.Í.
Ñàíêò-Ïåòåðáóðã
2007ã.
1/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Ïîñòàíîâêà çàäà÷è
Çàäà÷à íåëèíåéíîé ðåãðåññèè ñ îäíîé íåçàâèñèìîé ïåðåìåííîé
ïðè îòñóòñòâèè ñèñòåìàòè÷åñêîé îøèáêè:
yj = η(xj |θ) + εj ,
η(x|θ)
j = 0, . . . , N,
X × Θ,
⊆ Rm );
íåëèíåéíàÿ ôóíêöèÿ íà
íàáîðà ïàðàìåòðîâ
εj ,
xj ∈ X,
j = 0, . . . , N,
θ ∈ Θ,
(Θ
çàäàíà ñ òî÷íîñòüþ äî
ñëó÷àéíûå îøèáêè èçìåðåíèé.
Òðåáóåòñÿ îöåíèòü íåèçâåñòíûå ïàðàìåòðû
θ.
Ðàññìîòðèì êîíêðåòíóþ ìîäåëü:
η(x|θ) = η(x|λ, ω, α, β) =
p
X
eλi x (αi cos(ωi x) + βi sin(ωi x)) ,
i=1
λ = {λi }pi=1 ,
ω = {ωi }pi=1 ,
θ = {λ, ω, α, β}
2/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
αi = {αi }pi=1 ,
β = {βi }pi=1 ,
íàáîðû ïàðàìåòðîâ.
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Ïîñòàíîâêà çàäà÷è
Ïðåäïîëàãàåòñÿ:
η(x|θ) : p = 1, 2;
xj , j = 0, . . . , N, ðàâíîîòñòîÿùèå
îòðåçêà [0, 1];
ε = (ε0 , . . . , εN )T : ε ∼ N (0, σ 2 I), (σ < ∞);
Θ = R4p .
÷èñëî ñëàãàåìûõ äëÿ
â îñíîâíîì
n
o
θ̂ = λ̂, ω̂, α̂, β̂ = arg min F (θ)
θ∈Θ
ãäå
N
X
2
F (θ) =
yj − η(xj |θ)
òî÷êè èç
îöåíêà ÌÍÊ,
öåëåâàÿ ôóíêöèÿ.
j=0
Çàäà÷à:
èññëåäîâàòü íàõîæäåíèå îöåíîê
θ̂
íåñêîëüêèìè ÷èñëåííûìè
ìåòîäàìè;
ðàññìîòðåòü çàâèñèìîñòü îøèáêè â îöåíêàõ îò ïîãðåøíîñòè â
èçìåðåíèÿõ è íåêîòîðûå ñòàòèñòè÷åñêèå ñâîéñòâà ýòèõ îöåíîê;
ñðàâíèòü íåêîòîðûå ðåçóëüòàòû îöåíîê ìåòîäîì Ãóñåíèöà-SSA
è ÌÍÊ ïðè óñëîâèè îòñóòñòâèÿ ñèñòåìàòè÷åñêîé ïîãðåøíîñòè.
3/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Èññëåäîâàíèå ÷èñëåííûõ ìåòîäîâ
Äëÿ ïðîâåäåíèÿ ÷èñëåííûõ ýêñïåðèìåíòîâ èñïîëüçóåòñÿ ñðåäà
MATLAB.
Ðàññìàòðèâàþòñÿ 4 ìåòîäà ìèíèìèçàöèè.
Ìîäåëèðîâàíèå èñõîäíûõ äàííûõ (p
= 1):
âûáîð èñòèííîãî íàáîðà ïàðàìåòðîâ
θ̃;
âû÷èñëåíèå
η(xj |θ̃) = η(xj |λ̃, ω̃, α̃, β̃) = eλ̃xj α̃ cos(ω̃xj ) + β̃ sin(ω̃xj ) ,
xj = jh, h = N1 , j = 0, . . . , N ;
ãåíåðàöèÿ ñëó÷àéíîãî âåêòîðà ε ∼ N (0, I) è óìíîæåíèå íà
ðàçëè÷íûå σ = σ(ε);
âû÷èñëåíèå yj = η(xj |θ̃) + εj ,
j = 0, . . . , N .
Íà÷àëüíîå ïðèáëèæåíèå äëÿ ìåòîäîâ:
Âûáîð
ãäå
θ0 = θ̃.
θ̃:
íåñêîëüêî íàáîðîâ, âçÿòûõ ïðîèçâîëüíî;
ôèêñèðóåì
[0.5, 5]3
4/14
α̃ = 1,
äëÿ
λ̃, ω̃ , β̃
áåðåì çíà÷åíèÿ â âåðøèíàõ êóáà
è ñëó÷àéíûå òî÷êè âíóòðè íåãî.
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Àíàëèç ðåçóëüòàòîâ
Ðåàëèçàöèÿ ýêñïåðèìåíòà
Ýêñïåðèìåíò: äëÿ êàæäîãî ïàðàìåòðà ïîñòðîåíèå çàâèñèìîñòè
îöåíêè ñòàíäàðòíîãî îòêëîíåíèÿ îøèáêè â îöåíêàõ ïàðàìåòðîâ
σ̂(θ) = {σ̂(λ), σ̂(ω), σ̂(α), σ̂(β)}
îò ñòàíäàðòíîãî îòêëîíåíèÿ äëÿ
ñëó÷àéíîé îøèáêè â èçìåðåíèÿõ
σ = σ(ε).
Öåëü ýêñïåðèìåíòà: èññëåäîâàòü ðåçóëüòàòû îöåíêè ïàðàìåòðîâ
íåñêîëüêèìè ìåòîäàìè è ðàññìîòðåòü îáùèé õàðàêòåð
çàâèñèìîñòè îøèáêè â îöåíêàõ îò îøèáêè â èçìåðåíèÿõ.
Èñïîëüçóåìûå çíà÷åíèÿ:
ôèêñèðîâàíî N = 50;
x0 = 0, x50 = 1, xj = jh, h = 1/N , j = 1, . . . , N − 1;
çíà÷åíèå σ(ε) ìåíÿåòñÿ îò 0 äî 1 ñ øàãîì h = 0.01, ëèáî h = 0.1,
è íà ýòè çíà÷åíèÿ óìíîæàåòñÿ êàæäûé ñìîäåëèðîâàííûé âåêòîð
ñëó÷àéíûõ îøèáîê;
÷èñëî ïîâòîðåíèé äëÿ âû÷èñëåíèÿ îöåíêè
5/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
σ̂(θ) M = 20.
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Àíàëèç ðåçóëüòàòîâ
Çàâèñèìîñòü
σ̂(θ)
îò
σ(ε)
äëÿ õîðîøèõ è ïëîõèõ ïàðàìåòðîâ:
{λ̃ = 3, ω̃ = 3, α̃ = 1, β̃ = 1}
6/14
Ðåçóëüòàòû
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
{λ̃ = 5, ω̃ = 0.5, α̃ = 1, β̃ = 0.5}
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Àíàëèç ðåçóëüòàòîâ
H
Ðåçóëüòàòû
ìàòðèöà âòîðûõ ïðîèçâîäíûõ öåëåâîé ôóíêöèè
ïàðàìåòðàì ïðè
σ(ε) = 0
â òî÷êå èñòèííûõ çíà÷åíèé
F (θ)
θ̃;
λmin , λmax ìèíèìàëüíîå è ìàêñèìàëüíîå ñîáñòâåííûå
ìàòðèöû H ;
d = λmin /λmax ÷èñëî îáóñëîâëåííîñòè ìàòðèöû H .
ïî
÷èñëà
Ðåçóëüòàò: ó ïëîõèõ íàáîðîâ ïàðàìåòðîâ ÷èñëî îáóñëîâëåííîñòè
ìíîãî ìåíüøå ïî ñðàâíåíèþ ñ õîðîøèìè íàáîðàìè.
õîðîøèå íàáîðû
7/14
λ̃
ω̃
α̃
β̃
2
3
1
4
3
3
1
1
5
5
1
0.5
0.5
5
1
5
0.8
4.4
1
2.6
0.5
5
1
5
d
0.34 · 10−3
0.39 · 10−3
0.27 · 10−3
0.72 · 10−2
0.13 · 10−1
0.72 · 10−3
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
ïëîõèå íàáîðû
λ̃
ω̃
α̃
β̃
1
1
1
1
5
0.5
0.5
1
0.3
2
1
3
4.3
1.4
1
1.1
5
0.5
1
5
1.7
0.8
1
0.9
d
0.12 · 10−5
0.53 · 10−7
0.32 · 10−5
0.45 · 10−5
0.15 · 10−8
0.29 · 10−5
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Ñòàòèñòè÷åñêèå ñâîéñòâà îöåíîê
Ïðè
ε v N (0, σ 2 I)
îöåíêè ÌÍÊ ÿâëÿþòñÿ ýôôåêòèâíûìè,
àñèìïòîòè÷åñêè ñîñòîÿòåëüíûìè è íîðìàëüíûìè.
Ýêñïåðèìåíò: ïðè ðàçëè÷íûõ çíà÷åíèÿõ
σ(ε)
è
N
äëÿ
íåêîòîðûõ ïàðàìåòðîâ
ïîñòðîåíû ãèñòîãðàììû îäíîìåðíûõ ðàñïðåäåëåíèé îøèáîê â
îöåíêàõ ïàðàìåòðîâ;
âû÷èñëåíà îöåíêà ñìåùåíèÿ îöåíîê ÌÍÊ;
îöåíåíà ìàòðèöà êîâàðèàöèé âåêòîðà ïîãðåøíîñòè â îöåíêàõ.
Èñïîëüçóåìûå çíà÷åíèÿ:
N = 5, 10, 50;
σ(ε) = 0.01, 0.1, 0.2, 0.5, 1;
ôèêñèðîâàíî M = 150 îáúåì âûáîðêè
ðàññìîòðåíî
çíà÷åíèå
8/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
îöåíîê.
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Ñðàâíåíèå ìåòîäà Ãóñåíèöà-SSA è ÌÍÊ
 ñëó÷àå ðàâíîîòñòîÿùèõ òî÷åê
xj , j = 0, . . . , N
ôóíêöèÿ
η(x|θ)
óäîâëåòâîðÿåò óðàâíåíèþ:
η(xj |θ) = aη(xj−1 |θ) + bη(xj−2 |θ), j = 2, . . . , N.
Èñõîäíûé âðåìåííîé ðÿä
Y = (y0 , . . . , yN ).
Ýêñïåðèìåíò:
ìåòîä Ãóñåíèöà-SSA
L (1 < L < N + 1); ñòðîèì ìàòðèöó âëîæåíèÿ X;
λi ñ. ÷., Ui ñ. â. ìàòðèöû XXT , i = 1, . . . , L,
λ1 ≥ . . . ≥ λL ≥ 0, d = max{i : λi > 0},
d √
P
X=
λi Ui ViT SVD-ðàçëîæåíèå ìàòðèöû X;
i=1
√
√
áåðåì ìàòðèöó X̂ =
λ1 U1 V1T + λ2 U2 V2T ;
Ŷ = (ŷ0 , . . . , ŷN ) ðÿä, ïîëó÷åííûé ïîñëå äèàãîíàëüíîãî
óñðåäíåíèÿ ìàòðèöû X̂.
âûáèðàåì
ÌÍÊ
θ̂ = {λ̂, ω̂, α̂, β̂} îöåíêó θ = {λ, ω, α, β};
(η̂0 , . . . , η̂N ):
η̂j = η(xj |θ̂) = eλ̂xj α̂ cos(ω̂xj ) + β̂ sin(ω̂xj ) .
íàõîäèì
âû÷èñëÿåì
9/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Ñðàâíåíèå ìåòîäà Ãóñåíèöà-SSA è ÌÍÊ
Èñïîëüçóåìûå çíà÷åíèÿ:
N = 50, L = 25;
σ = σ(ε) ìåíÿåòñÿ îò 0
ôèêñèðîâàíî
çíà÷åíèå
÷èñëî ïîâòîðåíèé ýêñïåðèìåíòà
Äëÿ îöåíîê
i,σ
(ŷ0i,σ , . . . , ŷN
)
è
äî 2 ñ øàãîì h = 0.1;
M = 20.
i,σ
(η̂0i,σ , . . . , η̂N
)
âû÷èñëÿþòñÿ:
îòêëîíåíèÿ îò èñòèííûõ çíà÷åíèé â êàæäîé òî÷êå (j
resσj S =
resσj M =
= 0, . . . , N )
M
1 X i,σ
ŷj − η(xj |θ̃) ,
M i=1
M
1 X i,σ
η̂j − η(xj |θ̃) ;
M i=1
ñðåäíÿÿ ñóììà êâàäðàòîâ îòêëîíåíèé îò èñòèííûõ çíà÷åíèé
resσ S =
resσ M =
10/14
M
N
2
1 X 1 X i,σ
[
ŷj − η(xj |θ̃) ],
M i=1 N j=1
M
N
2
1 X 1 X i,σ
[
η̂ − η(xj |θ̃) ].
M i=1 N j=1 j
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Ñðàâíåíèå ìåòîäà Ãóñåíèöà-SSA è ÌÍÊ
{λ̃ = 0.5, ω̃ = 7, α̃ = 1, β̃ = 5}
âèä ðÿäà è îòêëîíåíèÿ â êàæäîé òî÷êå (σ(ε)
= 1):
çàâèñèìîñòü ñðåäíåé ñóììû êâàäðàòîâ îòêëîíåíèé îò èñòèííûõ
çíà÷åíèé îò
11/14
σ(ε):
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Ïðîïóùåííûå íàáëþäåíèÿ
Îöåíêè ÌÍÊ ìîæíî ñòðîèòü, êîãäà òî÷êè
j = 0, . . . , N
xj ∈ [a, b],
íå ÿâëÿþòñÿ ðàâíîîòñòîÿùèìè.
Èñõîäíûå äàííûå:
xj ∈ [0, 1], j = 0, . . . , N
xp , . . . , xp+k (ïðîïóùåííûå
çíà÷åíèÿ y0 , . . . , yp , yp+k , . . . , yN .
íà ñåòêå èç ðàâíîîòñòîÿùèõ òî÷åê
âûêèäûâàåì ÷àñòü çíà÷åíèé
íàáëþäåíèÿ) è ìîäåëèðóåì
Âèä ðÿäà äëÿ
{λ̃ = 2, ω̃ = 3, α̃ = 1, β̃ = 4}
(âûäåëåí ïðîìåæóòîê ïðîïóùåííûõ òî÷åê,
12/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
p = 25, k = 10):
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Ïðîïóùåííûå íàáëþäåíèÿ
Çàâèñèìîñòü ïîãðåøíîñòè â îöåíêå íåèçâåñòíûõ ïàðàìåòðîâ îò
îøèáêè â èçìåðåíèÿõ äëÿ ìîäåëè áåç ïðîïóñêîâ (ñèíèì) è ïðè
íàëè÷èè ïðîïóùåííûõ íàáëþäåíèé (êðàñíûì):
Ðåçóëüòàò: ñ óâåëè÷åíèåì ÷èñëà ïðîïóùåííûõ íàáëþäåíèé îøèáêà
ðàñòåò.
13/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè
Çàêëþ÷åíèå
×èñëåííûå ýêñïåðèìåíòû â ðàáîòå ïîçâîëÿþò ñäåëàòü âûâîäû:
ìåòîäû, ïðåäëàãàåìûå ïàêåòîì MATLAB, ïîçâîëÿþò äîñòàòî÷íî
óâåðåííî íàõîäèòü îöåíêè ÌÍÊ, êîãäà ìàòðèöà
H
õîðîøî
îáóñëîâëåíà (÷èñëî îáóñëîâëåííîñòè íå íèæå ïîðÿäêà
10−3 ),
èíà÷å òðåáóåòñÿ îïòèìèçàöèÿ ìåòîäîâ;
óäàëîñü ïðîñëåäèòü çàâèñèìîñòü îøèáîê â îöåíêàõ îò îøèáîê â
èñõîäíûõ äàííûõ; óñòàíîâëåíî, ÷òî îöåíêè ÌÍÊ íîðìàëüíû ïðè
ñðàâíèòåëüíî íåáîëüøîì ÷èñëå íàáëþäåíèé;
ïðè ñðàâíåíèè ðåçóëüòàòîâ îòäåëåíèÿ ñèãíàëà îò øóìà ìåòîäîì
Ãóñåíèöà-SSA è âîññòàíîâëåíèÿ ðåãðåññèè ñ ïîìîùüþ ÌÍÊ
îòìå÷åíî, ÷òî ÌÍÊ äàåò ìåíüøåå îòêëîíåíèå îò èñòèííîãî
çíà÷åíèÿ, è ýòî ðàçëè÷èå ðàñòåò ñ ðîñòîì
σ;
êîãäà èç ðàâíîîòñòîÿùèõ òî÷åê ÷àñòü íàáëþäåíèé ïðîïóùåíû,
ìåòîäû òàêæå ðàáîòàþò, íî îøèáêà â îöåíêàõ, áåçóñëîâíî,
óâåëè÷èâàåòñÿ è çàâèñèò îò ïîëîæåíèÿ ïðîïóùåííûõ òî÷åê.
14/14
Íå÷àåâà Ìàðèÿ Ëåîíèäîâíà, 522 ãðóïïà
Îá îöåíêå ïàðàìåòðîâ íåëèíåéíîé ðåãðåññèè