Задача классификации. Статистический подход к обучению
реклама
Àííîòàöèÿ Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Çàäà÷à êëàññèôèêàöèè. Ñòàòèñòè÷åñêèé ïîäõîä ê îáó÷åíèþ Ì.Þ. Õà÷àé [email protected] Èíñòèòóò ìàòåìàòèêè è ìåõàíèêè, Óðàëüñêîå îòäåëåíèå ÐÀÍ Ñ.Êîâàëåâñêîé, 16, Åêàòåðèíáóðã, 620990, Ðîññèÿ Øêîëà àíàëèçà äàííûõ âåñåííèé ñåìåñòð 2013 Àííîòàöèÿ Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Àííîòàöèÿ Ëåêöèÿ ïîñâÿùåíà îáçîðó îäíîãî èç êëàññè÷åñêèõ ïîäõîäîâ ê ðåøåíèþ çàäà÷è êëàññèôèêàöèè (îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ), íàçûâàåìîãî ñòàòèñòè÷åñêèì. Ïîäõîä îïèðàåòñÿ íà ïîíÿòèå áàéåñîâñêîãî êëàññèôèêàòîðà ðàçëè÷íûå ìåòîäû âîññòàíîâëåíèÿ (îöåíèâàíèÿ ïî âûáîðêå) íåèçâåñòíûõ çàêîíîâ ðàñïðåäåëåíèÿ Àííîòàöèÿ Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Ñîäåðæàíèå 1 2 Çàäà÷à êëàññèôèêàöèè Ïîñòàíîâêà çàäà÷è Áàéåñîâñêèé êëàññèôèêàòîð Àëãîðèòì îáó÷åíèÿ, îñíîâàííûé íà ïðåäâàðèòåëüíîì âîññòàíîâëåíèè çàêîíîâ ðàñïðåäåëåíèÿ Ìåòîäû âîññòàíîâëåíèÿ çàêîíîâ ðàñïðåäåëåíèÿ Àííîòàöèÿ Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Ñîäåðæàíèå 1 2 Çàäà÷à êëàññèôèêàöèè Ïîñòàíîâêà çàäà÷è Áàéåñîâñêèé êëàññèôèêàòîð Àëãîðèòì îáó÷åíèÿ, îñíîâàííûé íà ïðåäâàðèòåëüíîì âîññòàíîâëåíèè çàêîíîâ ðàñïðåäåëåíèÿ Ìåòîäû âîññòàíîâëåíèÿ çàêîíîâ ðàñïðåäåëåíèÿ Àííîòàöèÿ Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Çàäà÷à îáó÷åíèÿ ðàñïîçíàâàíèþ îáðàçîâ (êëàññèôèêàöèè) Çàäàíî ìíîæåñòâî D îáúåêòîâ, ïîäëåæàùèõ êëàññèôèêàöèè. Èçâåñòíî, ÷òî D äîïóñêàåò ðàçáèåíèå íà k ïîäìíîæåñòâ (êëàññîâ). Òðåáóåòñÿ âîññòàíîâèòü äàííîå íåèçâåñòíîå ðàçáèåíèå D = D0 ∪ D1 ∪ . . . ∪ Dk−1 . Çàäàíî íåîáÿçàòåëüíî âçàèìíî îäíîçíà÷íîå îòîáðàæåíèå χ : D → X . Êëàññèôèêàöèÿ îáúåêòîâ d ∈ D äîëæíà áûòü ïðîèçâåäåíà ïî ðåçóëüòàòàì íàáëþäåíèé xd = χ(d). Çàäàíî ñåìåéñòâî ðåøàþùèõ ïðàâèë (êëàññèôèêàòîðîâ) F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} | α ∈ Λ}, â êîòîðîì òðåáóåòñÿ íàéòè êëàññèôèêàòîð íàèáîëåå òî÷íî àïïðîêñèìèðóþùèé èñõîäíîå ðàçáèåíèå. Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Èçìåðèìàÿ ñòðóêòóðà Çàäàäèìñÿ âåðîÿòíîñòíûì ïðîñòðàíñòâîì (X × Y, A, P): èçìåðèìóþ ñòðóêòóðó îïðåäåëèì A = AX × 2Y äëÿ íåêîòîðîé σ-àëãåáðû AX ⊂ 2X êàæäîìó y ∈ Y ñîïîñòàâèì ÷èñëî Py ∈ [0, 1] òàê, ÷òîáû P y∈Y Py = 1 è âåðîÿòíîñòíóþ ìåðó P(·|y) : AX → [0, 1] òîãäà äëÿ êàæäîãî ñîáûòèÿ A ∈ A Z P(A) = dP(x, y) = (x,y)∈A X y∈Y Z 1A (x, y) dP(x|y) Py X (1) Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Ïðèìåðû Íàïðèìåð äèñêðåòíûé ñëó÷àé: X = {x1 , . . . , xN }, AX = 2X , ìåðà P(·|y) çàäàåòñÿ ñîîòíîøåíèÿìè P({xi }|y) = Πi (y), P(B|y) = X Πi (y) xi ∈B Òîãäà ñîîòíîøåíèå (1) ïðèìåò âèä P(A) = X y∈Y Py X xi ∈X 1A (xi , y)Πi (y) Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Ïðèìåðû (ctd) "íåïðåðûâíûé" ñëó÷àé: X êîíòèíóàëüíîå ìíîæåñòâî, AX áîðåëåâñêàÿ σ-àëãåáðà, ìåðà P(·|y) çàäàåòñÿ ïëîòíîñòüþ ρy Z P(B|y) = ρy (x) dx B  ýòîì ñëó÷àå (1) ïðèìåò âèä P(A) = X y∈Y Z 1A (x, y)ρy (x) dx Py X Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Äîïóñòèìûå êëàññèôèêàòîðû Ðåøàþùèå ïðàâèëà (àëãîðèòìû êëàññèôèêàöèè, êëàññèôèêàòîðû) F = {f (·, α) : X → Y = {0, 1, . . . , k − 1} | α ∈ Λ} èçìåðèìû îòíîñèòåëüíî AX , ò.å., â ÷àñòíîñòè, äëÿ êàæäîãî y ∈ Y Aα,y = {x : f (x, α) = y} ∈ AX è Āα,y = {x : f (x, α) 6= y} ∈ AX Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Êðèòåðèé îïòèìèçàöèè Çàäàäèìñÿ ôóíêöèåé ïîòåðü Φ(x, y, α) : X × Y × Λ → R+ , øòðàôóþùåé íåâåðíóþ êëàññèôèêàöèþ îáúåêòà d ∈ D (êîòîðîìó ñîîòâåòñòâóåò ïàðà (x, y)) ðåøàþùèì ïðàâèëîì f (·, α), è îïðåäåëèì ôóíêöèîíàë ñðåäíåãî ðèñêà Z I(α|P) = Φ(x, y, α) dP(x, y) = X×Y X y∈Y Z Φ(x, y, α) dP(x|y) Py X Çàäà÷à ðàñïîçíàâàíèÿ Íàéòè òàêîé êëàññèôèêàòîð f (·, α∗ ), ÷òî α∗ = arg min{I(α|P) : α ∈ Λ} Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Êðèòåðèé îïòèìèçàöèè Çàäàäèìñÿ ôóíêöèåé ïîòåðü Φ(x, y, α) : X × Y × Λ → R+ , øòðàôóþùåé íåâåðíóþ êëàññèôèêàöèþ îáúåêòà d ∈ D (êîòîðîìó ñîîòâåòñòâóåò ïàðà (x, y)) ðåøàþùèì ïðàâèëîì f (·, α), è îïðåäåëèì ôóíêöèîíàë ñðåäíåãî ðèñêà Z I(α|P) = Φ(x, y, α) dP(x, y) = X×Y X y∈Y Z Φ(x, y, α) dP(x|y) Py X Çàäà÷à ðàñïîçíàâàíèÿ Íàéòè òàêîé êëàññèôèêàòîð f (·, α∗ ), ÷òî α∗ = arg min{I(α|P) : α ∈ Λ} Íà ïðîøëîé ëåêöèè ìû ïîêàçàëè, ÷òî çàäà÷à ð.î. ÿâëÿåòñÿ ÷àñòíûì ñëó÷àåì áîëåå îáùåé çàäà÷è ìèíèìèçàöèè ñðåäíåãî ðèñêà Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Âèä ôóíêöèè ïîòåðü Çàìåòèì, ÷òî ñòðóêòóðà ôóíêöèè Φ(x, y, α) ìîæåò áûòü î÷åíü ñëîæíîé, íàïðèìåð, ó÷èòûâàòü íåòðèâèàëüíóþ çàâèñèìîñòü îò α (òðóäîåìêîñòü, ôèíàíñîâûå çàòðàòû, ñâÿçàííûå ñ èñïîëüçîâàíèåì ðàçëè÷íûõ êëàññèôèêàòîðîâ) çàâèñèìîñòü ïîòåðü îò íåâåðíîé êëàññèôèêàöèè îáúåêòîâ ñ ðàçëè÷íûìè çíà÷åíèÿìè x etc. Âñþäó íèæå áóäåì èñïîëüçîâàòü ñëåäóþùèå âàðèàíòû ∆ : Y × Y → R+ , ∆(y, y) = 0: Φ(x, y, α)|f (x,α)=ŷ ≡ ∆(y, ŷ) = ∆y,ŷ ∆ : Y → R+ Φ(x, y, α) = ∆(y) = ∆y , 0, åñëè f (x, α) 6= y, â ïðîòèâíîì ñëó÷àå Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Âèä ôóíêöèè ïîòåðü Çàìåòèì, ÷òî ñòðóêòóðà ôóíêöèè Φ(x, y, α) ìîæåò áûòü î÷åíü ñëîæíîé, íàïðèìåð, ó÷èòûâàòü íåòðèâèàëüíóþ çàâèñèìîñòü îò α (òðóäîåìêîñòü, ôèíàíñîâûå çàòðàòû, ñâÿçàííûå ñ èñïîëüçîâàíèåì ðàçëè÷íûõ êëàññèôèêàòîðîâ) çàâèñèìîñòü ïîòåðü îò íåâåðíîé êëàññèôèêàöèè îáúåêòîâ ñ ðàçëè÷íûìè çíà÷åíèÿìè x etc. Âñþäó íèæå áóäåì èñïîëüçîâàòü ñëåäóþùèå âàðèàíòû ∆ : Y × Y → R+ , ∆(y, y) = 0: Φ(x, y, α)|f (x,α)=ŷ ≡ ∆(y, ŷ) = ∆y,ŷ ∆ : Y → R+ Φ(x, y, α) = ∆(y) = ∆y , 0, åñëè f (x, α) 6= y, â ïðîòèâíîì ñëó÷àå Àííîòàöèÿ Ïîñòàíîâêà çàäà÷è Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Îêîí÷àòåëüíàÿ ôîðìóëèðîâêà Ïî ïîñòðîåíèþ, äëÿ Aα,ŷ = {x ∈ X : f (x, α) = ŷ} (ŷ1 6= ŷ2 ) ⇒ (Aα,ŷ ∩ Aα,ŷ = ∅) è ∪ŷ∈Y Aα,ŷ = X 1 2  ïåðâîì ñëó÷àå I(α|P) = X Z X y∈Y = X y∈Y Φ(x, y, α) dP(x|y) Py Py X Z ∆yŷ dP(x|y) = Aα,ŷ ŷ∈Y X y∈Y Py X ∆yŷ P(Aα,ŷ |y) ŷ∈Y Âî âòîðîì I(α|P) = X y∈Y Z Py ∆y dP(x|y) Āα,y = X y∈Y Py ∆y P(Āα,y |y) Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Ïðåäïîñûëêè Çàäà÷à ð.î. min X min Py X ∆yŷ P(Aα,ŷ |y) : α ∈ Λ y∈Y ŷ∈Y X Py ∆y P(Āα,y |y) : α ∈ Λ y∈Y (2) Óñëîâèÿ ïðèìåíèìîñòè ìåðà P èçâåñòíà ìíîæåñòâî F = {f (·, α) : α ∈ Λ} = [X → Y] Ðåçóëüòàò Ïðè äàííûõ óñëîâèÿõ îáå çàäà÷è ðàçðåøèìû, îïòèìàëüíîå ðåøåíèå íàçûâàåòñÿ áàéåñîâñêèì êëàññèôèêàòîðîì (3) Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Ïðåäïîñûëêè Çàäà÷à ð.î. min X min Py X ∆yŷ P(Aα,ŷ |y) : α ∈ Λ y∈Y ŷ∈Y X Py ∆y P(Āα,y |y) : α ∈ Λ y∈Y (2) Óñëîâèÿ ïðèìåíèìîñòè ìåðà P èçâåñòíà ìíîæåñòâî F = {f (·, α) : α ∈ Λ} = [X → Y] Ðåçóëüòàò Ïðè äàííûõ óñëîâèÿõ îáå çàäà÷è ðàçðåøèìû, îïòèìàëüíîå ðåøåíèå íàçûâàåòñÿ áàéåñîâñêèì êëàññèôèêàòîðîì (3) Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Íåïðåðûâíûé ñëó÷àé Òåîðåìà Ïóñòü ìåðà P çàäàíà àïðèîðíûìè âåðîÿòíîñòÿìè êëàññîâ Py è óñëîâíûìè ïëîòíîñòÿìè ρy (x). Ñïðàâåäëèâû ñëåäóþùèå óòâåðæäåíèÿ. 1.  çàäà÷å (2) îïòèìóì äîñòèãàåòñÿ íà ôóíêöèè X ∆yŷ Py ρy (x) : ŷ ∈ Y} f (x, α∗ ) = arg min{ y∈Y 2.  çàäà÷å (3) íà ôóíêöèè f (x, α∗ ) = arg max{∆ŷ Pŷ ρŷ (x) : ŷ ∈ Y} Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Èäåÿ äîêàçàòåëüñòâà I(α|P) = X Py y∈Y X ∆yŷ P(Aα,ŷ |y) ŷ∈Y = X y∈Y = Py X ∆yŷ ŷ∈Y Z X X Z 1{x : f (x,α)=ŷ} (x)ρy (x) dx X 1{x : f (x,α)=ŷ} X ∆yŷ Py ρy (x) dx y∈Y ŷ∈Y | ∀x {z îäíî ñëàã. Z > 1{x : f (x,α)=f (x,α∗ )} X } 6=0 X y∈Y ∆y,f (x,α∗ ) Py ρy (x) dx Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Èäåÿ äîêàçàòåëüñòâà (ctd) I(α|P) = X Py ∆y P(Āα,y |y) = y∈Y X Z Py ∆y y∈Y = X y∈Y Py ∆y X Z 1{x : f (x,α)6=y} ρy (x) dx X 1{x : f (x,α)=ŷ} ρy (x) dx ŷ∈Y\{y} X = Z X X 1{x : f (x,α)=ŷ} ŷ∈Y X ∆y Py ρy (x) dx y∈Y\{ŷ} | ∀x {z îäíî ñëàã. 6=0 } Äëÿ êàæäîãî x ∈ X âî âíóòðåííåé ñóììå èñêëþ÷àåì ñëàãàåìîå ñ íàèáîëüøèì çíà÷åíèåì ∆y Py ρy (x) Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ ×àñòíûé ñëó÷àé. Ôîðìóëà Áàéåñà Ïóñòü ∆y = const (á.î. ìîæíî ïîëàãàòü ∆y = 1) Áàéåñîâñêèé êëàññèôèêàòîð ïðèìåò âèä f (x, α∗ ) = arg max{Pŷ ρŷ (x) : ŷ ∈ Y} Pŷ ρŷ (x) = arg max{ P : ŷ ∈ Y} = arg max{P(ŷ|x) : ŷ ∈ Y} y∈Y ρy (x) Ìàêñèìóì àïîñòåðèîðíîé âåðîÿòíîñòè Ïðè ðàâíîçíà÷íûõ îøèáêàõ êëàññèôèêàöèè îïòèìàëüíûé ñ òî÷êè çðåíèÿ ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà êëàññèôèêàòîð îòíîñèò îáúåêò ê íàèáîëåå âåðîÿòíîìó êëàññó Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ ×àñòíûé ñëó÷àé. Ôîðìóëà Áàéåñà Ïóñòü ∆y = const (á.î. ìîæíî ïîëàãàòü ∆y = 1) Áàéåñîâñêèé êëàññèôèêàòîð ïðèìåò âèä f (x, α∗ ) = arg max{Pŷ ρŷ (x) : ŷ ∈ Y} Pŷ ρŷ (x) = arg max{ P : ŷ ∈ Y} = arg max{P(ŷ|x) : ŷ ∈ Y} y∈Y ρy (x) Ìàêñèìóì àïîñòåðèîðíîé âåðîÿòíîñòè Ïðè ðàâíîçíà÷íûõ îøèáêàõ êëàññèôèêàöèè îïòèìàëüíûé ñ òî÷êè çðåíèÿ ìèíèìèçàöèè ôóíêöèîíàëà ñðåäíåãî ðèñêà êëàññèôèêàòîð îòíîñèò îáúåêò ê íàèáîëåå âåðîÿòíîìó êëàññó Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Ñëó÷àé äâóõ êëàññîâ Ïóñòü k = 2 è Y = {0, 1} Òîãäà ∗ f (x, α ) = 1, 0, åñëè ∆1 P1 ρ1 (x) > ∆0 P0 ρ0 (x), â ïðîòèâíîì ñëó÷àå èëè, ëîãàðèôìèðóÿ, ãäå ∆1 P1 , f (x, α∗ ) = Θ ln ρ1 (x) − ln ρ0 (x) + ln ∆0 P0 Θ(t) = 1, 0, åñëè t > 0, â ïðîòèâíîì ñëó÷àå Àííîòàöèÿ Áàéåñîâñêèé êëàññèôèêàòîð Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Ïðèìåð. Äèàãíîñòèêà ãðèïïà ïî òåìïåðàòóðå òåëà , "çàáîëåâàíèå äèàãíîñòèðóåòñÿ" X = R Y = {0, 1} y=1 ∆0 = ∆1 = 1 Ïî ñòàòèñòè÷åñêèì äàííûì, PP Óñëîâíûå ïëîòíîñòè ρ0 (x) = N (36.5, 0.252 ) 1 0 =1 è ρ1 (x) = N (37.5, 0.252 ) Áàéåñîâñêèé êëàññèôèêàòîð 1 (x − 37.5)2 exp(− ) 2 · 0.252 2π · 0.25 1 (x − 36.5)2 P1 √ exp(− )) + ln − ln( 2 · 0.252 P0 2π · 0.25 1 1 = Θ( x − (37.52 − 36.52 )) = Θ(x − 37.0) 16 32 f (x, α∗ ) = Θ ln( √ Àííîòàöèÿ Ìåòîä ïîäñòàíîâêè Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Âåðíåìñÿ ê ðåàëüíîñòè Âñå ïðèâåäåííûå âûøå ðàññóæäåíèÿ èìåþò ñìûñë ïðè óñëîâèè, ÷òî ìåðà P èçâåñòíà. Îäíàêî â ðåàëüíûõ çàäà÷àõ ìåðà íå çàäàíà, ÷òî äåëàòü? Àííîòàöèÿ Ìåòîä ïîäñòàíîâêè Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Âåðíåìñÿ ê ðåàëüíîñòè Âñå ïðèâåäåííûå âûøå ðàññóæäåíèÿ èìåþò ñìûñë ïðè óñëîâèè, ÷òî ìåðà P èçâåñòíà. Îäíàêî â ðåàëüíûõ çàäà÷àõ ìåðà íå çàäàíà, ÷òî äåëàòü? Àëãîðèòì ïîäñòàíîâêè Äàíî: Âåðîÿòíîñòíîå ïðîñòðàíñòâî (X × Y, A, P), ãäå X × Y è A èçâåñòíû, P ∈ P; îáó÷àþùàÿ âûáîðêà ζ = ((x1 , y1 ), . . . , (xl , yl )) è F = {f (·, α) : α ∈ Λ} ⊂ [X → Y] Ýòàï 1. Ïî âûáîðêå ζ îöåíèòü P̂y è P̂(x|y) (äëÿ êàæäîãî y ∈ Y ) Ýòàï 2. Ïîñòðîèòü áàéåñîâcêèé êëàññèôèêàòîð, ïîäñòàâèâ âìåñòî P ìåðó P̂. Àííîòàöèÿ Ìåòîä ïîäñòàíîâêè Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Âåðíåìñÿ ê ðåàëüíîñòè Âñå ïðèâåäåííûå âûøå ðàññóæäåíèÿ èìåþò ñìûñë ïðè óñëîâèè, ÷òî ìåðà P èçâåñòíà. Îäíàêî â ðåàëüíûõ çàäà÷àõ ìåðà íå çàäàíà, ÷òî äåëàòü? Àëãîðèòì ïîäñòàíîâêè Äàíî: Âåðîÿòíîñòíîå ïðîñòðàíñòâî (X × Y, A, P), ãäå X × Y è A èçâåñòíû, P ∈ P; îáó÷àþùàÿ âûáîðêà ζ = ((x1 , y1 ), . . . , (xl , yl )) è F = {f (·, α) : α ∈ Λ} ⊂ [X → Y] Ýòàï 1. Ïî âûáîðêå ζ îöåíèòü P̂y è P̂(x|y) (äëÿ êàæäîãî y ∈ Y ) Ýòàï 2. Ïîñòðîèòü áàéåñîâcêèé êëàññèôèêàòîð, ïîäñòàâèâ âìåñòî P ìåðó P̂. Çàìåòèì, ÷òî äàííûé ìåòîä âîâñå íå ÿâëÿåòñÿ åäèíñòâåííûì (è íàèáîëåå ðàöèîíàëüíûì) ïîäõîäîì ê îáó÷åíèþ Àííîòàöèÿ Ìåòîä ïîäñòàíîâêè Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Îáùèå çàìå÷àíèÿ Ïðè îöåíêå íåèçâåñòíûõ çàêîíîâ âûáîðêà ζ ðàçäåëÿåòñÿ íà ïîäâûáîðêè: 1. Υ = (y1 , . . . , yl ) äëÿ îöåíêè äèñêðåòíîãî çàêîíà ðàñïðåäåëåíèÿ P̂y (y ∈ Y) 2. ζy = (xi : yi = y) (y ∈ Y) äëÿ îöåíêè P̂(·|y) Èç ïðåäûäóùèõ ïîñòðîåíèé ñëåäóåò, ÷òî çàäà÷à Ýòàïà 2 ìîæåò ñ÷èòàòüñÿ ðåøåííîé àíàëèòè÷åñêè Òàêèì îáðàçîì, îáó÷åíèå ìåòîäîì ïîäñòàíîâêè ñâîäèòñÿ ê ðåøåíèþ íåñêîëüêèõ çàäà÷ âîññòàíîâëåíèÿ íåèçâåñòíûõ çàêîíîâ ðàñïðåäåëåíèÿ Àííîòàöèÿ Ìåòîä ïîäñòàíîâêè Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Âîññòàíîâëåíèå ìíîãîìåðíûõ çàêîíîâ Ïóñòü X = F1 × . . . × Fn ò.å. x = (ϕ1 , . . . , ϕn ) ñëó÷àéíûé êîðòåæ. Âîññòàíîâëåíèå P̂(x|y) â îáùåì ñëó÷àå ïðåäïîëàãàåò îöåíêó ñîâìåñòíîãî óñëîâíîãî ðàñïðåäåëåíèÿ ñëó÷àéíûõ âåëè÷èí ϕ1 , . . . , ϕn òðóäíîðåøàåìàÿ çàäà÷à. Ïðîñòåéøèé ïîäõîä ê ðåøåíèþ ïðîáëåìû ïðåäïîëîæèòü íåçàâèñèìîñòü êîîðäèíàò. Òîãäà, â íåïðåðûâíîì ñëó÷àå, ρ̂y (x) = n Y τ̂j,y (ϕj ), j=1 ãäå τj,y (·) îöåíêà óñëîâíîé ïëîòíîñòè ðàñïðåäåëåíèÿ ϕj . Ïîëó÷åííûé â ðåçóëüòàòå êëàññèôèêàòîð íàçûâàåòñÿ íàèâíûì áàéåñîâñêèì êëàññèôèêàòîðîì Àííîòàöèÿ Çàäà÷à êëàññèôèêàöèè Ìåòîäû âîññòàíîâëåíèÿ Îáçîð Ïàðàìåòðè÷åñêèå ìåòîäû: ìàêñèìèçàöèÿ ïðàâäîïîäîáèÿ, ñìåñè ðàñïðåäåëåíèé, è äð.) Íåïàðàìåòðè÷åñêèå ìåòîäû: Ïàðçåíà-Ðîçåíáëàòòà, ÿäåðíûå îöåíêè, è ò.ï. Áàéåñîâñêèé ïîäõîä
