Отбор информативных признаков в методе

Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â ìåòîäå
îïîðíûõ âåêòîðîâ
Òèêêà Àííà Àëåêñååâíà, ãð. 522
Ñàíêò-Ïåòåðáóðãñêèé ãîñóäàðñòâåííûé óíèâåðñèòåò
Ìàòåìàòèêî-ìåõàíè÷åñêèé ôàêóëüòåò
Êàôåäðà ñòàòèñòè÷åñêîãî ìîäåëèðîâàíèÿ
Íàó÷íûé ðóêîâîäèòåëü: ê.ô.-ì.í., äîö. Êîðîáåéíèêîâ À.È.
Ðåöåíçåíò: ê.ô.-ì.í., äîö. Àëåêñååâà Í.Ï.
2014ã.
1/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Ïîñòàíîâêà çàäà÷è êëàññèôèêàöèè
ìíîæåñòâî íàáëþäåíèé
Y = {−1, 1} áèíàðíàÿ êëàññèôèêàöèÿ
(x1 , y1 ) , . . . , (xn , yn ) îáó÷àþùàÿ âûáîðêà, xi ∈ X, yi ∈ Y
yi = g (xi ) , i = 1 . . . n, g : X → Y
Çàäà÷à êëàññèôèêàöèè: àïïðîêñèìèðîâàòü çàâèñèìîñòü g
íà âñåì ïðîñòðàíñòâå X
X ⊂ Rd
2/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
SVM. Ëèíåéíûé êëàññèôèêàòîð.
Ìåòîä îïîðíûõ âåêòîðîâ (SVM)
(Vapnik, 1995)
Ðàçäåëÿþùàÿ ãèïåðïëîñêîñòü:
f (x) = hw, xi + b = 0
sign(f (x))
Çàäà÷à îïòèìèçàöèè:
y=
1
kwk2 → min
w,b
2
yi (hw, xi i + b) ≥ 1,
3/16
i = 1...n
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
SVM. Íàðóøåíèå îãðàíè÷åíèé.
ñòåïåíü íàðóøåíèÿ îãðàíè÷åíèé
øòðàô çà íàðóøåíèå îãðàíè÷åíèé
Çàäà÷à îïòèìèçàöèè:
ξi ≥ 0
C
n
X
1
kwk2 + C
ξi → min
w,b,ξ
2
i=1
yi (hw, xi i + b) ≥1 + ξi
ξi ≥ 0,
4/16
i = 1...n
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Kernel trick. Ñïðÿìëÿþùåå ïðîñòðàíñòâî.
Ñïðÿìëÿþùåå îòîáðàæåíèå: ϕ : X → H, H ãèëüáåðòîâî
Ðåøåíèå èùåì â H, èñïîëüçóåòñÿ òîëüêî K(x, x0)
K(x, x0 ) = hϕ(x), ϕ(x0 )iH ôóíêöèÿ ÿäðà
Ïðèìåðû ÿäåð:
ïîëèíîìèàëüíîå ÿäðî d
K(x, x0 ) = (hx, x0 i + 1) ,
d ñòåïåíü ïîëèíîìà
ðàäèàëüíàÿ áàçèñíàÿ ôóíêöèÿ
0
2
K(x, x0 ) = e−γ kx−x k ,
5/16
Òèêêà Àííà Àëåêñååâíà
γ>0
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Ïîäáîð ïàðàìåòðîâ. Ïðîáëåìà ïåðåîáó÷åíèÿ.
Ïàðàìåòð C , ïàðàìåòðû ÿäðà
Öåëü ïîäáîðà: óìåíüøèòü îøèáêó êëàññèôèêàöèè:
n
X
[yi 6= f (xi )]
i=1
à)
Îïòèìàëüíîå
ðàçäåëåíèå
á)
Íåäîîáó÷åíèå
â)
Ïåðåîáó÷åíèå
Ðèñ.: Ïðèìåðû êëàññèôèêàòîðà äëÿ äâóõ ïðèçíàêîâ.
6/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Çàäà÷è
Ïðèìåíèòü SVM ê ðåàëüíûì êàðäèîëîãè÷åñêèì äàííûì
Ïðîáëåìà: Âîçíèêàåò ïåðåîáó÷åíèå: âñå íàáëþäåíèÿ
ÿâëÿþòñÿ îïîðíûìè âåêòîðàìè, îøèáêà êëàññèôèêàöèè: 0
Ðàññìîòðåòü ðîáàñòûå ìîäèôèêàöèè ñòàíäàðòíîãî SVM
Îòîáðàòü èíôîðìàòèâíûå ïðèçíàêè
7/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ
Èñõîäíûå äàííûå ìîãóò ñîäåðæàòü íåèíôîðìàòèâíûå
ïðèçíàêè, êîòîðûå óõóäøàþò òî÷íîñòü ïðåäñêàçàíèÿ èëè
íå âëèÿþò íà ðåçóëüòàò êëàññèôèêàöèè
Ýòî ìîæåò ïðèâåñòè ê óâåëè÷åíèþ îøèáêè êëàññèôèêàöèè,
óâåëè÷åíèþ âðåìåíè âû÷èñëåíèé, ïåðåîáó÷åíèþ
Ïîäõîäû ê ðåøåíèþ çàäà÷è
1. Ïîøàãîâûé ìåòîä
Êðèòåðèé îòáîðà ïðîöåíò îøèáîê êëàññèôèêàöèè.
2. Îäíîâðåìåííûé îòáîð ïðèçíàêîâ
SCAD SVM (Zhang, 2006), Elastic SCAD SVM (Becker, 2011)
Êðèòåðèé îòáîðà âåñà ïðèçíàêîâ
8/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
SVM êàê ìîäåëü ñî øòðàôîì
Çàäà÷à SVM:
n
X
1
kwk2 + C
ξi → min
w,b,ξ
2
i=1
yi (hw, xi i + b) ≥1 + ξi
ξi ≥ 0,
i = 1...n
f (x) = hw, xi + b
p (w) = λ kwk2
øòðàôíàÿ ôóíêöèÿ
Ýêâèâàëåíòíàÿ ôîðìóëèðîâêà:
n
1X
p (w) +
[1 − yi f (xi )]+ → min
w,b
n
i=1
9/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Øòðàôíûå ôóíêöèè
p (w)L1 = λkwk1


|w| ≤ λ

λ|w|, 2
(|w| −2aλ|w|+λ2 )
p (w)SCAD = −
, λ < |w| ≤ aλ
2(a−1)

2

 (a+1)λ ,
|w| > aλ
2
à) L1
10/16
á) L2
Òèêêà Àííà Àëåêñååâíà
â) SCAD
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Ñðàâíåíèå øòðàôíûõ ôóíêöèé
L2 íå ìîæåò áûòü èñïîëüçîâàíà äëÿ îòáîðà ïðèçíàêîâ
(Bradley, 1998)
Øòðàôíàÿ ôóíêöèÿ ñ L1 íîðìîé ïîçâîëÿåò îòáèðàòü
èíôîðìàòèâíûå ïðèçíàêè
Ïðåèìóùåñòâà SCAD
Ïðè ìàëûõ çíà÷åíèÿõ w ôóíêöèÿ SCAD ñîîòâåòñòâóåò L1
Ïðè áîëüøèõ çíà÷åíèÿõ w SCAD èñïîëüçóåò â êà÷åñòâå
øòðàôà êîíñòàíòó, ÷òî ïîçâîëÿåò ïîëó÷èòü óñòîé÷èâîñòü ê
âûäåëÿþùèìñÿ íàáëþäåíèÿì
11/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
SCAD SVM. Elastic SCAD SVM.
SCAD SVM
q
X
n
pλ (wj )SCAD +
1X
[1 − yi (b + wxi )]+ → min
w,b
n
i=1
j=1
Elastic SCAD SVM
q
X
j=1
12/16
n
1X
pλ1 (wj )SCAD +λ2 kwk1 +
[1 − yi (b + wxi )]+ → min
w,b
n
i=1
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Ïðèìåíåíèå ìåòîäîâ íà ìîäåëüíûõ äàííûõ
à)
á)
à) 100 íàáëþäåíèé, 10 äîïîëíèòåëüíûõ ïðèçíàêîâ, îøèáêà
êëàññèôèêàöèè: 0
á) 100 íàáëþäåíèé, 10 äîïîëíèòåëüíûõ ïðèçíàêîâ, îøèáêà
êëàññèôèêàöèè SCAD SVM: 0.07, Elastic SCAD SVM: 0.06
Èíôîðìàòèâíûìè âûáðàíû èçíà÷àëüíûå ïðèçíàêè.
13/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Ïîñòïåðèêàðäèîòîìíûé ñèíäðîì (ÏÊÒÑ)
428 ïàöèåíòà, ïåðåíåñøèå îïåðàöèþ íà îòêðûòîì ñåðäöå
50 ïðèçíàêîâ îïèñûâàþò ñîñòîÿíèå ïàöèåíòîâ äî îïåðàöèè
è âî âðåìÿ íåå
Äâå ãðóïïû:
1. Â ïîñëåîïåðàöèîííîì ïåðèîäå ðàçâèëñÿ ÏÊÒÑ 257
÷åëîâåê
2. Íå âûÿâëåíî êëèíè÷åñêèõ ïðîÿâëåíèé ÏÊÒÑ 171
÷åëîâåê
Îòäåëüíî ðàññìàòðèâàþòñÿ: ïîäãðóïïà ìóæ÷èí, ïîäãðóïïà
ìóæ÷èí ñ òèïîì îïåðàöèè êîðîíàðíîå øóíòèðîâàíèå
14/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Ðåçóëüòàòû. SCAD SVM.
Ïîäãðóïïà ìóæ÷èí ñ òèïîì îïåðàöèè êîðîíàðíîå
øóíòèðîâàíèå, îøèáêà êëàññèôèêàöèè: 0.27
Âðåìÿ ïåðåæàòèÿ àîðòû
Ëåéêîöèòû íà 7 ñóòêè
Äëèòåëüíîñòü
Êîðîíîãðàôèÿ
äðåíèðîâàíèÿ ðàíû
Ýîçèíîôèëû
Ãèïåðòîíè÷åñêàÿ áîëåçíü
ÈÌÒ
Ãèïåðãëèêåìèÿ ï/î
Øóíòû
Äëèòåëüíîñòü
Ôðàêöèÿ âûáðîñà
êàðäèîïëåãèè
ÝÊÊ
Òðàñèëîë
Òåìïåðàòóðà
Èíôåêöèîííûé ïðîöåññ â
Âðåìÿ ðåïåðôóçèè
ï/î ïåðèîäå
50 ïðèçíàêîâ → 16 ïðèçíàêîâ
15/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM
Ðåçóëüòàòû. Elastic SCAD SVM.
Ïîäãðóïïà ìóæ÷èí ñ òèïîì îïåðàöèè êîðîíàðíîå
øóíòèðîâàíèå, îøèáêà êëàññèôèêàöèè: 0.25
Âðåìÿ ïåðåæàòèÿ àîðòû
Ëåéêîöèòû íà 7 ñóòêè
Äëèòåëüíîñòü
Êîðîíîãðàôèÿ
äðåíèðîâàíèÿ ðàíû
Ýîçèíîôèëû
Ãèïåðòîíè÷åñêàÿ áîëåçíü
ÈÌÒ
Ãèïåðãëèêåìèÿ ï/î
Øóíòû
Äëèòåëüíîñòü
Ôðàêöèÿ âûáðîñà
êàðäèîïëåãèè
ÝÊÊ
Ëåéêîöèòû â 1 ñóòêè
Òåìïåðàòóðà
Âîçðàñò
Âðåìÿ ðåïåðôóçèè
ÑÎÝ
50 ïðèçíàêîâ → 17 ïðèçíàêîâ
16/16
Òèêêà Àííà Àëåêñååâíà
Îòáîð èíôîðìàòèâíûõ ïðèçíàêîâ â SVM