Машины опорных векторов Сильвестров А.С. План Линейно

Машины опорных векторов
Сильвестров А.С.
План




Линейно-разделимая выборка
Произвольные данные
Ядровой переход
Классификация на несколько классов
Линейно разделимая выборка
Линейно разделимая выборка
Линейно разделимая выборка
Линейно разделимая выборка
Гиперплоскость
1 x1  ...  n xn  b  0
  (1 ,.., n )
Линейный классификатор
T x  b  0
 1,
T k
h (ω x  b )  
 1,
 T xk  b  0
  (1 ,..n )
 T xk  b  0
ωT x k  b  0
ωT x k  b  0
Линейно разделимая выборка
 xb  0
T
d4
d1
d2
  (1 ,..n )
d5
d3
d6
  min  i

i 1.. m
max  ( w, b)
 w ,b
  длина d
Линейно разделимая выборка
   min { 1 ,  2 ,  3}
 xb  0
T
   min { 4 ,  5 ,  6 }
d4
 
d1
d2
  (1 ,..n )
d5
d3
d6
Линейно разделимая выборка
 T x  b  1
T x  b  0
 T x  b  1
x
x
  (1 ,..n )
Линейно разделимая выборка
T x  b  0
d
x pr
x


 Т x  b  1
 Т
 x pr  b  0

d   ( x  x pr )





,
d




Линейно разделимая выборка
 Т ( x  x pr )  1

Т


   ( x  x pr )

T x  b  0
d
x pr
x


Линейно разделимая выборка
T x  b  0
зазор 
d
x pr
x


1

Линейно разделимая выборка
Итак, величина зазора :
Задача максимизации:
  

2


1

 max
 ,b
 xi  b  1, если yi  1
T
 T xi  b  1, если yi  1
i  1...m  обучающее множество
Линейно разделимая выборка
2

 max
 ,b
 T xi  b  1, если yi  1

 T xi  b  1, если yi  1
i  1...m  обучающее множество
1 2
  min
 ,b
2
yi ( T xi  b)  1
Выпуклая задача оптимизации
1 2
  min
 ,b
2
yi ( T xi  b)  1
i  1,.., m

Все функции выпуклые.
1 T
T
min  Q  c 
 2
A  b
E  d
Выпуклая задача оптимизации
1 2
  min
 ,b
2
yi ( T xi  b)  1, j  1,...., m

Решение:
m
 x  b    i yi xi , x  b,
T
i 1
 i  0, для yi ( xi  b)  1
T
 i  0, для yi ( xi  b)  1
T
Выпуклая задача оптимизации
m
 T x  b    i yi xi , x  b,
i 1
 i  0, для yi ( T xi  b)  1
 i  0, для yi ( T xi  b)  1
План


Линейно-разделимая выборка
Произвольные данные


Ядровой переход
Классификация на несколько классов
Произвольные данные
Произвольные данные
 0
0   1
 1
Произвольные данные
m
1 2
  С   i  min
 ,b ,
2
1
 1
0   1
yn ( T xn  b)  1   n
 1
 1
 1
n  0
Произвольные данные
m
 x  b    i yi xi , x  b
T
i 1
 i  0,
yi ( xi  b)  1
 i  0,
yi (( ) xi  b)  1,
 i  0,
yi (( )T xi  b)  1   i* ,  i*  0
T
T
Произвольные данные
 1
0   1
m
 T x  b    i yi xi , x  b
i 1
 1
 i  0, yi ( xi  b)  1
T
 i  0, yi (( ) xi  b)  1,
T
 i  0, yi (( ) xi  b)  1  
 1
T
 1
*
i
План



Линейно-разделимая выборка
Произвольные данные
Ядровой переход

Классификация на несколько классов
Ядровой переход
Ядровой переход
Ядровой переход
 : Rn 
 R m , m  n
 x1 


x1 x2 

 x1 
 (   )   x2 2 

 x2  
 x1 
 x2 


2
Ядровой переход
m
 x  b    i yi xi , x  b
T
i 1
x, z  ( x), ( z)
Ядровой переход
m
 x  b    i yi xi , x  b
T
i 1
x, z   ( x),  ( z )  K ( x, z )
 ( x),  ( z ) : R  R 
 R
m
m
K ( x, z ) : R n  R n 
 R
mn
Ядровой переход
Теорема Мерсера :
функция K : R n  R n  R  ядро

 K ( x, z )  K ( z , x)  симметрична



 K ( x1 , x1 ) K ( x1 , x2 ) ...

K ( x , x )
0
K

...
...

2
1



 ...
...
...

( x1 ,..., xn )

Примеры ядер
K ( x, z )  ( x z   )
T
K ( x, z )  ( x z   )
T
K ( x, z )  exp(
k
xz
2
2
2
)
Ядровой переход
K ( x, z )  ( x z )
T
2
K ( x, z )   ( x )  ( z )
Т
Ядровой переход
K ( x, z )  ( x z )
T
2
n
n
1
1
K ( x, z )   ( xi , zi ) ( xi , zi )
x  ( x1 ,..., xk )  k  мерный признак
z  ( x1 ,..., xk )  k  мерный признак
Ядровой переход
K ( x, z )  ( x T z ) 2
n
n
n
n
n
n
1
1
1
1
1
1
K ( x, z )   ( xi , zi ) ( xi , zi )   ( xi , x j ) ( zi , z j )
x  ( x1 ,..., xk )  k  мерный признак
z  ( x1 ,..., xk )  k  мерный признак
Ядровой переход
K ( x, z )  ( x T z ) 2
2
2
2
2
1
1
1
1
K ( x, z )   ( xi , x j ) ( zi , z j )   T ( x) ( z )
 x1 x1 
 z1 z1 
x x 
z z 
 ( x)   1 2 ,  ( z )   1 2 
 x2 x1 
 z 2 z1 




 x2 x2 
 z2 z2 
x  ( x1 , x2 )
z  ( z1 , z 2 )
План




Линейно-разделимая выборка
Произвольные данные
Ядровой переход
Классификация на несколько классов
Multiclass SVM

каждый против каждого:
Multiclass SVM

Один против всех :
Вопросы?