Maquinas de Soporte

Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales

Maquinas de Soporte Vectorial

Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel

Juan David Bolaos Aguilar

Universidad de Pamplona

SVMs

2 de junio de 2015

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

1 Introduccin
2 Clasificadores lineales
3 Margen maximo y vectores de soporte
4 Forma dual
5 Margen maximo con holgura
6 El truco del kernel
7 SVMs
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Introduccion
Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Las mquinas de soporte vectorial o mquinas

de vectores de soporte (Support Vector Machines, en ingles) son un conjunto de algoritmos de
aprendizaje supervisado desarrollados por Vladimir Vapnik y su equipo en los laboratorios
AT&T.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial

Las maquinas de soporte vectorial:

Juan David Bolaos

Aguilar
Introduccin

Se utilizan en problemas de clasificacion y regresion

Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial

Las maquinas de soporte vectorial:

Juan David Bolaos

Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte

1
2

Se utilizan en problemas de clasificacion y regresion

construye un hiperplano o conjunto de hiperplanos en un
espacio de dimensionalidad muy alta (o incluso infinita).

Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial

Las maquinas de soporte vectorial:

Juan David Bolaos

Aguilar
Introduccin
Clasificadores lineales

1
2

Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura

Se utilizan en problemas de clasificacion y regresion

construye un hiperplano o conjunto de hiperplanos en un
espacio de dimensionalidad muy alta (o incluso infinita).
Entre mayor sea la distancia entre hiperplanos, mejor la
clasificacion (Uso de clasificadores lineales de margen
mximo)

El truco del kernel

SVMs

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial

Las maquinas de soporte vectorial:

Juan David Bolaos

Aguilar
Introduccin
Clasificadores lineales

1
2

Margen maximo y
vectores de soporte
Forma dual

Margen maximo con

holgura
El truco del kernel
SVMs

Se utilizan en problemas de clasificacion y regresion

construye un hiperplano o conjunto de hiperplanos en un
espacio de dimensionalidad muy alta (o incluso infinita).
Entre mayor sea la distancia entre hiperplanos, mejor la
clasificacion (Uso de clasificadores lineales de margen
mximo)
Emplea funciones kernel:
Describen el problema en un espacio de
caracteristicas de mayor dimension.
Permiten aplicar algoritmos lineales sobre problemas
no lineales.
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Clasificadores lineales
Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin

Espacio de entrada: X = n , n dimensional

Espacio de Salida: Y = {1, +1}

Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel

Cada ejemplo
de entrenamiento sera un par (xi ,
{
xi X
donde y Y
i

yi )

Conjunto de entrenamiento

SVMs

L = {(x1 , y1 ), (x2 , y2 ), ..., (xn , yn )}

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin

Objetivo
Encontrar un hiperplano h de dimensin (n 1) que separe los
ejemplos etiquetados con -1 de los etiquetados con +1 con un
margen mximo

Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin

Objetivo
Encontrar un hiperplano h de dimensin (n 1) que separe los
ejemplos etiquetados con -1 de los etiquetados con +1 con un
margen mximo

Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel

Espacio de hipotesis (H)

Conjunto de hiperplanos de decision definidos por
{
(Vector de pesos)
w
H = b (Umbral)

SVMs

h (x) = signo

( n

donde H : Y
)
wi xi + b

i=1

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar

+1

Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

+1

-1
-1
b

+1

-1
-1

w
x + b = 0
w
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Margen maximo y vectores de

soporte
Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel

Si el problema (definido por el conjunto de ejemplos L) es

linealmente separable existen infinitos hiperplanos que separan
los ejemplos de entrenamiento.
Existen algoritmos para encontrar/construir esos
hiperplanos (algoritmo de aprendiza de perceptrones
simples, por ejemplo). El objetivo es hallar el hiperplano
que mejor separe los elementos de entrenamiento,
minimizando las posibilidades de sobre ajuste.

SVMs

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar

+1

d
d

Margen:
+1

Introduccin

+1

+1

-1

Clasificadores lineales
Margen maximo y
vectores de soporte

+1
-1
-1

Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

+1
-1

w
-1

+1

w
-1

-1

x + b = 1
h2 : w
x + b = 0
h:w
x + b = 1
h1 : w

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar

+1

d
d

Margen:
+1

Introduccin

+1

+1

-1

Clasificadores lineales
Margen maximo y
vectores de soporte

+1
-1
-1

Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

+1
-1

w
-1

+1

w
-1

-1

x + b = 1
h2 : w
x + b = 0
h:w
x + b = 1
h1 : w

Objetivo
Buscar, construir el hiperplano de margen maximo
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar

Recordatorio

Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

En geometra, un hiperplano es una extensin del concepto de

plano. En un espacio unidimensional (como una recta), un hiperplano es un punto: divide una lnea en dos lneas. En un espacio
bidimensional (como el plano xy), un hiperplano es una recta: divide el plano en dos mitades. En un espacio tridimensional, un
hiperplano es un plano corriente: divide el espacio en dos mitades.
Este concepto tambin puede ser aplicado a espacios de cuatro
dimensiones y ms, donde estos objetos divisores se llaman simplemente hiperplanos, ya que la finalidad de esta nomenclatura es
la de relacionar la geometra con el plano.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte

Donde tenemos:
x + b = +1 (Delimita ejemplos + 1)
h1 : w
x + b = 1 (Delimita ejemplos 1)
h2 : w
y el hiperplano de margen maximo definido por la ecuacion:

Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

x + b = 0
h:w
Los vectores de soporte son aquellos ejemplos de entrenamiento
definen los hiperplanos de separacion h1 y h2 sealados con un
circulo en la figura anterior.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Como Y = 1, +1 , el ejemplo de entrenamiento (xi , yi ) L estar

bien clasificado si se verifica:
x +1 para yi = +1
w
x 1
w

para yi = 1

Ambas expresiones pueden combinarse de la forma

yi (
w x + b) 1 (xi , yi ) L
Este sera el conjunto de restriccion que debera cumplir el hiperplano objetivo h.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Puede demostrarse que la distancia entre el hiperplano objetivo h y cada hiperplano Separador, h1 y h2 , es
1

w
Por lo que el margen es
2

w
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial

y de b que:
Objetivo: Buscar los valores de w

Juan David Bolaos

Aguilar

Maximicen el margen (Distancia entre h1 y h2 , es decir

2

w )

Garanticen que se clasifiquen correctamente todos los

ejemplos del conjunto de entrenamiento
L = {(x1 , y1 ), (x2 , y2 ), ..., (xn , yn )}

Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Por conveniencia matematica, en los clasificadores SVM se utiliza

la siguiente equivalencia.
2
1
2
MAXIMIZAR
MINIMIZAR

w
2
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales

Enunciado (forma primal)

Dado un conjunto de ejemplos de entrenamiento previamente
clasificados L = {(x1 , y1 ), (x2 , y2 ), ..., (xn , yn )} encontrar valores
que:
para b y w

Margen maximo y
vectores de soporte
Forma dual

MINIMICEN :

Margen maximo con

holgura
El truco del kernel
SVMs

SUJETO A :

1
2

w
2

(Equivalente a maximizar el margen)

y1 (
w x1 + b) 1
y2 (
w x2 + b) 1
...
yl (
w xl + b) 1

(Todos los ejemplos debidamente clasificados)

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel

Es un problema de optimizacion cuadratica (Quadratic

Programming)
Se trata de identificar los parametros que optimicen
(maximicen o minimicen) una ecuacion de segundo grado
sujetos a una serie de restricciones lineales sobre dichos
parametros.
Existen algoritmos razonablemente eficientes para
resolverlos, tanto de forma exacta como aproximada: Weka
usa el metodo SMO Sequential Minimal Optimization

SVMs

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Forma dual
Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

En la prctica se usa la forma dual del problema de optimizacin anterior. Permite expresar
el problema de optimizacin en funcin de productos escalares entre los vectores de entrenamiento (necesario para poder aplicar funciones
kernel).

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Reformulacion
puede expresarse como una combinacion lineal de los
w
ejemplos de entrenamiento [(xi , yi ) L] en la forma

= li=1 i yixi
w
Cada ejemplo de entrenamiento (xi , yi ) L tiene
asociada una variable i que describe su
influencia en el hiperplano de margen maximo.
Solo los vectores soporte participan en la definicion
:
del vector w
i > 0 para los xi que sean vectores soporte
i = 0 para los xi que no sean vectores
soporte

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar

Reformulacion

Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte

El hiperplano de margen maximo

quedaria definido por la ecuacion:

Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

x + b =
h:w

i yi (xi x)

i=1

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte

Enunciado (forma dual)

Dado un conjunto de ejemplos de entrenamiento previamente clasificados L = {(x1 , y1 ), (x2 , y2 ), ..., (xl , yl )} encontrar valores para
{1 , 2 , 3 , ..., l } de modo que:

Forma dual
Margen maximo con
holgura
El truco del kernel

MAXIMICEN

1
i j yi yj (xi xj )
2 i=1 j=1
l

i=1

{l

SVMs

SUJETO A :

i=1

i yi = 0

i 0i {1, ..., l}
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Nota: La unica operacin donde intervienen

los vectores de entrenamientoes el producto
escalar (xi xj ) presente en la expresin a
maximizar. Esto permitir posteriormente
kernelizar el algoritmo sustituyendo ese
producto escalar por una funcin kernel
adecuada.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Margen maximo con holgura

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Para mitigar an ms las posibilidades de

sobreajuste, es decir, permitir cierto grado de
error en el hiperplano de separacin de margen
mximo.
Admite problemas que no son linealmente
separables en su totalidad.
i : perdida/holgura admitida para el
ejemplo (xi , yi ) L
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar

+1
i = 0

i = C +1

+1
i = 0

Introduccin

+1
i = 0

Clasificadores lineales
Margen maximo y
vectores de soporte

-1
0 < i < C

0 < i < C

+1
-1
i = 0

-1

Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

-1
i = 0

i = C

+1
i = 0

+1
i = 0

+1
i = C
-1
i = 0

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Se relajan las restricciones de lo que es considerado un ejemplo

bien clasificado
El ejemplo de entrenamiento (xi , yi ) L se le considera
bien clasificado si se verifica:
xi + b +1 i
w

para yi = +1

xi + b 1 + i
w

para yi = 1

con i 0 i {1, ..., l}

La cantidad maxima de perdidas admitidas sobre el
conjunto de entrenamiento se acota mediante el
parametro C

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial

Enunciado(forma primal)

Juan David Bolaos

Aguilar

Dado un conjunto de ejemplos de entrenamiento previamente

clasificados L = {(x1 , y1 ), (x2 , y2 ), ..., (xn , yn )} y una cota maxima
que:
de perdidas permitidas C, encontrar valores para b y w

Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual

MINIMICEN :

Margen maximo con

holgura
El truco del kernel
SVMs

SUJETO A :

1
2

w + C
i
2
i=1

y1 (
w x1 + b) 1 1
y2 (
w x2 + b) 1 2
...
yl (
w xl + b) 1 l
con
i 0 i {1, 2, ..., l}
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura

Enunciado (forma dual)

Dado un conjunto de ejemplos de entrenamiento previamente clasificados L = {(x1 , y1 ), (x2 , y2 ), ..., (xl , yl )} y una cota maxima de
perdidas permitidas C, encontrar valores para {1 , 2 , 3 , ..., l }
de modo que:
MAXIMICEN

El truco del kernel

i=1

SVMs

{l
SUJETO A :

1
i j yi yj (xi xj )
2 i=1 j=1
l

i=1

i yi = 0

0 i C i {1, ..., l}

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel

Los vectores de soporte estan asociados a

valores de i que verifiquen 0 i C
Los vectores correspondientes a los
errores de clasificacion admitidos tienen
asociado un i = C

SVMs

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

El truco del kernel

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin

Problema
La mayoria de las situaciones problema en la vida real no son
linealmente separables.

Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura

Idea
Transformar los ejemplos de entrenamiento a un espacio vectorial
de alta dimension (N n) (denominado Espacio de
caracteristicas) donde si sea posible la separacion lineal.

El truco del kernel

SVMs

(x) : X donde

{
: Funcion de transformacion
|X| = n, || = N
Nn

recibe vectores del espacio de entrada, X, y los transforma en

vectores del espacio de caracteristicas,
.

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

Maquinas de Soporte
Vectorial
(x)

Juan David Bolaos

Aguilar

(x)

Introduccin

-1

+1

Clasificadores lineales

+1
+1

Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

+1

+1
+1

-1
-1

-1

+1

+1
+1

+1

+1

-1
-1

+1
-1

-1

-1

+1

+1

-1

+1
-1

-1

-1
-1

-1
(x)

Espacio de entrada X (No Lineal)

Espacio de caractersticas F (Lineal)

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual

Inconvenientes potenciales
Dificil encontrar/definir una funcion de transformacion
(x) adecuada.
Costoso convertir vectores de X en vectores de
(vectores muy grandes).
Costoso calcular productos escalares en sobre vectores
tan grandes.

Margen maximo con

holgura
El truco del kernel
SVMs

Solucion: uso de funciones kernel

Se aplican sobre vectores de X y su resultado es un
producto escalar sobre algun de caracteristicas
Definen una funcion de transformacion (x) implicita (No
es necesario construirla ni calcularla)
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial

Definicion (Funcion kernel)

Juan David Bolaos

Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel

Una funcion kernel (x, y) : asigna a cada par de objetos de entrada, x e y, un

valor real que se corresponde con el producto
escalar de sus respectivas imagenes en el espacio de caracteristicas .

SVMs

Es decir, (x, y) = (
) (u) para alguna funcion de transformacion implicita, (x) :
.
.

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Las funciones kernel permiten:

Calcular productos escalares en (espacio de
caracteristicas) aplicando la respectiva funcion kernel
sobre (espacio de entrada).
No es necesarios que los objetos de entrada esten definidos
en un espacio de vectorial.
Las entradas no tienen porque ser necesariamente
vectores numericos.
Ejemplo: funciones kernel aplicables sobre cadenas
de texto (string kernels)

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Conclusion (truco del kernel/ kernel trick)

Con una funcion kernel adecuada cualquier algoritmo que pueda
expresarse en funcion de productos escalares sobre su espacio de
entrada puede ser kernelizado.
El truco del kernel permite que algoritmos lineales se
apliquen sobre problemas no lineales.
En el algoritmo, se sustituye el producto escalar original
por la funcion kernel
Implicitamente, se consigue que el algoritmo original
pase a aplicarse sobre el espacio de caracteristicas

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Definiciones previas
: es simetrica si
(x, y) = (y, x) x, y
: es semidefinida positiva si
se verifica que : para
cualquier conjunto de objetos x1 , x2 , ..., xn
de y cualquier conjunto de valores
reales c1 , c2 , ..., cn .
.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Teorema de Mercer (Caracterizacion de

funciones kernel)
Para cualquier funcion : que sea
simetrica y semidefinida positiva existe un
espacio de Hilbert y una funcion :
tal que:
(x, y) = (x) (y) (x, y)

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar

Recordatorio

Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

En matemticas, el concepto de espacio de Hilbert es una generalizacin del concepto de espacio eucldeo. Esta generalizacin
permite que nociones y tcnicas algebraicas y geomtricas aplicables a espacios de dimensin dos y tres se extiendan a espacios de
dimensin arbitraria, incluyendo a espacios de dimensin infinita.
Ejemplos de tales nociones y tcnicas son la de ngulo entre vectores, ortogonalidad de vectores, el teorema de Pitgoras, proyeccin
ortogonal, distancia entre vectores y convergencia de una sucesin.
El nombre dado a estos espacios es en honor al matemtico David
Hilbert quien los utiliz en su estudio de las ecuaciones integrales.

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Funciones kernel tipicas:

Kernel identidad: (x,y) = x y
Kernel polinomico: (x,y) = (x y + r)p
Kernel gaussiano
(RBF):
(
)
(x,y) = e

xy2
2 2

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

Combinacion de kernels:
Si k1 y k2 son funciones kernel, tambien lo
seran:
k1 (x, y) + k2 (x, y)
k1 (x, y)
k1 (x, y) k2 (x, y)

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

SVMs
Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel
SVMs

El metodo de aprendizaje en el que se basan las

Support Vector Machines (SVMs) no es mas
que la kernelizacion de un clasificador lineal de
margen maximo con holgura.
En resumen
Se aplica un algoritmo para aprender un clasificador lineal de
margen maximo con holgura de forma implicita sobre el espacio
de caracteristicas inducido por la funcion kernel empleada, en
lugar de aplicarlo sobre el espacio de entrada original .

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura

Enunciado (forma dual kernelizada)

Dado un conjunto de ejemplos de entrenamiento previamente clasificados L = {(x1 , y1 ), (x2 , y2 ), ..., (xl , yl )}, una cota maxima de
perdidas permitidas C y una funcion kernel (x, y). Encontrar valores para {1 , 2 , 3 , ..., l } de modo que:
MAXIMICEN

i=1

El truco del kernel

{l

SVMs

SUJETO A :

1
i j yi yj (xi ,xj )
2 i=1 j=1
l

i=1

i yi = 0

0 i C i {1, ..., l}

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.

Maquinas de Soporte
Vectorial
Juan David Bolaos
Aguilar
Introduccin
Clasificadores lineales
Margen maximo y
vectores de soporte
Forma dual
Margen maximo con
holgura
El truco del kernel

NOTA: (xi ,xj ) equivale al producto escalar

(xi ) (xi ) en . Es decir, la optimizacion
l
l l
1

xi ,xj ) se
i
i=1
i=1
j=1 i j yi yj (
2
aplica
implicita sobre
forma
l realmente
l de
l
1
xi ) (xi )
i=1 i 2
i=1
j=1 i j yi yj (

SVMs

. . . .
. . . .

. . . .
. . . .

. . . .
. . . .

.
.

.
.