1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es...
-
Upload
victor-agustin -
Category
Documents
-
view
22 -
download
0
Transcript of 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es...
![Page 1: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/1.jpg)
1
Máquinas con Vectores de Soporte - SVM
![Page 2: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/2.jpg)
2
INTRODUCCIÓN
¿Qué es clasificar?
¿Porqué es importante clasificar?
Ejemplos diarios.
Conceptos matemáticos.
Interpretación geométrica - ejemplo
Aplicaciones
![Page 3: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/3.jpg)
3
•Las SVM son clasificadores derivados de la teoría de aprendizaje estadístico postulada por Vapnik y Chervonenkis•Las SVM fueron presentadas en 1992 y adquirieron fama cuando dieron resultados muy superiores a las redes neuronales en el reconocimiento de letra manuscrita, usando como entrada pixeles.•Pretenden predecir a partir de lo ya conocido.
Conceptos matemáticos
![Page 4: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/4.jpg)
4
Conceptos matemáticos
Hay l observaciones y cada una consiste en un par de datos:
un vector
una etiqueta
l,...,1, iRx ni
}1,1{ iy
Supóngase que se tiene un hiperplano que separa las muestras positivas (+1) de las negativas (-1). Los puntos xi que están en el hiperplano satisfacen w·x+b=0.
![Page 5: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/5.jpg)
5
Idea inicial de separación
+1
-1
![Page 6: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/6.jpg)
6
Conceptos matemáticos
w es es normal al hiperplano.
es la distancia perpendicular del hiperplano al origen.
es la norma euclídea de w
wb
w
Lo que se quiere es separar los puntos de acuerdo al valor de su etiqueta yi en dos hiperplanos diferentes:
w·xi+b+1 para yi=+1. (hiperplano “positivo”)w·x+b-1 para yi =-1 (hiperplano “negativo”)
Simplificando: yi(w·xi+b)+1
![Page 7: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/7.jpg)
7
Idea inicial de separación
+1
-1
hiperplano “positivo”: w·x+b = +1hiperplano “negativo”: w·x+b = -1
w·x+b = -1w·x+b = +1
![Page 8: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/8.jpg)
8
Conceptos matemáticosSea d+ (d-) la distancia más corta entre el hiperplano positivo (negativo) y el punto positivo (negativo) más cercano.
Sea el “margen” la distancia entre los hiperplanos “positivo” y “negativo”. El margen es igual a:
La idea es encontrar un hiperplano con el máximo “margen”. Esto es un problema de optimización:
w
2
maximizar: sujeto a : yi(w·xi+b)+1w
2
![Page 9: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/9.jpg)
9
Conceptos matemáticosEl problema su puede expresar así:
minimizar: 2
w sujeto a : yi(w·xi+b)+1
Pero el problema se puede transformar para que quede más fácil de manejar! Se usan multiplicadores de Lagrange (i).
ll
11
2
21 ·
ii
iiiiP byL xww
![Page 10: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/10.jpg)
10
Conceptos matemáticos
Reemplazando en Lp se obtiene el problema dual:
ll
1,11
·ji
jijijii
iD yyL xx
Haciendo que los gradientes de Lp respecto a w y b sean cero, se obtienen las siguientes condiciones:
011
ll
iii
iiii yy xw
Hay penalización por error de clasificación
![Page 11: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/11.jpg)
11
Conceptos matemáticos
ll
1,11
·ji
jijijii
iD yyL xx
La forma para optimizar es:
011
ll
iii
iiii yy xw
maximizar:
sujeto a :
![Page 12: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/12.jpg)
12
Conceptos matemáticos
Cuando los datos no se pueden separar linealmente se hace un cambio de espacio mediante una función que transforme los datos de manera que se puedan separar linealmente. Tal función se llama Kernel.
También hay métodos para separar los datos (xi,yi) directamente aún no siendo separables linealmente, mediante funciones polinómicas y otro tipo de funciones, las Funciones de Base Radial (RBF).
![Page 13: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/13.jpg)
13
Conceptos matemáticos
+1
-1
Kernel
RBF
?
![Page 14: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/14.jpg)
14
Conceptos matemáticos
Algunos problemas con las SVM:
Overtraining:se han aprendido muy bien los datos de entrenamiento pero no se pueden clasificar bien ejemplos no vistos antes. Ej.: un botánico que conoce mucho.
La porción n de los datos no conocidos que será mal calificada, está limitada por:
ntoentrenamie de ejemplos de No.
soporte de vectoresNo.n
Se aplica el principio de Ockham.
![Page 15: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/15.jpg)
15
Conceptos matemáticos
Algunos problemas con las SVM:
Overfitting: no se ha aprendido muy bien la característica de los datos de entrenamiento, por lo que se hace una mala clasificación. Ej.: el hermano del botánico.
![Page 16: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/16.jpg)
16
Interpretación geométrica
¿cómo clasificar estos datos?
+1
-1
![Page 17: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/17.jpg)
17
¿cómo clasificar estos datos?
Interpretación geométrica
+1
-1
![Page 18: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/18.jpg)
18
¿cómo clasificar estos datos?
Interpretación geométrica
+1
-1
![Page 19: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/19.jpg)
19
¿cómo clasificar estos datos?
Interpretación geométrica
+1
-1
![Page 20: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/20.jpg)
20
Cualquiera puede ser buena, ¿pero cuál es la mejor?
Interpretación geométrica
+1
-1
![Page 21: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/21.jpg)
21
Definimos el hiperplano
w·x+b=0
Interpretación geométrica
+1
-1
![Page 22: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/22.jpg)
22
Definimos el margen
Interpretación geométrica
+1
-1
![Page 23: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/23.jpg)
23
La idea es maximizar el margen.
Interpretación geométrica
+1
-1
![Page 24: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/24.jpg)
24
El hiperplano que tenga el mayor margen es el mejor clasificador de los datos.
Esta es la clase más simple de SVM, la LSVM.
Interpretación geométrica
+1
-1
![Page 25: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/25.jpg)
25
Los vectores de soporte son los puntos que tocan el límite del margen.
Interpretación geométrica
+1
-1
![Page 26: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/26.jpg)
26
Veamos los hiperplanos “positivo” y “negativo”
Interpretación geométrica
+1
-1
![Page 27: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/27.jpg)
27
hiperplano “positivo”: w·x+b = +1hiperplano “negativo”: w·x+b = -1
Interpretación geométrica
w·x+b = -1w·x+b = +1
margend
-
d+
+1
-1
![Page 28: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/28.jpg)
28
Separación polinómica y con RBF
![Page 29: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/29.jpg)
29
Aplicaciones
![Page 30: 1 Máquinas con Vectores de Soporte - SVM. 2 INTRODUCCIÓN ¿Qué es clasificar? ¿Porqué es importante clasificar? Ejemplos diarios. Conceptos matemáticos.](https://reader033.fdocuments.es/reader033/viewer/2022061301/54d57c184979596c658b4bbd/html5/thumbnails/30.jpg)
30
Applet para el problema de clasificación de patrones en 2D: http://svm.cs.rhul.ac.uk/pagesnew/GPat.shtml
Applet para el problema de estimación en la regresión:
http://svm.cs.rhul.ac.uk/pagesnew/1D-Reg.shtml