Aprendizaje Estadístico con Funciones Kernel
48
Universidad Nacional de Educación a Distancia Máster en Matemáticas Avanzadas Trabajo Fin de Máster Aprendizaje Estadístico con Funciones Kernel Tutor: Prof. Hilario Navarro Veguillas Autor: Juan José Gibaja Martíns Madrid, 5 de octubre de 2010
-
Upload
juan-jose-gibaja-martins -
Category
Education
-
view
3.241 -
download
3
Transcript of Aprendizaje Estadístico con Funciones Kernel
Universidad Nacional de Educación a Distancia
Máster en Matemáticas Avanzadas
Trabajo Fin de Máster
Aprendizaje Estadístico con Funciones Kernel
Tutor: Prof. Hilario Navarro VeguillasAutor: Juan José Gibaja Martíns
Madrid, 5 de octubre de 2010
● Datos● Patrones en datos● Aprendizaje estadístico● Patrones lineales y no lineales● La solución kernel● Fundamentos matemáticos● Perspectiva histórica● Support Vector Machines● Ejemplo: elipses entrelazadas● Ejemplo: base de datos IRIS● Kernel PCA● Ejemplo: parábola● Conclusión
Índice
Datos
Patrones en datos
Perspectiva histórica
Patrones en datos
Ventaja competitiva
Nuevo paradigmacientífico
Aprendizaje estadístico
Perspectiva histórica
Aprendizaje estadístico
Aprendizajesupervisado
Aprendizajeno supervisado
Patrones lineales y no lineales
Perspectiva histórica
Patrones lineales y no lineales
Algoritmos eficientesPatrones simples
Algoritmos no eficientesPatrones complejos
La solución kernel
Perspectiva histórica
La solución kernel
Cambiar la representación(vídeo)
Perspectiva histórica
La solución kernel
Perspectiva histórica
La solución kernel
INEFICIENCIA
Perspectiva histórica
La solución kernel
k(x,y)= φ(x),φ(y)⟨ ⟩
Perspectiva histórica
La solución kernel
¿Y si razonamos al revés?
La solución kernel
φ y ,⟨ ⟩ k
...pero...
La solución kernel
k φ y ,⟨ ⟩ ?¿
SÍ. Si k es FINITAMENTESEMIDEFINIDA POSITIVA
Fundamentos matemáticos
Perspectiva histórica
Fundamentos matemáticos
● Espacio vectorial● Producto interno● Espacio con producto interno● Espacio de Hilbert● Espacio de Hilbert separable e isomorfía● Matriz de Gram y matriz kernel● Funciones finitamente semidefinidas positivas● Caracterización de las funciones kernel● Reproducing Kernel Hilbert Space
Perspectiva histórica
Perspectiva histórica
Perspectiva histórica (kernels)
D. HilbertMercer (1909)
Aronszajn (1950)Aizerman et al. (1964)Poggio y Girosi (1990)
Perspectiva histórica
Perspectiva histórica(clasificadores)
Fisher (1936)Vapnik y Lerner (1963)
Vapnik y Chervonenkis (1964)Cover (1965)
Mangasarian (1965)Smith (1968)
Duda y Hart (1973)Bennett y Mangasarian (1992)
Perspectiva histórica
Perspectiva histórica (SVM)
Vapnik y Chervonenkis (1974)Vapnik (1979, 1982)
Boser, Guyon y Vapnik (1992)Cortes y Vapnik (1995)
Vapnik (1995)Shawe-Taylor (1998)
Shawe-Taylor y Cristianini (2000)
V. Vapnik
Perspectiva histórica
Perspectiva histórica (otros algoritmos)
Baudat y Anouar (2000)Schölkopf, Smola y Müller (1998)
Van Gestel et al. (2001)Burges (2005)
Girolami (2001)
B. Schölkopf
Support vector machines
Perspectiva histórica
Support vector machines
Clases separables vs.no separables
Perspectiva histórica
Support vector machines
Enfoque primal vs. dual
Perspectiva histórica
Support vector machines
Incorporación del kernel
Ejemplo: espirales entrelazadas
Perspectiva histórica
Ejemplo: espirales entrelazadas
Perspectiva histórica
Ejemplo: espirales entrelazadas
Ejemplo: Base de datos IRIS
Perspectiva histórica
Ejemplo: Base de datos IRIS
Perspectiva histórica
Ejemplo: Base de datos IRIS
Perspectiva histórica
Ejemplo: Base de datos IRIS
Perspectiva histórica
Ejemplo: Base de datos IRIS
Perspectiva histórica
Ejemplo: Base de datos IRIS
Kernel PCA
Perspectiva histórica
Kernel PCA
PCA a partir de covarianzas
PCA a partir de productos escalares
Ejemplo: parábola
Perspectiva histórica
Ejemplo: parábola
Perspectiva histórica
Ejemplo: parábola
Perspectiva histórica
Ejemplo: parábola
Perspectiva histórica
Ejemplo: parábola
Perspectiva histórica
Ejemplo: parábola
Perspectiva histórica
Ejemplo: parábola
Conclusión
Perspectiva histórica
Conclusión
El Aprendizaje Estadístico basado en Funciones Kernel es una vía prometedorapara conjugar las ventajas de losalgoritmos lineales y no lineales dedetección de patrones en bases de datos.
