Universidad de Verano de Adeje 2002
Conferencia: Reconocimiento de Patrones
Impartida por: Fernando Pérez Nava
Departamento de Estadística, Investigación Operativa y Computación (DEIOC)
Universidad de La Laguna
e-mail: [email protected]
Curso: La Inteligencia Artificial en el desarrollo de Actividades Informáticas para la Resolución de Problemas: Técnicas y Áreas de Aplicación
Contenidos
1. Introducción
2. ¿Qué es el Reconocimiento de Patrones?
3. Diseño de un Sistema de Reconocimiento de Patrones
4. Aplicaciones
5. Conclusiones
Reconocimiento de Patrones
1.- Introducción
El Reconocimiento de Patrones (R.P.) en la Inteligencia Artificial (I.A.) El R.P. se inserta de forma natural en la I.A. dentro del
paradigma de los Agentes Inteligentes Agente: Todo aquello que percibe su ambiente mediante
sensores y que actúa en tal ambiente mediante efectores.
Agente inteligente: es aquel que intenta hacer que su rendimiento sea óptimo
El Reconocimiento de Patrones se encarga de la parte perceptual del Agente.
Agente interactuando con su entorno
RECONOCIMIENTO DE PATRONES 1.- INTRODUCCIÓN
Agentes que interactúan en distintos ambientes En un agente inteligente interactuando con el mundo físico el
R. P. intenta proporcionar respuestas a preguntas del tipo: ¿Qué estoy viendo?
¿Es un obstáculo? ¿Es una persona?
¿Qué estoy oyendo? ¿Es una voz de alguien familiar? ¿Qué intenta comunicarme?
Los agentes también interactúan en mundos no “físicos” como por ejemplo Internet y pueden necesitar respuestas a: ¿De qué tipo es esta página Web?
¿Deportes? ¿Negocios?
RECONOCIMIENTO DE PATRONES 1.- INTRODUCCIÓN
¿Qué capacidad perceptual proporciona el R.P. a los Agentes Inteligentes? A la edad de cinco años la mayoría de los niños pueden
reconocer dígitos y letras: Grandes, pequeños, escritos a mano, rotados, incompletos...
Reproducir esta capacidad por medio de los ordenadores es sorprendentemente difícil
De hecho, tras 50 años de investigación no existe actualmente ningún sistema de R.P. de propósito general que sea capaz de aproximarse a la capacidad humana.
Variaciones de la letra d
RECONOCIMIENTO DE PATRONES 1.- INTRODUCCIÓN
Los Seres Vivos como Sistemas de Reconocimiento de Patrones ¿Por qué los Seres Vivos son tan buenos reconociendo
patrones? Porque un buen sistema de R.P. proporciona una ventaja
competitiva a la hora de la supervivencia y reproducción. ¿Qué estoy viendo?
¿Es un alimento? ¿Es un depredador? ¿Una pareja de mi especie?
¿Por qué no copiarlos? No se sabe actualmente como los Seres Vivos reconocen los
patrones
RECONOCIMIENTO DE PATRONES 1.- INTRODUCCIÓN
Reconocimiento de Patrones
2.- ¿Qué es el Reconocimiento de Patrones?
Definiciones de Reconocimiento de Patrones Definiciones a partir de la Bibliografía
“La asignación de un objeto físico o evento a una de varias categorías predefinidas” (Duda y Hart)
“La ciencia que está relacionada con la descripción o clasificación de medidas” (Schalkoff)
“El proceso de dar nombres a las observaciones” (Schürmann)
“El Reconocimiento de Patrones está relacionado con la respuesta a la pregunta ¿Qué es esto? (Morse)
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Conceptos básicos de Reconocimiento de Patrones
En el R.P. no se clasifican directamente las entidades u objetos sino su descripción.
Esta descripción se crea a partir de un modelo de la entidad construida a partir de unas características y algún tipo de representación.
La representación también es dependiente del problema y puede ser un vector, una cadena, un grafo, etc...
Esta representación es utilizada por un clasificador para asignar la entidad a una clase
Además el clasificador se ajusta al problema mediante un proceso de entrenamiento o aprendizaje
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
El Proceso de Clasificación El proceso de clasificación sigue las etapas:
Adquisición de datos Preprocesado Extracción de características Clasificación
Modelo del proceso de clasificación
Sensor PreprocesadoMedida de
CaracterísticasClasificación
Asignacióna una clase
El mundoreal
Patrónde testeo
Sensor PreprocesadoSelección de
CaracterísticasAprendizajeEl mundo
real
Patrónde entrenamiento
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Vector de características
Espacio de características
Representación en el espacio de características
Clase 1Clase 3
Clase 2Característica 1
Car
acte
ríst
ica
2
Las Características: Propiedades Las características:
Pueden ser simbólicas o numéricas Cuestiones básicas son:
¿Qué características? ¿Cuántas?. ¿Cuál es su importancia relativa?
Cuando la combinación de d características se representa mediante un vector éste se llama vector de características
El espacio d-dimensional al que pertenecen los vectores de características se llama espacio de características
Los objetos y entidades se representan entonces como puntos en el espacio de características.
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Vectores de características
¿Qué proporciona un buen vector de características? La calidad de un vector de características está relacionado con
su capacidad para discriminar ejemplos de clases distintas Ejemplos de la misma clase deberían tener similares valores de
características Ejemplos de clases distintas deberían tener distintos valores de
características
“Buenas” características “Malas” características
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Clasificadores La tarea del clasificador es dividir el espacio de características
en regiones de decisión asociadas a las clases Las fronteras entre clases se llaman
fronteras de decisión La clasificación de un vector de
características x consiste en
determinar a que región pertenece y asignarlo a dicha clase La elección del clasificador depende del problema. Cuestiones
a resolver son: ¿Como hacer mínimo el error de clasificación? ¿Cual debe ser su complejidad?
Si se combinan clasificadores para resolver un problema ¿Que hacer cuando proporcionen respuestas distintas?
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Aprendizaje
Una vez elegido el clasificador, éste debe de ajustarse a los datos del problema mediante un proceso de aprendizaje que en R.P. se realiza mediante un conjunto de entrenamiento a cuyos elementos de llaman muestras. Cuestiones básicas son: ¿Cuantas muestras? ¿Cual es el costo de obtenerlas? ¿cómo hacer que sean representativas del problema?
Hay tres tipos fundamentales de aprendizaje: Supervisado: Se dispone de un conjunto de muestras junto con
las clases a las que pertenecen No Supervisado: Se dispone de un conjunto de muestras pero
se desconocen las clases a las que pertenecen Por Refuerzo: Se puede saber si el proceso de clasificación es
correcto o no para un conjunto de muestras
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Áreas Relacionadas
Procesamiento de Señal Aprendizaje Computacional Robótica y Visión Ciencias Cognitivas Estadística Matemática Optimización no Lineal Análisis de Datos Sistemas Difusos y Genéticos Lenguajes Formales Modelado Estructural
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Aplicaciones
Dominio Aplicación Patrón de entrada Clases Bioinformática Análisis de secuencias Secuencia de ADN /
Proteínas Tipos conocidos de genes
Minado de Datos Búsqueda de patrones de interés
Puntos en espacios multidimensionales
Agrupaciones
Clasificación de documentos
Búsqueda en Internet Documento de texto Categorías semánticas
Automatización industrial
Inspección de tarjetas de ordenador
Imagen de la tarjeta Defectuosa o no defectuosa
Gestión de bases de datos multimedia
Búsqueda por Internet Vídeo clip Tipo de video (acción, diálogo)
Reconocimiento Biométrico
Identificación de personas
Cara, iris, huellas dactilares
Usuario autorizado o no autorizado
Teledetección Estudio de cultivos Imagen de Satélite Categorías de uso de la tierra
Reconocimiento del habla
Gestiones telefónicas sin asistencia de operador
Onda sonora con el habla
Palabras habladas
Computación Afectiva
Reconocimiento de emociones
Imagen de la persona, Sonido de la voz
Estados de ánimo
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Principales Aproximaciones al Reconocimiento de Patrones
Estadística Los Patrones se clasifican basados en un modelo estadístico de
las características Sintáctica
Los Patrones se clasifican basados en medidas de similaridad estructural
Neuronal La clasificación está basada en la respuesta de una red de
unidades de procesamiento (neuronas) a un estímulo de entrada (patrón)
Tiene una interpretación estadística
RECONOCIMIENTO DE PATRONES 2.- ¿QUÉ ES?
Reconocimiento de Patrones
3.- Diseño de un Sistema de Reconocimiento de Patrones
Un Sistema sencillo de Reconocimiento de Patrones Consideremos el problema de reconocer las letras L,P,O,E,Q
Necesitamos determinar: Un conjunto suficiente de características Un clasificador
Resultado
Letra Líneas Rectas Verticales
Líneas Rectas Horizontales
Líneas Rectas Oblícuas
Líneas Curvas
L 1 1 0 0
P 1 0 0 1
O 0 0 0 1
E 1 3 0 0
Q 0 0 1 1
Inicio
SI
SI
SI
SI
NO
NO
NO
Características
Ejemplo de características y clasificador
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
NO
11
Un Sistema realista de Reconocimiento de Patrones (1) Considérese el siguiente problema:
Una planta procesadora de pescado quiere automatizar el proceso de clasificación de pescado con respecto a la especie (salmón o ródalo).
El sistema automatizado consiste en: Una cinta transportadora para los productos recibidos Dos cintas transportadoras para los productos clasificados Un brazo robótico para coger y colocar objetos Un sistema de visión con una cámara Un ordenador para clasificar las imágenes y controlar el robot.
CintaTransportadora
Cámara deVídeo
BrazoRobótico
Cinta Transportadora (Salmones)
Cinta Transportadora (Ródalos)
Ordenador
Sistema de Clasificación de Pescado
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Un Sistema realista de Reconocimiento de Patrones (2) Sensor
El sistema de visión captura una imagen en cuanto un nuevo pescado entra en el área de ordenación
Preprocesado Algoritmos de Procesamiento de Imágenes
Ajuste de niveles de intensidad Segmentación para separar el pescado del fondo de la imagen
Extracción de características Supongamos que sabemos que en
media, el ródalo es más largo que elsalmón
A partir de la imagen segmentada estimamos la longitud del pescado
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Un Sistema realista de Reconocimiento de Patrones (3) Clasificación
Seleccionar un conjunto de muestras de ambas especies Calcular la distribución de longitudes para ambas clases Determinar la frontera de decisión (umbral) que minimiza el error
de clasificación
Estimamos la probabilidad de error y se obtiene un mal resultado del orden del 40%
¿Qué hacemos ahora?
Longitud
Salmón Ródalo
Fronterade decisión
Nº veces
Histograma de longitudes
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Un Sistema realista de Reconocimiento de Patrones (4) Mejoremos el rendimiento del sistema de R.P.
Para obtener un error inferior al 5%, probamos con nuevas características
Anchura, área, posición de los ojos respecto a la cara,... Finalmente encontramos una “buena”
característica: intensidad media de las escamas
Combinamos “longitud” e “intensidad media de las escamas” para mejorar la separabilidad de las clases
Buscamos un clasificador que proporcione una frontera de decisión lineal (clasificador lineal) y obtenemos un 4.3% de error de clasificación
Salmón
Ródalo Frontera de decisión
Intensidad media
Nº
Intensidad media
RódaloSalmón
Long
itud
Frontera
Clasificador con 2 características
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Un Sistema realista de Reconocimiento de Patrones (5) Costo y Error de Clasificación
El clasificador que se diseñó hace mínimo el error de clasificación ¿Es éste el mejor criterio para procesar pescado ?
El costo de clasificar erróneamente salmón como ródalo es que el consumidor encontrará una pieza sabrosa de salmón cuando compra ródalo.
El costo de clasificar erróneamente ródalo como salmón es que el consumidor encontrará una pieza ródalo comprada al precio de salmón
Deberíamos ajustar la frontera de decisión para minimizar esta función de coste
Intensidad media Intensidad media
Long
itud
Long
itud
Salmón Salmón
RódaloRódalo
Frontera Nueva Frontera
Fronteras de decisión: Error y Costo
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Un Sistema realista de Reconocimiento de Patrones (6) ¿Cómo seguir mejorando el rendimiento del sistema?
El rendimiento de un clasificador depende de la interrelación entre el número de muestras del conjunto de entrenamiento, el número de características y la complejidad del clasificador.
Supongamos un número de muestras fijo entonces podemos: Aumentar el número de características
En principio parece que al aumentar la información (más características) debe de aumentarse el rendimiento del clasificador. Sin embargo se observa en la práctica que llega un momento en que el rendimiento disminuye cuando el número de características aumenta. A este comportamiento paradójico se le llama “la maldición de la dimensionalidad”
Se acepta que generalmente que se debe utilizar al menos diez veces más muestras por clase que el número de características
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Intensidad mediaRódalo
Salmón
Long
itud
Frontera
Un Sistema realista de Reconocimiento de Patrones (7) Para mejorar el rendimiento del sistema la otra alternativa es
aumentar la complejidad del clasificador Parece que un clasificador más complejo debería aumentar el
rendimiento del sistema. Sin embargo se observa en la práctica que llega un momento en que el rendimiento disminuye cuando aumenta la complejidad del clasificador.
A este hecho se le llama “el problema de la generalización”, su explicación es que el clasificador se ajusta tanto a las muestras de entrenamiento que no “captura” bien el comportamiento de las muestras nuevas.
Hay una teoría filosófica para la elección de
clasificadores sencillos. Ya William de Occam
(1284-1347?) afirmaba (“navaja de Occam”)
que si dos explicaciones son igual de buenas
se debe elegir la simple sobre la complicada. El problema de la generalización
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Metodología general para diseñar un Sistema de Reconocimiento de Patrones
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Estudiar las clases del problema y desarrollar sus caracterizaciones.
Determinar que características pueden extraerse Estudiar el clasificador más adecuado Determinar la presencia de datos de entrenamiento para
entrenar el clasificador Considerar las restricciones computacionales Realizar una Simulación Iterar los pasos anteriores hasta obtener el rendimiento
deseado.
La elección de las características
Hay al menos dos razones para mantener el número de características tan pequeño como sea posible: Costo de obtención Precisión en la clasificación
Para determinar las características del clasificador distinguiremos entre: Extracción de características
Métodos que crean nuevas características con mejor poder de discriminación a partir del conjunto original de características
Selección de características Métodos que seleccionan el mejor subconjunto de características a
partir de un conjunto original
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Extracción de características Estos métodos transforman el conjunto de características
originales pudiendo reducir también su número. Algunos métodos
Método Propiedad Comentarios
Análisis de Componentes Principales (ACP)
Transformación Lineal; rápida; basada en autovectores
Tradicional; bueno para datos gausianos.
Análisis de Componentes Independientes
Transformación Lineal iterativa; no gausiana
Utilizada para separar mezclas de señales no gausianas
Mapa Auto-Organizado (MAO)
No lineal; iterativo Basado en una malla de neuronas
Extracción de características mediante ACP
NO CAMBIOCAMBIO
CAMBIO
Intensidad Imagen Anterior
IntensidadImagenPosterior
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Ejemplo de extracción de características mediante ACP Autocaras
Componentes principales a partir de un conjunto de jóvenes, 50 masculinos y 50 femeninos. Un total de 236 puntos se localizan en cada cara. Los efectos de los autovalores se miden añadiendo y sustrayendo su valor de la cara media.
Images copyright Peter Hancock, March 2000
Tamaño Dirección de la mirada Longitud de la cara Cabeceo Lateral ¿Relación flequillo – orejas?
Autocaras: Componentes de forma
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Selección de características
El problema de la selección de características se define como: Dado un conjunto de d características, seleccionar un
subconjunto de tamaño m que proporcione el menor error de clasificación
Esta definición hace que este proceso dependa del clasificador y de los tamaños de los conjuntos de aprendizaje y testeo
¿Cómo solucionar el problema? La aproximación más sencilla: de forma exhaustiva
Examinar todos los subconjuntos de tamaño d calcular el error de clasificación y elegir el óptimo
Sin embargo, no es factible computacionalmente por su complejidad Además es posible demostrar que no existe ningún
procedimiento no exhaustivo que proporcione el subconjunto óptimo de características
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Métodos de Selección de Características
Método Propiedad Comentarios
Búsqueda exhaustiva Evalúa todos los posibles subconjuntos Encuentra el óptimo. No factible computacionalmente
Búsqueda mediante ramificación y corte
Examina únicamente una fracción de los posibles subconjuntos
Encuentra el óptimo. La complejidad en el pero caso es exponencial
Búsqueda secuencial hacia delante (BSAD)
Añade características de forma secuencial de forma que al unirse con las ya seleccionadas formen un conjunto óptimo
No garantiza el óptimo. Computacionalmente eficiente
Búsqueda secuencial hacia atrás (BSAT)
Elimina características de forma secuencial de forma que el conjunto resultante forme un conjunto óptimo
No garantiza el óptimo. Computacionalmente eficiente.
Más complejo que el BSAD
Selección “añade l y quita r” Añade l características mediante BSAD y elimina r mediante BSAT
Permite añadir y eliminar a diferencia de BSAD y BSAT
Búsqueda Flotante Secuencial hacia Delante (BFSAD) y Búsqueda Flotante Secuencial hacia Atrás (BFSAT)
Es una generalización del “añade l y quita r” los valores de l y r se determinan automáticamente
Proporciona soluciones cercanas al óptimo con un costo razonable computacionalmente
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
La elección del clasificador
En la práctica, la elección de un clasificador es un problema difícil y generalmente está basado en cuales están disponibles o son conocidos para el usuario
Podemos identificar tres aproximaciones distintas para el diseño de un clasificador: Basados en similitud
Patrones similares deben ser asignados a la misma clase Basados en probabilidades
Proporciona el clasificador óptimo haciendo mínima la probabilidad de error o el costo de clasificación
Basados en criterios geométricos Se construyen directamente las fronteras de decisión utilizando
criterios geométricos
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Algunos métodos de Clasificación (1)
Método Propiedad Comentarios
Bayes plug-in Asigna el patrón a la clase mayor probabilidad a posteriori
Proporciona clasificadores simples para las distribuciones gausianas. Sensible a errores en la estimación de la función de densidad
1-Vecino más próximo Asigna el patrón a la clase de la muestra de entrenamiento más cercana
No necesita entrenamiento; rendimiento robusto: testeo lento; dependiente de la escala
k-Vecinos más próximos Asigna el patrón a la clase mayoritaria entre las k muestras de entrenamiento más cercana
Asintóticamente óptima; dependiente de la escala; testeo lento
Clasificador basado en probabilidad Bayes plug-in.
Distribuciones gausianas de igual covarianza
Media clase 2
Media clase 1
Muestra aclasificar
Clase 1Clase 2
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Clasificador basado en similitud: 1-vecino más próximo
Muestra aclasificar
Clase 1Clase 2
Vecino máspróximo
A continuación se muestran algunos métodos de clasificación. La lista no es ni mucho menos exhaustiva
Algunos Métodos de Clasificación (2)
Método Propiedad Comentarios
Arbol de decisión binario Encuentra un conjunto de umbrales para una secuencia de características
Procedimiento de entrenamiento iterativo; sensible a problemas de generalización; testeo rápido
Perceptrón multicapa
(Red Neuronal con Propagación hacia Delante (RNPA) )
Optimización iterativa de dos o más capas de perceptrones utilizando función de transferencia sigmoidal
Sensible a los parámetros de entrenamiento; clasificador no lineal; sensible a problemas de generalización
Clasificador del Vector Soporte (CVS)
Maximiza el margen entre las clases seleccionando un número mínimo de vectores soporte
Dependiente de la escala; entrenamiento lento; no lineal; no sensible a problemas de generalización
Clasificador basado en criterios geométricosClasificador del Vector Soporte
Muestra aclasificar
Clase 1Clase 2
RECONOCIMIENTO DE PATRONES 3.- DISEÑO DE UN SISTEMA
Ejemplo de clasificación
LocBoost Demo Applet.htm
¿Hay algún clasificador inherentemente superior al resto? Teorema “No Free Lunch” (NFL)
En ausencia de información a priori no hay ningún clasificador superior a otro (incluyendo la elección al azar de las clases) sobre todos los problemas de reconocimiento de patrones.
Teorema “Ugly Duckling” En ausencia de información a priori no hay ninguna
representación superior a otra sobre todos los problemas de reconocimiento de patrones.
La paradoja del Reconocimiento de Patrones Hemos dicho (Navaja de Occam) que a igual rendimiento sobre
el conjunto de entrenamiento preferimos un clasificador simple sobre otro más complicado. Sin embargo, el teorema NFL nos dice que no hay razón para elegir un clasificador sobre otro.¿cómo se resuelve la paradoja?
Una revisión del argumento de “La navaja de Occam” ¿Cómo explicamos que en igualdad de condiciones los
clasificadores más simples tengan en la práctica mejor rendimiento sobre datos nuevos? ¿Cuál es la respuesta a la paradoja? El éxito empírico de la navaja de Occam indica que los
problemas de R.P. que se intentan resolver tienen ciertas propiedades comunes
Hay algunos problemas, donde la navaja de Occam no es cierta, sin embargo, históricamente, no los hemos encontrado (o más probablemente los hemos evitado), puesto que de forma evolutiva siempre buscamos soluciones a menor costo, más rápidas, más pequeñas y más eficientes
La esencia del Reconocimiento de Patrones
La ciencia del Reconocimiento de Patrones está relacionada con la elección del algoritmo más apropiado para el problema a resolver
Esto requiere conocimiento a priori (distribución de los datos, probabilidades a priori, complejidad del problema, física del fenómeno que generó los datos, etc)
El teorema NFL nos dice que en ausencia de conocimiento a priori no hay ningún clasificador mejor que otro. Sin embargo con información a priori, algunos clasificadores funcionan mejor con determinados tipos de problemas
El reto del profesional del Reconocimiento de Patrones es entonces identificar el clasificador adecuado para el problema a resolver
Combinación de Clasificadores
¿Hay alguna técnica para para mejorar el rendimiento en un problema de Reconocimiento de Patrones?
De forma empírica se observa que la combinación de clasificadores mejoran el rendimiento. Sin embargo, actualmente hay pocas explicaciones teóricas para este hecho.
De todas formas hay diferentes razones para combinar clasificadores: El diseñador puede tener acceso a diferentes clasificadores,
cada uno diseñado en un contexto distinto y para una representación distinta de los datos. Por ejemplo, la identificación mediante voz, cara y escritura
Se pueden tener diferentes clasificadores entrenados sobre los mismos datos y que no sólo difieran en su rendimiento global sino que muestren fuertes diferencias locales. Cada clasificador puede tener una región donde es mejor.
Algunos esquemas de combinación de clasificadores
Esquema Información Comentarios
Votación Asignación de clases por cada clasificador
Asume clasificadores independientes
Suma, media,mediana Valores numéricos de confianza para cada clase
Robusto. Asume estimadores de confianza independientes
Mezcla de expertos locales (MEL) Valores numéricos de confianza para cada clase
Utiliza clasificadores expertos localmente.
Parámetros del clasificador k.
Asigna un voto de confianza a cada clasificador
Combina los resultados de los “expertos” individuales mediante algún esquema de combinación.
Decisión final
Clasificador 1 Clasificador 2 Clasificador kParámetros del clasificador 1.
Sistema deponderación
Sistema defusión
Mezcla de expertos
Regla de decisión del clasificador k
Clasificación no supervisada En muchas aplicaciones, es extremadamente difícil, caro o
incluso imposible etiquetar una muestra de entrenamiento con su clase.
En este caso el objetivo es construir regiones de decisión basadas en datos para los que la clase no es conocida
La clasificación no supervisada asume que es probable que muestras “cercanas” pertenezcan a la misma clase y muestras “lejanas” estén en clases distintas por lo que se suelen buscar agrupamientos en el conjunto de entrenamiento.
Es un problema muy difícil debido a que los datos pueden mostrar agrupamientos con distintas formas y tamaños
Distintos agrupamientos
Algunas técnicas de agrupamiento
Esquema Información Comentarios
K-medias Identifica agrupamientos esféricos. Necesita el valor del número de agrupamientos y una estimación de sus centros
Jerárquico Aglomerativo (JA) y Jerárquico Divisivo (JD)
Realiza de forma secuencial la unión o división de agrupamientos
Necesita el número de agrupamientos. Computacionalmente eficiente
Descomposición de mezclas
Cada patrón se asume que pertenece a una de k agrupamientos. Los parámetros de la población se estiman de los datos
Se asume que la forma de las funciones de densidad y el valor de k es conocido
Agrupamiento Jerárquico: Composición de la leche de 25 mamíferos
Reconocimiento de Patrones
4. Aplicaciones
Aplicaciones:Inspección Industrial Objetivo:
Inspección de defectos en cadenas de montaje Realizado por
Cognex (Estados Unidos)
Inspección de defectos en botellas
Inspección de defectos en neumáticos
© Copyright 2002, Cognex Corporation
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones:Teledetección Objetivo
Predicción del tiempo atmosférico Realizado por
Instituto meteorológico del Reino Unido Características
Realizado con una red neuronal Precisión del 94%. En servicio desde 1999
Imagen visible del Meteosat Imagen infraroja del Meteosat
Tipo de masa de aire esperada:Violeta:libre de nubes, Verde:nubes dinámicas
Amarillo:nubes superficiales, Rojo: nubes profundas
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones:Clasificación de Documentos en Internet Objetivo:
Clasificar de forma automática documentos en Internet Realizado por:
Universidad de Arizona (Estados Unidos) Características:
Realizado con un Mapa Auto-Organizado (MAO) bidimensional multicapa
El MAO agrupa categorías similares cerca de cada otra en el mapa
Seleccionando una región del mapa se pasa a la siguiente capa del mapa multicapa o se muestran los documentos de la categoría si el número es inferior a 200
Los textos y colores se utilizan para visualizar las distintas categorías
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Clasificación de Documentos en Internet: Ejemplo Mapa bidimensional multicapa generado a partir de las
páginas de entretenimiento de Yahoo.
ET-Map: Clasificación de documentos en Internet
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones: Computación Afectiva Objetivo:
Creación de robots “sociales” capaces de reconocer y expresar emociones.
Realizado por: MIT (Estados Unidos)
Características Se creó el robot Kismet que es una criatura expresiva robótica
con capacidades perceptuales y motoras diseñadas para los canales de comunicación natural con el hombre.
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Kismet: Cabeza robótica
Cámaras Dirección de la mirada
Sintetizador de voz Orientación de la cabeza
Computación Afectiva: Ejemplo
Computación Afectiva: Robot Kismet
Disgustado
Triste Sorprendido
Feliz
Interesado Enfadado
Calmado
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones:Minado de Bases de Datos Multimedia Objetivo:
Realizar el indexado, clasificación, navegación y visualización de videos de forma automática
Realizado por: CMU (Estados Unidos)
Características Utiliza tecnología de comprensión
automática del habla, lenguaje e
imágenes para transcribir,
segmentar e indexar el video.
Las mismas herramientas se
utilizan para realizar búsquedas
inteligentes y proporcionar
respuestas selectivas. Sistema Informedia (CMU)
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones:Biometría Objetivo
Identificación mediante el iris del ojo Realizado por
Iriscan (Estados Unidos) Características
Probabilidad de dos iris iguales 1/1078
Tiempo medio de identificación 1 seg (NT) con 100.000 usuarios
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Identificación mediante iris (Irisscan)
Aplicaciones:Reconocimiento de Caracteres Objetivo:
Reconocimiento de caracteres para clasificación postal Realizado por
CEDAR (Universidad de Nueva York) para el Servicio Postal de Estados Unidos
Características Cada ordenador procesa 90.000 cartas a la hora Clasifica totalmente el 15% de las cartas El error cometido es inferior al 2%
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Reconocimiento de Caracteres: Ejemplo
1 Digitalización 2 Localización de la dirección 3 Extracción de la dirección
4 Binarización 5 Separación de líneas 6 Análisis de la dirección 7a Nombre del estado
7b Reconocimiento del C. Postal 7c Reconocimiento del número de calle 7d Reconocimiento de nombre de calle
8 Códigos de entrega 9 Impresión de códigos de entrega
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones de Reconocimiento de Patrones
¿Y en Canarias…?
Aplicaciones de R.P. en CanariasRegistro Oleícola Español (1992-1998) Objetivo:
Realizar un censo de los olivos en España a partir de fotografías aéreas.
Realizado por Galileo Ingeniería y Servicios (Tenerife).
Características Duración del proyecto 6 años Puestos de trabajo creados 40.
Conteo de parcela con olivos
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones de R.P. en Canarias Detecam (2001) Objetivo:
Detectar cambios en imágenes aéreas (edificaciones, carreteras, etc.)
Realizado por Universidad de La Laguna (DEIOC) para Grafcan
Sistema Detecam
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Detecam: Algunos resultados
S/C Tfe. 1995 S/C Tfe. 1998 Cambios
CambiosMadrid 2000Madrid 1999
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones de R.P. en Canarias Proyecto Eldi Objetivo
Diseño y construcción de un Sistema Autónomo Inteligente Móvil capaz de interactuar con el medio en ambientes en los cuales coexiste con personas.
Realizado por: Grupo de investigación en Inteligencia Artificial y Sistemas
(GIAS) de la ULPGC para el Museo de La Ciencia de Las Palmas de Gran Canaria
ELDI bailando en el Museo de La CienciaVídeo cortesía del GIAS
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Aplicaciones de R.P. en Canarias Espacio Acústico Virtual (1995-2004) Objetivo:
Codificar la información visual mediante sonidos para aumentar la autonomía de las personas ciegas.
Realizado por Instituto Astrofísico de Canarias (Área de Instrumentación) Universidad de La Laguna (Departamento de Fisiología) En colaboración con ONCE, ITC, IMETISA Financiación: 1.4 Meuros (230 Mptas)
Espacio Acústico Virtual: PresentaciónVídeo cortesía del IAC
RECONOCIMIENTO DE PATRONES 4.- APLICACIONES
Reconocimiento de Patrones
5. Conclusiones
Conclusiones
El Reconocimiento de Patrones: Es un área de gran importancia dentro del área de la Percepción
Artificial Es un componente básico de los agentes inteligentes que tienen
contacto con el mundo físico Tiene una fuerte expansión debido a:
El incremento de interacción y colaboración entre diferentes disciplinas: redes neuronales, aprendizaje automático, estadística, etc.
La presencia de procesadores cada vez más potentes, la Internet y los grandes medios de almacenamiento
La aparición de aplicaciones como el minado de datos o la clasificación automática de documentos que proporcionan nuevos retos al área
RECONOCIMIENTO DE PATRONES 5.- CONCLUSIONES
Además...
Hay razones para sentirse optimista Hay una “prueba de existencia” de que los problemas de
Reconocimiento de Patrones pueden de hecho resolverse como lo demuestran los humanos y otros sistemas biológicos.
Recientemente han aparecido teorías bien fundamentadas para la resolución de dichos problemas
Hay un gran aumento en la inversión en recursos materiales y humanos en el área debido a su creciente importancia
RECONOCIMIENTO DE PATRONES 5.- CONCLUSIONES
Bibliografía R. Duda. P. Hart D. Stork, Pattern Classification, Wiley-
Interscience (2001)
S. Theodoridis, K. Koutroumbas , Pattern Recognition, Academic Press (1998).
R. Schalkoff, Pattern Recognition, John Wiley & Sons (1992).
S. Bow, Pattern Recognition and Image Preprocessing, M. Dekker (1992)
Gracias...
Universidad de Verano de Adeje 2002
Conferencia: Reconocimiento de Patrones
Impartida por: Fernando Pérez Nava
Departamento de Estadística, Investigación Operativa y Computación (DEIOC)
Universidad de La Laguna
e-mail: [email protected]
Curso: La Inteligencia Artificial en el desarrollo de Actividades Informáticas para la Resolución de Problemas: Técnicas y Áreas de Aplicación