Reconocimiento de caras con caracter sticas...

Reconocimiento de caras concaracterısticas locales

Proyecto Final Reconocimiento de Patrones

Cecilia Aguerrebere y German Capdehourat

8 de marzo de 2006

Instituto de Ingenierıa ElectricaUniversidad de la Republica

Indice

1. Introduccion 2

2. Seleccion de conjuntos de trabajo 3

3. Preprocesado de la informacion 3

3.1. Normalizacion . . . . . . . . . . . . . . . . . . . . . . . . . . . 33.2. Marcado manual de puntos principales . . . . . . . . . . . . . 4

4. Extraccion de caracterısticas 5

4.1. Wavelets de Gabor . . . . . . . . . . . . . . . . . . . . . . . . 54.1.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . 54.1.2. Aplicacion a caras . . . . . . . . . . . . . . . . . . . . 6

4.2. Local Binary Pattern (LBP) . . . . . . . . . . . . . . . . . . . 84.2.1. Introduccion . . . . . . . . . . . . . . . . . . . . . . . 84.2.2. Aplicacion a caras . . . . . . . . . . . . . . . . . . . . 84.2.3. Nuestro enfoque . . . . . . . . . . . . . . . . . . . . . 9

5. Clasificacion 10

5.1. Clasificacion de patrones de Gabor . . . . . . . . . . . . . . . 105.1.1. Similitud de Jets . . . . . . . . . . . . . . . . . . . . . 105.1.2. Distancia entre patrones . . . . . . . . . . . . . . . . . 11

5.2. Clasificacion de patrones de LBP . . . . . . . . . . . . . . . . 125.3. Propuesta de Edicion... . . . . . . . . . . . . . . . . . . . . . 13

6. Ensayos y Resultados 15

6.1. Con wavelets de Gabor... . . . . . . . . . . . . . . . . . . . . 156.1.1. Primeras conclusiones sobre wavelets . . . . . . . . . . 17

6.2. Con LBP... . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186.2.1. Concluyendo sobre LBP . . . . . . . . . . . . . . . . . 20

7. Agrupamiento 21

7.1. Algoritmo basado en la matriz de similaridad . . . . . . . . . 217.2. Ensayos y resultados . . . . . . . . . . . . . . . . . . . . . . . 217.3. Sobre agrupamiento de patrones... . . . . . . . . . . . . . . . 23

8. Conclusiones Finales 23

1

1. Introduccion

Este trabajo se enmarca en un proyecto de reconocimiento de indivi-duos por identificacion de rostro. En dicho proyecto se utiliza Elastic BunchGraph Matching (EBGM) como tecnica de reconocimiento.

Es objetivo de este analisis investigar aspectos basicos del funcionamien-to de dicho algoritmo ası como el potencial discriminador de los descriptorespor este utilizados.

Ası se pretende confirmar la eleccion de dicho algoritmo y encontrar unacota superior de performance en lo que refiere al poder discriminativo de losdescriptores elegidos.

La tecnica de EBGM tiene basicamente dos etapas: la primera consisteen ajustar un grafo de puntos principales a la cara del individuo, utilizandopara ello un modelo estadıstico de dicho grafo; la segunda etapa extrae ca-racterısticas locales en dichos puntos y halla la distancia del grafo obtenidoy sus descriptores al grafo almacenado de la persona a identificar. Depen-diendo de la distancia encontrada se ratifica o no la identidad del individuo.

En este trabajo los puntos principales se marcan en forma manual, conlo cual se suprimen los errores asociados al incorrecto ajuste del grafo. Estoposibilita evaluar directamente el poder discriminativo de los descriptores,dado que se esta en el caso optimo de ajuste de grafo.

En el proyecto mencionado se utiliza la implementacion del algoritmobrindada por la CSU, Colorado State University [1], con lo cual se utili-zara aquı dicha implementacion en todas las pruebas realizadas.

En el marco del proyecto de reconocimiento se creo una base de imagenesde caras; es tambien objeto de este trabajo la evaluacion de dicha base.

Por ultimo cabe comentar el interes en evaluar la performance del opera-dor Local Binary Patterns (LBP) como posible descriptor de caracterısticas.Este es un descriptor con uso relativamente reciente en esta aplicacion y conresultados prometedores.

2

2. Seleccion de conjuntos de trabajo

Se utiliza la base de datos de imagenes de caras del Instituto de Inge-nierıa Electrica [4]. De dicha base se seleccionan las cuatro imagenes frontalesobtenidas en la primera toma de cada individuo como conjunto de referencia.

Como patrones a clasificar se eligen las dos imagenes frontales de la se-gunda toma, la toma de perfil derecho, las tomas mirando hacia arriba yhacia abajo y por ultimo la toma con iluminacion lateral.

Se seleccionan 47 individuos de la base de imagenes. Esto hace un totalde 188 prototipos en el conjunto de referencia (4 muestras de cada uno) yconjuntos a clasificar de 94 muestras para el caso de frente (2 muestras decada uno) y 47 para el resto (1 muestra de cada uno).

3. Preprocesado de la informacion

3.1. Normalizacion

El primer paso en la generacion de los patrones es la normalizacion delas imagenes. En este proceso se reduce el tamano de las imagenes y se rea-lizan transformaciones geometricas que ubican las coordenadas de los ojosdel individuo en posiciones predeterminadas.

Para ello se utiliza el ejecutable csuPreprocessNormalize de [1] que im-plementa los siguientes pasos:

1. Se centran los valores de los pıxeles en la media de la imagen originalde forma de obtener una senal de media nula.

2. Suavizado de bordes en un margen de 20 pıxeles.

3. Normalizacion geometrica de la imagen de manera que las coordenadasde los ojos pasan a tener un valor predeterminado ((40,85);(120,85)),ası como el tamano de la misma (175x250).

4. Se centran los valores de los pıxeles en la media de la nueva imagen y serealiza un escalado de los valores hasta obtener desviacion estandardigual a uno.

5. Suavizado de bordes en un margen de 30 pıxeles. Esto se aplica nue-vamente para evitar efectos de borde introducidos durante la norma-lizacion geometrica o de contraste.

El proceso antes descrito es aplicado a todas las imagenes utilizadas.

3

3.2. Marcado manual de puntos principales

Tomando como referencia el algoritmo EBGM del CSU [2] decidimosmarcar de forma manual 15 puntos en la cara de cada individuo. Los puntoselegidos se listan a continuacion y se pueden ver en la figura 1.

Ojo izquierdo:

1 izquierda (LEyeOutside)

2 arriba (LEyeBrowPeak)

3 centro (LEye)

4 derecha (LEyeInside)

Ojo derecho:

5 izquierda (REyeInside)

6 arriba (REyeBrowPeak)

7 centro (REye)

8 derecha (REyeOutside)

Nariz:

9 izquierda (LNoseBottom)

10 abajo (CNoseTip)

11 derecha (RNoseBottom)

Boca:

12 izquierda (LMouthCorner)

13 arriba (CMouthTop)

14 derecha (RMouthCorner)

15 abajo (CMouthBottom)

4

Figura 1: Marcado de puntos manual

4. Extraccion de caracterısticas

Luego del preprocesado, pasamos a la etapa de extraccion de caracterısti-cas. Basados en los puntos particulares de la cara marcados manualmente,se extraen caracterısticas locales que describen el entorno cercano a dichospuntos. Como descriptores locales se utilizan dos opciones

Wavelets de Gabor

Local Binary Pattern

4.1. Wavelets de Gabor

4.1.1. Introduccion

Wavelets y analisis de Fourier son ambas herramientas para analizaruna imagen en el dominio de la frecuencia. La diferencia entre ellas es quemientras los wavelets operan en un sector localizado de la imagen, la trans-formada de Fourier opera sobre la imagen completa. Por lo tanto lo quecambia es el nucleo con el que se convoluciona la imagen. En este caso setrabaja con nucleos gaussianos cuya expresion es:

W (x, y, θ, f, φ, σ, γ) = e−x′2+γ2y′2

2σ2 cos(2πfx′ + φ)

conx′ = xcosθ + ysenθ

y′ = −xsenθ + ycosθ

5

x - Coordenada horizontal

y - Coordenada vertical

f - Frecuencia

φ - Fase

σ - Varianza de la gaussiana

γ - Relacion de aspecto

θ - Orientacion

En la figura 2 se muestran 3 ejemplos para entender la influencia de losdistintos parametros.

Ejemplo 1 : f= 18 , θ = 0o, φ = 0 y γ2 = 1

Ejemplo 2 : f= 116 , θ = 45o, φ = π

2 y γ2 = 1

Ejemplo 3 : f= 116 , θ = 90o, φ = 0 y γ2 = 2

En todos los casos se toma σ = 1f

de forma que la cantidad de perıodos dela onda se mantenga constante.

Figura 2: Ejemplos de wavelets de Gabor

4.1.2. Aplicacion a caras

Los elementos descriptores son aquı los denominados jets, resultado deaplicar un banco de filtros de Gabor a la imagen normalizada y evaluar elresultado en el punto principal deseado.

Para definir el banco de filtros, es necesario elegir un cierto juego deparametros para generar los wavelets de Gabor explicados anteriormente.

Para las pruebas realizadas se utilizan dos conjuntos de parametros.

La primer configuracion sera referida como set de Wiskott y comprende:

6

Ocho valores de orientacion (θ) en el intervalo 0 a π, estos son:{0, π

8 , 2π8 , 3π

8 , 4π8 , 5π

8 , 6π8 , 7π

8 }

Cinco valores de longitud de onda (λ), comenzando en 4 pıxeles ycontinuando con:{4, 4

√2, 8, 8

√2, 16}.

Dos valores de fase (φ), 0 y π2 .

El radio (σ) es proporcional a la longitud de onda.

La relacion de aspecto de la Gaussiana (γ) es fija en el valor 1.

La segunda configuracion utilizada se denomina set de Nestares y sediferencia de la anterior en los siguientes puntos:

Cuatro valores de orientacion (θ) en el intervalo 0 a π, estos son:{0, 2π

8 , 4π8 , 6π

8 }

Cuatro valores de longitud de onda (λ), comenzando en 4 pıxeles ycontinuando con: {4, 8, 16, 32}.

Utilizando la herramienta csuEBGMFaceGraph [1] se extraen los descrip-tores en cada punto principal marcado. Este ejecutable simplemente calculael valor de los jets en cada punto principal senalado en la imagen de entrada.

Con esto tenemos que, para la configuracion de Wiskott, cada jet constade 40 numeros complejos (80 coeficientes = 8 orientaciones x 5 longitudesde onda x 2 fases), resultado de la convolucion de la imagen normalizadacon cada filtro de Gabor correspondiente. Por lo cual una imagen queda re-presentada por 600 numeros complejos (1200 coeficientes), resultado de 15puntos principales por imagen y 40 numeros complejos por punto principalmarcado.

Jet : J = {j1, . . . , j40} donde los ji son numeros complejos.

Patron: P = {Jp1, . . . , Jp15} = {J1p1, . . . , J

40p1 , . . . , . . . , J1

p15, . . . J40p15}

Mientras tanto, para la configuracion de Nestares, tenemos 16 numeroscomplejos (32 coeficientes = 4 orientaciones x 4 longitudes de onda x 2 fases)por cada jet. Con lo que, una imagen queda representada por 240 numeroscomplejos (480 coeficientes), resultado de 15 puntos principales por imageny 16 numeros complejos por punto principal marcado.

Jet : J = {j1, . . . , j16} donde los ji son numeros complejos.

Patron: P = {Jp1, . . . , Jp15} = {J1p1, . . . , J

16p1 , . . . , . . . , J1

p15, . . . J16p15}

7

4.2. Local Binary Pattern (LBP)

4.2.1. Introduccion

El operador original LBP es una herramienta interesante como descriptorde textura. Este operador etiqueta los pıxeles de una imagen umbralizan-do una vecindad de 3x3 respecto al valor del pıxel central y considerandoel resultado como un numero binario. Luego el histograma de las etiquetaspuede utilizarse como descriptor de textura. En la figura 3 se ilustra el fun-cionamiento del operador LBP basico.

Figura 3: Ejemplo del operador LBP

Algunas variantes al operador basico fueron introducidas mas adelante.Una de ellas es el hecho de trabajar con entornos de tamano variable. Usan-do vecindades circulares e interpolando los valores de los pıxeles, cualquierradio es valido.

Otra extension es el hecho de tomar en cuenta solamente los patronesuniformes, siendo estos los que tienen al menos 2 transiciones 0-1 o 1-0.Esto se apoya en el hecho de que la mayor parte de los patrones en una ima-gen son patrones uniformes. En [3] se puede ver mas en detalle este operador.

4.2.2. Aplicacion a caras

El histograma obtenido mediante el procedimiento descrito contiene in-formacion acerca de la distribucion local de los micropatrones, como bordes,puntos y otros, sobre la imagen completa. Para tener una representacioneficiente de la cara es necesario ademas almacenar informacion espacial.

En [3] la imagen se divide en regiones uniformes mediante una grilla cua-dricular (bloques 7x7). Luego se calculan los histogramas para cada bloquey se concatenan todos para obtener el patron de la cara.

De esta forma se logra efectivamente una descripcion de la cara en 3niveles diferentes de ubicacion: las etiquetas contienen informacion de los

8

patrones a nivel de los pıxeles, los histogramas en una pequena region pro-ducen informacion a nivel regional y los histogramas regionales son conca-tenados para crear una descripcion global de la cara.

4.2.3. Nuestro enfoque

Para poder utilizar este descriptor aprovechando los puntos marcados,se realizo una modificacion a lo hecho en [3].

En vez de usar todos los bloques de la imagen, se opto por usar solamen-te cuatro, pero definidos por los puntos obtenidos para los ojos, la nariz yla boca. De esta manera los histogramas se calculan siempre en zonas rele-vantes de la cara.

Se puede ver un ejemplo de los bloques que se obtienen en la figura 4.Vale aclarar que estos bloques son de tamano variable porque dependen delos puntos marcados manualmente, pero los histogramas obtenidos son detamano fijo.

Figura 4: Ejemplo de los bloques utilizados para LBP

Como tamano de las vecindades se trabaja con 3 radios diferentes: 1, 2y 3. El largo de cada histograma es de 10, 18 y 26 respectivamente. Conca-tenando los 4 histogramas se obtiene el patron correspondiente a la cara.

Histogramas:

Hk = {h1, . . . , hk+2}

9

con k=8, 16 y 24.

Patrones:

Htotal = {Hojoi,Hojod,Hnariz,Hboca}

Htotk = {hoi

1 , . . . , hoik+2, h

od1 , . . . , hod

k+2, hn1 , . . . , hn

k+2, hb1, . . . , h

bk+2}

Htotk = {h1, . . . , h4×(k+2)}

con k=8, 16 y 24.

5. Clasificacion

Se utilizan metodos de clasificacion de vecino mas cercano, especıfica-mente las reglas 1-NN y 3-NN. Las distancias consideradas varıan segun losdescriptores utilizados y seran detalladas en las secciones siguientes.

5.1. Clasificacion de patrones de Gabor

5.1.1. Similitud de Jets

La similitud de jets es utilizada para determinar la distancia entre losdiferentes patrones. Las medidas de similitud que se consideran son Sφ, Sa

y SD.

La primer medida de similitud se define como

Sφ(J, J ′) =

∑Nj=1 aja

′

jcos(φj − φ′

j)√

∑Nj=1 a2

j

∑Nj=1 a′j

2

donde J y J ′ son los jets a comparar, a, a′,φ y φ′ corresponden a modu-lo y fase de los numeros complejos de dichos jets, siendo N la cantidad denumeros complejos en cada jet.

Esta medida se conoce como similitud de fase. Se basa en la magnitudde la respuesta frecuencial, sin embargo, estos valores son pesados por lasimilitud en la fase. Es ası que se alcanzan altos scores solamente en el casoen que ambos, magnitud y fase, sean similares.

La segunda medida se conoce como similitud de magnitud. Esta medidaconsidera unicamente la magnitud de la respuesta frecuencial. La informa-cion de fase no es utilizada.

10

Sa(J, J ′) =

∑Nj=1 aja

′

j√

∑Nj=1 a2

j

∑Nj=1 a′j

2

Cada una de las anteriores medidas tiene ventajas y desventajas. Sφ res-pondera correctamente a la informacion de fase de la imagen. Dado que lainformacion de fase cambia rapidamente con el desplazamiento, la medidaSφ tendra un valor bajo si los jets comparados provienen del mismo puntoprincipal pero estan desplazados una pequena distancia. En dicho caso, lamedida Sa tendra un valor alto por no considerar la informacion de fase,pero producira, por la misma razon, falsos positivos en otras oportunidades.

La ultima medida considerada, SD, pretende corregir pequenos despla-zamientos en la medida de similitud de fase. SD estima la similitud entre Jy J ′ como si J ′ fuese extraıdo de un punto a una distancia ~d de su ubicacionactual.

SD(J, J ′, ~d) =

∑Nj=0 aja

′

jcos(φj − (φ′

j + ~d. ~kj))√

∑Nj=1 a2

j

∑Nj=1 a′j

2

Esta medida de similitud se basa en ambos, magnitud y fase, y puedecompensar diferencias en fase debidas a pequenos desplazamientos. Dadoque el vector ~d es desconocido, se plantean distintos metodos para determi-nar su valor.

El metodo utilizado toma una aproximacion de la funcion SD, mas preci-samente una expansion de Taylor de dos terminos, y maximiza dicha funcionpara encontrar el desplazamiento optimo. Ver en [2] por mas informacion.

5.1.2. Distancia entre patrones

Luego de definida la similitud de jets, definimos la similitud de patronescomo el valor medio de la similitud de todos los jets que los definen.

L(G,G′) =1

n

n∑

i=1

Sx(Ji, J′

i)

donde n es la cantidad de puntos principales por grafo, Sx es un metodoespecıfico de medida de similitud de jets, Ji y J ′

i son jets del i-esimo puntoprincipal, perteneciente a los grafos G y G′.

Las medidas de similitud utilizadas durante las pruebas realizadas fueronversiones de la similitud L(G,G′), donde Sx puede ser Sφ, Sa y SD.

11

Dado que la clasificacion se realizara con tecnicas de vecino mas cercanose necesita una medida de distancia. Como medida de distancia entre patro-nes se considera el negado de la similitud de los mismos.

Ademas de las tres distancias antes mencionadas se considero una cuartadistancia que refleja la similitud geometrica de los grafos. Siendo los nodos dedichos grafos los puntos principales marcados manualmente, esta distanciageometrica mide la similitud de dos patrones basandose en las coordenadasde dichos nodos.

En primer lugar se estima la transformacion lineal optima que lleva ungrafo en el otro, utilizando mınimos cuadrados. Se transforma el grafo ori-ginal para acercarlo, a traves de dicha transformacion, al otro grafo y secalcula la distancia entre ambos como la suma de la distancia Euclideanaentre nodos correspondientes.

Esta medida no hace uso de la informacion de los descriptores aquı con-siderados, los wavelets de Gabor, pero se hace un ajuste de posiciones previoque sı la utiliza.

Dicho ajuste consiste en desplazar los nodos de uno de los grafos segunun vector de desplazamiento ~d, estimado utilizando las tecnicas detalladasanteriormente. Como fuese mencionado, estas tecnicas estiman el desplaza-miento en base a similitud de jets.

La herramienta utilizada para calcular dichas distancias es el ejecutablecsuEBGMMesure [1].

5.2. Clasificacion de patrones de LBP

Para el caso de los patrones obtenidos mediante LBP la medida de simi-litud utilizada es una de las que se definen en [3], basada en la estadısticaχ2. Para dos vectores A y B esta medida es:

χ2(A,B) =∑

i

(Ai − Bi)2

Ai + Bi

Si consideramos que cada region genera un vector y los patrones son laconcatenacion de los vectores generados, la distancia entre patrones queda:

χ2(A,B) =∑

i,j

(Aij − Bij)2

Aij + Bij

donde j es el ındice en las regiones e i el ındice en cada vector.

12

Esto permite dar un peso distinto a cada region segun la relevancia quese le quiera dar. La expresion de la distancia con pesos queda:

χ2wj

(A,B) =∑

i,j

wj(Aij − Bij)

2

Aij + Bij

5.3. Propuesta de Edicion...

Con el objetivo de mejorar la performance de la clasificacion, en termi-nos de tasa de acierto, se considera la idea de utilizar tecnicas de edicion delconjunto de referencia.

Se hacen entonces algunos ensayos para verificar la utilidad de dicha he-rramienta en el conjunto de trabajo antes de proceder a utilizarla.

El conjunto de referencia consta de 4 muestras por clase (4 tomas defrente por individuo). Se encuentran las tres muestras mas cercanas a cadaelemento del conjunto, utilizando distintas distancias. Los resultados obteni-dos muestran que en la mayorıa de los casos las tres muestras mas cercanas ala de prueba pertenecen a su misma clase. Los casos en que esto no ocurre son

utilizando la distancia que considera unicamente el modulo...

Muestra Mas cercano Segundo mas cercano Tercero mas cercano

19a 28a 28d 28j

20a 20j 20d 06d

31a 31d 28j 43a

46a 46g 46d 42g

07d 07a 07j 12j

53d 53j 53g 42j

20g 20d 06g 20j

31g 31j 31d 16a

46g 46a 46d 42g

20j 20d 20a 06j

31j 31g 31d 16a

13

utilizando la distancia que agrega la fase...


19a 19g 19d 28d

20a 20j 20d 27a

46a 46g 46d 16j

54a 54d 52d 52g

23d 23j 23a 27a

41d 41a 41g 27a

46d 46g 46a 02d

53d 53j 53a 06j

20g 20j 20d 51g

46g 46a 46d 02d

53g 53j 53a 59g

59j 59d 59a 02d

utilizando la distancia que combina modulo y fase con estimacion dedesplazamiento...


19a 19g 19d 28a

20a 20j 20d 06j

46a 46g 46d 06j

53d 53g 53j 42j

20g 20j 20d 02d

46g 46a 46d 29d

El numero representa la clase y la letra la toma correspondiente, es decir01a, 01 d, 01g y 01j son las cuatro tomas de frente del sujeto 01 que formanla clase 01.

Se trabaja con un total de 188 prototipos, con lo cual en el peor caso, nose cumple que los tres vecinos mas cercanos pertenezcan a la misma claseen un 6.38 % (12 casos) del total de muestras. Esto se da para la segundadistancia considerada, la que toma en cuenta la fase.

Las tecnicas de edicion utilizan clasificacion por reglas de k-NN, conlo cual cabe senalar que si se utiliza la regla 1-NN, solo un patron resultamal clasificado para una de las distancias (la que considera unicamente elmodulo). Para las otras distancias todos los patrones resultan clasificadoscorrectamente.

Si se utiliza la regla de 3-NN, entonces resulta un patron mal clasificadopara las medidas que consideran modulo y fase, y todos los patrones correc-tamente clasificados para la medida combinada.

14

Concluimos entonces que no es de utilidad aplicar tecnicas de edicionsobre el conjunto de referencia.

Para el caso de LBP no se considero hacer edicion.

6. Ensayos y Resultados

Como fuese detallado anteriormente, el set de imagenes utilizado constade 6 imagenes frontales (4 de una primer toma y dos de una segunda toma),1 de perfil derecho, 1 mirando hacia arriba, 1 mirando hacia abajo y 1 va-riando iluminacion, para cada individuo considerado.

Los ensayos realizados toman como conjunto de referencia las 4 image-nes frontales de la primer toma y como patrones a clasificar el resto de lasimagenes.

Se describen a continuacion las pruebas realizadas utilizando los distintosdescriptores.

6.1. Con wavelets de Gabor...

Las pruebas realizadas a partir de los patrones descritos mediante wave-lets de Gabor son:

Prueba 1

Parametros de filtos de Gabor seteados segun configuracion de Wis-kott.

Se utilizan distancias de fase, magnitud y combinada con estimacionde desplazamiento.

Se clasifica utilizando tecnicas de 1-NN y 3-NN.

Prueba 2

Parametros de filtos de Gabor seteados segun configuracion de Nesta-res.

Se utilizan distancias de fase, magnitud y combinada con estimacionde desplazamiento.


15

Los resultados obtenidos para la prueba 1, utilizando clasificacion 1-

NN, fueron:

Distancias

Tomas Modulo Fase Combinada Geometrica

Frente 98.8 % 100 % 100 % 93.0 %

Perfil derecho 91.3 % 91.3 % 97.8 % 60.1 %

Mirando arriba 93.5 % 89.1 % 95.6 % 54.3 %

Mirando abajo 65.2 % 72 % 76.1 % 73.9 %

Iluminacion 76.1 % 80.4 % 93.5 % 78.3 %

Todas 87.1 % 88.5 % 93.7 % 74.8 %


NN, fueron:

Distancias


Frente 98.8 % 100 % 100 % 91.8 %

Perfil derecho 91.3 % 91.3 % 93.5 % 63.0 %

Mirando arriba 93.5 % 91.3 % 95.7 % 54.3 %

Mirando abajo 67.4 % 73.9 % 73.9 % 71.7 %

Iluminacion 76.1 % 82.6 % 89.1 % 78.3 %

Todas 87.4 % 89.6 % 91.9 % 74.8 %


NN, fueron:

Distancias


Frente 96.5 % 97.7 % 97.7 % 95.3 %

Perfil derecho 73.9 % 91.3 % 91.3 % 47.8 %

Mirando arriba 97.8 % 97.8 % 97.8 % 56.5 %

Mirando abajo 50 % 78.3 % 76.1 % 63.0 %

Iluminacion 26.1 % 60.9 % 47.8 % 56.5 %

Todas 72.9 % 87.0 % 84.4 % 68.5 %


NN, fueron:

16

Distancias


Frente 96.5 % 98.8 % 97.7 % 96.5 %

Perfil derecho 76.1 % 89.1 % 91.3 % 50.0 %

Mirando arriba 95.6 % 97.8 % 97.8 % 56.5 %

Mirando abajo 47.8 % 78.3 % 69.5 % 60.9 %

Iluminacion 28.3 % 56.5 % 50.0 % 52.1 %

Todas 72.9 % 86.3 % 83.7 % 68.1 %

6.1.1. Primeras conclusiones sobre wavelets

Comenzamos analizando como influye la dimension de los patrones, da-da por las distintas configuraciones utilizadas (Wiskott y Nestares), en laperformance de los descriptores.

La configuracion de Wiskott genera patrones de dimension 1200, mien-tras que Nestares utiliza 480 coeficientes. Observando las tablas de resul-tados vemos que este incremento de informacion implica distintas mejoras,dependiendo de la toma y medida consideradas.

Por ejemplo, para las imagenes de frente, con la mayor dimension elreconocimiento se incrementa en aproximadamente un 2% para todas lasmedidas. Mientras que para los casos de perfil el incremento mas marcadose da para las distancias que consideran el modulo y la geometrıa.

Por otro lado, para la toma mirando hacia arriba se observa un leve in-cremento en la performance al utilizar los patrones de menor dimension. Noocurre lo mismo con la toma mirando hacia abajo, donde aumenta el por-centaje de reconocimiento al aumentar la dimension, principalmente paralas medidas que consideran el modulo y la geometrıa.

Por ultimo observamos la relacion dimensionalidad - iluminacion. Se pue-de verificar una importante mejorıa en la performance al incrementar la di-mension para todas las medidas consideradas.

Concluimos entonces que para los casos mas sencillos, tomas de frente ymirando hacia arriba, el incremento en la dimension no trae consigo grandesbeneficios; mientras que para los demas casos el incremento en la dimensiontiene un rol clave en la performance, principalmente para las medidas menoscomplejas.

Comparando los resultados obtenidos con los distintos metodos de clasifi-cacion, 1-NN y 3-NN, vemos que no hay grandes diferencias. La performance

17

de reconocimiento no se ve muy afectada por el cambio de clasificador de1-NN a 3-NN.

Con respecto a las distancias utilizadas, como era de esperarse los mejo-res resultados se dan para las distancias que consideran fase y combinacionde fase y magnitud con estimacion de desplazamiento. Estas distancias sonlas mas complejas y las que contemplan mas informacion.

Si comparamos dichas distancias con las que consideran el modulo y lageometrıa observamos un notorio incremento en los porcentajes de recono-cimiento.

Cabe aclarar que la distancia que considera unicamente el modulo tienela ventaja de requerir menos calculo con lo que es preferible en tema detiempos. De todas maneras el incremento de tiempo que implican las dis-tancias de fase y combinada no opaca su beneficio en performance.

Con respecto a la distancia con caracterısticas geometricas, dado querealiza un ajuste de posicion con estimacion de desplazamiento, no tieneventajas respecto a tiempos.

6.2. Con LBP...

Las pruebas realizadas a partir de los patrones descritos mediante LBPson:

Prueba 1

Descriptores LBP de radios 1, 2 y 3.

Se utiliza la distancia sin pesos.


Prueba 2

Descriptores LBP de radios 1, 2 y 3.

Se utiliza la distancia con pesos.


18

Los resultados obtenidos para la prueba 1 utilizando clasificacion 1-

NN, fueron:

Descriptor

Tomas LBP 8 LBP 16 LBP 24

Frente 46.8 % 52.1 % 63.8 %

Perfil derecho 38.3 % 34.0 % 44.7 %

Mirando arriba 21.3 % 31.9 % 46.8 %

Mirando abajo 25.5 % 27.7 % 31.9 %

Iluminacion 21.3 % 27.7 % 25.5 %

Todas 33.3 % 37.6 % 46.1 %


NN, fueron:

Descriptor


Frente 47.9 % 73.4 % 81.9 %

Perfil derecho 40.4 % 53.2 % 63.8 %

Mirando arriba 38.3 % 51.1 % 51.1 %

Mirando abajo 27.7 % 40.4 % 48.9 %

Iluminacion 36.2 % 31.9 % 40.4 %

Todas 39.7 % 53.9 % 61.3 %


NN, fueron:

Descriptor


Frente 50.0 % 58.5 % 64.9 %

Perfil derecho 40.4 % 40.4 % 53.2 %

Mirando arriba 19.1 % 44.7 % 44.7 %

Mirando abajo 17.0 % 23.4 % 29.8 %

Iluminacion 36.2 % 29.8 % 40.4 %

Todas 35.5 % 42.6 % 49.6 %


NN, fueron:

19

Descriptor


Frente 41.5 % 69.1 % 84.0 %

Perfil derecho 38.3 % 55.3 % 61.7 %

Mirando arriba 40.4 % 46.8 % 53.2 %

Mirando abajo 27.7 % 36.2 % 38.3 %

Iluminacion 42.6 % 38.3 % 46.8 %

Todas 38.7 % 52.5 % 61.3 %

6.2.1. Concluyendo sobre LBP

Como mencionamos anteriormente la idea era tener un primer acerca-miento con este descriptor de textura, por lo que los resultados obtenidos,no siendo muy prometedores, nos sirven para sacar algunas conclusiones.

Cabe aclarar ademas que la dimension de los vectores de caracterısticasutilizados con LBP son mucho menores que los utilizados con los descripto-res de Gabor.

El LBP24 es el que arroja los mejores resultados, lo cual era esperablepor tratarse del vector de caracterısticas de mayor dimension y el mas acor-de al tamano de los bloques elegidos. Si bien es el que toma mas tiempo, ladiferencia es despreciable.

En cuanto a la regla de clasificacion, los mejores resultados fueron con3-NN lo que se explica por el hecho de que los datos estan mezclados entresı por lo que al tomar mas vecinos la clasificacion mejora.

El hecho de utilizar la medida de distancia con pesos no mejora mucholos resultados pero se gana un 2% para el caso de frente con 3-NN (mejorde todos).

No se obtienen buenos resultados con las diferentes poses ni con la ilu-minacion lateral, siendo el mejor caso el de perfil.

Si bien los resultados obtenidos no alcanzan para sacar conclusiones ro-tundas acerca de este descriptor, los mejores resultados para el caso de frentejunto con el hecho de que se trabaja con muy baja dimension, hacen de LBPun promisorio descriptor para la clasificacion de caras.

20

7. Agrupamiento

Para complementar el trabajo final del curso, trabajamos con un algo-ritmo de agrupamiento basado en la matriz de similaridad, como forma deestudiar la base del IIE y las medidas de distancia utilizadas. Para esta partesolo consideramos los patrones obtenidos con los wavelets de Gabor.

7.1. Algoritmo basado en la matriz de similaridad

La matriz de similaridad es una matriz cuadrada que se emplea paraexpresar el grado de similaridad entre cualquier pareja de patrones.

Si N es el numero de patrones, la matriz de similaridad S, es una matrizN x N:

Si,j =

{

1 si δ(Xi, Xj) ≤ θ0 si δ(Xi, Xj) > θ

Considerando esta matriz como la matriz de adyacencias de un grafodonde cada nodo corresponde a un patron, es posible hallar distintos agru-pamientos definidos por las componentes conexas de este grafo.

El parametro θ, que define la tolerancia para decir si dos nodos sonadyacentes o no, define la cantidad de conjuntos que se forman al obtenerlos agrupamientos.

7.2. Ensayos y resultados

Se realizan distintas pruebas, cambiando el conjunto de patrones selec-cionado y la distancia elegida, de forma de ver si surgen agrupamientoscorrespondientes con alguna caracterıstica fısica (color de pelo, facciones,etc.) o similares caracterısticas de la toma (misma pose, ilumincacion, etc.).El parametro θ se varıa desde el punto en que todos los patrones quedan enclases distintas hasta que todos se ubican en una unica clase.

En primer termino tomamos las 6 imagenes frontales de cada individuo.Al mover el parametro θ pasamos por un punto donde se forma practica-mente un agrupamiento por individuo, lo cual es razonable puesto que lametrica es la misma que la utilizada en la clasificacion donde los resultadosfueron muy buenos.

Luego no se observa la creacion de agrupamientos bien diferenciadosque correspondan a caracterısticas faciales comunes, sino que a partir de undeterminado valor del umbral, todos los patrones quedan en una unica clase.

21

Seguidamente se hacen distintas pruebas, por ejemplo considerando lastomas mirando hacia arriba y hacia abajo, para verificar si se juntan las deigual pose. Esto tampoco ocurre.

En este caso los agrupamientos por individuo son con mayor error (laclasificacion en este caso resulto peor) pero luego nuevamente se llega a cier-to umbral en el que la mayorıa de los patrones quedan en una unica clasey solo tenemos pocos patrones aislados que no responden a agrupamientosclaros.

Estas pruebas se realizan para las distintas distancias (fase, magnitud ycombinada) y los resultados son similares para todas.

Para ilustrar graficamente los resultados obtenidos, en la figura 5 pode-mos ver los agrupamientos generados al variar θ para el caso de las imagenesfrontales utilizando la distancia combinada. Se puede apreciar claramente co-mo en cierto punto pasamos de tener muchas clases con pocos patrones atener una clase dominante donde se agrupan la mayorıa de los mismos.

Figura 5: Ejemplo de agrupamiento por matriz de similaridad

22

7.3. Sobre agrupamiento de patrones...

En las pruebas realizadas con las distintas distancias no se generan agru-pamientos debido a rasgos similares o condiciones comunes. Esto es una granpropiedad para el descriptor en cuestion a la hora de utilizarlo para reco-nocimiento de personas porque implica que el mismo tiene gran poder dediscriminacion.

Ademas revela que lo se guarda de cada individuo caracteriza solamentea esa persona y no tienen tanto peso cuestiones como la pose y la ilumina-cion. Si bien esta claro que estas caracterısticas pueden complicar el reco-nocimiento, la propiedad antes mencionada implica que no llevan a que ladescripcion sea similar a la de otra persona.

8. Conclusiones Finales

Retomando los objetivos iniciales de este trabajo y observando los resul-tados obtenidos, cabe aclarar que se ratifica la eleccion del algoritmo ElasticBunch Graph Matching como tecnica de reconocimiento de individuos.

Los porcentajes de identificacion obtenidos constituyen una cota supe-rior prometedora para la posterior implementacion del algoritmo en toda suexpresion.

El uso de los wavelets de Gabor como descriptor demostro propiedadesimportantes para el reconocimiento de caras verificadas en las pruebas declustering.

El acercamiento al operador LBP, si bien fue primario, mostro la posi-bilidad de obtener buenos resultados.

Con respecto a la evaluacion de la base de imagenes, no se puede decirde esta una evaluacion exhaustiva pero sı una exitosa primera prueba dondese verifico la utilidad de la base para la clasificacion de los individuos.

23

Referencias

[1] http : //www.cs.colostate.edu/evalfacerec/algorithms5.html D.S.Bolme, J.R. Beveridge, M. Teixeira, B.A. Draper, “Evaluation of fa-ce recognition algorithms”. Ultima actualizacion Martes 20 de Abril de2004.

[2] http : //www.cs.colostate.edu/evalfacerec/papers/EBGMThesis F inal.pdfElastic Bunch Graph Matching, David Bolme, Masters Thesis, CSUComputer Science Department Junio de 2003.

[3] T. Ahonen, A. Hadid, M. Pietikainen, “Face recognition with local bi-nary patterns,”Machine Vision Group, Infotech Oulu, University of Ou-lu, Finland, in the 8th European Conference on Computer Vision, Mayo2004, vol. 1 : 469-481.

[4] Base de caras del IIE. Documentacion del 1er entregable del proyectode fin de carrera.

[5] Notas del curso “Introduccion al reconocimiento de formas”, FranciscoJose Cortijo Bon, Octubre de 2001.

24

Reconocimiento de caras con caracter sticas...

Documents

Transcript of Reconocimiento de caras con caracter sticas...