CURSO UNIDAD 1

INTRODUCCIN A LA DETECCIN DE OBJETOS Caractersticas locales

Maria Vanrell DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIN

basados en caractersticas del pxel basados en toda la imagen basados en caractersticas locales

Refinacin de la decisin

Sistema detector de objetos

Objeto (cara, mano, persona, ...)

Imagen

+

Ventana/-s

cara

mano

persona

Clasificacin de candidatos

Extraccin de caractersticas

Descriptores de los objetos

Descriptores de objetos

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas locales

Esquema general:

Generacin de candidatos





Generacin de candidatos


Descriptores basados en caracterticas locales

Clasificacin de descriptores

Caracterstica local (local feature) : Una caracterstica local es una propiedad que describe las propiedades de un pxel con relacin a su vecindad. Estas caractersticas pueden presentar formas especificas con una estructura propia, tales como puntos (blobs) o contornos (edges), o cualquier otra estructura que se adapte a formas habituales.

Una manera genrica de detectar caractersticas locales es usando la operacin de la convolucin con una forma local definida por un filtro o kernel


contornos

BGR ++

-1 -1 -1

0 0 0

1 1 1 -1

0

1

La convolucin: es una operacin matemtica entre dos funciones, f y g, que se representa como una nueva funcin que nos da el grado de solapamiento de la funcin g sobre la funcin f.

='y,'x

)'yy,'xx(f)'y,'x(g)y,x)(gf(


En teora de la seal, la convolucin es usada para la descomposicin de una seal en una serie de funciones ms simples.

bsicasFunciones :gentradade Seal:f

En visin por computador se utiliza para suavizar la imagen (blurring), para mejorar la imagen (sharpening), o para extraccin de caractersticas locales (contornos, puntos, )

=='y,'x

)'yy,'xx(I)'y,'x(k)y,x(k*)y,x(I)y,x(r

='y,'x

)'yy,'xx(f)'y,'x(g)y,x)(gf(

trokernel/fil :k

En visin por computador la funcin f normalmente representa la imagen y la funcin g la caracterstica local, de la que queremos medir su solapamiento con la imagen original.

magenI:I

===

'y,'x

)'yy,'xx(I)'y,'x(k

)y,x(k*)y,x(I)y,x(r

x

y (0,0)

(-1,-1)

(-1,0)

(-1,1)

(0,-1)

(0,1)

(1,-1)

(1,0)

(1,1)

)'y,'x(k

)1y,1x(I)1,1(k)1y,x(I)1,0(k)1y,1x(I)1,1(k)y,1x(I)0,1(k)y,x(I)0,0(k)y,1x(I)0,1(k

)1y,1x(I)1,1(k)1y,x(I)1,0(k)1y,1x(I)1,1(k)y,x(r

++++++++

+++++++=

Observacin: sobre el clculo de la convolucin

Ejemplo: supongamos un kernel 3x3

kernel delCentro :)y,x(

)1y,1x(I)1,1(k)1y,x(I)1,0(k)1y,1x(I)1,1(k)y,1x(I)0,1(k)y,x(I)0,0(k)y,1x(I)0,1(k

)1y,1x(I)1,1(k)1y,x(I)1,0(k)1y,1x(I)1,1(k)y,x(r

++++++++

+++++++=

(x,y)

(x+1,y+1)

(x-1,y-1)

(x-1,y+1)

(x+1,y-1)

(x,y+1)

(x,y-1)

(x+1,y) (x-1,y)

)'y,'x(h )y,x(I

La convolucin se basa en el producto de la ventana de la imagen con el filtro invertido

(-1,-1)

(-1,0)

(-1,1)

(0,-1)

(0,0)

(0,1)

(1,-1)

(1,0)

(1,1)

A B C

D E F

G H I

Relacin entre la convolucin y la correlacin: La convolucin es una correlacin con el filtro invertido.

)y,x('k

I H G

F E D

C B A

Correlacin con k

A B A

D C D

A B A

)y,x(k

Filtro simtrico

Convolucin = Correlacin

)y,x(k

Convolucin con k Importante:

Caracterstica local (local feature) : el contorno

Posibles filtros detectores de contorno:


contornos

BGR ++

-1 -1 -1

0 0 0

1 1 1

-1 0 1

-1 0 1

-1 0 1

1 1 1

0 0 0

-1 -1 -1

1 0 -1

1 0 -1

1 0 -1

basados en caractersticas del pxel basados en toda la imagen basados en caractersticas locales


Sistema detector de objetos

Objeto (cara, mano, persona, ...)

Imagen

+

Ventana/-s

cara

mano

persona



Descriptores de los objetos

Descriptores de objetos


Ejemplo: Representacin de objetos simples usando la convolucin.

Kernels: Imagen: )y,x(k)y,x(I

Negro: 0 Blanco: 255

90 0

135 45

Escala + Escala +

Escala +Escala +

Imagen: )y,x(I( )

=========

==

453sx

1351sx

03sx

02sx

01sx

903sx

902sx

901sx

nx2x1x)p(Descriptor

pxel:p

Cerrar las regiones etiquetadas y localizar las ventanas

Extraccin de caratersticas



Generacin de ventanas

Cada pxel se clasificar dentro o fuera de la clase definida por cada textura en el espaco de dimensin n

Esquema: (el mismo esquema usado en caracterticas de pixel)

Para cada pxel, p(x,y), le asociamos un descriptor basado en un conjunto de caractersticas locales

=

=

nfiltro

1filtro

nx

1x)p(Descriptor

Filtros: Textura mano 1x2x

1nx

nx

Filtros seleccionados: para la deteccin de las manos con textura se ha trabajado con un conjunto de 8 filtros bsicos.

Kernels: )y,x(k

90

Escala

+

0

90

0

+

Escala

Isotr

picos

(ning

una

direc

cin p

redo

mien

ante

) Nota: Estos filtros se han generado a partir de derivadas parciales o combinaciones de stas de la funcin de Gauss en 2D. Se ha relacionado la forma de estos filtros con los campos receptivos del sistema visual humano, que muestran selectividad a determinados patrones. Lectura recomendada sobre este tema: D. Marr. Vision, 1982 Ed. W.H.Freeman and Company.

Resultados de la convolucin: Cada filtro ha detectado unas caractersticas diferentes en funcin de la orientacin o la escala.

Resultado final:

Imagen original

( )

+

=

=+

=

======

==

iso2sx

iso2sx

iso1sx

iso1sx

452sx

902sx

451sx

901sx

8x2x1x)p(Descriptor Descriptor de c. locales

Resultado clasificacin

En resumen:

Se ha definido el concepto de caracterstica local a partir del concepto de contorno. Se ha definido la operacin de convolucin con un filtro. Se han visto algunas cuestiones de implementacin de la convolucin y se ha relacin con la correlacin . Se ha definido un descriptor basado en la concatenacin de las respuestas de la convolucin con una familia de filtros.

INTRODUCCIN a la DETECCIN DE OBJETOS Caractersticas de pixel

Resumen de la semana: Introduccin a una serie de conceptos muy bsicos de la visin por computador, y que creen relevantes para la deteccin de objetos.

Tres maneras de construir descriptores de objetos ad-hoc: basados en caractersticas del pxel basados en toda la imagen basados en caractersticas locales

Dos algoritmos bsicos de la deteccin de objetos: el template matching y el etiquetaje de regiones conexas.

Anlisis del comportamiento de los algoritmos frente a variaciones de iluminacin, de tamao, o de forma.

Nmero de diapositiva 1Nmero de diapositiva 2Nmero de diapositiva 3Nmero de diapositiva 4Nmero de diapositiva 5Nmero de diapositiva 6Nmero de diapositiva 7Nmero de diapositiva 8Nmero de diapositiva 9Nmero de diapositiva 10Nmero de diapositiva 11Nmero de diapositiva 12Nmero de diapositiva 13Nmero de diapositiva 14Nmero de diapositiva 15Nmero de diapositiva 16Nmero de diapositiva 17Nmero de diapositiva 18Nmero de diapositiva 19

CURSO UNIDAD 1

Documents

Transcript of CURSO UNIDAD 1