1

Registrado de Imágenes Basado en la Estimación de Modelos Paramétricos de

Movimiento Afín.

Trabajo De Investigación (9 Créditos)Realizado Por: Raúl Montoliu

Dirigido Por: Filiberto Pla

Abril, 2002

2

Índice

• Introducción:• Motivación.• Problema a resolver.• Aplicaciones. • Problemas estimación movimiento.• Trabajos anteriores.

• Estimación de parámetros:• Descripción del problema de estimación de

parámetros.• Fundamentos matemáticos método GLS.

3

Índice

• Estimación del movimiento:• Algoritmo SPMME.• Ejemplo aplicado a ajuste de rectas.

• Experimentos y resultados:– Secuencias sintéticas:

• Prueba de exactitud.• Prueba de detección de outliers.• Prueba con deformaciones de magnitud grande.

– Secuencias reales.• Conclusiones.• Publicaciones y bibliografía.

4

1. Introducción

• Motivación:– Realizar máquinas que

“imiten” al sentido de la vista.

– El análisis de movimiento ayuda a interpretar escenas.

– Tiene más información una escena en movimiento que una escena estática.

5

Introducción

• Problema a resolver:

T T+1

¿?

• En nuestro caso: T y T+1 cercanos en el tiempo.• En la literatura: “Registrado de imágenes temporal”

6

Introducción

• Aplicaciones:– Cartografía:

7

Introducción

• Aplicaciones:• Elaborar vistas panorámicas:

. . .

8

Introducción

• Otras aplicaciones:– Medicina.

–Análisis de tráfico.

9

Introducción

• Problemas en el análisis del movimiento:– Problema de la apertura.– Mundo es 3D, pero la imagen es 2D.– Oclusiones.– Limites en el modelo de movimiento utilizado.– Presencia de múltiples modelos de movimiento.

10

Introducción

• Trabajos anteriores:– Métodos basados en características:

• Muy usados en medicina y astronomía.

– Métodos basados en funciones acumulativas:• Transformada de Hough, Ransac.• Robustos a outliers.• Complejidad computacional alta.• Poca exactitud.

Concepto de Outlier: Valor fuera de lo “normal”.Ejemplo:12, 13, 14, 11, 12, 13, 560, 15, 10, 1000

Media: 166Media sin outliers: 12,5

11

Introducción

• Trabajos anteriores:– Métodos basados en minimizar una función

objetivo:• Único movimiento.• Elevada exactitud.• No son robustos frente a outliers.

– Otros:• Regiones: “block-macthing.”• Log-polar.

12

2. Estimación de Parámetros

• Un problema de estimación de parámetros se compone de cuatro problemas:

– Elección función a optimizar.– Elección método para optimizar la función

anterior.– Implementación del método.– Determinar el modelo matemático que describe al

sistema.

13

Estimación de Parámetros

• Función:

0),()','()ˆ,,( 21 iiiiiii yxIyxIpyxf

222

111

''

cybxaycybxax

• Modelo: Afín

14

Estimación de Parámetros

• Método:– minimización función objetivo basado en mínimos

cuadrados:• Exactitud.• Simplicidad.• En ausencia de outliers es el estimador ideal.• Se propone un método para tratar con outliers.

15

Estimación de Parámetros

• Nuestra problema de minimización:– No es lineal.– No es posible representarlo de la forma Ap=b.– No es posible aplicar un método de LS ordinario.

• Utilizamos el método de mínimos cuadrados generalizados.

16

Mínimos Cuadrados Generalizados

• Minimizar:

Ri

ii pyxf 2))ˆ,,((

• Algoritmo iterativo, partiendo de una aproximación inicial P0:

PPP tt 1

• Donde P depende de las derivadas de la función respecto a las incógnitas (parámetros de movimiento) y de las observaciones.

17

3. Estimación del Movimiento

Estimación Inicial

Extraer Outliers

RecuperarInliers

¿AlgúnCambio?

Final

NO

Ajuste

SI

¿AlgúnCambio? Ajuste

SI

NO

18

Estimación del Movimiento

Estimación inicial

19

Estimación del Movimiento

Outlier

20

Estimación del Movimiento

Nuevo Ajuste

21

Estimación del Movimiento

Inlier

22

Estimación del Movimiento

Ajuste final

23

Estimación del Movimiento

Conjunto Inliers

Conjunto Outliers

24

Inicialización

• Algoritmo jerárquico:– Pirámide de imágenes de resolución variable.– Permite estimar deformaciones grandes.– Acelera el resultado.

25

InicializaciónNecesita una

estimación inicialEl resultado en el nivel l, se utiliza

como aproximación inicial en el nivel l+1

26

Clasificación de Puntos.

• Basada en la probabilidad de que un pixel pertenezca a un modelo.

2

2 )(5.0)(

ipR

i epL

•Dos test:–Test de inliers: detecta nuevos inliers entre el conjunto de outliers.–Test de outliers: Busca outliers entre la muestra de inliers.

27

Experimentos y Resultados

• Secuencias sintéticas:– Prueba de exactitud.– Prueba de detección de outliers.– Prueba con deformaciones grandes.

• Secuencias Reales.

28

Experimentos y Resultados

• Prueba de exactitud:– Se han generado varias series de imágenes

variando los parámetros del modelo afín.– Error = valor real – valor estimado

Media Error

Desviación estándar

A1 0.00015 0.00013B1 0.00022 0.00014C1 0.00376 0.00340A2 0.00031 0.00014B2 0.00012 0.00009C2 0.00525 0.00465

29

Experimentos y Resultados

• Ejemplos:

30

Experimentos y Resultados

• Parámetros estimados vs reales

Escalado+ traslación Rotación Todos

Estimados Reales Estimados Reales Estimado Real

A1 1.080 1.08 0.9924 0.992 1.019 1.02

B1 -0.0001 0.0 -0.12187 -0.1218 -0.029 -0.03

C1 0.51 0.5 -0.004 0.0 -0.742 -0.76

A2 0.0001 0.0 0.12184 0.1218 0.070 0.07

B2 1.0001 1.0 0.9925 0.992 0.99 0.99

C2 -1.49 -1.5 0.001 0.0 0.279 0.29

31

Experimentos y Resultados

• Prueba de detección de outliers:

Rotación de 7 grados

Sin Movimiento

32

Experimentos y Resultados

• Resultados:

Sin Patch Con Patch RealesA1 0.9924 0.9924 0.992B1 -0.12187 -0.12178 -0.1218C1 -0.004 -0.0006 0.0A2 0.12184 0.12178 -0.1218B2 0.9925 0.9925 0.992C2 0.001 0.004 0.0% Outliers 6.8 % 18,5 % -

33

Experimentos y Resultados

• Prueba con deformaciones grandes:

34

Experimentos y Resultados

• Resultados:

Resultado RealesA1 1.18125 1.182B1 0.25393 0.254C1 16.2108 16.0A2 -0.0896133 -0.090B2 0.795051 0.795C2 15.8536 16.0

35

Experimentos y Resultados

• Experimentos reales:– Castillo: traslaciones.– Laboratorio: Rotación.– Libro: zoom.– Parking 1: Todos.– Parking 2: Todos.

36

Secuencia Castillo

37

Secuencia Laboratorio

38

Secuencia Libro

39

Secuencia Parking1

40

Secuencia Parking2

41

Conclusiones

• Gran exactitud.• Encuentra solución correcta, incluso en

casos de deformaciones grandes.• Modelo afín.• Se reduce influencia de los outliers.• Puede trabajar con secuencias con gran

cantidad de outliers.• Secuencias reales.• Posible extensión a otros modelos.

42

Líneas Futuras

• Aplicar otros modelos.

• Aplicar a log-polar.

• Segmentación del movimiento: – Para un modelo el resto de pixeles pertenecientes

a otros modelos se pueden considerar outliers.

43

Publicaciones

• Conferencia internacional: – Montoliu R., Pla F. "Multiple Parametric Motion Model

Estimation and Segmentation". 2001 International Conference on Image Processing (ICIP'2001), Vol. II, pp. 933-936, ISBN: 0-7803-6725-1, Thessaloniki (Greece), 2001.

• Conferencia nacional:– Montoliu R., Pla F. "Parametric motion model extraction and

estimation" IX conferencia de la asociación española para la inteligencia artificial (CAEPIA 2001), Vol. 2, pp. 725-734, Gijón (Spain), ISBN 84-032297-0-9, November 2001.

44

Bibliografía Fundamental

• Danuser, G. and Stricker, M. “Parametric Model-Fitting: From Inlier Characterization To Outlier Detection”. PAMI. V20. N3 1998.

• Bober, M. and Kittler, J., “A Hough Transform Based Hierarchical Algorithm for Motion segmentation and estimation” 4th International workshop on time-Varying image Processing and Moving Object Recognition, 1993.

• Zhang, Z. “Parameter-Estimation Techniques: A Tutorial with Application to Conic Fitting”. Image and Vision Computing. V15. N1. 1997.