RECONSTRUCCION VISUAL 3-D :UNA PERSPECTIVA DEL SISTEMA

Tesista

Guillermo Enrique Medina Zegarra

OrientadorDr. Edgar Lobaton, USA

Co-OrientadorDr. Nestor Calvo, Argentina

Arequipa - Peru

07 de Mayo del 2012

1

Contenido

Contenido

1 Introduccion

2 Geometrıa de una vista

3 Geometrıa de dos vistas

4 Propuesta

5 Pruebas y resultados

6 Lımitaciones y problemas encontrados

7 Conclusiones y trabajos futuros

2

Contenido

1 IntroduccionMotivacion y contextoPlanteamiento del problemaObjetivos generalObjetivos especıficos

2 Geometrıa de una vista

3 Geometrıa de dos vistas

4 Propuesta

5 Pruebas y resultados

6 Lımitaciones y problemas encontrados

7 Conclusiones y trabajos futuros

3

Motivacion y contexto

Limitaciones en la epoca pre-renacentista para crear en 3D.

Los artıstas en la epoca del renacimiento y la profundidad.

Los puntos de fuga y la tridimensionalidad.

(a) Jesus entrandoa Jerusalen

(b) La Escuela de Atenas

Figura: Pintura pre-renacentista y renacentista [Ma et al., 2004].

3

Motivacion y contexto

Limitaciones en la epoca pre-renacentista para crear en 3D.

Los artıstas en la epoca del renacimiento y la profundidad.

Los puntos de fuga y la tridimensionalidad.

(a) Jesus entrandoa Jerusalen

(b) La Escuela de Atenas

Figura: Pintura pre-renacentista y renacentista [Ma et al., 2004].

3

Motivacion y contexto

Limitaciones en la epoca pre-renacentista para crear en 3D.

Los artıstas en la epoca del renacimiento y la profundidad.

Los puntos de fuga y la tridimensionalidad.

(a) Jesus entrandoa Jerusalen

(b) La Escuela de Atenas

Figura: Pintura pre-renacentista y renacentista [Ma et al., 2004].

4

Planteamiento del problema

Arquitectura fısica, posicion, distribucion e iluminacion.

(a) Una sola camara[Cipolla et al., 2010]

(b) Iluminacion artificial[VISGRAF., 2012]

5

Planteamiento del problema (cont...)

Figura: ¿ Como obtener los parametros necesarios para realizar unmapeamiento de un objeto al plano imagen ? [Faugeras, 1993].

6

Planteamiento del problema (cont...)

Figura: ¿ Como hallar los puntos correspondientes ? [Szeliski, 2011].

7

Planteamiento del problema (cont...)

Figura: ¿ Como hallar un punto en 3D de cada par de puntoscorrespondientes ? [Szeliski, 2011].

8

Planteamiento del problema (cont...)

Figura: ¿ Como reconstruir y suavizar una superficie a partir de una nubede puntos ? [Hartley and Zisserman, 2004].

9

Objetivos general

Objetivo general

Proponer un modelo para la reconstruccion de una imagen 3D deun objeto, a partir de dos imagenes capturadas por dos camarasubicadas adecuadamente.

10

Objetivos especıficos

Objetivos especıficos

Posicionar correctamente las dos camaras digitales, en unaarquitectura fısica, para la adquisicion de imagenes y calibracion.

Hacer la rectificacion de las imagenes, para calcular un adecuadomapa de disparidad a traves de la correlacion normalizada cruzada.

Crear la superficie del objeto a partir de la triangulacion deDelaunay del mapa de disparidad.

11

Contenido

1 Introduccion

2 Geometrıa de una vista

3 Geometrıa de dos vistas

4 Propuesta

5 Pruebas y resultados

6 Lımitaciones y problemas encontrados

7 Conclusiones y trabajos futuros

12

Modelo de camara pinhole

Ayuda a entender la formacion de una imagen desde un punto devista geometrico.

Partes del modelo de camara pinhole: centro optico(o), distanciafocal(f ) y plano imagen(I ).

x = op ∩ I x ∈ R2 , p ∈ R3

Figura: Modelo de camara pinhole [Ma et al., 2004].

13

Modelo de camara pinhole (cont...)

Figura: Ejemplo de proyeccion de un objeto en un plano imagen.

14

Contenido

1 Introduccion

2 Geometrıa de una vista

3 Geometrıa de dos vistas

4 Propuesta

5 Pruebas y resultados

6 Lımitaciones y problemas encontrados

7 Conclusiones y trabajos futuros

15

Geometrıa epipolar

Estudia la relacion geometrica y analisis matematico de un punto3D p en sus planos imagen.

Figura: Analisis geometrico de dos vistas [Ma et al., 2004].

16

Geometrıa epipolar (cont...)

Figura: Ejemplo de la proyeccion de un cubo en sus dos planos imagen.

17

Rectificacion

Figura: Rectificacion del par de imagenes estereo [Fusiello et al., 2000].

18

Calculo de disparidad

(a) (b) Mapa de disparidad

(a - b) Par de imagenes de Tsukuba [Scharstein and Szeliski, 2002].

19

Contenido

1 Introduccion

2 Geometrıa de una vista

3 Geometrıa de dos vistas

4 Propuesta

5 Pruebas y resultados

6 Lımitaciones y problemas encontrados

7 Conclusiones y trabajos futuros

20

Pipeline de la propuesta

21

Descripcion del pipeline de la propuesta

Arquitectura fısica

Adquisicion de imagenes

Calibracion

Canon SD1200 Sony DSC-S750

21

Descripcion del pipeline de la propuesta

Arquitectura fısica

Adquisicion de imagenes

Calibracion

Caracterıstica Sony DSC-S750 Canon SD1200 ISTipo de sensor CCD CCDTamano de la imagen 640 × 480 640 × 480ISO 100 100Flash desactivado desactivado

Ajustes tecnicos en las dos camaras digıtales

21

Descripcion del pipeline de la propuesta

Arquitectura fısica

Adquisicion de imagenes

Calibracion

Patron de calibracion (7 × 10)

22

Descripcion del pipeline de la propuesta

Rectificacion

Hace la busqueda lineal

La correspondencia de puntosesta en la misma lınea horizontal

Imagenes originales Imagenes rectificadas

23

Descripcion del pipeline de la propuesta

Pre-procesamiento

Segmentacion manual

Filtro Gaussiano

Imagenes rectificadas Imagenes pre-procesadas

24

Descripcion del pipeline de la propuesta

Mapa de disparidad

Correlacion Normalizada Cruzada

Filtro de la mediana

Imagen izquierda pre-procesada Imagen derecha pre-procesada Mapa de disparidad

25

Descripcion del pipeline de la propuesta

Malla 3D

Triangulacion de Delaunay

Interseccion de rectas

Enmallado tridimensional

Mapa de disparidad Nube de puntos Enmallado tridimensional

26

Descripcion del pipeline de la propuesta

Modelo reconstruido

Suavizacion de la superficie

Texturizacion de la imagen derecha

Creacion de la superficie Suavizacion de la superficie Texturizacion del modelo

27

“Cubo magico”

Imagenes originales Imagenes rectificadas Imagenes pre-procesadas

28

“Cubo magico” (cont...)

Mapa de disparidad Nube de puntos Enmallado tridimensional

Creacion de la superficie Suavizacion de la superficie Texturizado de la superficie

29

Varias vistas del “Cubo magico”

29

Varias vistas del “Cubo magico”

29

Varias vistas del “Cubo magico”

29

Varias vistas del “Cubo magico”

29

Varias vistas del “Cubo magico”

29

Varias vistas del “Cubo magico”

29

Varias vistas del “Cubo magico”

29

Varias vistas del “Cubo magico”

30

Contenido

1 Introduccion

2 Geometrıa de una vista

3 Geometrıa de dos vistas

4 Propuesta

5 Pruebas y resultadosOso de pelucheRostro humano

6 Lımitaciones y problemas encontrados

7 Conclusiones y trabajos futuros

31

Oso de peluche

Imagenes originales Imagenes rectificadas Imagenes pre-procesadas

32

Oso de peluche (cont...)

Mapa de disparidad Nube de puntos Enmallado tridimensional

Creacion de la superficie Suavizacion de la superficie Texturizacion del modelo

33

Rostro humano

Imagenes originales Imagenes rectificadas Imagenes pre-procesadas

34

Rostro humano (cont...)

Nube de puntos Modelo sin suavizar Modelo suavizado Modelo “transformado”

Enmallado tridimensional Modelo sin suavizar Modelo suavizado Modelo “transformado”

35

Contenido

1 Introduccion

2 Geometrıa de una vista

3 Geometrıa de dos vistas

4 Propuesta

5 Pruebas y resultados

6 Lımitaciones y problemas encontrados

7 Conclusiones y trabajos futuros

36

Lımitaciones y problemas encontrados

Problemas en el tamano del vecindario Imperfecciones en el modelo creado

37

Lımitaciones y problemas encontrados (cont...)

Imagen original defectuosa Imagen original defectuosa

Mapa de disparidad erroneo Reconstruccion 3D amorfa del “cubo magico”

38

Contenido

1 Introduccion

2 Geometrıa de una vista

3 Geometrıa de dos vistas

4 Propuesta

5 Pruebas y resultados

6 Lımitaciones y problemas encontrados

7 Conclusiones y trabajos futuros

39

Conclusiones

Se diseno un arquitectura fısica simple y economica.

Las condiciones de iluminacion deben ser las adecuadas.

Se propuso un pipeline con una secuencia de pasos necesarios paraconseguir una reconstruccion 3D de un par estereo de imagenes.

El metodo usado para el proceso de calculo de disparidad es simpley no robusto.

Existe una fuerte dependencia entre cada uno de los pasos de lareconstruccion.

40

Trabajos futuros

Crear un ambiente con las adecuadascondiciones para la calibracion, ilumi-nacion y adquisicion de imagenes.

Arquitectura fısica e iluminacion artificial [Bradley et al., 2008]

Hacer una extension amultiples camaras.

Multiples vistas [Hartley and Zisserman, 2004]

40

Trabajos futuros

Crear un ambiente con las adecuadascondiciones para la calibracion, ilumi-nacion y adquisicion de imagenes.

Arquitectura fısica e iluminacion artificial [Bradley et al., 2008]

Hacer una extension amultiples camaras.

Multiples vistas [Hartley and Zisserman, 2004]

41

Trabajos futuros (cont...)

Utilizar metodos robustos.

42

Publicacion realizada

Artıculo en Simposio“Reconstruccion visual 3-D : una perspectiva delsistema.”G. Medina-Zegarra y E. Lobaton2nd International Symposium on Innovation andTechnology (2011)paginas 102-107, Noviembre 28-30, Lima - PeruISBN: 978-612-45917-1-6Lugar: Universidad Tecnologica del Peru (UTP)

Editor: International Institute of Innovation andTechnology (IIITEC)Chair: Mario Chauca Saavedra

43

Agradecimientos

X Dr. Alex CuadrosX Dr. Alfedro MirandaX Mag. Alfedro PazX Dr. Carlos LeytonX Dr(c). Christian Lopez del AlamoX Dr. Eduardo TejadaX Dr. Jesus MenaX Dr. Jose Corrales-NievesX Dr(c). Juan Carlos GutierrezX Lic. Luıs ParejaX Familia Barrios Neyra

44

Referencias

Bradley, D., Popa, T., Sheffer, A., Heidrich, W., and Boubekeur, T. (2008).

Markerless garment capture.ACM Transactions on Graphics (TOG), 27:99:1–99:9.

Cipolla, R., Battiato, S., and Farinella, G. M. (2010).

Computer Vision: Detection, Recognition and Reconstruction.Springer.

Faugeras, O. (1993).

Three-dimensional Computer Vision: A Geometric Viewpoint.The MIT Press. ISBN: 0262061589.

Fusiello, A., Trucco, E., and Verri, A. (2000).

A compact algorithm for rectification of stereo pairs.Machine Vision and Applications, 12:16–22.

Hartley, R. and Zisserman, A. (2004).

Multiple View Geometry in Computer Vision. Second Edition.Cambridge University Press. ISBN: 0521540518.

Ma, Y., Soatto, S., Kosecka, J., and Sastry, S. S. (2004).

An Invitation to 3D Vision from Images to Geometric Models.Springer. ISBN: 0387008934.

Scharstein, D. and Szeliski, R. (2002).

A taxonomy and evaluation of dense two-frame stereo correspondence algorithms.International Journal of Computer Vision, 47:7–42.

Szeliski, R. (2011).

Computer Vision: Algorithms and Applications.Springer. ISBN: 9781848829343.

VISGRAF. (2012).

Vision and graphics laboratory.Institute of Pure and Applied Mathematics (IMPA) http: // w3. impa. br/ ~ anafucs/ 3d_ museum/ 14Enero.

RECONSTRUCCION VISUAL 3-D :UNA PERSPECTIVA DEL SISTEMA

Tesista

Guillermo Enrique Medina Zegarra

OrientadorDr. Edgar Lobaton, USA

Co-OrientadorDr. Nestor Calvo, Argentina

Arequipa - Peru

07 de Mayo del 2012

44

45

Puntos de vista (percepcion)

(a) ¿ El vaso esta mediolleno o medio vacio ?

(b) ¿ Es un pato o un conejo ?