Sustentación de tesis (español)
59
RECONSTRUCCI ´ ON VISUAL 3-D : UNA PERSPECTIVA DEL SISTEMA Tesista Guillermo Enrique Medina Zegarra Orientador Dr. Edgar Lobaton, USA Co-Orientador Dr. Nestor Calvo, Argentina Arequipa - Per´ u 07 de Mayo del 2012
-
Upload
guillermo-medina-zegarra -
Category
Technology
-
view
331 -
download
2
description
Aquí los slides que utilice para la sustentación de mi tesis, titulada: "Reconstrucción visual 3-D : Una perspectiva del sistema". Espero les sea útil. Si llego a 1000 descargas creo un video :-D
Transcript of Sustentación de tesis (español)
RECONSTRUCCION VISUAL 3-D :UNA PERSPECTIVA DEL SISTEMA
Tesista
Guillermo Enrique Medina Zegarra
OrientadorDr. Edgar Lobaton, USA
Co-OrientadorDr. Nestor Calvo, Argentina
Arequipa - Peru
07 de Mayo del 2012
1
Contenido
Contenido
1 Introduccion
2 Geometrıa de una vista
3 Geometrıa de dos vistas
4 Propuesta
5 Pruebas y resultados
6 Lımitaciones y problemas encontrados
7 Conclusiones y trabajos futuros
2
Contenido
1 IntroduccionMotivacion y contextoPlanteamiento del problemaObjetivos generalObjetivos especıficos
2 Geometrıa de una vista
3 Geometrıa de dos vistas
4 Propuesta
5 Pruebas y resultados
6 Lımitaciones y problemas encontrados
7 Conclusiones y trabajos futuros
3
Motivacion y contexto
Limitaciones en la epoca pre-renacentista para crear en 3D.
Los artıstas en la epoca del renacimiento y la profundidad.
Los puntos de fuga y la tridimensionalidad.
(a) Jesus entrandoa Jerusalen
(b) La Escuela de Atenas
Figura: Pintura pre-renacentista y renacentista [Ma et al., 2004].
3
Motivacion y contexto
Limitaciones en la epoca pre-renacentista para crear en 3D.
Los artıstas en la epoca del renacimiento y la profundidad.
Los puntos de fuga y la tridimensionalidad.
(a) Jesus entrandoa Jerusalen
(b) La Escuela de Atenas
Figura: Pintura pre-renacentista y renacentista [Ma et al., 2004].
3
Motivacion y contexto
Limitaciones en la epoca pre-renacentista para crear en 3D.
Los artıstas en la epoca del renacimiento y la profundidad.
Los puntos de fuga y la tridimensionalidad.
(a) Jesus entrandoa Jerusalen
(b) La Escuela de Atenas
Figura: Pintura pre-renacentista y renacentista [Ma et al., 2004].
4
Planteamiento del problema
Arquitectura fısica, posicion, distribucion e iluminacion.
(a) Una sola camara[Cipolla et al., 2010]
(b) Iluminacion artificial[VISGRAF., 2012]
5
Planteamiento del problema (cont...)
Figura: ¿ Como obtener los parametros necesarios para realizar unmapeamiento de un objeto al plano imagen ? [Faugeras, 1993].
6
Planteamiento del problema (cont...)
Figura: ¿ Como hallar los puntos correspondientes ? [Szeliski, 2011].
7
Planteamiento del problema (cont...)
Figura: ¿ Como hallar un punto en 3D de cada par de puntoscorrespondientes ? [Szeliski, 2011].
8
Planteamiento del problema (cont...)
Figura: ¿ Como reconstruir y suavizar una superficie a partir de una nubede puntos ? [Hartley and Zisserman, 2004].
9
Objetivos general
Objetivo general
Proponer un modelo para la reconstruccion de una imagen 3D deun objeto, a partir de dos imagenes capturadas por dos camarasubicadas adecuadamente.
10
Objetivos especıficos
Objetivos especıficos
Posicionar correctamente las dos camaras digitales, en unaarquitectura fısica, para la adquisicion de imagenes y calibracion.
Hacer la rectificacion de las imagenes, para calcular un adecuadomapa de disparidad a traves de la correlacion normalizada cruzada.
Crear la superficie del objeto a partir de la triangulacion deDelaunay del mapa de disparidad.
11
Contenido
1 Introduccion
2 Geometrıa de una vista
3 Geometrıa de dos vistas
4 Propuesta
5 Pruebas y resultados
6 Lımitaciones y problemas encontrados
7 Conclusiones y trabajos futuros
12
Modelo de camara pinhole
Ayuda a entender la formacion de una imagen desde un punto devista geometrico.
Partes del modelo de camara pinhole: centro optico(o), distanciafocal(f ) y plano imagen(I ).
x = op ∩ I x ∈ R2 , p ∈ R3
Figura: Modelo de camara pinhole [Ma et al., 2004].
13
Modelo de camara pinhole (cont...)
Figura: Ejemplo de proyeccion de un objeto en un plano imagen.
14
Contenido
1 Introduccion
2 Geometrıa de una vista
3 Geometrıa de dos vistas
4 Propuesta
5 Pruebas y resultados
6 Lımitaciones y problemas encontrados
7 Conclusiones y trabajos futuros
15
Geometrıa epipolar
Estudia la relacion geometrica y analisis matematico de un punto3D p en sus planos imagen.
Figura: Analisis geometrico de dos vistas [Ma et al., 2004].
16
Geometrıa epipolar (cont...)
Figura: Ejemplo de la proyeccion de un cubo en sus dos planos imagen.
17
Rectificacion
Figura: Rectificacion del par de imagenes estereo [Fusiello et al., 2000].
18
Calculo de disparidad
(a) (b) Mapa de disparidad
(a - b) Par de imagenes de Tsukuba [Scharstein and Szeliski, 2002].
19
Contenido
1 Introduccion
2 Geometrıa de una vista
3 Geometrıa de dos vistas
4 Propuesta
5 Pruebas y resultados
6 Lımitaciones y problemas encontrados
7 Conclusiones y trabajos futuros
20
Pipeline de la propuesta
21
Descripcion del pipeline de la propuesta
Arquitectura fısica
Adquisicion de imagenes
Calibracion
Canon SD1200 Sony DSC-S750
21
Descripcion del pipeline de la propuesta
Arquitectura fısica
Adquisicion de imagenes
Calibracion
Caracterıstica Sony DSC-S750 Canon SD1200 ISTipo de sensor CCD CCDTamano de la imagen 640 × 480 640 × 480ISO 100 100Flash desactivado desactivado
Ajustes tecnicos en las dos camaras digıtales
21
Descripcion del pipeline de la propuesta
Arquitectura fısica
Adquisicion de imagenes
Calibracion
Patron de calibracion (7 × 10)
22
Descripcion del pipeline de la propuesta
Rectificacion
Hace la busqueda lineal
La correspondencia de puntosesta en la misma lınea horizontal
Imagenes originales Imagenes rectificadas
23
Descripcion del pipeline de la propuesta
Pre-procesamiento
Segmentacion manual
Filtro Gaussiano
Imagenes rectificadas Imagenes pre-procesadas
24
Descripcion del pipeline de la propuesta
Mapa de disparidad
Correlacion Normalizada Cruzada
Filtro de la mediana
Imagen izquierda pre-procesada Imagen derecha pre-procesada Mapa de disparidad
25
Descripcion del pipeline de la propuesta
Malla 3D
Triangulacion de Delaunay
Interseccion de rectas
Enmallado tridimensional
Mapa de disparidad Nube de puntos Enmallado tridimensional
26
Descripcion del pipeline de la propuesta
Modelo reconstruido
Suavizacion de la superficie
Texturizacion de la imagen derecha
Creacion de la superficie Suavizacion de la superficie Texturizacion del modelo
27
“Cubo magico”
Imagenes originales Imagenes rectificadas Imagenes pre-procesadas
28
“Cubo magico” (cont...)
Mapa de disparidad Nube de puntos Enmallado tridimensional
Creacion de la superficie Suavizacion de la superficie Texturizado de la superficie
29
Varias vistas del “Cubo magico”
29
Varias vistas del “Cubo magico”
29
Varias vistas del “Cubo magico”
29
Varias vistas del “Cubo magico”
29
Varias vistas del “Cubo magico”
29
Varias vistas del “Cubo magico”
29
Varias vistas del “Cubo magico”
29
Varias vistas del “Cubo magico”
30
Contenido
1 Introduccion
2 Geometrıa de una vista
3 Geometrıa de dos vistas
4 Propuesta
5 Pruebas y resultadosOso de pelucheRostro humano
6 Lımitaciones y problemas encontrados
7 Conclusiones y trabajos futuros
31
Oso de peluche
Imagenes originales Imagenes rectificadas Imagenes pre-procesadas
32
Oso de peluche (cont...)
Mapa de disparidad Nube de puntos Enmallado tridimensional
Creacion de la superficie Suavizacion de la superficie Texturizacion del modelo
33
Rostro humano
Imagenes originales Imagenes rectificadas Imagenes pre-procesadas
34
Rostro humano (cont...)
Nube de puntos Modelo sin suavizar Modelo suavizado Modelo “transformado”
Enmallado tridimensional Modelo sin suavizar Modelo suavizado Modelo “transformado”
35
Contenido
1 Introduccion
2 Geometrıa de una vista
3 Geometrıa de dos vistas
4 Propuesta
5 Pruebas y resultados
6 Lımitaciones y problemas encontrados
7 Conclusiones y trabajos futuros
36
Lımitaciones y problemas encontrados
Problemas en el tamano del vecindario Imperfecciones en el modelo creado
37
Lımitaciones y problemas encontrados (cont...)
Imagen original defectuosa Imagen original defectuosa
Mapa de disparidad erroneo Reconstruccion 3D amorfa del “cubo magico”
38
Contenido
1 Introduccion
2 Geometrıa de una vista
3 Geometrıa de dos vistas
4 Propuesta
5 Pruebas y resultados
6 Lımitaciones y problemas encontrados
7 Conclusiones y trabajos futuros
39
Conclusiones
Se diseno un arquitectura fısica simple y economica.
Las condiciones de iluminacion deben ser las adecuadas.
Se propuso un pipeline con una secuencia de pasos necesarios paraconseguir una reconstruccion 3D de un par estereo de imagenes.
El metodo usado para el proceso de calculo de disparidad es simpley no robusto.
Existe una fuerte dependencia entre cada uno de los pasos de lareconstruccion.
40
Trabajos futuros
Crear un ambiente con las adecuadascondiciones para la calibracion, ilumi-nacion y adquisicion de imagenes.
Arquitectura fısica e iluminacion artificial [Bradley et al., 2008]
Hacer una extension amultiples camaras.
Multiples vistas [Hartley and Zisserman, 2004]
40
Trabajos futuros
Crear un ambiente con las adecuadascondiciones para la calibracion, ilumi-nacion y adquisicion de imagenes.
Arquitectura fısica e iluminacion artificial [Bradley et al., 2008]
Hacer una extension amultiples camaras.
Multiples vistas [Hartley and Zisserman, 2004]
41
Trabajos futuros (cont...)
Utilizar metodos robustos.
42
Publicacion realizada
Artıculo en Simposio“Reconstruccion visual 3-D : una perspectiva delsistema.”G. Medina-Zegarra y E. Lobaton2nd International Symposium on Innovation andTechnology (2011)paginas 102-107, Noviembre 28-30, Lima - PeruISBN: 978-612-45917-1-6Lugar: Universidad Tecnologica del Peru (UTP)
Editor: International Institute of Innovation andTechnology (IIITEC)Chair: Mario Chauca Saavedra
43
Agradecimientos
X Dr. Alex CuadrosX Dr. Alfedro MirandaX Mag. Alfedro PazX Dr. Carlos LeytonX Dr(c). Christian Lopez del AlamoX Dr. Eduardo TejadaX Dr. Jesus MenaX Dr. Jose Corrales-NievesX Dr(c). Juan Carlos GutierrezX Lic. Luıs ParejaX Familia Barrios Neyra
44
Referencias
Bradley, D., Popa, T., Sheffer, A., Heidrich, W., and Boubekeur, T. (2008).
Markerless garment capture.ACM Transactions on Graphics (TOG), 27:99:1–99:9.
Cipolla, R., Battiato, S., and Farinella, G. M. (2010).
Computer Vision: Detection, Recognition and Reconstruction.Springer.
Faugeras, O. (1993).
Three-dimensional Computer Vision: A Geometric Viewpoint.The MIT Press. ISBN: 0262061589.
Fusiello, A., Trucco, E., and Verri, A. (2000).
A compact algorithm for rectification of stereo pairs.Machine Vision and Applications, 12:16–22.
Hartley, R. and Zisserman, A. (2004).
Multiple View Geometry in Computer Vision. Second Edition.Cambridge University Press. ISBN: 0521540518.
Ma, Y., Soatto, S., Kosecka, J., and Sastry, S. S. (2004).
An Invitation to 3D Vision from Images to Geometric Models.Springer. ISBN: 0387008934.
Scharstein, D. and Szeliski, R. (2002).
A taxonomy and evaluation of dense two-frame stereo correspondence algorithms.International Journal of Computer Vision, 47:7–42.
Szeliski, R. (2011).
Computer Vision: Algorithms and Applications.Springer. ISBN: 9781848829343.
VISGRAF. (2012).
Vision and graphics laboratory.Institute of Pure and Applied Mathematics (IMPA) http: // w3. impa. br/ ~ anafucs/ 3d_ museum/ 14Enero.
RECONSTRUCCION VISUAL 3-D :UNA PERSPECTIVA DEL SISTEMA
Tesista
Guillermo Enrique Medina Zegarra
OrientadorDr. Edgar Lobaton, USA
Co-OrientadorDr. Nestor Calvo, Argentina
Arequipa - Peru
07 de Mayo del 2012
44
45
Puntos de vista (percepcion)
(a) ¿ El vaso esta mediolleno o medio vacio ?
(b) ¿ Es un pato o un conejo ?
