Modelado basado en imágenes

Mario Rodríguez Martín

Introducción

El modelado basado en imágenes se refiere al proceso de utilización de imágenes para la reconstrucción de modelos geométricos 3D.

OBJETIVOS

Gran realismo.

Reducción del tiempo de procesamiento.

Simplificación de la tarea del modelado mediante el uso de imágenes como primitivas de modelado y renderización.

TIPOS

IBR: Uso de imágenes en lugar de polígonos para la renderización de primitivas.

IBM: Uso de imágenes para guiar la reconstrucción de modelos geométricos 3D.

Clasificación

Pure IBR (IBR puro)

Se capturan muestras del entorno mediante fotos o secuencias de video. No se requiere modelado 3D y la velocidad de renderización no depende de la complejidad de la escena.

TIPOS

Cylindrical panoramas

Concentric mosaics

Light field rendering

Plenoptic stitching

Pure IBR: Cylindrical panoramas (IBR puro: Panoramas cilíndricos)

Proporciona una orientación horizontal desde un punto.

Se realiza con cámaras panorámicas especiales.

El espectador puede rotar, pero no moverse. Por lo tanto, no sirve para crear entornos virtuales.

Con (x, y) se obtienen directamente (u, v).

Pure IBR: Concentric mosaics (IBR puro: Mosaicos concéntricos)

Es una generalización de los panoramas cilíndricos que permite al espectador explorar una región circular.

Se obtienen efectos luminosos.

Se utilizan varias cámaras slit que giran de forma concéntrica tomando imágenes parciales que luego se combinarán para conseguir nuevas vistas completas.

Pure IBR: Plenoptic stitching (IBR puro: Puntadas plenópticas)

Permite explorar entornos de distintos tamaños y formas.

Se obtienen las imágenes con una cámara que se mueve por una cuadrícula. La posición y orientación de la cámara se almacena y sincroniza junto con el fotograma de vídeo.

Reconstruye la imagen basándose en la posición en la cuadrícula del observador.

Pure IBR: Light field and lumigraph (IBR puro: Campo de luz)

Es una función que describe para cualquier punto dado la radiación percibida en una dirección en concreto en un espacio abierto (equivale a la función plenótica).

Pure IBR: Light field and lumigraph (II) (IBR puro: Campo de luz)

Los rayos de luz son almacenados mediante sus intersecciones con dos planos paralelos: plano focal (u, v) y plano de cámara (s, t). Los dos planos son discretizados con un número finito de rayos.

A partir de las imágenes obtenidas se consiguen las nuevas vistas.

Ejemplo: El rayo de luz (u0, v0, s0, t0) es interpolado desde los 16 rayos de luz conectando los puntos discretos del sólido en los dos planos.

Hybrid IBR: Images with depth (IBR híbrido: Imágenes con profundidad)

Las muestras tomadas se juntan como planos perpendiculares (caras de un cubo) con lo que se consigue simular el volumen.

Cada rayo representa varias muestras, dependiendo de la profundidad.

Hybrid IBR: Image-based objects (IBR híbrido: Objetos basados en imágenes)

Permite observar la escena desde distintas perspectivas.

Se construye adquiriendo múltiples vistas del objeto que se registran y muestrean desde un centro de proyección hasta formar un paralelepípedo.

El uso de paralelepípedos permite que la representación se descomponga en regiones parametrizadas por planos, lo que facilita su implementación.

Suponiendo una esfera y un rayo que incide en ella y pasa por su centro, intersecta en dos puntos siendo el más cercano el epipolo positivo y el más lejano el negativo.

F indica el epipolo positivo y K el negativo.

Hybrid IBR: Relief textures (IBR híbrido: Texturas en relieve)

Pipeline para las texturas en relieve.

Las texturas en relieve son proyecciones paralelas de imágenes con profundidad.

Aplicando unas ecuaciones de una dimensión a una imagen (pre-warping) se obtienen las texturas en relieve (warped textures) de una manera eficiente en hardware y software. Las transformaciones aplicadas son sólo movimientos horizontales y verticales de los texels en el espacio de texturas.

El pre-warping depende de la posición relativa del espectador respecto al polígono que será mapeado. Esto garantiza el efecto final de 3D.

El último paso es realizar el mapeo de texturas de la imagen dentro del polígono.

Hybrid IBR: Relief textures (II) (IBR híbrido: Texturas en relieve)

Técnicas IBM

Dependiendo de la cantidad de información geométrica que se almacena para la reconstrucción se diferencia IBM puro e IBM híbrido. Al igual que el IBR, a partir de unas imágenes de entrada (fotografías) se obtiene una reconstrucción del modelo.

MÉTODOS PUROS

Projectives methods

Photo3D

PhotoModeler

PhotoBuilder

MÉTODOS HÍBRIDOS

Tour into the picture

Non-linear optimization approaches

Reconstruction from range and color images

IBM puro: Projective method & Photo3D

Photo3D

PROJECTIVE METHOD

Estas técnicas se aprovechan de las propiedades proyectivas de la escena para reconstruir modelos geométricos a través de un conjunto de fotografías. Se suele utilizar para superficies planas por la dificultad de reconstruir formas arbitrarias.

PHOTO3D

Es un soporte para generar modelos 3D completos a partir de múltiples fotografías o modelos incompletos a partir de una sola. Asume que los parámetros intrínsecos de la cámara (distancia focal, radio de acción, etc.) no cambian.

IBM puro: PhotoModeler & PhotoBuilder

PhotoModeler

PHOTOMODELER

Es un soporte comercial para generar modelos 3D a partir de pares de fotografías junto con los parámetros intrínsecos de la cámara. Se suele emplear en la reconstrucción de escenas de accidentes, arquitectura, arqueología, etc.

PHOTOBUILDER

Asume la existencia de líneas perpendiculares y paralelas en los elemento que van a ser reconstruidos. Sigue unos pasos: se seleccionan los bordes de las imágenes (paralelos entre ellos en 3D), se recuperan los puntos que se han eliminado y se usan para crear las matrices de proyección. El modelo final se obtiene por triangulación.

IBM híbrido: Tour into the picture

Crea una animación a partir de una imagen 2D.

Se siguen unos pasos:

Se separan los objetos que están en primer plano de los del fondo.

Se determinan los puntos que desaparecen y se fija la perspectiva.

Se modela el fondo a partir de 5 polígonos. El primero es un rectángulo y los siguientes están determinados por líneas radiales que parten desde los extremos del rectángulo. Las 5 caras forman un paralelepípedo que puede ser renderizado por mapeado de texturas.

Se reintroducen los objetos que estaban en primer plano, computando su posición respecto al fondo.

Permite navegar por la escena.

IBM híbrido: Optimizaciones

Non-linear optimization approaches

Minimiza la cantidad de disparidades entre la proyección de los ejes del modelo y los ejes reales. Se consigue automáticamente ajustando los parámetros del modelo y la posición y orientación de las cámaras.

Reconstruction from range and color images

Si las fotografías se combinan con capturas por láser se pueden reconstruir modelos con formas arbitrarias.

Una ventaja de esta aproximación es la relativa independencia de las muestras geométricas y la rápida adquisición de las mismas.

Podrían aparecer agujeros en el modelo final debido a que las muestras tienen limitaciones y no son completas.

Aplicaciones del IBMR

The Campanile Movie

The Campanile Movie es un cortometraje dirigido por Paul Debevec en 1997 que usa las técnicas de modelado y renderización basado en imágenes.

http://www.youtube.com/watch?v=W46ab0XjlBw

Aplicaciones del IBMR (II)

Grand Theft Auto IV

Aplicaciones del IBMR (III)

Spider-Man