M4 Librerias y software de authoring de RA

Realidad Aumentada | María José Abásolo | Facultad Informática UNLP | noviembre 2013

REALIDAD AUMENTADA

Profesora:

María José AbásoloUniversidad Nacional de La Plata


MÓDULO 1 Introducción a Realidad Aumentada (RA) MÓDULO 2Dispositivos de entrada y salida MÓDULO 3Fundamentos teóricos MÓDULO 4Librerías y authoring de RA

Contenidos


Software de RA

En la etapa de diseño de una aplicación de RA quedará definidas algunas cuestiones Cómo visualizará la escena real aumentada el usuario Cómo se realizará el tracking del usuario Cómo será la interfaz de usuario

M4- Librerías y authoring de RA


Software de RA

Las aplicaciones de RA involucran la creación “a priori” de la información a aumentar Edición de la información

Escena con objetos 3D Videos/imágenes Texto Sonidos

Asociación de la información creada con una ubicación en el espacio real 3D



Software de RA

Para crear o editar la información a “aumentar” Podrán utilizarse las herramientas específicas de

edición según el formato de la información En caso de escenas 3D sencillas los programadores

podrán hacerlo invocando las librerías gráficas La asociación de la información con una

ubicación en el espacio real podrá hacerse Mediante programación Mediante la utilización de una herramienta de autor

específica



Software de RA

Como vimos en el esquema de una aplicación de RA pueden existir las siguientes partes que se ejecutarán en tiempo real Captura de la escena Seguimiento del usuario (tracking) Visualización (rendering) de la escena aumentada

Generación de la vista de la escena virtual (de acuerdo al resultado del tracking)

Combinación de la escena real con la escena virtual



Software de RAEsquema de RA

trackingcaptura

generador de escena virtual

Posición y orientación Video o visión directadel mundo real

Imagen real + objetos virtuales registrados

Proyección dela escena virtual (gráficos 3d) y otros elementos virtuales

combinador



trackingcaptura

generador de escena virtual

Posición y orientación

con tracking basado en visión

Video o visión directadel mundo real

Imagen real + objetos virtuales registrados

Proyección dela escena virtual (gráficos 3d) y otros elementos virtuales

combinador

Software de RAEsquema de RA



Software de RA

Para crear una aplicación de RA Los programadores “expertos” pueden utilizar

Librerías de “bajo nivel” específicas para cada parte de la aplicación Librerías de captura de video Librerías de tracking Librerías gráficas 3D

“Frameworks” y “SDK” de aplicaciones de RA Algunas librerías son de código abierto

permitiendo a los programadores su adaptación, otras en cambio son de libre uso pero no se puede acceder al código



Software de RA

Para crear una aplicación de RA Los NO programadores pueden utilizar

herramientas de autor para la creación de aplicaciones de RA



Software de RA

Dentro las librerías y herramientas de autor podemos diferenciar Aplicaciones para PC

Aplicaciones web Aplicaciones para teléfonos móviles



Los dispositivos móviles cuentan con menos capacidad de procesamiento y memoria que las PC

Una de las restricciones importantes es la batería Entre los sistemas operativos más importantes se

enumeran Symbian, Windows Mobile, Android, iOS (para Iphone)

Pese a que las plataformas anteriores son programables son mutuamente incompatibles, lo que hace el diseño de software “cross-platform” más dificultoso

Aún entre diferentes modelos de dispositivos que soportan el mismo sistema operativo puede haber pequeñas incompatibilidades del hardware de bajo nivel que requiere recompilación para cada modelo

Software de RA móviles



Las aplicaciones tradicionales de RA que utilizaban dispositivos de visualización en la cabeza o HMD, dejaba las manos libres al usuario para interactuar con el contenido virtual mediante dispositivos como mouse, guantes digitales, o inclusive mediante gestos

En las aplicaciones de RA que utilizan dispositivos sostenidos por las manos (handheld) el usuario mira a través de la pantalla del dispositivo y se necesita al menos una mano para sostenerlo. Por lo tanto, la interfaz de usuario de esas aplicaciones será diferente a las utilizadas por las aplicaciones tradicionales de RA.

Comunmente el usuario realizará las entradas mediante Movimiento del dispositivo Teclado del dispositivo Lápiz o dedo sobre la pantalla táctil




El tracking en dispositivos “hand-held” fuerza ciertas restricciones no presentes en otras configuraciones basadas en PC

Los sensores externos generalmente no son posibles ya además de su alto coste, los dispositivos móviles son pequeños y no tienen la interfase necesaria para conectarlos.

Actualmente existen móviles con GPS y sensores como acelerómetros y giroscopios incorporados

El software de tracking tiene que diseñarse específicamente para correr bajo estas plataformas restringidas




El tracking de marcadores (“fiducial markers”) es una de las estrategias más usadas ya que es robusta y computacionalmente eficiente

El tracking basado en características naturales resulta más atractivo dado que no se necesita la invasión de marcadores. Pueden encontrarse implementaciones recientes de este tipo de tracking para teléfonos celulares




Existen implementaciones para móviles de tracking basado en seguimiento características naturales Algoritmo SIFT

Wagner Daniel et al. Pose Tracking from Natural Features on Mobile Phones International Symposium on Mixed and Augmented Reality - http://www.icg.tu-graz.ac.at/pub/pdf/WAGNER_ISMAR08_NFT.pdf

Algoritmo SURF Takacs, G., Chandrasekhar, V., Gelfand, N., Xiong, Y., Chen, W.-

C.,Bismpigiannis, T., Grzeszczuk, R., Pulli, K., and Girod, B., Outdoors Augmented Reality on Mobile Phone using Loxel-Based Visual Feature Organization, IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), 2008




Características de dispositivos móviles La tecnología cambia muy rápido y

recientemente hubo un gran salto en los teléfonos celulares (2010-2011) NVIDIA® Tegra™ 2 es el primer superchip destinado al mercado de los

dispositivos móviles, ofrece alta capacidad multitarea gracias a la primera CPU de doble núcleo del sector CPU ARM Cortex-A9 dual core 1,2GHz , el rendimiento de juego de una consola gracias a su GPU NVIDIA® GeForce® ULP (muy bajo consumo).

Otra opción similar ofrece el teléfonoc celular Samsung Galaxy SII con procesador Exynos 4210 doble núcleo 1.2GHz, 16Gb de memoria, integra un chip gráfico Mali400

El teléfono Iphone 4 cuenta con procesador Apple A4 fabricado por Samsung ARM Cortex A8 Core de 1 GHz, memoria de 16 o 32Mb, procesador gráfico PowerVR, sensores como giroscopio de 3 ejes, acelerómetro y localización vía AGPS y brújula digital




Software de RA

A continuación se enumerarán las librerías y herramientas de autor que dentro de este módulo detallaremos Para una lista exhaustiva visitar la lista

actualizada que mantiene Daniel Wagner http://www.icg.tugraz.at/Members/gerhard/augmented-reality-sdks



Software de RA (PC)

Aplicaciones para PC Librerías de tracking basado en marcadores

ARToolkit FLARToolkit NyARToolkit

ARTag ARToolkitPlus



Software de RA (PC)

Aplicaciones para PC Librerías de tracking basado en imágenes

IN2AR Frameworks para programadores

StudierStube



Software de RA (PC)

Aplicaciones para PC Herramientas de autor para NO programadores

Amire Authoring Tool DART Atomic

Atomic Web BuildAR



Software de RA (móviles)

Aplicaciones para teléfonos móviles Librerías de tracking basado en marcadores

ARToolkitPlus Librerías de tracking basado en imágenes

String Qualcomm AR

Browsers de RA Wikitude Layar junaio



Software de RA

A continuación se detalla cada librería y/o herramienta de autor enumerada previamente Notar si es para PC/web/móvil Notar si es de código abierto/free/uso

comercial/etc.



Software de RA (PC)



ARTag ARToolkitPlus



Software de RA (PC)ARToolkit (ARTK)

www.hitl.washington.edu/artoolkit Hirokazu Kato, Mark Billinghurst. Marker Tracking and HMD

Calibration for a video-based Augmented Reality Conferencing System. Proceedings of the 2nd International Workshop on Augmented Reality (IWAR 99). pages 85-94, 1999, USA.

Librería para tracking de marcadores Enormemente popular dado que ARToolKit es una librería C

de distribución gratuita para uso en aplicaciones no comerciales y distribuida como open-source bajo licencia GPL

Está bien documentada y hay muchos ejemplos disponibles



Software de RA (PC)ARToolkit (ARTK)

Si bien es una librería de tracking de marcadores, incluye también Para captura de video:

llamadas a la librería DirectShow Para gráficos 3D:

llamadas a la librería OpenGL carga de modelos VRML



Software de RA (PC) ARToolkit (ARTK)




1. La cámara captura cada frame de video2. Se realiza una búsqueda por software en cada frame de formas

cuadradas3. Si se encuentra un cuadrado, el software calcula la posición de la

cámara en relación al cuadrado4. Una vez que se conoce la posición del marcador, se dibuja un

modelo 3d en la misma posición5. El modelo 3D se dibuja encima del video del mundo real y por esto

aparece superpuesto 6. El video resultado se muestra en el dispositivo de visualización, y

por esto cuando se mira a través de el se ven los gráficos superpuestos sobre el mundo real




Marcadores de tipo “template markers” se usan en la librería ARToolkit el formato es un cuadrado negro y dentro un

cuadrado blanco que tiene una imagen asimétrica en negro




Marcadores de tipo “template markers” Se necesita cargar un fichero donde está definido

el marcador Es posible crear nuevos marcadores

Respetar el formato Entrenar a ARToolkit para que reconozca el nuevo

marcador




Se dibuja la escena virtual utilizando las librerías gráficas OpenGL que tiene:

1. Una pantalla de fondo con la imagen capturada (video frame) pegada como textura

2. El objeto 3D que sufre una transformación de acuerdo a la matriz de transformación estimada

The simple program running - a virtual block aligned with a real marker




Limitaciones de ARToolkit Los objetos virtuales solamente aparecen cuando los

marcadores son totalmente visibles El rango de distancia está limitado

Cuanto más largo sea el patrón físico se detectará a mayor distancia

Los patrones que tienen grandes areas blancas y negras (baja frecuencia) son los más efectivos

A medida que los marcadores se vuelven más horizontales menos se visualiza el centro del marcador y por tanto el reconocimiento es menos confiable




Limitaciones de ARToolkit Los resultados del tracking se ven afectados por las

condiciones lumínicas Para reducir el reflejo los marcadores puede ser de

un material no reflectivo como papel-terciopelo




Limitaciones de ARToolkit El algoritmo para detectar rectángulos se basa en un

thresholding de la imagen y el seguimiento (scan-line) de un primer borde encontrado hasta que se completa la detección de los 4 bordes Este algoritmo no detecta el marcador si uno de los

4 bordes está incompleto Solamente detecta marcadores incompletos en el

caso de usar una configuración espacial fija de múltiples marcadores




Debido a que el algoritmo de detección de rectángulos trabaja con una precisión de subpixels, aún cuando el marcador permanece fijo la matriz puede variar, produciendo que el objeto virtual “parpadee” (“jitter”) en su posición

Hay dos maneras de realizar el tracking de los marcadores: Cada frame se analiza independientemente de los anteriores Se considera la historia de los frames y si la matriz no cambia

demasiado se toma el valor del frame anterior, esto puede disminuir el parpadeo de los objetos (“jitter”) se puede habilitar




Provee dos tipos de calibración 1 fase, fácil y menos preciso, suficiente para superposición de imágenes

(run calib_camera2) Usa el patron de puntos para estimar a la vez tanto los parametros de

distorsion como la matriz de proyección 2 fases, más preciso, necesario si se quiere realizar mediciones en 3D

(run calib_dist y luego calib_cparam) Primero usa el patron de puntos para estimar los parametros de

distorsion Luego, usando el patron de lineas y en base a los parametros de

distorsion estima los parametros de la matriz de proyección




Calibración de cámara En caso de no realizar la calibración puede usarse una

calibración por defecto (los parametros están en el archivo camera_param.dat)

Mediante cualquiera de los dos métodos de calibración se genera un nuevo archivo con parámetros de calibración

La estructura que contiene los parametros de calibración es typedef struct {

int xsize, ysize;double mat[3][4];double dist_factor[4];

} ARParam; Invocación para cargar los parámetros desde archivo:

ARParam wparam;arParamLoad(nombre_archivo, 1, &wparam)

centro

Matriz de proyección

4 coeficientes de distorsión



Software de RA (PC)



ARTag ARToolkitPlus



Software de RA ARToolkit (ARTK)

Existen versiones de ARToolkit en otros lenguajes: NyARToolkit

http://nyatla.jp/nyartoolkit/wiki/index.php Existen versiones en

Java, Processing, Android (SO para móviles basado en GNU/Linux), C# y C++

FLARToolkit http://www.libspark.org/wiki/saqoosha/FLARToolKit/en Versión ActionScript 3(lenguaje utilizado en aplicaciones

web realizadas en el entorno Adobe Flash)



Software de RA (PC)



ARTag ARToolkitPlus



Software de RA (PC)ARTag

http://www.artag.net/ Mark Fiala, ARTag, An Improved Marker System

Based on ARToolkit. National Research Council Canada, Publication Number: NRC: 47419, 2004.

ARTag se inspiró en ARToolkit ARTag usa un procesamiento de imágenes más

complejo para lograr más alta confiabilidad e inmunidad a cambios de iluminación

Por problemas contractuales del autor dejó de estar disponible por el momento



Software de RA (PC) ARTag

Marcadores de tipo “ID Marker” Codifican un número de 9-bits en un patron de

6x6. Los 9 bits se repiten 4 veces para llenar los 36 bits

Blanco y negro, con borde negro y dentro una grilla de 6x6 representando con 1 y 0 según sea blanco o negro




Marcadores de tipo “ID Marker” Cientos de marcadores diferentes sin necesidad de

entrenamiento Más rápido que usar “template markers” (como en

ARToolkit) sobre todo al aumentar el número de marcadores presentes.

La librería ARTag y como veremos ARToolkit Plus utilizan dos versiones diferentes de este tipo de marcadores




ARTag no necesita ficheros de marcadores como ARToolkit sino que tiene una librería de 2002 marcadores que pueden identificarse de 0 a 2047 (46 ilegales)




ARTag uses arrays of the square markers added to objects or the environment allowing a computer vision algorithm to calculate the camera "pose" in real time

ARTag has a library of 2002 markers. No pattern files need to be loaded (as with ARToolkit). Each one has a number 0-2047, with (46 illegal ID's in the 11 bit range). The SDK provides a function to create the patterns from an ID number.




Ejemplo de dos metáforas de uso: "Magic Lens" el usuario sostiene una tablet PC, PDA, o teléfono

celular con cámara y mira a través de el para ver la mezcla de realidad y virtualidad.

"Magic Mirror". una cámara fija visualiza al usuario desde una

gran pantalla y el usuario ve su reflejo con contenido 3D agregado.




ARTag "Magic Lens"

http://www.artag.net/videos.html




ARTag "Magic Mirror“

http://www.artag.net/videos.html




Soporta carga de objetos 3D con formato WRL (VRML), OBJ (Wavefront, Maya), ASE (3D-Studio export), y tiene soporte OpenGL




Comparación entre ARTag y ARToolkit El algoritmo para detectar cuadriláteros se basa

en detección de bordes en lugar de usar thresholding Esto resulta en la detección de marcadores

parcialmente ocluidos




Comparación entre ARTag y ARToolkit

ARToolkit ARTag




Comparación entre ARTag y ARToolkit Usa la decodificación digital para identificar el

marcador en lugar de la correlación necesaria con ARToolkit. Esto resulta en más eficiencia y evita la falsa

detección o la confusión entre marcadores




Comparación entre ARTag y ARToolkit ARTag funciona mejor bajo condiciones de

luz variables

ARToolkit ARTag



Software de RA (PC)

Librerías para aplicaciones de PC Librerías de tracking de bajo nivel

ARToolkit ARTag ARToolkitPlus

Frameworks y herramientas de autor de aplicaciones de RA StudierStube Amire Authoring Tool DART Atomic BuildAR



Software de RA (PC)



ARTag ARToolkitPlus



Software de RA (PC)ARToolkit Plus (ARTK+)

Sucesor de ARToolKit optimizado y extendido tanto para PC como para el uso en dispositivos móviles

Código fuente disponible API de clases C++ Inspirado en los marcadores de ARTag, usa

marcadores de tipo “ID markers” No actualizado desde June 2006. Sucedido por Studierstube Tracker



Software de RA (PC) ARToolkit Plus (ARTK+)

Marcadores de tipo “ID Marker” Hasta 512 marcadores diferentes sin necesidad de

entrenamiento Más rápido que usar “template markers” como en ARToolkit

sobre todo al aumentar el número de marcadores presentes. Codifican un número de 9-bits en un patron de 6x6. Los 9 bits se

repiten 4 veces para llenar los 36 bits




Marcadores BCH (Bose, Ray-Chaudhuri, Hocquenghem) Aún más robustos que los ID markers anteriores, ya que

usa un algoritmo avanzado de chequeos de redundancia ciclica (CRC) para restaurar marcadores dañados

Se incrementa el número de marcadores disponibles a 4096




Otras caracteristicas Umbralización automática basada en la mediana de todos los

pixels del ultimo marcador detectado Compensacion de “vignetting” La compensacion de distorsion es computacionalmente cara,

ARTK+ puede habilitarse el uso de una lookup table para acelerar el proceso

Para la versión PC, se puede elegir el algoritmo de estimacion de pose RPP (Robust Planar Pose) G. Schweighofer and A. Pinz (Inst.of l.Measurement and Measurement Signal Processing, Graz University of Technology), que da como resultado un tracking más estable que el algoritmo de estimación de pose de ARToolKit




Dos opciones para calibración de la camara Hereda la calibración de ARToolkit Puede usarse un algoritmo más exacto: GML MatLab

Camera Calibration Toolbox http://research.graphicon.ru/calibration/gml-matlab-camera-calibration-toolbox.html



Software de RA (PC)



StudierStube



Software de RA (PC)

IN2AR http://www.in2ar.com/ Basada en Adobe Flash (aplicaciones web) Permite el seguimiento de cualquier imagen (en lugar del

típico marcador)



Software de RA (PC)



StudierStube



Software de RA Studierstube

Daniel Wagner and Dieter Schmalstieg. Making Augmented Reality Practical on Mobile Phones, Part 1. IEEE Computer Graphics and Applications, mayo-junio 2009

Daniel Wagner and Dieter Schmalstieg. Making Augmented Reality Practical on Mobile Phones, Part 2. IEEE Computer Graphics and Applications, julio-agosto 2009




Framework completo para el desarrollo de aplicaciones de RA StbTracker: tracking de marcadores Muddleware: comunicación multiusuario Stb SG: maneja el grafo de la escena virtual
