Realidad Aumentada - Maria Jose Abasolo - Egrafia2012

REALIDAD REALIDAD AUMENTADAAUMENTADA

María José AbásoloMaría José AbásoloInvestigadora CICPBAInvestigadora CICPBA

Profesora Adjunta Facultad de Informatica Profesora Adjunta Facultad de Informatica Universidad Nacional de La PlataUniversidad Nacional de La Plata

EGRAFÍA 2012 – Facultad de Arquitectura UNLP19 de octubre de 2012

Qué es la Realidad Aumentada (RA)Qué es la Realidad Aumentada (RA)

Aplicaciones de RAAplicaciones de RA

Cómo es una aplicación de RACómo es una aplicación de RA

Herramientas de autor para RAHerramientas de autor para RA

ContenidosContenidos

Realidad Aumentada | María José Abásolo Realidad Aumentada | María José Abásolo EGRAFÍA 2012 EGRAFÍA 2012

Mundo VirtualMundo Virtual Inmersión (mental y física)Inmersión (mental y física) Retroalimentación (feedback) Retroalimentación (feedback)

sensorialsensorial InteractividadInteractividad

Realidad VirtualRealidad Virtual


Realidad VirtualRealidad Virtual


Realidad AumentadaRealidad Aumentada

Definición original de RA por Ronald Definición original de RA por Ronald Azuma:Azuma:• Combina la REALIDAD con objetos Combina la REALIDAD con objetos

virtuales agregadosvirtuales agregados• Los objetos virtuales están “registrados” Los objetos virtuales están “registrados”

espacialmente en el mundo realespacialmente en el mundo real• Es interactivo en tiempo realEs interactivo en tiempo real



DEMO: “simpleVRML” de ARToolkitDEMO: “simpleVRML” de ARToolkit http://http://www.hitl.washington.edwww.hitl.washington.ed//artoolkitartoolkitweb



DEMO: DEMO: General Electric General Electric http://http://ge.ecomagination.comge.ecomagination.com//smartgridsmartgrid/?/?c_idc_id==HuffHuff#/#/augmented_realityaugmented_reality

demo



Definición más amplia de RADefinición más amplia de RA• una aplicación interactiva una aplicación interactiva • que combina la realidad con información que combina la realidad con información

sintética sintética imágenes 3D, videos, texto y también imágenes 3D, videos, texto y también

sonidos y sensaciones táctiles (haptics) sonidos y sensaciones táctiles (haptics)

• en tiempo real en tiempo real • teniendo en cuenta la posición y teniendo en cuenta la posición y

dirección de visión del usuario dirección de visión del usuario


TerminologíaTerminología

Entorno

Real

EntornoVirtual

Realidadaumentada

Virtualidadaumentada

Realidad Mixta


Historia de RV y RAHistoria de RV y RA

Año 1929: Edward Año 1929: Edward Link desarrolla un Link desarrolla un simulador de vuelo simulador de vuelo mecánico para mecánico para entrenar pilotosentrenar pilotos


Año 1962Año 1962

Morton Heilig Morton Heilig crea crea “Sensorama” “Sensorama” un simulador un simulador de moto con de moto con imágenes, imágenes, sonido, sonido, vibración y vibración y olfato. olfato.



Año 1967Año 1967

General Electric General Electric desarrolla el desarrolla el primer primer simulador de simulador de vuelo vuelo computerizadocomputerizado



Año 1968Año 1968

Ivan Sutherland Ivan Sutherland escribe el artículo escribe el artículo “A head-mounted “A head-mounted three dimensional three dimensional display”display”




Año 1990Año 1990

W-IndustriesW-Industries construye el primer construye el primer sistema de RV sistema de RV público: Virtuality público: Virtuality (inicialmente el (inicialmente el juego juego Dactyl Dactyl NightmareNightmare en el que en el que dos jugadores se dos jugadores se disparan entre ellos)disparan entre ellos)


Año 1992Año 1992

Tom Caudell crea el termino Realidad Aumentada para describir una pantalla que usarían los técnicos electricistas de Boeing que mezclaba gráficos virtuales con la realidad física



Año 1998Año 1998 Disney Disney abre abre el primero de el primero de sus DisneyQuest sus DisneyQuest o centro de ocio o centro de ocio familiares con familiares con diversas diversas atracciones de atracciones de RVRV



Año 1997Año 1997

Columbia Touring Columbia Touring MachineMachine• Usuario con HMD con

tracker + camara + mochila con PC, batería, + GPS + antena comunicación wireless para acceso web + computadora hand-held con pantalla táctil



Año 1997Año 1997Ronald Azuma “A Survey of Ronald Azuma “A Survey of Augmented Reality” provee Augmented Reality” provee definición formaldefinición formal



Año 1999Año 1999

Hirozaku Kato desarrolla Artoolkit en el hitLAB, una de las librerías de software libre más usadas hasta la fecha para la creación de aplicaciones en realidad aumentada.


http://www.hitl.washington.ed/artoolkitweb


Año 2001Año 2001

ArqueoguideArqueoguide• Guía turístico con

modelos 3D• Usuario con HMD

+ PC + GPS + WLAN


http://www.youtube.com/watch?v=IOAb2ejUdjkvideo


10 últimos años: 10 últimos años: los sistemas los sistemas externos de RA han externos de RA han evolucionado ya que evolucionado ya que utilizan dispositivos utilizan dispositivos móviles conmóviles con GPS, acelerómetros, giroscopios y/o brújula incorporados



Año 2008-09 Año 2008-09 Gravimetric ARGravimetric ARBrowsers de RA:• Wikitude de Mobilizy

http://www.wikitude.com

• Layar de LayarMet http://www.layar.com/

• junaio de Metaio• http://

www.junaio.com/


http://www.youtube.com/watch?v=b64_16K2e08

web

web

web

video


20122012• Google Project Glass Google Project Glass http://http://plus.google.complus.google.com

/+/+projectglassprojectglass


http://www.youtube.com/watch?v=Nc4ox89bofk

Demo en Google Demo en Google I/O2012I/O2012http://www.youtube.com/watch?v=MP1gvGcXcLk

video

video

web


Aplicaciones de RAAplicaciones de RA MedicinaMedicina Aplicaciones militaresAplicaciones militares Inspección y anotación de escenas Inspección y anotación de escenas Asistencia en la fabricación Asistencia en la fabricación Asistencia en tareas complejasAsistencia en tareas complejas EntretenimientoEntretenimiento EducaciónEducación DiseñoDiseño Museística y ArquitecturaMuseística y Arquitectura NavegaciónNavegación RehabilitaciónRehabilitación



Publicidad/WebPublicidad/Web• Living Sasquatch Living Sasquatch http://http://

www.livingsasquatch.comwww.livingsasquatch.com//• Olympus 3D Pen Virtual Tour Olympus 3D Pen Virtual Tour http://http://

getolympus.comgetolympus.com//penpen/pen3d_/pen3d_start.aspstart.asp• Iron Man 2 Iron Man 2 http://http://www.iamironman2www.iamironman2..comcom//ukuk//• Taj Mahal en 3D de Sourcebits ARToy Taj Mahal en 3D de Sourcebits ARToy http://http://

www.sourcebits.comwww.sourcebits.com//artoyartoy//

web

web

web

web



Medicina: entrenamientoMedicina: entrenamiento



Medicina: educaciónMedicina: educación• Visualización huesosVisualización huesos



Medicina: educaciónMedicina: educación• Ejemplo: visualización huesos Ejemplo: visualización huesos

http://www.youtube.com/watch?v=29OShttp://www.youtube.com/watch?v=29OSzQbxpcQzQbxpcQ

• LeanAR LeanAR http://http://www.learnar.orgwww.learnar.org

web

demo



Asistencia en tareas complejasAsistencia en tareas complejas• Ejemplo: reparación motor BMWEjemplo: reparación motor BMW

http://www.youtube.com/watch?v=4UA_PgBpiwsvideo



Inspección y anotación de escenasInspección y anotación de escenas• Navicam 1995 Navicam 1995

http://www.youtube.com/watch?v=S6XKPEexRbUvideo



Inspección y anotación de escenas Inspección y anotación de escenas • Ejemplo: excavaciones Ejemplo: excavaciones Talmaki, S., Dong, S., and Kamat, Talmaki, S., Dong, S., and Kamat,

V.R. (2010). "Geospatial Databases and Augmented Reality Visualization for Improving V.R. (2010). "Geospatial Databases and Augmented Reality Visualization for Improving Safety in Urban Excavation OperationsSafety in Urban Excavation Operations



Diseño de productosDiseño de productos



Diseño y ArquitecturaDiseño y Arquitectura



EntretenimientoEntretenimiento



EducaciónEducación• Ejemplo: libro aumentado Ejemplo: libro aumentado

www.youtube.com/watch?v=PuAUXliDzSwww.youtube.com/watch?v=PuAUXliDzSAA

video



Entretenimiento y educaciónEntretenimiento y educación• Ejemplo: libro aumentado Ejemplo: libro aumentado

http://www.youtube.com/watch?v=he5http://www.youtube.com/watch?v=he5mZX1sRXk&feature=relatedmZX1sRXk&feature=related

• Videos musicales Videos musicales http://www.talkingdogstudios.com/10thdhttp://www.talkingdogstudios.com/10thdim/im/

video

demo



Asistencia a la navegaciónAsistencia a la navegación• Ejemplo: Augmented Driving by imaGinyze Ejemplo: Augmented Driving by imaGinyze

2010 2010 http://www.imaginyze.com/Site/Welcome.htmlhttp://www.imaginyze.com/Site/Welcome.htmlweb



Arquitectura y museísticaArquitectura y museística• British Museum “Street Museum”British Museum “Street Museum”

http://www.youtube.com/watch?v=qSfATEZiUYohttp://www.youtube.com/watch?v=qSfATEZiUYovideo



Arquitectura y museísticaArquitectura y museística• Sightseeing Sightseeing

http://www.youtube.com/watch?v=gwtmhttp://www.youtube.com/watch?v=gwtmk1ZjhY0k1ZjhY0

video



Arte y museísticaArte y museística• MOMA art exhibitionMOMA art exhibition

http://www.youtube.com/watch?v=b9T2LVM7ynMhttp://www.youtube.com/watch?v=b9T2LVM7ynMvideo



TRACKINGCAPTURA

GENERADOR INFORMACION AGREGADA

Posición y orientación Video o visión directadel mundo real

Imagen real + objetos virtuales registrados

Proyección dela escena virtual (gráficos 3d)

VISUALIZADOR+ sonidos+ respuestastáctiles


Cómo es una aplicación Cómo es una aplicación de RAde RA

Capturar la escena realCapturar la escena real Conocer posición y dirección de Conocer posición y dirección de visión usuario: trackingvisión usuario: tracking Visualizar la escena aumentadaVisualizar la escena aumentada Interactuar con el sistemaInteractuar con el sistema


Dispositivos de Dispositivos de visualizaciónvisualización

Los dispositivos de visualización Los dispositivos de visualización usados en RAusados en RA

• MonitorMonitor• Gafas de óptica “see-through” Gafas de óptica “see-through” • Gafas de video “see-through”Gafas de video “see-through”• Dispositivos móviles “hand-held”Dispositivos móviles “hand-held”• ProyectorProyector



MonitorMonitor



Gafas de óptica “see-through” Gafas de óptica “see-through”



Gafas “HMD” de video “see-Gafas “HMD” de video “see-through”through”



Dispositivos “hand-held” (tablet, Dispositivos “hand-held” (tablet, teléfonos celulares, PDA)teléfonos celulares, PDA)



ProyectorProyector

http://www.electrictv.com/?p=17741video


Dispositivos de capturaDispositivos de captura

Dispositivos de captura de la Dispositivos de captura de la realidadrealidad

• Cámara web conectada a PCCámara web conectada a PC• Cámara incorporada a “HMD”Cámara incorporada a “HMD”• Cámara integrada en dispositivo “hand Cámara integrada en dispositivo “hand

held”held”• NingunoNinguno



Cámara web conectada a PCCámara web conectada a PC



Cámara incorporada a “HMD”Cámara incorporada a “HMD”



Cámara integrada en dispositivo Cámara integrada en dispositivo “hand held”“hand held”



Ninguno, la realidad se ve Ninguno, la realidad se ve directamentedirectamente


TrackingTracking

El tracking del usuario puede El tracking del usuario puede realizarse de muchas manerasrealizarse de muchas maneras

• Tracking basado en dispositivos físicosTracking basado en dispositivos físicos• Tracking basado en análisis de videoTracking basado en análisis de video• Tracking híbrido: combinación de Tracking híbrido: combinación de

ambosambos


TrackingTracking

Tracking mediante dispositivosTracking mediante dispositivos Tracking inercialTracking inercial

• AcelerómetrosAcelerómetros• GiroscopiosGiroscopios


TrackingTracking


• Acelerómetros y giroscopios se Acelerómetros y giroscopios se incorporan al casco HMDincorporan al casco HMD

• Algunos modelos de teléfonos móviles Algunos modelos de teléfonos móviles de última generación y tabletPC poseen de última generación y tabletPC poseen integrados acelerómetros y giroscopios integrados acelerómetros y giroscopios con tecnología MEMS con tecnología MEMS (MicroElectroMechanical Systems)(MicroElectroMechanical Systems)


TrackingTracking


• Las ventajas de este tipo de dispositivos Las ventajas de este tipo de dispositivos radica en su rapidez y su buena respuesta a radica en su rapidez y su buena respuesta a cambios bruscos. cambios bruscos.

• Su principal desventaja suele ser que Su principal desventaja suele ser que ppierden precisión a lo largo del tiempo ierden precisión a lo largo del tiempo y por y por esto cada cierto tiempo deben recalibrase. esto cada cierto tiempo deben recalibrase.


TrackingTracking

Tracking mediante dispositivosTracking mediante dispositivos Posición globalPosición global

• GPS (Global Positional System)GPS (Global Positional System)• Brújula (compass)Brújula (compass)


TrackingTracking

Tracking mediante dispositivosTracking mediante dispositivos Posición globalPosición global

• Algunos modelos de teléfonos móviles de Algunos modelos de teléfonos móviles de última generación y tabletPC poseen última generación y tabletPC poseen integrados GPS y/o brújulaintegrados GPS y/o brújula


TrackingTracking

Tracking medianteTracking mediante análisis de video análisis de video (videométrico)(videométrico)

• Se necesita capturar la realidad Se necesita capturar la realidad mediante una cámara mediante una cámara

• Se analiza el video capturado cuadro a Se analiza el video capturado cuadro a cuadro en busca de objetos clavecuadro en busca de objetos clave


TrackingTracking

Tracking videométrico Tracking videométrico Seguimiento de un marcadorSeguimiento de un marcador

http://www.youtube.com/watch?v=HgrJ3gwwP94video


TrackingTracking

Tracking videométrico Tracking videométrico Seguimiento de una imagenSeguimiento de una imagen

http://www.youtube.com/watch?v=UTPZDrq4hWgvideo


TrackingTracking

Tracking videométrico Tracking videométrico Sin conocimiento de la escenaSin conocimiento de la escena

http://www.youtube.com/watch?v=pBI5HwitBX4video


El usuario transmite sus deseos al El usuario transmite sus deseos al sistema mediante comandos de sistema mediante comandos de entrada utilizandoentrada utilizando• Dispositivos físicos Dispositivos físicos • VozVoz• GestosGestos

Entrada de datosEntrada de datos


Dispositivos físicos para entrada de Dispositivos físicos para entrada de datosdatos• Pantalla táctil Pantalla táctil



Dispositivos físicos para entrada de Dispositivos físicos para entrada de datosdatos• Mouse / Mouse 3DMouse / Mouse 3D



Dispositivos físicos para entrada de Dispositivos físicos para entrada de datosdatos• Guantes (DataGlove)Guantes (DataGlove)



Dispositivos físicos para entrada de Dispositivos físicos para entrada de datosdatos• PropsProps



Reconocimiento de vozReconocimiento de voz• Es un método natural de comunicar la Es un método natural de comunicar la

informacióninformación• No es adecuado si se necesita una No es adecuado si se necesita una

respuesta inmediatarespuesta inmediata• Es adecuado si se tiene las manos Es adecuado si se tiene las manos

ocupadasocupadas



Reconocimiento de gestosReconocimiento de gestos• Es un método natural de comunicar la Es un método natural de comunicar la

informacióninformación Gestos con manos y dedosGestos con manos y dedos Dirección de la cabezaDirección de la cabeza Movimiento de los ojosMovimiento de los ojos

• Requiere de técnicas de visión por Requiere de técnicas de visión por computador o el uso de dispositivos computador o el uso de dispositivos especialesespeciales



Reconocimiento de gestosReconocimiento de gestos



Existen librerías para Existen librerías para programadores expertos y también programadores expertos y también herramientas de autor para no herramientas de autor para no programadoresprogramadores



Herramientas para no Herramientas para no programadoresprogramadores• DARTDART• AtomicAtomic

Atomic WebAtomic Web

• BuildARBuildAR



Herramientas de autor para RAHerramientas de autor para RA DARTDART

http://www.cc.gatech.edu/dart/applicationshttp://www.cc.gatech.edu/dart/applications.htm.htm

Blair MacIntyre, Maribeth Gandy, Jay Blair MacIntyre, Maribeth Gandy, Jay Bolter, Steven Dow, Brendan Hannigan. Bolter, Steven Dow, Brendan Hannigan. "DART: The Designer’s Augmented "DART: The Designer’s Augmented Reality Toolkit."Reality Toolkit." Presented as a demo at Presented as a demo at The Second International Symposium on The Second International Symposium on Mixed and Augmented Reality (ISMAR03), Mixed and Augmented Reality (ISMAR03), pages 329-339, October 7-10, 2003, pages 329-339, October 7-10, 2003, Tokyo, JapanTokyo, Japan


Herramientas de autor para RA Herramientas de autor para RA DARTDART

• Es una colección de extensiones del Es una colección de extensiones del ambiente de programación ambiente de programación multimedia Macromedia Directormultimedia Macromedia Director

• Soporta:Soporta:• streaming de video streaming de video • tracking de marcadores (via ARToolkit)tracking de marcadores (via ARToolkit)• entrada de un amplio rando de trackers entrada de un amplio rando de trackers

y sensores usados en RA (via el VRPN y sensores usados en RA (via el VRPN sensor package) sensor package)


Herramientas de autor para RAHerramientas de autor para RA Atomic Authoring ToolAtomic Authoring Tool

http://www.sologicolibre.org/projects/atomic/en/http://www.sologicolibre.org/projects/atomic/en/ ATOMIC Authoring Tool es una herramienta que ATOMIC Authoring Tool es una herramienta que

permite la creación de aplicaciones de realidad permite la creación de aplicaciones de realidad aumentada desarrollada especialmente para no-aumentada desarrollada especialmente para no-programadores.programadores.

Fue creado como un front end (Interface Gráfica) Fue creado como un front end (Interface Gráfica) para la usar librería ARToolkit sin tener que saber para la usar librería ARToolkit sin tener que saber programar.programar.

Fue escrito en el lenguaje de programación Fue escrito en el lenguaje de programación Processing y se distribuye bajo licencia GNU GPLProcessing y se distribuye bajo licencia GNU GPL


Herramientas de autor para RAHerramientas de autor para RA Atomic Web Authoring ToolAtomic Web Authoring Tool

http://www.sologicolibre.org/projects/atomhttp://www.sologicolibre.org/projects/atomicweb/es/icweb/es/

Atomic Web se deriva de ATOMIC Atomic Web se deriva de ATOMIC Authoring Tool y es una herramienta que Authoring Tool y es una herramienta que permite la creación de aplicaciones de permite la creación de aplicaciones de realidad aumentada para exportarlas a realidad aumentada para exportarlas a cualquier sitio web. cualquier sitio web.

Fue creado como un front end para la usar Fue creado como un front end para la usar librería Flartookit sin tener que saber librería Flartookit sin tener que saber programar. El núcleo está escrito en programar. El núcleo está escrito en ActionScript3ActionScript3



BuildARBuildAR http://www.buildar.co.nzhttp://www.buildar.co.nz Es una aplicación desarrollada por Es una aplicación desarrollada por

HITLabNZ (los creadores de ARToolkit) que HITLabNZ (los creadores de ARToolkit) que permite crear mediante un editor una permite crear mediante un editor una escena de realidad aumentada con escena de realidad aumentada con tracking de marcadores (y la versión PRO tracking de marcadores (y la versión PRO permite el tracking de una imagen permite el tracking de una imagen cualquiera)cualquiera)

Puede descargarse una versión de pruebaPuede descargarse una versión de prueba

Realidad Aumentada - Maria Jose Abasolo - Egrafia2012

Education

Transcript of Realidad Aumentada - Maria Jose Abasolo - Egrafia2012