MediosInteractivos

PAC2

Entorno digital ymedios interactivos

Alumno: Jorge Juan Ocaña TallónConsultor: Ferrán Adell Español

Indice1. Introducción...................................................................................................3

2. Primera Parte................................................................................................3

• HTC Vive - Descripción y contexto...........................................................3• HTC Vive - Puntos fuertes y debilidades..................................................6• Microsoft Hololens - Descripción y contexto.............................................8• Microsoft Hololens - Puntos fuertes y debilidades....................................10• Microsoft Kinect - Descripción y contexto.................................................12• Microsoft Kinect - Puntos fuertes y debilidades........................................14• Valoración personal y justificación............................................................16• Tabla comparativa.....................................................................................17

3. Segunda Parte..............................................................................................18

• Desarrollo prototipo..................................................................................18

4. Diario de investigación.................................................................................19

5. Bibliografía...................................................................................................20

Introducción y contexto

Primera Parte:HTC Vive - Descripción y contexto

Desde un primer momento tenía claro que tipo de prototipo quería desarrollar para la segunda parte de esta PAC, por lo que tuve que realizar “ingeniería inversa” y diseccionar mi prototipo para buscar dispositivos que pudieran ofrecerme por separado la tecnología que necesitaba o por lo menos que tuvieran algunos puntos en común.

Esta elección personal junto al actual “boom” que está sufriendo la realidad virtual y la realidad aumentada, fue la excusa perfecta para reflexionar sobre estos dispositivos, que corresponden con nuestro futuro tecnológico.

Los dispositivos que vamos a analizar son HTC Vive, gafas de realidad virtual; Microsoft Hololens, gafas de realidad aumentada y Microsoft Kinect, dispositivo de entretenimiento.

Las HTC VIVE son unas gafas de realidad virtual que han sido desarrolladas por Valve, una importante empresa de videojuegos y HTC, uno de los mayores fabricantes de dispositivos móviles del mundo.

Estas gafas han sido presentadas hace menos de un mes en la MWC 2015 de Barcelona por lo que aún están en fase de desarrollo, pero que saldrán a la venta para finales de este mismo año. A pesar de esto, tenemos disponible numerosa información sobre los características del dispositivo.

El dispositivo es del tamaño de unas gafas de bucear aunque con un aspecto algo mas tosco. En lugar de tener un cristal, dispone de dos pantallas separadas de alta densidad, una para cada ojo. Cada una de estas pantallas ofrece una resolución de 1080x1200 pixeles y una tasa de refresco de 90Hz.

3

Cuenta también con una variedad de sensores como giroscopios, acelerómetros y sensores de posición por láser, permitiendo conocer la posición y los movimientos del usuario.

La realidad virtual no es un término nuevo, existe “teóricamente” desde hace cerca de 90 años. En 1930, Stan-ley G. Weinbaum, un famoso escritor de ciencia ficción, describe en su libro “Pygmalion’s Spectacles” un sistema de realidad virtual basado en gafas en las se que representan mediante una grabación holográfica experiencias de ficción incluyendo sentidos como el olfato y el gusto.

La primera incursióna nivel de consumo de este sistema llegó en 1991 de la mano de Sega, con su Sega VR1. Este dispositivo disponía de una pantalla LCD, altavoces estéreo y sensores que permitían rastrear la posición de la cabeza. Este dispositivo y posteriores, como el Virtual Boy2 de Nintendo, no tuvieron éxito, principalmente por la calidad de la pantalla y los dolores de cabeza y mareos que generaba.

No es hasta 2012 y por medio de una campaña de Kickstarter3 (Oculus Rift) cuando volvemos a escuchar de nuevo la palabra realidad virtual. Actualmente hay muchas compañías involucradas desarrollando sus “head-mounted display” (HMD) como Sony4, Google5 o Samsung6, cada uno diseñado para satisfacer una cuota de mercado, por lo que cada uno cuenta con unas características diferentes de los demás.

1 Sega VR - https://en.wikipedia.org/wiki/Sega_VR2 Virtual Boy - https://en.wikipedia.org/wiki/Virtual_Boy3 Oculus Rift - https://www.kickstarter.com/projects/1523379957/oculus-rift-step-into-the-game4 Project Morpheus - https://en.wikipedia.org/wiki/Project_Morpheus_%28virtual_reality%295 Google Cardboard - https://en.wikipedia.org/wiki/Google_Cardboard6 Samsung Gear VR - https://en.wikipedia.org/wiki/Samsung_Gear_VR 4

Sega VR Virtual Boy

5

Estos dispositivos buscan eliminar las barreras físicas e introducir el usuario completamente en el mundo que aparece delante de sus ojos eliminando cualquier elemento externo sobre la vista. El dispositivo que hemos analizado va un paso mas allá. Es capaz de detectar nuestra posición en el espacio y detectar los movimientos que hagamos por nuestra habitación y transferirlos al mundo virtual.

También dispone de dos controladores, uno para cada mano, con los que interactuar con los objetos de este mundo virtual. Cada uno de los controladores dispone de los mismos sensores que llevan las gafas, para reconocer posición, aceleración, golpes, etc... Podemos recrear que tenemos una pistola en la mano o que estamos montado en una moto.

Para este dispositivo funcione necesitamos un ordenador muy potente, que es el encargado de recopilar toda la información que va recibiendo de los sensores, procesarla y devolvérnosla en tiempo real a nuestro display. Este orde-nador necesita de una tarjeta gráfica de última generación para poder realizar todos los cálculos gráficos.

Aún es pronto para saber si esta tecnología tendrá éxito esta vez, pero la calidad de la pantallas actuales, la sensibilidad de los sensores y la reducción de la mayoría de problemas de mareos aseguran una realidad virtual mucho mas inmersiva y real.

Pero, ¿Qué es la realidad virtual?

Según la Wikipedia, la realidad virtual1 es un entorno de escenas u objetos de apariencia real, generado median-te tecnología informática, que crea en el usuario la sensación de estar inmerso en él. Dicho entorno es contemplado por el usuario a través de un dispositivo conocido como gafas o casco de realidad virtual.

Esta virtualidad establece una nueva forma de relación espacio-temporal. No se trata en este caso de la impo-sibilidad de separación entre lo real y aquello que no lo es, sino la difusión de los límites que los separan.

Autores como Lévy, han señalado la existencia de diferentes niveles de virtualidad en su relación con la dimen-sión bidimensional/tridimensional y su relación con la realidad. Yendo desde un continuo que comienza con una menor virtualidad de aquellos aspectos que nos alejan de la realidad o que categorizamos a priori como claramente imaginarios o ilusorios, aumentando con lo bidimensional, hasta las posibilidades que ofrece la tridimensionalidad en su relación de semejanza o analogía con lo real.

La realidad virtual puede ser de dos tipos: inmersiva y no inmersiva. Los métodos inmersivos de realidad virtual con frecuencia se ligan a un ambiente tridimensional creado por un ordenador, el cual se manipula a través de cascos, guantes u otros dispositivos que capturan la posición y rotación de diferentes partes del cuerpo humano. La realidad virtual no inmersiva también utiliza el ordenador y se vale de medios como el que actualmente nos ofrece Internet, en el cual podemos interactuar en tiempo real con diferentes personas en espacios y ambientes que en realidad no existen sin la necesidad de dispositivos adicionales al ordenador. Nos acercamos en este caso a la navegación, a través de la cual ofrecemos al sujeto la posibilidad de experimentar (moverse, desplazarse, sentir) determinados espacios, mundos, lugares, como si se encontrase en ellos.

La realidad virtual no inmersiva ofrece un nuevo mundo a través de una ventana de escritorio. Este enfoque no inmersivo tiene varias ventajas sobre el enfoque inmersivo como son el bajo coste y fácil y rápida aceptación de los usuarios.

1 Texto adaptado Wikipedia Realidad Virtual - https://es.wikipedia.org/wiki/Realidad_virtual

6

Podemos pensar equivocadamente que un dispositivo de estas características, con semejante tecnología, que-daría muy alejado de los dos primeros entornos, pero este no es el caso. Es cierto, que el dispositivo se sostiene sobre una estructura tecnológica artificial, pero su principal objetivo es ofrecer una visión lo mas parecida a una realidad física. Esa realidad incluye poder interactuar con los elementos virtuales de la misma manera que lo hacemos en el mundo natural.

Las propiedades matemáticas se difuminan en este dispositivo. Los movimientos que hacemos con nuestra ca-beza, manos, pies y con nuestro cuerpo en general, se traspasan al mundo virtual de una manera tan real que el usuario podría incluso dudar sobre el entorno en el que se encuentra.

De esta manera, necesitamos una proximidad (1 - Proximidad) con los objetos que vemos para poder interactuar con ellos, pero también podemos vivir aventuras que jamás podríamos hacer desde nuestra ubicación (1 - Distal), como bucear junto a un barco hundido rodeado de peces o luchar contra miles de guerreros en la edad media.

Pese a que dentro de esta realidad tenemos un mundo para explorar, físicamente estamos anclados al espacio y a las dimensiones de la ubicación en la que nos encontremos (2 - Recintual). Este dispositivo tiene unos sensores que se colocan en el cuarto para detectar las dimensiones de éste. Estos sensores a su vez se comunican con los sensores que hay en las gafas, advirtiéndonos en todo momento del espacio finito en el que nos encontramos y convirtiendo los límites de nuestra ubicación en límites reales en el mundo virtual (7 - Extensión). ¿Dónde quedan ahora las fronteras entre lo virtual y lo real? Igual que en Matrix, estamos conectados a un cable y todo el mundo virtual depende de esa conexión (2 - Reticular).

Las propiedades físicas de este dispositivo en el tercer entorno quedan bien definidas. El usuario no depende del espacio en el que se encuentre para realizar sus acciones en el mundo virtual (3 - Presencia). El entorno físico puede ser un espacio diáfano mientras que el virtual puede ser el lejano oeste o el laboratorio Aperture del videojuego Portal1.

1 Videojuego Portal - https://es.wikipedia.org/wiki/Portal_%28videojuego%29

Adaptación al tercer entorno:Puntos fuertes y debilidades

7

En todo momento estamos en la piel virtual de un ser u objeto, pudiendo ser desde un soldados o un perro a una alcachofa o una lámpara (3 - Representación). Todo lo que vemos son representaciones del mundo real, pudiendo ser éstas exactas o metáforicas (15 - Digital).

Todos los movimientos físicos (8 - Movilidad física) que realicemos se reproducirán en el mundo virtual según las leyes que dominen el mundo en el que estamos representados (16 - Integración semiótica). Puede que estemos en una misión espacial y no tengamos gravedad, deberemos cuidar nuestros movimientos, haciendo estos mas controlados para garantizar el éxito.

Esta traducción de información física a virtual procesada por un PC al que estamos conectados en todo momen-to (8 - Flujos electrónicos), que envía unos y ceros (4 - Informacionalidad) a nuestra pantalla, es a su vez nuestra cone-xión física con el mundo virtual (5 - Artificialidad). Esto, junto al peso de las gafas en nuestra cabeza son los elementos que nos atan al segundo entorno.

El funcionamiento de este dispositivo no depende de una conexión a Internet para funcionar, depende de una conexión con nuestro PC (19 - Interdependencia). Esta conexión debe establecer una sincronía (6 - Sincronía) total para representar fielmente en el mundo virtual las interacciones que el usuario representa en el mundo físico. Si existe un retraso de varios segundos entre las acciones de uno y otro, la inmersión se pierde (9 - Circulación rápida).

Al no haber una conexión a Internet perdemos la multicronía propia del tercer entorno, ya que no existe una comunicación con otros entes virtuales (7 - Compresión). Aunque si es cierto, que existe una facultad temporal, como la de recrear acontecimientos pasados o el no avance del tiempo por parte de los seres virtuales.

Uno de los problemas de este dispositivo es la delicadeza de sus sensores, cualquier contacto externo puede hacer que dejen de funcionar correctamente (11 - Inestabilidad). Y un error de los sensores se convierte automáticamen-te en errores en el mundo virtual, ya sea de movimiento o de localización.

El funcionamiento y control de los sensores se debe al movimiento de nuestro cuerpo, cabeza y brazos; estimu-lado y respondiendo a lo que vemos por la pantalla u oímos por el sistema de sonido (13 - Bisensorial). Como hemos visto antes, también disponemos de controladores en las manos, que aunque no recibamos feedback mediante ellos, no son un elemento pasivo-comunicador como puede ser un teclado o un mando a distancia, son un sistema mas de la interacción. Podríamos decir que el dispositivo añade un nuevo sentido, pasando a ser trisensorial.

8

Microsoft ha aprovechado el evento de presentación de Windows 10 para presentar sus gafas de realidad aumentada, llevando esta tecnología a otro nivel con la implementación de Windows Holographic, dando paso a una realidad mixta.

Se trata de un dispositivo a caballo entre unas gafas de snowboard y un casco de realidad virtual, con la prin-cipal diferencia de que las gafas son semitransparentes, permitiendo al usuario ver y manipular objetos virtuales, que Microsoft llama “hologramas” como si fueran reales, pero sin dejar de percibir el mundo que nos rodea.

Antes de continuar vamos a ver que dice Wikipedia sobre realidad aumentada1:

Larealidadaumentada(RA)eseltérminoqueseusaparadefinirunavisiónatravésdeundispositivotecnológi-co, directa o indirecta, de un entorno físico del mundo real, cuyos elementos se combinan con elementos virtuales para la creación de una realidad mixta en tiempo real. Consiste en un conjunto de dispositivos que añaden información virtual a la información física ya existente, es decir, añadir una parte sintética virtual a lo real. Esta es la principal diferencia con la realidad virtual, puesto que no sustituye la realidad física, sino que sobreimprime los datos informáticos al mundo real.

Con la ayuda de la tecnología (por ejemplo, añadiendo la visión por computador y reconocimiento de objetos) la informaciónsobreelmundorealalrededordelusuarioseconvierteeninteractivaydigital.Lainformaciónartificialsobre el medio ambiente y los objetos pueden ser almacenada y recuperada como una capa de información en la parte superior de la visión del mundo real.

El término realidad aumentada se empezó a popularizar en 1990 de la mano de Thomas P. Caudell, un investi-gador y profesor de la empresa Boeing. Aunque desde 1900 diversos autores de ciencia ficción ya planteaban la idea de displays electrónicos que superponían datos de personas en diversos espectáculos.

Ha tenido que ser de la mano del gigante Google para que la realidad aumentada termine de despegar, ya que en 2013 presentaron sus gafas Google Glass2. Es un dispositivo similar a unas gafas con la única salvedad de que lleva un pe-queño display en una de las lentes. Mediante esta lente pode-mos ver y controlar las notificaciones o llamadas de nuestro movil, ya que ambos dispositivos están conectados.

GG no terminó de cuajar entre los usuarios, por lo que decidieron cancelar el proyecto. Lo relevante de este dispositivo es que fue el precursor de los nuevos wearables3, que no son mas que dispositivos electrónicos que podemos vestir, como por ejemplo, los nuevos Smartwatch.

También hemos visto en el mercado diversos juegos para la Nintendo DS que permite mediante la cámara del dispositivo añadir elementos físicos al mundo virtual y viceversa. Incluso Google Maps ofrece una versión aumentada de su callejero.1 Realidad aumentada Wikipedia - https://es.wikipedia.org/wiki/Realidad_aumentada2 Google Glass - https://es.wikipedia.org/wiki/Google_Glass3 Computador Corporal - https://es.wikipedia.org/wiki/Computadora_corporal

Primera Parte:Microsoft Hololens - Descripción y contexto

9

Dejando a un lado el contexto, podemos decir que Microsoft ha dado un salto de calidad en la realidad aumen-tada gracias a Windows Holographic1, su software propio para la gestión de los hologramas. WH va acompañado de un API (Application Programming Interface) que permitirá a los desarrolladores crear nuevos hologramas que cubran diferentes necesidades de los usuarios, con el consiguiente beneficio económico de los desarrolladores.

Por ejemplo, podríamos utilizar esta tecnología para diseño de interiores. Tenemos un piso vacío en venta y podemos enseñarles a los clientes como quedaría el piso con un mobiliario comprado en Ikea o en cualquier otro sitio. O por ejemplo podemos dar un curso de cocina sin disponer de fogones. El límite de los usos o las posibilidades de estos está en la imaginación de los desarrolladores.

Hololens es el dispositivo capaz de correr WH. Hololens contiene en su interior un procesador (CPU), una uni-dad gráfica de procesamiento (GPU) y una unidad de procesamiento holográfica (HPU), además de diversos sensores repartidos por el casco que detectan los movimientos tanto de cabeza como de las manos. También cuenta con GPS, para la detección del usuario en el espacio; micrófono, para realizar acciones mediante comandos de voz; y sonido es-pacial, para detectar la posición y dirección del holograma que está transmitiéndonos algo.

Los usos que Microsoft ha mostrado en el video publicitario2 van desde videojuegos (una versión propia de Minecraft), conferencias por Skype para asistencia remota o diseño de objetos 3D que después podremos imprimir en cualquier impresora 3D. Saber si esta tecnología triunfará depende en gran parte del marketing que realice Microsoft, de las necesidades que éstos creen entorno al dispositivo y de los desarrolladores que confíen en esta tecnología para realizar sus creaciones.

1 Windows Holographic - https://en.wikipedia.org/wiki/Windows_Holographic2 Video publicitario Hololens - https://youtu.be/aThCr0PsyuA

10

La tecnología que utiliza MH es una mezcla de realidad virtual y realidad aumentada. El desarrollador o el usua-rio pueden configurar la transparencia de los hologramas que vemos por el dispositivo. Una de los test que han podido probar algunos afortunados convertía nuestra superficie en la superficie de Marte, convirtiendo completamente el esce-nario en realidad virtual.

En esta realidad mixta podríamos encontrar la mayoría de puntos fuertes y debilidades que vimos con las gafas HTC, aunque vamos a analizar este dispositivo desde el punto de vista de la realidad aumentada.

El usuario no pierde en ningún momento de vista su entorno, los hologramas aparecen flotando delante de nuestras narices, permitiendo colocarlos donde queramos. La pantalla tiene un ángulo de visión de 120ºx 120º, parecido a una pantalla de cine.

La principal diferencia es que el dispositivo lleva integrado en el casco la unidad de procesamiento, de esta manera, permite eliminar los cables y el anclaje que suponían otros dispositivos. Aunque esto también puede ser un punto negativo, sobre todo por la relación entre peso del dispositivo y la capacidad de proceso. No podemos comparar la capacidad de proceso gráfico de un pc de sobremesa que la de un dispositivo de estas dimensiones.

Si queremos que el usuario se olvide de que lleva un dispositivo atado a la cabeza, el dispositivo debe ser muy ligero, pero a su vez la capacidad de procesamiento gráfico se verá reducida en detrimento de nuestra inmersión (9 - Circulación rápida).

Otra gran diferencia es que el dispositivo cuenta con WiFi (8 - Flujos electrónicos) para tener conexión a Internet (10 - Asentado en el aire). Permitiéndonos realizar las mismas acciones que podríamos realizar desde un ordenador. De hecho, una de las principales ventajas es usar MH como extensión de nuestro ordenador. Con un simple gesto podemos arrastrar nuestro puntero fuera de la pantalla y comenzar a guiarlo con nuestra mirada para continuar nuestras tareas desde cualquier sitio de nuestra casa.

Aunque para algunos hologramas necesitemos una cer-canía entre el agente y el objeto (1 - Proximidad), el dispositivo también nos permite interactuar con elementos que están muy alejados aunque los percibamos cerca con nuestros sentidos (1 - Distalidad). Podemos ayudar a reparar un enchufe a un cliente que se encuentra en otra ciudad (7 - Compresión) (12 - Globali-dad), señalándole los puntos en los que debe de desatornillar, por poner un ejemplo (3 - Representación).

Adaptación al tercer entorno:Puntos fuertes y debilidades

11

Podemos colocar los hologramas a nuestro antojo por todo el escenario por donde nos movemos, podemos usar el sofá para crear un castillo y hacer un pasadizo hasta la mesa con nuestras propias manos, para a posteriori destruirlo con la misma rapidez. Está claro que lo que vamos a destruir en el mundo virtual no se va a reflejar en el mundo real, si destruimos este puente que hemos creado no se va a romper nuestra mesa (5 - Artificialidad).

Estos hologramas podremos descargarlos desde una base de datos que en la que cualquier desarrollador puede subir sus propias creaciones (19 - Interdependencia) e incluso sacar beneficio de ellas (20 - Consumo) si logra venderlas. Estos desarrolladores deberán de comprar una licencia especial, por lo que no es una plataforma abierta a todo el mundo, esto puede ser un hándicap negativo para la aceptación del dispositivo y para el número de hologramas que se creen, ya que el movimiento Open Source1 es cada vez mas fuerte.

Los hologramas se almacenarán en una base de datos similar a cualquier Market del mercado. Si no podemos acceder a esta base de datos no podremos actualizar nuestros hologramas o hacer funcionar muchos de ellos. También debemos de saber que estos hologramas están creados por seres humanos y no son perfectos, pudiendo dejar de fun-cionar el cualquier momento (11 - Inestabilidad).

Por último, para interactuar con los hologramas necesitamos dos de nuestros sentidos: la vista y el oido (13 - Bi-sensorial). De la misma manera que personas sordomudas se comunican entre ellos mediante gestos, los sensores que están situados en la parte delantera de las gafas recogen los gestos que hacemos con nuestras manos para traducirlos e interpretarlos en el mundo virtual. No podemos inventarnos estos gestos, de lo contrario el dispositivo no entenderá lo que estamos intentando decirle (16 - Integración semiótica). Lo mismo ocurre con los comandos de voz, usando nuestro idioma podemos acceder a los mismas acciones que podría activar una persona que utilicé el inglés como idioma prin-cipal (17 - Heterogeneidad)

Al igual que el dispositivo anterior, el tacto es importante en la interacción, pero no es tan determinante como en el HTC Vive.

1 Open Source - Código Abierto - https://es.wikipedia.org/wiki/Código_abierto

12

Kinect es un controlador de juego libre y entretenimiento creado por Alex Kipman, desarrollado por Microsoft para la videoconsola Xbox 360, y desde junio del 2011 para PC a través de Windows 7. Kinect permite a los usuarios controlar e interactuar con la consola sin necesidad de tener contacto físico con un controlador de videojuegos tradicio-nal, mediante una interfaz natural de usuario que reconoce gestos, comandos de voz, objetos e imágenes.

El dispositivo tiene como objetivo primordial aumentar el uso de la Xbox 360, más allá de la base de jugadores que posee en la actualidad. En sí, Kinect compite con los sistemas Wiimote con Wii MotionPlus1 y PlayStation Move2, que también controlan el movimiento para las consolas Wii y PlayStation 3, respectivamente.

Microsoft Research invirtió veinte años de desarrollo de esta tecnología. Kinect fue anunciado por primera vez el 2 de junio de 2009 en la E33 celebrada en Los Ángeles.

El sensor de Kinect es una barra horizontal de aproximadamente 23 cm conectada a una pequeña base circular con un eje de articulación de rótula, y está diseñado para ser colocado longitudinalmente por encima o por debajo de la pantalla de vídeo.

El dispositivo cuenta con una cámara RGB, un sensor de profundidad, un micrófono de múltiples matrices y un procesador personalizado que ejecuta el software patentado, que proporciona captura de movimiento de todo el cuerpo en 3D, reconocimiento facial y capacidades de reconocimiento de voz. El micrófono de matrices del sensor de Kinect permite a la Xbox 360 llevar a cabo la localización de la fuente acústica y la supresión del ruido ambiente, permitiendo participar en el chat de Xbox Live sin utilizar auriculares.

En noviembre de 2010, Industrias Adafruit ofreció una recompensa para un controlador de código abierto para Kinect. El 10 de noviembre, se anunció al español Héctor Martín como el ganador4, que usó métodos de ingeniería in-versa con Kinect y desarrolló un controlador para GNU/Linux que permite el uso de la cámara RGB y las funciones de profundidad.

Este controlador de código abierto ha permitido que muchos usuarios o investigadores aprovechen el potencial que tiene Kinect para realizar sus propios proyectos, alguno tan increíbles como este5.

El 21 de mayo de 2013 Microsoft anunció su próxima consola junto a Kinect 2.0. Esta versión incluye detección de 6 personas, 1080 píxeles de resolución y capacidad de detección del esqueleto completo del usuario, tanto de la orientación de sus extremidades como la fuerza que estas imprimiendo con cada una de ellas. Esta es la versión que vamos a analizar.

1 Wii Motion Plus - https://es.wikipedia.org/wiki/Wii_MotionPlus2 Playstation Move - https://es.wikipedia.org/wiki/PlayStation_Move3 Electronic Entertainment Expo - https://es.wikipedia.org/wiki/Electronic_Entertainment_Expo4 Ganador Hack Kinect - https://blog.adafruit.com/2010/11/10/we-have-a-winner-open-kinect-drivers-released-winner-will-use-3k-for-more-hacking-plus-an-additional-2k-goes-to-the-eff/5 Augmented Reality Sandbox - http://idav.ucdavis.edu/~okreylos/ResDev/SARndbox/index.html

Primera Parte:Microsoft Kinect - Descripción y contexto

13

La tecnología que rodea Kinect es totalmente nueva, por lo que creo conveniente hacer un breve repaso de como funciona y de que se encarga cada uno de sus componentes. Es el primer dispositivo del mundo que utiliza una cámara de video en tres dimensiones, un sensor de profundidad, un proyector y cámara infrarrojos, un micrófono multi-direccional y un procesador encargado de administrar el software y procesar la información que le va llegando.

Lo primero que hace Kinect es lanzar sobre nosotros pequeños puntos láser con el proyector de infrarrojos para posteriormente recoger estos puntos con la cámara infrarroja, conociendo de esta manera los movimientos y la profundidad de los objetos. Después analiza cada una de las puntos que ha recogido y comienza a recrear un esqueleto de manera muy rudimentaria. Posteriormente, continua analizando diferentes partes del cuerpo y generando nuestro esqueleto cada vez con mas detalle. Este proceso Kinect lo realiza 30 veces por segundo.

Como podemos ver en las imagenes, este sensor es tres veces mas sensible que en la primera versión de Kinect, permi-tiendo detectar hasta las arrugas de la camiseta. Es perfectamente capaz de funcionar con poca iluminación o ninguna, aunque evidentemente la cámara a color si que necesita iluminación para poder recoger nuestra imagen. Incluso es capaz de descubrir nuestro ánimo e interactuar con nosotros dependiendo del mismo.

Otra de las mejoras de esta versión es que es capaz de detectar los dedos de las manos, reconocer la orientación de cada una de las extremidades de nuestro cuerpo, localizar que parte de nuestros músculos está ejerciendo mas fuerza e incluso analizar el sentido y la dirección de los “golpes” que realicemos. En estas imágenes podemos ver las pruebas que realizaron los desarrolladores de Kinect.

La cámara a color es la que se encarga de recoger nuestra imagen y enviarla a la Xbox. Existen 4 micrófonos colocados de tal manera que son capaces de recoger el sonido en un campo con forma de cono, reduciendo de esta manera el sonido ambiente y el sonido que la misma televisión está reproduciendo.

14

Este dispositivo se ha de colocar enfrente de nuestro televisor y enfocado siempre al área en la que vayamos a colocarnos. La distancia máxima a la que podemos situarnos la determinan los sensores y su capacidad de recepción. Necesitamos permanecer cerca del dispositivo (1 - Proximalidad) (3 - Presencia) y en su rango de visión para que fun-cione correctamente.

Aunque la ejecución de los comandos requiera una cercanía, podemos estar interactuando con una base de datos situada en Alemania (1 - Distalidad), por ejemplo al ver una película (2 - Reticularidad) o descargarnos juegos de la tienda de aplicaciones de Microsoft.

Una de las principales pegas que tiene Kinect, es que se necesita de un cuarto espacioso para poder disfrutar de las ventajas del dispositivo (7 - Extensión). Aunque la versión 2.0 ha mejorado mucho en la “no” detección de puertas, sillas o sofás, seguimos necesitando de este espacio vacío (2 - Recintualidad).

La nueva versión permite que 6 personas puedan jugar a la vez (12 - Localidad). A veces la experiencia de juego puede no ser satisfactoria, ya que al incluir 6 jugadores en pantalla (15 - Digital), el usuario puede confundirse con cualquier de los otros 5 jugadores. Nuestra réplica virtual (3 - Representación) es un monigote que hemos elegido previamente para representarnos en el juego, y aunque podemos diseñarlo a imagen nuestra, siempre es complicado identificarnos con un ente virtual con poca capacidad de personalización.

Si por el contrario no disponemos del suficiente espacio en nuestra casa para jugar con otros amigos, Xbox One (19 - Interdependencia) nos permite conectarnos al servicio Xbox Live donde podemos retar a otros jugadores para jugar con ellos (7 Compresión). Para que esta interacción entre usuarios de diferentes (17 - Heterogeneidad) partes del mundo (12 - Globalidad) tenga éxito (10 - Asentado en el aire), necesitamos mínimo una conexión ADSL (9 - Circulación rápida), que garantiza la suficiente estabilidad y velocidad para que la experiencia de juego sea óptima.

Adaptación al tercer entorno:Puntos fuertes y debilidades

15

A diferencia de los otros dispositivos analizados, el tacto deja de ser un sentido que pierde protagonismo en la interacción, ya no hay ningún elemento físico que podamos tocar para ejecutar las acciones, ahora es el cuerpo el que toma el control de nuestras acciones mediante saltos, carreras o bailes (16 - Integración semiótica) (8 - Movilidad física). Estos movimientos deben ser reflejados en tiempo real (6 - Sincronía) en nuestra representación virtual, con el fin de que exista una coincidencia temporal en las acciones (8 - Flujos electrónicos).

La curva de aprendizaje es otro de los puntos negativos de este dispositivo. El manejo de Kinect no es tan sen-cillo como colocarse delante y comenzar a disfrutar. Debemos de calibrar algunos movimientos y la primera vez vamos a comprobar lo difícil que puede ser navegar por el menú con las manos.

La interfaz de usuario podemos controlarla con movimientos de las manos o con comandos de voz. Pero mu-chos usuarios han denunciado que estos comandos alguna veces no son detectados o simplemente se lanzan aplica-ciones cuando no hemos hablado nada. Podemos imaginarnos el caso extremo de que un rival lance el comando de apagado del sistema (Apágate, Xbox) justo cuando por fin íbamos a ganarle esa partida.

El hacking al que se vió sometido la primera versión de Kinect, abrió un enorme abanico de posibilidades a los diseñadores, los que desarrollaron enormes proyectos de mapping (5 - Artificialidad) como el que vimos anteriormente.

A pesar de que Kinect sea una tecnología cerrada, ¿No habrá supuesto esta liberalización de código mas ventas del dispositivo y mas reconocimiento en otros sectores tecnológicos? (20 - Consumo). Este hack ha sido eliminado del nuevo dispositivo modificando la conexión con la Xbox (11 - Inestabilidad).

16

Desde siempre me han interesado los avances tecnológicos que van apareciendo, tanto a nivel doméstico como a nivel industrial o profesional. De hecho mis Marcadores de Firefox, están repletos de páginas como Engadget, Gizmo-do, Xataka o Cnet entre otras.

Especialmente la realidad virtual siempre me ha interesado, desde los típicos simuladores que ponen en las ferias hasta las “nuevas cajas de cartón” de Google. De hecho, hace uno años estuve a punto de hacerme con un De-veloper Kit de Oculus Rift, aunque al final decidí invertir el dinero en otros proyectos.

No he podido probar esta tecnología, pero creo que nuestro entorno tecnológico tiene todo lo necesario para que termine de triunfar de una vez. Dispositivos con todo integrado, conexión rápida a Internet, displays con alta definición y densidad de píxeles, etc. Para mas inri, acaba de aparecer una campaña de Kickstarter con un proyecto de realidad virtual abierto, tanto a nivel hardware como software.

Sabía que mi prototipo debía de llevar esta tecnología, por lo que busqué el dispositivo mas reciente con estas características.

Por otro lado, esta claro que el factor mas importante de la realidad virtual es la inmersión que ofrece al usuario, pero para ello necesita eliminar cualquier rastro de nuestro entorno real. Este puede ser el único punto negativo de esta tecnología, yo opino que una realidad mixta puede ser mas útil para los usuarios, además de que solo tendríamos un dispositivo para disfrutar tanto de la realidad virtual como de la realidad aumentada.

Este cambio de opinión viene desde que conocí Microsoft Hololens. Aunque a priori, la mayoría de los comen-tarios de personas que han podido probarlo apuntan a que no es tan espectacular como el video que utilizaron en la presentación, supongo que aún tiene un gran margen de mejora.

Para mi prototipo voy a utilizar una tecnología de realidad mixta, aunque haciendo mas hincapié en la virtual.

Por último, la elección de Kinect se debe al extenso estudio que hice del dispositivo para un proyecto de la asig-natura Diseño de Interacción. Me atrae personalmente el desarrollo de proyectos alternativos gracias al hacking de las primeras versiones del dispositivo. Además necesitaba un dispositivo que pudiera detectar los esqueletos como lo hace Kinect, de cara a la creación de mi prototipo.

Valoración personal

17

Como bien dice Javier Echevarría, estas propiedades no se pueden establecer desde un punto booleano, no pueden ser positivo o negativo, sino que tiene una gradación. Por este motivo he realizado una tabla comparativa dando unos valores de 0 a 3 según lo adaptado que está el dispositivo en el tercer entorno, partiendo siempre desde los dos primeros entornos. Un valor 0 significa no adaptado, 1 poco adaptado, 2 adaptado y 3 muy adaptado.

Taba comparativa

E1 y E2 E3 HTC Vive Microsoft Hololens Microsoft Kinect

Proximal Distal

Recintual Reticular

Presencial Representacional

Material Informacional

Natural Artificial

Sincrónico Multicrónico

Extensión Compresión

Móvil físicamente Fluido electrónica-mente

Lento Rápido

Asentado en tierra Asentado en aire

Estable Inestable

Local Global

Pentasensorial Bisensorial

Memoria natural interna

Memoria artificial externa

Analógico Digital

Semióticamente diverso

Semióticamente integrado

Homogéneo Heterogéneo

Nacional Transnacional

Autosuficiente Interdependiente

Producción Consumo

18

La idea principal de mi proyecto es combinar las tres tecnologías que he analizado anteriormente en un único dispositivo, existiendo una comunicación entre dispositivos que permita conocer la situación, los movimientos y acciones de los usuarios con el fin de que puedan interactuar unos con otros.

Con esto quería suplir una carencia básica que tienen estos dispositivos y que es primordial para adaptarse al tercer entorno, que es la interacción entre diferentes usuarios y dispositivos y diferentes lugares.

Otra de los puntos negativos es tener que depender de una conexión física, como el HTC Vive con el PC o el Kinect con la Xbox One. Nuestro dispositivo es totalmente dependiente, lleva todo integrado en el casco y no depende de ningún intermediario para funcionar, además cuenta con Wifi y conexión 4G.

El aspecto físico del dispositivo sería similar a una de las gafas que hemos visto anteriormente. El display ocupa-ría toda la visión del usuario, pero se utilizaría un cristal polarizado controlando la entrada de luz según el tipo de realidad que estemos ejecutando y según las necesidades de la aplicación.

Alrededor de la montura estarían colocados las cámaras RGB, los sensores de profundidad y el micrófono con-siguiendo una recepción de 360º. Además el micrófono permitiría comunicarse en tiempo real con nuestros compañeros aún estando alejados de ellos, gracias a la conexión WiFi y 4G.

En este dispositivo no existen los hologramas, lo que tenemos delante son zombies, guerreros, esculturas, cua-dros... Es una realidad mixta que combina lo mejor de la realidad virtual y la realidad aumentada. El suelo puede ser un estrecho paso entre un acantilado o no tener la mas mínima relevancia porque estamos en nuestra oficina diseñando un prototipo 3D para nuestra empresa.

Además, esta tecnología permite recubrir a nuestros compañeros de juego con el aspecto que hayan elegido. El nivel de detalle de los sensores permite adaptarse a todas las curvas de nuestro cuerpo para representar nuestra indumentaria. El mismo caso se puede aplicar a los elementos que nos rodeen.

Podría haber tantos usos como queramos. Leer las noticias mientras estamos desayunando, vender nuestros productos en eBay con el simple gesto de encuadrarlos y ejecutar el comando de voz “Vender eBay”, montar nuestro nueva mesa comprada en Ikea mientras nos va guiando un asistente virtual...

También disponemos de una plataforma en la que poder descargar aplicaciones para disfrutar en nuestro dispo-sitivo. También se le puede añadir complementos físicos para añadir precisión, como por ejemplo en el caso de un mé-dico que quiera operar a un paciente en la India y el se encuentre en EEUU. Necesitaría mucha mayor precisión, por lo que un bisturí físico podría ser necesario. Esta plataforma sería totalmente gratuita para los desarrolladores y cualquier persona con un mínimo de conocimiento podría desarrollar sus propias aplicaciones y subirlas.

El objetivo de este prototipo es aunar en un dispositivo estas dos tecnologías y añadirle la capacidad de detec-ción de Kinect con el fin de conseguir un dispositivo único en el mercado. No hay nada actualmente que se le parezca, por lo que desbancaríamos rápidamente a nuestros competidores.

No sirve de nada una realidad inmersiva si en el fondo sabemos que estamos sentados en nuestra silla de escri-torio y quien se está moviendo es nuestra representación virtual. De la misma manera que si disfrutamos de una realidad aumentada pero lo que aparece delante nuestra no tiene una consistencia lógica o no es del todo real por los gráficos que utiliza para recrearlos.

Desarrollo Prototipo:Gafas de realidad mixta 360º

Diario de investigación Cuando comencé esta práctica lo primero que hice fue lanzarme a la búsqueda de ideas para ver los dispositivos que podía analizar o posibles prototipos que podía desarrollar, porque desde primera hora tenía claro que el proceso de “ingeniería inversa” que nombré anteriormente podría ser viable.

Posibles ideas que me vinieron a la cabeza fueron:• Domótica en general (Frigoríficos inteligentes, lavadoras, termostato Nest...).• Wearables (Smartwatch, bandas deportivas, ropa).• Drones y sus diferentes usos.

Mi proceso de investigación normalmente es bastante sencillo. Utilizo estas herramientas:• Buscador Duck Duck Go (Buscador que no rastrea).• Notepad ++ (Editor de Texto).• Wikipedia (Enciclopedia Online).

Anteriormente utilizaba Evernote para tener las referencias bibliográficas organizadas, aunque dejé de utilizar-lo porque era un incordio tener que recurrir a otro software simplemente para almacenar un enlace. También utilizaba Mind42 para poner sobre un lienzo mis esquemas mentales.

Estos dos herramientas han sido sustituidas por unas pizarras físicas que tengo colocadas en mi cuarto y el software Notepad+. En estas pizarras es donde ahora hago los esquemas y en Notepad++ es donde almaceno la información que puede serme de interés, referencias bibliográficas que utilizaré en mi práctica o redactar el trabajo en si mismo.

Notepad++ me parece una excelente herramienta de es-critura porque nunca borra lo que hay escrito aunque no hayas pulsado en “Guardar”, es muy estable, rápida y permite la nave-gación en pestañas. Además de que existen un monton de plu-gins interesantes y es Open Source.

Los esquemas que realicé no los conservo ya que voy limpiando esta pizarra casi cada día y ya iba bastante avanzado cuando avisaron en el foro de la realización de esta tarea, aunque he rehecho un esquema resumén con las notas que fuí tomando. En un principio lo realiza de cara a realizar la tabla comparativa, aunque al final preferí hacerla comparándolos con lo adaptados que están los dispositivos al tercer entorno.

Una vez que tenía claro el dispositivo que quería lograr, comencé visitando diferentes páginas de tecnología, entre las que puedo destacar: Engadget, Xakata, XatakaOn, Gizmodo, XatakaOn, Mit Technology Review, CNet, The Verge...

Encontrado los dispositivos que mas se ajustaban a mis necesidades me puse a la búsqueda de referencias y artículos interesantes que pudieran revelarme información acerca de las tecnologías que usaban y descripciones tanto generales como específicas. Las referencias que he usado para la realización de la práctica están detallados a continua-ción en la bibliografía.

19

BibliografíaRius Oliva, Lluis; Parisi, Lorenza (2012). Medios Interactivos. FUOC

HTC Vivehttps://es.wikipedia.org/wiki/Realidad_virtual

Rebato, Carlos (2015) “Esta es la espectacular demo de Portal 2 que Valve usa con el HTC Vive“ [Artículo en línea] Gizmodo [Fecha de consulta: marzo de 2015]< http://es.gizmodo.com/esta-es-la-demo-de-portal-2-que-valve-esta-utilizando-c-1691064149 >

Rebato, Carlos (2015) “He probado la realidad virtual del HTC Vive, y ahora ya no quiero volver“ [Artículo en línea] Gizmodo [Fecha de consulta: marzo de 2015]< http://es.gizmodo.com/he-probado-la-realidad-virtual-del-htc-vive-y-ahora-ya-1689906269 >

Lee, Nicole (2015) “HTC’s Vive made me believe in VR“ [Artículo en línea] Engadget [Fecha de consulta: marzo de 2015]< http://www.ellibrepensador.com/2014/01/27/vigilados-la-privacidad-ha-muerto/ >

Microsoft Hololenshttps://es.wikipedia.org/wiki/Realidad_aumentadahttps://en.wikipedia.org/wiki/Windows_Holographic

Jiménez De Luis, Ángel (2015) “Microsoft presenta HoloLens, unas gafas de realidad aumentada“ [Artículo en línea] El mundo [Fecha de consulta: marzo de 2015]< http://www.elmundo.es/tecnologia/2015/01/21/54c00d23e2704ee33a8b4575.html >

Jiménez De Luis, Ángel (2015) “HoloLens: las gafas de Microsoft ofrecen una realidad aumentada con hologramas“ [Artículo en línea] Cnet en Español [Fecha de consulta: marzo de 2015]< http://www.cnet.com/es/analisis/microsoft-hololens/# >

Thang, Jimmy (2015) “Microsoft’s HoloLens Has the Potential to Be Transformative“ [Artículo en línea] Maximum PC [Fecha de consulta: marzo de 2015]< http://www.maximumpc.com/microsoft’s_hololens_has_potential_be_transformative2015 >

Hollister, Sean (2015) “Microsoft HoloLens Hands-On: Incredible, Amazing, Prototype-y as Hell“ [Artículo en línea] Giz-modo [Fecha de consulta: marzo de 2015]< http://gizmodo.com/project-hololens-hands-on-incredible-amazing-prototy-1680934585 >

Bohn, Dieter; Warren, Tom (2015) “Up close with the HoloLens, Microsoft’s most intriguing product in years” [Artículo en línea] The Verge [Fecha de consulta: marzo de 2015]< http://www.theverge.com/2015/1/21/7868251/microsoft-hololens-hologram-hands-on-experience >

Microsoft Kinecthttps://en.wikipedia.org/wiki/Kinect

Abrego, Maleny (2013) “Kinect 2.0“ [Artículo en línea] MSExpertos [Fecha de consulta: marzo de 2015]< https://msexpertos.wordpress.com/2013/08/22/kinect-2-0/ >

Paniagua, Jose Manuel (2010) “¿Cómo funciona Kinect?“ [Artículo en línea] Maximum PC [Fecha de consulta: marzo de 2015]< http://www.tecnocosas.es/%C2%BFcomo-funciona-kinect/ >

Duffy, Jill (2010) “Exclusive: Inside Project Natal’s Brain“ [Artículo en línea] Popular Science [Fecha de consulta: marzo de 2015]< http://www.popsci.com/gadgets/article/2010-01/exclusive-inside-microsofts-project-natal >

20