Ambientes Aumentados e Novas Formas Narrativas

Ambientes Aumentados e Novas Formas Narrativas

Nuno CorreiaDI/FCT/UNL e CITI (Centro de Informática e Tecnologias de Informação)

[email protected]

http://img.di.fct.unl.pt

Resumo

Introdução e contextoConvergência dos media, interfaces tangíveis, wearables, realidade aumentada, realidade aumentada

Hipermédia no mundo realNovas formas narrativas

Projecto InStory

Perspectivas

Dep. Informática, FCT-UNLInvestigação fundamentalInvestigação aplicadaPós-graduação (PhD, MSc)

No âmbito do departamentp de Informática:• Mestrado em Engenharia Informática

Em programas europeus

CITI (Centro de Informática e Tecnologias de Informação)

Cerca de 40 doutoradosEstudantes de doutoramento e mestradoFinanciado pelo Ministério da Ciência e Ensino Superior:

Cerca de 100K Euro cada anoAdicionalmente 133K Euro ProgramáticoAvaliação externa: Muito Bom (2004)

Projectos financiados:Projectos nacionais (FCT)Projectos internacionais (UE)


Linhas de investigação:Programming Languages and ModelsSoftware EngineeringParallel and Distributed ProcessingLarge-Scale Distributed ComputingComputer GraphicsInteractive Multimedia (IMG)Geographic Information SystemsNatural Language Processing


IMG Direcções de Investigação

Ambientes aumentados e mistosHipermédiaPersonalizaçãoGeração semi-automática de informaçãoNovos modelos narrativos e novos mediaAnotação e Metadata (MPEG-7)Processamento de imagem e vídeo

Introdução e Contexto

Convergência dos Media

A televisão e o computador vão coexistir com muitos outros dispositivos

Mil canais?

Mobilidade assume um papel essencialMúltiplas formas de acesso, múltiplos estímulos sensoriais

Multimodal -> Intermodal

Desafios tecnológicos e novos modelos narrativos

Telecomunicações

Mudança de paradigma: evolução das comunicações/evolução do computador pessoalFlexibilidade na gestão e configuração das redes (móveis)Redefinição da função do terminal (Java?)Redes ad-hoc, estabelecidas de acordo com necessidades temporáriasPartilha de recursos incluindo processamento e comunicação

Comunicação viral, peer to peer (modelo Napster)

Inteligência nos Objectos

Redes de comunicação e processamento distribuídas pelos objectosRede de sensores (RF tags, IR, ...)Modelos de computação massivamente distribuídos

Computadores como tinta

Interfaces tangíveis: o mundo como interface

Interfaces Tangíveis

Tangible Media, MIT Media Lab

Tangible InterfacesKunst University,

Linz, Austria

Wearable Computer

Cada pessoa veste o seu computador (e comunicador) pessoalRede pessoal comunica com sensores, objectos, computadores (exemplo, Jini)Realidade aumentada, fornece informação adicional sobre o mundo que nos rodeia

Wearable Computer (Hoje)

Wearable Computer

Realidade Aumentada

Composição, em tempo real, de imagens sintéticas com imagens reais Acesso a informação adicionalPermite que o utilizador tenha uma melhor percepção sobre o mundo real

Tracking com Marcas Fiduciais

(exemplo: AR (exemplo: AR ToolkitToolkit))

Tracking com Sensores Inerciais e Magnéticos

Composer3D Model Server

Sensores

N

EW

S

Hipermédia no Mundo Real

Hipermédia e Realidade Mista

Mecanismos hipermédia para realidade mistaEm desenvolvimento DI/FCT/UNL, colaboração de FBA/ULO mundo através do Internet Explorer?

Como se guardam os sítios visitados num sistema deste tipo?Como se fazem bookmarks?...

Protótipo de Museu (Edward Hopper)

Cenário

Espaço físicoUtilizador caminha pelo espaçoVídeo real e detecção de locais/objectosInformação aumentada sobre vídeoHistória da experiênciaNarrativas contextuais

Aplicações

Assistente de informação num museu/galeriaJogo (mistério/aventura/exploração)Objectos físicos são quadros em diferentespartes de uma salaModelos 3D destes quadros permitem a navegação em busca de novas experiências e informaçãoAmbiente de teste: PC Portátil com rede wireless, câmara, óculos see through, usa AR Toolkit

Cenário

Quadros de Edward HopperNighthawksDrugstore

Localização do utilizador e dos quadrosHistória de mistério: quem roubou o diário?

Cenário

Virtual Nighthawks

Componentes do Sistema

Sistema LocalDispositivo portátilCaptura de vídeoReconhecimento óptico de marcas (AR Toolkit)Game engine

Serviços RemotosServidor 3D da cena (ANTS)Grafo Hipermédia

Arquitectura

Interface Realidade Mista (1)

Interface Realidade Mista (2)

Estrutura da Interface Mundo 3D

Novas Formas Narrativas

Novas Formas Narrativas

Modelo narrativo tradicional é passivoTelevisão interactiva, filmes interactivos, potenciam novas formas narrativas e de interacção

Existem limitações tecnológias a ultrapassar

Múltiplas histórias e múltiplos canais de interacçãoO espectador passa também a ser autorNarrativas no espaço

Hipervídeo

Hipermédia em que o tipo de informaçãodominante é vídeo

Natureza dinâmica e processo narrativo do vídeoAspectos estéticos e retóricos da integraçãocom outros mediaModelação do tempo (hiperligações)

Sistemas relevantes:AHM (Amsterdam Hypermedia Model)Kontiki MuseumHyperCafe

Redefinir as Hiperligações (AHM)

Exemplo

Aspectos estéticos e retóricos

Integração nas dimensões estéticas e retóricas [Liestøl, ECHT94]Evitar descontinuidades ao passar de um meio a outro

Exemplo: Forma passiva/experiencial de ver vídeo para a leitura activa/reflexiva de um livro

Resulta num conjunto de regras: Dimensão topográfica para o vídeoAtribuição de propriedades temporais ao textoNarração para efeito de continuidade

HyperCafe

Café virtual, que integra um conjunto de situações/cenasnas quais é possível navegar[Sawhney96] ACM Hypertext

Conceitos (HyperCafe)

Cena: Menor unidade do hipervídeo, sequência de imagens.Sequência narrativa: Um caminho (path) dinâmico através do conjunto de cenas.Ligações

Temporais: Referência baseada no tempo entre diferentes cenas (um instante na cena de origem provoca apresentação do destino).Espacio-temporais: Zona espacial na cena de origem provoca apresentação de outra cena, a partir de um determinado instante.

Conceitos Cont.(HyperCafe)

Oportunidades de ligaçãoTemporais: Pequenas sequências de vídeo referentes a cenas destino, numa cena de origem, que são apresentadas durante um determinado período, em pontos específicos no tempo.Espaciais: Uma zona espacial dinâmica na fonte de vídeo que pode provocar a apresentação de diferentes nós de destino.

HyperCafe

Temporal Hypertext Intruding on a Scene

Temporal Opportunity as a Video-based Preview

Spatio-Temporal Opportunitiesin a Scene

MediaLoom

Cinema InteractivoVoodoo Dolls, Michael Lew, MLE

Cinema Interactivo

Cinema Interactivo

Margi Szperling,Uncompressed

Metacinema

Narrativas baseadas na localização do utilizador

Caça ao tesouro

Dispositivos e redes móveisParticipação dos utilizadores

Fotografias, filmes, anotações

Personalização e contextualizaçãoExemplos: M-Views (MIT Media Lab), InStory (DI/FCT/UNL e IST/INESC)

M-Views

InStory

Projecto financiado pela FCT/MCES centrado na Quinta da Regaleira(DI/FCT/UNL, IST, Univ. de Évora)Histórias personalizadas

Localização do utilizadorInteressesHistórias para grupos de utilizadores

Dispositivos móveis para acesso (PDA iPaq) Arquitectura cliente-servidor, redes ad-hocVários cenários: personagens virtuais, jogos, caça ao tesouro, percursos Colaboração MIT Media Lab

Quinta da Regaleira,Sintra, Portugal

Poço Templário

InStory

InStory

Arquitectura

Arquitectura cliente-servidor sobre uma rede wireless 802.11

Actualização da posição

Tabela de conteúdos

Pedido de documento

Documento

Actualizaçãoda posição

Sistema deposicionamento

Selecção deconteúdos

Cliente Servidor

- req (in, out, pos)- user (username)- lat (latitude)- lon (longitude)

Example: server_url/index.php?req="in"&user="LuisAlves"&lat="20"&lon="40"

sever_url/index.php?req="pos"&user="LuisAlves"&lat="35"&lon="40"

sever_url/index.php?req="pos"&user="LuisAlves"&lat="60"&lon="45"

sever_url/index.php?req="out"&user="LuisAlves"&lat="25"&lon="45"

<content><image x="0" y="0" url="saladosreis.jpg" /><link x="0" y="0" width="640" height="480"

url="plantapisoterreo.xml"/></content>

Requests

Interfacedefinition

Comunicação cliente-servidor

Cliente InStory v2.0

Aplicação com características de browser de documentos hypermediaInterface definida pelas páginas apresentadasCapacidade de determinar a sua posição geográfica recorrendo a dois sistemas distintosVisualização da posição actual através de uma interface de mapaPosicionamento explícito através da interface de mapa, caso os sistemas automáticos falhemUpload de imagens anotadas para o servidor

Cliente InStory v2.0 -Arquitectura

Arquitectura de módulosMódulo de posicionamento utiliza um parser de frases NMEA 0183 escrito por Monte VariakojisBiblioteca de parsing XML utiliza a biblioteca TinyXML da autoria de Lee Thomason

ControlModule

PresentationModule

FileModule

XML ContentLibrary

PositioningModule

Server LocalFiles

HTTPTCP/IP

Userinput

UploadLibrary

Graphicaloutput

Audiooutput

Projecto InStory - NarrativasEm desenvolvimento para a Quinta da Regaleira, Sintra, em parceria com a Fundação CulturSintra

Projecto InStory - Narrativas

Narrativa actual:Temática alusiva à caça, utilizando elementos presentes no espaço da QuintaNarrativa gira em torno de quatro personagens principais, representando quatro pontos de vista sobre o temaAs personagens propõem actividades relacionadas com a narrativa; e durante as quais o desempenho do jogador decide o desenrolar da história

InStory Project - Narrativas

# 1 Palace

# 2 Chapel(Goes to Garden?) YES

NO

# 3 Garden(Goes to Chapel?)

YESNO

# 4 Gate

# 0 Reception

# 5 Banquet

Cliente InStory - Interface

Interface definida pelas páginas apresentadasAs páginas são descritas por documentos XML, àsemelhança das páginas webElementos possíveis:

Imagens, textoÁudio (futuramente vídeo e/ou animações)Links, acções genéricas (adjudicadas pelo cliente)Balões de ajuda (tooltips)Barra de ferramentas (retráctil)Lista de valores (página de upload)Mapa

Cliente InStory – Modos

Divisão das páginas em cinco tipos distintos, consoante o seu propósito:

Opções da aplicaçãoEstatísticas do jogadorDesenrolar do jogo/narrativaMapa do espaço físicoInformação disponível acerca da área

O modo do cliente ajuda a organizar a informação para o utilizador, reflecte o tipo de página apresentada e determina o comportamento do cliente na selecção e apresentação de novas páginas.O modos pode ser seleccionado explicitamente por intermédio de vinhetas presentes na maioria das páginas

Cliente – Modos – Opções

O modo de opções providencia um menu de opções, comum em aplicações de diversos tipos. As páginas são maioritariamente locais ao cliente para possibilitar a sua configuração sem necessidade de protocolo com o servidor.

Página de opções do cliente

Cliente – Modos – Jogador

O modo de jogadorapresenta informação acerca das estatísticas do utilizador no sistema tais como o seu nickname, o grupo a que pertence, o tempo decorrido no sistema, os seus objectivos actuais e objectos virtuais em sua posse. Este modo permite ainda o acesso à interface de upload de contribuições.

Página de estatísticas do jogador

Cliente – Modos – Jogo

O modo de jogo destina-se exclusivamente àapresentação de conteúdo relativo à narrativa ou jogo – que só fará sentido para uma dada posição geográfica e um dado estado do sistema. No geral pode ser uma interacção com uma personagem virtual, um quiz ou atéinformação intimamente relacionada com a narrativa.

Uma personagem virtual desafia o jogador com um quiz

Cliente – Modos – MapaO modo de mapaapresenta páginas que possuem um mapa do espaço físico. As páginas deste tipo destinam-se a auxiliar o utilizador na compreensão da sua localização geográficaCaso o posicionamento automático não esteja disponível o utilizador pode indicar a sua posição no mapa

Página de mapa, mostrando uma tooltipe a posição actual do utilizador

O modo de informaçãopermite o acesso e navegação em páginas hypermediapertencentes a uma colecção de informação geo-referenciada, não necessariamente ligada ànarrativa.Faceta típica de hypermediabrowser.

Cliente – Informação

Página de informação acerca de um local

Cliente InStory – Contribuição

Captura e upload de imagens com anotação de voz e subjacentes a um temaOs dados são geo-referenciados e armazenados no servidor permitindo:

Cumprimento de objectivos nas actividades propostasAfixação virtual de mensagens para utilizadores ou gruposCriação de memórias digitais que podem ser reproduzidas mais tarde para diversos fins

Cliente InStory – Posicionamento

Dois sistemas de posicionamento distintosGlobal Positioning System (GPS)

• Baseia-se numa malha formada por 24 satélites à volta do globo

• Informação da posição geográfica, direcção e velocidade, relógio global, percurso...

• Comunicação com o dispositivo receptor através do protocolo NMEA 0183

Ekahau Positioning Engine™• Triangulação de dispositivos em redes 802.11• Comunicação com o motor através do protocolo YAX,

baseado em sockets TCP• Necessita de calibração do motor de posicionamento

Posicionamento explícito por parte do utilizador

Authoring: Arquitectura

Authoring: InML

Authoring: SLang

Authoring: InAuthor

Authoring: InContent

PhotoNav

Novas Interfaces

Referências

http://img.di.fct.unl.pt/InStoryhttp://tangible.media.mit.edu/http://alumni.media.mit.edu/~lew/research/voodoo/http://www.nobudget.org/http://www.mixedrealitylab.org/

Ambientes Aumentados e Novas Formas Narrativas

Technology

Transcript of Ambientes Aumentados e Novas Formas Narrativas