Subtitulo H2

LOS IMPULSOS NEURONALES COMO

UNA ALTERNATIVA PARA CONTROLAR LOS HILOS

NARRATIVOS DE LOS CONTENIDOS

AUDIOVISUALES INTERACTIVOS

Cesar González Franco

Neu

ro

FILM

cesar.gonzalez.franco@gmail.com

Proyecto de grado IISantiago de Cali, Colombia.

18 Mayo 2010

Tutora:Sofía Suarez

PAPER

Este paper habla de cómo las emociones pueden controlar los hilos narrativos de los contenidos audiovisuales interactivos, para poder entender esto primero que todo debemos definir que los impulsos neuronales de los que estamos hablando, estos son las emociones humanas. Estas emocione serían las que controlarían los hilos narrativos, o dicho en otros términos los caminos que el usuario puede recorrer en un contenido interactivo, siendo este audiovisual.

La motivación del proyecto es como una reflexión artística, cristalizada en forma de obra de arte, sobre las posibilidades que ofrecen las emociones humanas como forma de control de contenidos a través de las tecnologías que actualmente hay disponibles en el mercado para captar emociones humanas.

Para lograr esto se hizo una investigación sobre la historia y el estado el arte de obras las cuales tuvieran relación con la tecnología, nuevos medios y diferentes dispositivos periféricos; con esto nos dimos cuenta que cada una de estas obras planteaban una reflexión sobre el uso de la tecnología, de cómo se puede interactuar con estas y de cómo estas pueden ser usadas con diferentes propósitos; el propósito de cada obra analizada es en sí mismo único.

Los resultados obtenidos de esta investigación es una obra de arte la cual plantea una alternativa en la cual se usan las emociones para crear una “Neuro Film” a partir de escenas clasificadas por las cuatro emociones ira, tristeza, miedo y alegría haciendo posible los objetivo de la investigación con resultados satisfactorios.

- EGG - Electroencefalografía - Neurofilm - Diseño de medios interactivos - Arte - Hipertexto - Nuevos medios - Hilos narrativos - Hipermedia - Link - Emotiv EPOC Neuroheadset - Narración - Emociones humanas - Computación afectiva - Interacción hombre computado

se puede crear un contenido audiovisual hipermedia en el cual las emociones del espectador influyan en el desarrollo de sus hilos narrativos.

Toda acción lleva a una reacción, y en narración audiovisual hay unos agentes que son aquellos encargados de que esta se desenvuelva, estos pueden ser situaciones de fuerza mayor como un desastre natural o los actores que a través de sus acciones (causas) producen diferentes reacciones (Efectos) en los diferentes personajes y objetos a su alrededor. Con la llegada de las nuevas tecnologías, en este caso las EEG como un medio para captar emociones, se desarrollará una construcción de las narraciones a partir de las emociones

¿Para qué? Las emociones son el resultado de observar una historia narrativa por eso mismo nos interesa que las emociones no permanezcan fuera de la imagen y que estas hagan parte de la historia ya que estas podrían cambiar el curso de la narrativa y el contenido de la imagen.

1

Abstract - Introducción Keywords

Introducción

Siento, l uego veo y l uego e l contenido es generado.

Entonces no es punto de interacción el cual el usuario debe decidir que sucede después para que una historia avance, la imagen no se construye externamente desde un guión sino a través del as emociones del usuario y esta narrativa es una narrativa que construye a la imagen como un sistema inteligente en el cual capta la i nformación, esta influye e n la narrativa audiovisual y se desarrolla conforme a la información captada. La imagen como un ser vivo.

Los r esultados obtenidos d e esta investigación e s una obra de a rte l a cual plantea una alternativa en la cual se usan las emociones para crear una “Neuro Film” a partir de escenas c lasificadas por l as cuatro emociones i ra, tristeza, m iedo y a legría haciendo posible los objetivo de l a investigación con resultados satisfactorios.

Crear un contenido audiovisual interactivo en el cual la toma de decisiones esté mediada por las emociones.

- Reconocer cuales son los posibles elementos que hay en un contenido audiovisual.

- Reconocer que tipos de interacción se pueden crear con el uso de un EEG.

- Reconocer que tipos de estructuras narrativas hipermedia son posibles para un contenido audiovisual interactivo.

- Proponer modelos narrativo hipermedia que sea acorde a un contenido audiovisual interactivo

- Creación del modelo propuesto

os medios de comunicación entre el humano y los computadores han hecho posible que e l humano interactué de diferentes maneras con el computador, hemos v isto pues que l a invención del m ouse como dispositivo para controlar información en el PC es uno de los más usados, así como lo es el teclado.

Ahora en la actualidad hay una gran cantidad de d ispositivos que ayudan a i ntroducir información a l os P C por d iferentes m edios, como los micrófonos, pantallas táctiles entre otras.

La llegada d e los nuevos d ispositivos de interacción trae consigo una gran variedad de aplicaciones e n donde e l contenido audiovisual no es la excepción. Ya se ha visto la e fectividad d e al¬gunos tipos de interacciones aplicados a este campo, ahora se i nvestigará como las BCI pueden usarse con e l fin de lograr una forma de interacción con a lgunos d e los elementos del m aterial audiovisual.

2

Keywords

Justificación

Objetivos

Generales

Específicos

Esto es relevante porque no solo los medios interactivos “son un ambiente dinámico que están afectando a todo el mundo, desde aquellos directamente relacionados a aquellos que tienen que manejarlos y usarlos” (England & Finney, 2002) sino que también al ser un avance tecnológico, afectaran, i ndudablemente, l a representación convencional d e cómo se i nteractúa con un contenido audiovisual.

El uso de la EEG para interactuar con contenido audiovisual nace como una evolución debido a las nuevas tecnologías. En el estado actual, la interacción con contenido audiovisual está muy cercana a l a tecnología, pero encontramos que esta es una a lternativa que apenas s e está explorando.

Finalmente, esta investigación aportará una a lternativa de i nteracción entre e l usuario, sus impulsos neuronales y un contenido audiovisual a través de sus hilos narrativos.

Kiel LongMind Pool Interactive installation 2010

Otra obra que t ambién u tiliza EEG es “MindPool” de K iel Long p resentada e n 2010. Esta obra capta las ondas neurales para crear sonidos y esculturas de agua dependiendo de la intensidad d e estas, hay que t ener m uy c laro que ondas neurales n o significa que s e estén captando emociones, simplemente ondas.

EMO-Synth at expo SPOTLIGHTS | emotion driven music generator

“EMO-Synth” c reado por Valery Vermeulen en 2010, es una obra que capta las emociones de los usuarios a través d e un d ispositivo EEG. Esta obra es u n software el cual r eproduce información v isual para generar emociones en el espectador y esa estas para que sonido que se genera lo sea a partir de las emociones del usuario.

Estado del arte

3

4

‘Staalhemel’ at a rts centre S TUK in Leuven, Belgium.

Un ejemplo de lo que digo anteriormente es la obra “Staalhemel” que significa Steel Sky. Esta obra fue creada por STUK en 2009. Consiste en un espacio donde hay d ispuestas e n el t echo una matriz de cuadros de metal, cada cuadro de metal es d e alrededor d e 1 metro d e largo y encima d e ellos hay una r epetidora (máquina que l e pega a l a placa de metal para generar sonido) además d e una goma que apaga e l sonido hecho por la placa de metal y la máquina repetidora.

Future Cinema | Z KM ( Center f or A rt and Media, Karlsruhe) |Por otro lado podemos ver como Lev Manovich intenta darle este carácter narrativo a las bases de datos con su obra “softcinema” en 2002. Esta obra consiste en p royecciones generadas por computador e n un espacio donde e l usuario puede sentarse y ver l o que sucede e n la pantalla. En este proyecto se m ezclaban conceptos como las bases de datos y niveles de información.

co-authors: Mattia Casalegno and Enzo Varriale ( LanVideoSource ) produced by iMAL for the Media Facade Festival Europe 2010 w ith t he support of E uropean Commission Culture Programme, French S peaking C ommunity o f Belgium (digital art commission)

HIPERTEXTO

Un hipertexto son textos compuestos por bloques de palabras o imágenes unidos a través de links electrónicos por múltiples vías. George P. Landow en su libro “Hypertext 3.0” comenta que Theodor H. Nelson en 1960 se refiere a una forma electrónica de texto “hipertexto” Explica que Nelson dice que este texto no es secuencial, que tiene subdivisiones y que le da la posibilidad al lector de escoger su camino.

Landow no hace ninguna distinción entre hipertexto e hipermedia, esto debido a que el hipertexto es un medio de información que conecta información verbal y no verbal mientras y a su vez una hipermedia simplemente extiende la noción de hipertexto incluyendo información visual, sonidos, animaciones y otras formas de datos. Landow nos dice que el hipertexto actúa en forma de red y que esto se puede ver en los textos escritos de los libros de ciencia en los cuales se referencian a otros textos con las notas al pié en forma de conexión entre el texto y el texto indicado en el pie de página; luego el lector puede decidir si lee el pie de página, si decide explorarlo, leer el contenido, posteriormente cerrarlo y retornar a la lectura en la cual se encontraba anteriormente. “This kind of reading constitutes the basic experience and starting point of hypertext.” (Landow, 2006, pág. 3)

-� La hipermedia es un texto expandido el cual abre posibilidades de las estructuras narrativas y abren posibilidades de decisión en los caminos que puede escoger el usuario.

LOS NUEVOS MEDIOS

¿Qué son los nuevos medios? Lev Manovich en su libro “The Language of New Media” responde a la pregunta que son los nuevos medios.

“We witness the rise of modern media technologies which allow the storage of images, image sequences, sounds and text using different material forms: a photographic plate, a film stock, a gramophone record, etc… The synthesis of these two histories? The translation of all existingmedia into numerical data accessible for computers. The result is new media: graphics, moving images, sounds, shapes, spaces and text which become computable, i.e. simply another set of computer data.” (Manovich, 2001, pág. 44)

Podríamos decir que es una revolución mediática que afecta a todas las fases de la comunicación y a todos los medios; para poder entenderlos Lev Manovich propone 5 principios básicos:

- Representación numérica - Modularidad - Automatización - Variabilidad - Transcodificación

5

Referentes teóricos

- Las bases de datos es la plataforma fundamental en los nuevos medios y pueden guardar todo tipo de información que se use en los medios digitales.

- Las bases de datos no proponen una estructura narrativa, solo es la forma en que es acomodada la información en los nuevos medios.

- los algoritmos son aquellas unidades de código con la cual se pueden manipular los datos para generar un comportamiento deseado por el desarrollador de este.

- Los algoritmos pueden crear estructuras narrativas con los elementos de las bases de datos.

EMOCIONES HUMANAS

Según D avid Myers la e moción e s una experiencia psicofisiológica del estado mental de u n individuo que i nteractúa con l a bioquímica interna del cerebro y las influencias del entorno externo.

En l os humanos, l as e mociones fundamentalmente están ligadas a l a excitación psicológica, comportamientos expresivos, y l a experiencia consciente. (Myers, 2004, pág. 500)

Las emociones son un aspecto importante en la interacción entre humanos, es fundamental para la experiencia y para tomar decisiones.

NARRATIVA AUDIOVISUAL

“La narrativa e s un r ecurso f undamental mediante el cual l os seres humanos damos sentido al m undo” ( Bordwell & Thompson, 1995, pág. 59)

Las narrativas son eventos en una relación de causa y efecto, esto sucede mientras hay un tiempo y un espacio. Se puede ver como una historia con m odelo de causa y e fecto para que pueda haber una conclusión o un final se deben surgir situaciones que lleven a este desarrollo.

Dentro d e esta definición de narración que Bordwell p lantea deben haber 3 e lementos, causalidad, tiempo y espacio; pero los indispensables son tiempo y causalidad ya que e n una narrativa s e deben percibir los hechos como una secuencia, s ino esto se verían como hechos fortuitos y no ayudarían a la linealidad r equerida por l a narración; l o importante es determinar l as r elaciones causales o temporales entre los hechos. Toda narrativa tiene una posición i nicial, un punto de partida del cual parten todos los eventos de la misma, se trata de mostrar en qué espacio se desarrolla y en qué tiempo.

6

También hay otros elementos que por no ser fundamentales n o quieren decir que no puedan o deban ser utilizados, uno de ellos es el paralelismo y pone a l espectador e n la posición d e pensar d iferentes cosas sobre personajes, s ituaciones que pueden t ener relación.

- Es importante plantear un escenario donde los personajes reaccionen a diversas situaciones para poder crear una historia.

- Los personajes dependiendo de la situación pueden decidir qué hacer según las emociones que el usuario esté sintiendo.

- La narración debe plantear diferentes caminos a las emociones que siente el usuario que está supeditada a las acciones de los personajes.

- El audiovisual interactivo debe estar desarrollado bajo una base de datos que guarde una referencia a una emoción (dato) para que puedan ser reutilizadas por el algoritmo que controla la narración usando como base las emociones sentidas por el usuario.

- Poder crear emociones en el usuario para poder generar diferentes direcciones narrativas en la cual se desenvuelva la historia.

- El espacio donde debe ser mostrado debe estar aislado de otros factores que sean diferentes al audiovisual para que no haya contaminación emocional ni distracciones.

7

Determinantes

La descripción de esta alternativa se va ubicar en la posición del usuario y de cómo este debe interactuar con ella.

Primero el usuario se pone el dispositivo que capta las ondas neurales (EMOTIV EPOC Neuro-headset) en la cabeza y este estará captando constantemente las ondas neurales del usuario, el usuario podrá saber que esto es así debido a que la aplicación cuenta con una casilla en la cual se muestran las emociones que está sintiendo, estas emociones son: la Ira, el miedo, la tristeza y la alegría. Así pues el usuario al conectarse al dispositivo va a tener una retroalimentación gráfica en forma de barras horizontales que le indicará que emoción que tiene preponderancia y también si el dispositivo está captando las señales de su cerebro.

Luego de superado este paso el usuario podrá ver una biblioteca de contenidos que contiene videos y sonidos en forma de thumbnails con la cual no puede interactuar, solo podrá reconocer el contenido y como este es usado.

Ahora bien, el usuario tiene en la aplicación una casilla de video y otra casilla con el botón de play y a su lado un campo en el cual se le indica que debe introducir un nombre a su video (el cual es obligatorio), cuando ha puesto el nombre del video el botón de play puede ser activado y así comenzar la película “Neuro-Film”.

Al presionar este botón el usuario verá como los contenidos que están en la biblioteca de medios es seleccionado para ser usado en el “Neuro Film”; estos contenidos están en unas bases de datos las cuales disgregan el contenido de la siguiente manera: Estas base

contendrá escenas de películas, estos contenidos estarán clasificados según la emoción que producen, sean estas las dichas anteriormente: Ira, miedo, tristeza y alegría.

Con estos elementos se construirá un “Neuro Film” según la emoción preponderante en ese momento, así pues las escenas de los filmes clasificados bajo esta emoción serán usados aleatoriamente para crear el “Neuro Film”, en el momento que haya otra emoción la cual tome relevancia por encima de las otras (la cual es captada por el EMOTIV EPOC Neuro-headset) el algoritmo encargado de crear el “Neuro Film” sabrá que debe usar contenidos que estén clasificados según la emoción sentida por el usuario en ese preciso momento. Este “Neuro Film” tiene una duración de 3 escenas y el usuario tiene la posibilidad de construir el “Neuro Film” enteramente de una sola emoción o desde el punto en que desee hacerlo, así pues debe sentir la emoción y en el momento en que la emoción deseada por el usuario esté por encima de las otras puede seleccionar en el medidor emocional un candado que recuerde la emoción y así no tener que preocuparse por sentir otras emociones, luego de esto puede volver a comenzar el video y este se creará según esa emoción sentida hasta cuando él lo desee o hasta el final del “Neuro Film”.

Luego de que el video llega a su fin, el usuario recibirá un link con la URL donde puede encontrar el video (en este caso en una página de youtube) y el link se enviará al mail (opcionalmente).

8

Resultados

Descripción aternativa de diseño

Los f actores d e innovación que podemos encontrar en este proyecto se pueden ver en diferentes á mbitos, uno d e ellos es l a construcción d e los hilos narrativos d e un “Neuro Film” por medio de las emociones del usuario.

Podemos darle el poder al usuario de controlar a través de sus emociones los hilos narrativos del l os filmes basándonos e n conceptos de Lev M novich, G eorge P . Landow y l a electroencefalografía.

El uso de la electroencefalografía está siendo explorados por diferentes artistas actualmente por d iferentes colectivos, escuelas d e arte y artistas i ndividuales entre l os cuales se encuentra STUK, Keil Long entre otros.

Este p royecto presenta una g ran innovación gracias a que se captarán las emociones de un usuario y s e usarán para reorganizar un contenido preestablecido según esta emoción captada dando paso así a l as i nteracciones emocionales para la construcción d e un “Neuro Film”. En otras palabras computación afectiva.

Se hace una aclaración en la cual van a haber pantallazos iniciales donde se le indica cómo usar al usuario la aplicación:

1. El usuario entra al inicio de la aplicación donde se le instruye del funcionamiento de la aplicación.

2. Al finalizar esta instrucción el usuario se conecta al dispositivo EMOTIV EPOC y se cerciora de que esté correctamente puesto.

3. Luego en la aplicación encontrará una plantilla con los siguientes campos:

a. Medidor de emociones.b. Biblioteca de medios

(archivos utilizados para la creación del video).

c. Área de visualización del video.

d. Área de comandos para el inicio de la aplicación.

4. El usuario confirmará visualmente si el dispositivo EMOTIV EPOC N euro-headset está funcionando correctamente gracias a los indicadores g ráficos ( barras horizontales) tienen actividad y están i ndicando que emociones está sintiendo en ese momento.

5. Luego de que el usuario está listo puede ver la biblioteca de medios con la información que está contenida en las bases de datos y la cual va a ser usada.

6. Luego de esto el usuario deberá introducir un nombre para el v ideo para que pueda activar e l botón d e play d e la aplicación y visualizar el video.

7. Luego d e que h a presionado e l botón de play d e la aplicación s e verá como el contenido e n la b iblioteca d e medios es seleccionado y utilizado para construir el video en tiempo real. El video durará exactamente 1 minuto y estará construido con los contenidos en las bases de datos. donde se había parado.

9

Secuencia de uso (www.neurofilm.net para ver los gráficos)

Factores de innovación

8. E n cualquier momento el usuario puede parar el video y decidir sobre que emoción debe construir el video en adelante o si desea que solo sea sobre una emoción en particular, para lograr esto el usuario debe:

a. Parar el video en cualquier momento o sentir una emoción desde antes de comenzar el video. b. Luego de sentida la emoción y mientras retiene ese estado emocional debe

presionar un candado que se encuentra en el medidor emocional para dejar la emoción fija.

c. Comenzar o darle play al video para que comience desde el comienzo o desde el lugar donde se había parado.

9. Luego de que el video finaliza será enviado a una página en youtube donde estarán todos los videos realizados por los usuarios, además se le dará a este un URL con la ruta para encontrar su video y así mismo una opción para compartir su video en redes sociales.

10

Interfaz

11

Espacio y visualizaciones

Lo que se ha hecho con esta obra es buscar una alternativa en la cual se le dé al usuario la posibilidad d e controlar contenidos audiovisuales i nteractivos a través d e las emociones humanas ( propias) para que se pueda recorrer los hilos narrativos hipermedia que le puede ofrecer este tipo de contenidos.

Podemos concluir que e l desarrollo d e esta obra está basado en la investigación realizada entre el periodo de julio de 2011 hasta mayo de 2012. De acuerdo con esta investigación, el mejor dispositivo para captar e mociones humanas e s el Emotiv EPOC N euroheadset con s u SDK d e desarrollador debido a sus posibilidades d e configuración. E n cuanto al componente audiovisual, se eligió escenas de películas c lasificadas por e mociones para respetar e l proceso y l a investigación realizada en el estado del arte.

El resultado es una obra de arte en la cual se hace una r eflexión sobre el uso d e las emociones como una herramienta de control para los contenidos audiovisuales interactivos y que estas no sean simplemente un producto de estas.

Bordwell, D., & Thompson, K. (1995). El arte cinematográfico. Paidós.

McKee, R. (2006). El guión: Sustancia, Escritura, Estilo Y Principios De La Escritura De Guiones. Alba.

Parrott, W. (2001). Emotions in Social Psychology. Philadelphia: Psychology Press.

Rodríguez, M. (2006, 05 1). Arte de la cibercultura. Retrieved 05 08, 2011, from Audiovisual Interactivo - Entre la narrativa, la no linealidad y la interactividad: http://recursostic.javeriana.edu.co/multiblogs2/jaimealejandrorodrguezruiz/2009/05/01/audiovisual-interactivo-entre-la-narrativa-la-no-linealidad-y-la-interactividad/

Rutledge, L. (n.d.). What is ciberliterature? Retrieved 08 13, 2011, from http://homepage.mac.com/lyndars/roadtrip/popup-2.html

Landow, G. P. (2006). Hypertext 3.0: critical theory and new media in an era of globalization. Baltimore, Maryland 21218-4363: The Johns Hopkins University Press.

Manovich, L. (2001). The language of the new media. Cambridge: The MIT Press 3.

Manovich, L., Angelidakis, A., Danziger, J., & Lorenz, R. .. (2002-2003). Soft Cinema. © Lev Manovich and ZKM.Weibel, P., & Shaw, J. (Eds.). (2003). FUTURE CINEMA: The cinematic imaginary after film. London, England: the MIT press.

12

Conclusiones

Referencias