Detección de los estados emocionales generados por ...

Detección de los estados emocionales generados por

la música a partir de la actividad cerebral

Alcaraz Seguí, Vanessa

Curs 2014-2015

Director: Rafael Ramírez Meléndez

GRAU EN ENGINYERIA INFORMÀTICA

Treball de Fi de Grau

GRAU EN ENGINYERIA EN

xxxxxxxxxxxx

Detección de los estados emocionales generados por la

música a partir de la actividad cerebral

Vanessa Alcaraz Seguí

TREBALL FI DE GRAU

Grau en Enginyeria en Informàtica

ESCOLA SUPERIOR POLITÈCNICA UPF

2015

DIRECTOR DEL TREBALL

Rafael Ramírez Meléndez

iii

Agradecimientos Quería agradecer a todas las personas que me han ayudado y animado a realizar este

proyecto, a las personas que han participado en el experimento proporcionando

información importante para el proyecto, así como a mi tutor por sus consejos y ayuda.

v

Resumen

Este documento explica todos los pasos seguidos para detectar cuatro estados

emocionales (felicidad, tristeza, enfado y relajación) en personas al escuchar música

utilizando señales cerebrales y aplicando aprendizaje automático.

Primeramente obtenemos las señales cerebrales de las personas mediante un dispositivo

de electroencefalografía (Emotiv Epoc); luego extraemos atributos de las señales

cerebrales para poder representar los diferentes estados emocionales según su nivel de

excitación y valencia.

Finalmente, se aplican diferentes técnicas de aprendizaje automático en los atributos

extraídos para clasificarlos en los diferentes estados emocionales, creando así un

modelo computacional capaz de detectar automáticamente los estados emocionales en

personas, dada su actividad cerebral.

Resum

Aquest document explica tots els passos a seguir per a detectar quatre estats emocionals

(felicitat, tristesa, enuig i relaxació) en persones al escoltar música utilitzant senyals

cerebrals i aplicant aprenentatge automàtic.

Primerament obtenim les senyals cerebrals de les persones mitjançant un dispositiu de

electroencefalografia (Emotiv Epoc); després extraiem atributs de les senyals cerebrals

per poder representar els diferents estats emocionals segons el seu nivell de excitació i

valència.

Finalment, s’apliquen diferents tècniques de aprenentatge automàtic en els atributs

extrets per classificar-los en els diferents estats emocionals, creant així un model

computacional capaç de detectar automàticament els estats emocionals en persones,

donada la seva activitat cerebral.

vii

Índice Pág.

Resumen......................................................................... v

Lista de figuras.............................................................. viii

Lista de tablas...................................................................... x

1. INTRODUCCIÓN..................................................... 1

1.1. Motivación………………...................................... 1

1.2 Objetivos…………………...................................... 1

1.3 Estructura del proyecto…………............................ 2

2. ANTECEDENTES………………............................. 5

2.1. Actividad cerebral...................................................

2.2. Electroencefalografía y Electroencefalograma…

2.3. Emociones y EEG………………………………...

2.4. Aprendizaje automático…………………………..

a) Support Vector Machines (SVM)…………………..

b) Artificial Neural Network (ANN)………………….

c) Decision Tree (DT)…………………………………

d) K-Nearest Neighbors (KNN)……………………….

3. MATERIALES Y MÉTODOS……………………..

3.1. Materiales…………………………………………

a) Dispositivo Emotiv Epoc…………………………...

b) Programa OpenVibe………………………………..

c) Programa Weka……………………………………..

d) Canciones…………………………………………...

3.2. Métodos…………………………………………...

a) Diseño del experimento……………………………

b) Participantes………………………………………...

c) Adquisición de los datos…………………………....

d) Análisis de los datos………………………………..

e) Generación de clasificadores……………………….

4. RESULTADOS……………………………………..

4.1. Resultados de los clasificadores…………………..

4.2. Resultados de la selección de atributos…………

4.3. Resultados de la correlación……………………...

4.4. Verificación de la fiabilidad de los datos…………

5. CONCLUSIONES………………………………….

5.1. Trabajo futuro…………………………………….

5

6

7

8

9

9

10

10

13

13

13

14

15

16

16

16

17

18

19

24

27

27

29

37

39

43

43

Bibliografía.................................................................... 45

viii

Lista de figuras Figura 1: Representación de los cuatro lóbulos del cerebro. ............................................ 3

Figura 2: Posición de los diferentes electrodos de un dispositivo EEG. .......................... 6

Figura 3: Representación de los estados emocionales en el espacio excitación/valencia. 8

Figura 4: Ejemplo de representación de los datos en SVM. ............................................. 9

Figura 5: Ejemplo de la red neural de ANN. .................................................................... 9

Figura 6: Ejemplo de la representación en forma de árbol de DT. ................................. 10

Figura 7: Ejemplo de la representación de datos en KNN. ............................................ 11

Figura 8: Dispositivo Emotiv Epoc. ............................................................................... 13

Figura 9: Posición de los electrodos del dispositivo Emotiv Epoc................................. 13

Figura 10: Interfaz del programa “Test Bench” de Emotiv Epoc................................... 14

Figura 11: Interfaz del programa “Acquisition server” de OpenVibe. ........................... 15

Figura 12: Interfaz del programa Weka. ......................................................................... 15

Figura 13: Secuencia y duración de las canciones. ........................................................ 17

Figura 14: Escenario que adquiere los datos del EEG y los guarda en un archivo .gdf. 18

Figura 15: Escenario que analiza y extrae características de las señales cerebrales. ..... 19

Figura 16: Parte del escenario de la Figura 15 donde se calcula el nivel de excitación

seleccionando los canales AF3 y AF4. ........................................................................... 20


seleccionando los canales F3 y F4. ................................................................................. 21


seleccionando los canales AF3, AF4, F3 y F4. .............................................................. 22

Figura 19: Parte del escenario de la Figura 15 donde se calcula el nivel de valencia

seleccionando los canales F3 y F4. ................................................................................. 22


seleccionando los canales AF3 y AF4. ........................................................................... 23

Figura 21: Parte del escenario de la Figura 15 donde se juntan todos las características y

se guardan en un archivo .csv. ........................................................................................ 24

Figura 22: Resultado de acierto de cada algoritmo de clasificación para cada persona

con Time Based Epoching 1-0,1..................................................................................... 27





Figura 25: Ranking de los atributos con más información para la clasificación y

visualización de los datos analizados de la señal EEG en el espacio excitación/valencia

del Sujeto 1 ..................................................................................................................... 29



del Sujeto 2. .................................................................................................................... 29



del Sujeto 3. .................................................................................................................... 30



del Sujeto 4. .................................................................................................................... 30

ix



del Sujeto 5. .................................................................................................................... 31

Figura 30: Gráfico del promedio de los datos de la Figura 25. ...................................... 31





Figura 35: Gráfico del promedio de los datos de las Figuras 25, 26, 27, 28 y 29. ......... 34

Figura 36: Gráfico de la evolución del clasificador Decision Trees al incrementar el

número de atributos. ....................................................................................................... 35

Figura 37: Gráfico de la evolución del clasificador Support Vector Machines al

incrementar el número de atributos. ............................................................................... 35

Figura 38: Gráfico de la evolución del clasificador K-Nearest Neighbor al incrementar

el número de atributos. ................................................................................................... 36

Figura 39: Gráfico de la evolución del clasificador Artificial Neural Network al

incrementar el número de atributos. ............................................................................... 36

Figura 40: Gráfico de la correlación de todos los tipos de excitación con lo que ha

sentido cada persona. ...................................................................................................... 37

Figura 41: Gráfico de la correlación de todos los tipos de valencia con lo que ha sentido

cada persona. .................................................................................................................. 38

x

Lista de taulas Tabla 1: Características del dispositivo Emotiv Epoc. ................................................... 14

Tabla 2: Características de los participantes del experimento. ....................................... 17

Tabla 3: Valores P-Value del Sujeto 1. .......................................................................... 39





1

1. INTRODUCCIÓN

En los últimos años se han hecho muchas investigaciones sobre la detección de

emociones en la interacción persona-máquina. Algunas de estas investigaciones se

centraban en detectar las emociones mediante la información de los gestos faciales y de

la voz. Con esta técnica de detección se lograba clasificar las emociones de una manera

muy precisa, pero esta técnica suponía un problema para las personas con parálisis del

cuerpo o con trastorno del nuerodesarrollo (autismo). Éstas personas al no poder

moverse o al no poder controlar sus gestos faciales no se podía detectar de manera

precisa las emociones con esta técnica [1].

Recientemente ha surgido una nueva técnica que soluciona el problema anterior. Esta

nueva técnica se centra en la información de las señales cerebrales de las personas. Las

señales cerebrales se pueden obtener mediante un dispositivo de electroencefalografía y

según la frecuencia de las señales cerebrales se pueden detectar las emociones humanas

[2].

1.1 Motivación

La motivación de este proyecto es estudiar el comportamiento del cerebro humano al

recibir estímulos auditivos y poder hacer un buen uso de los resultados obtenidos. Así

como adentrarme en el sector de la investigación.

1.2 Objetivos

El objetivo principal es poder detectar y clasificar de manera precisa cuatro estados

emocionales (felicidad, enfado, relajación y tristeza).

Para llegar a mi objetivo principal, se han marcado otros objetivos intermedios.

Hacer un estudio acerca del tema del proyecto.

Investigar sobre el funcionamiento del Emotiv Epoc.

Investigar sobre los programas que se utilizaran durante el proyecto, como el

OpenVibe i el Weka.

Recopilación de música para el experimento.

Realizar el experimento a personas.

2

Analizar los datos obtenidos del EEG.

Aplicar aprendizaje automático en los datos analizados.

Analizar los resultados obtenidos y sacar conclusiones.

Determinar qué indicadores de excitación y valencia tienen más información

para determinar una emoción.

1.3 Estructura del proyecto

Este proyecto está estructurado de la siguiente manera. En el punto 2 se habla sobre los

antecedentes para entender lo que se hace en este proyecto. En el punto 3 se describen

los materiales y métodos utilizados. En el punto 4 se comenta los resultados obtenidos

de los experimentos y en el punto 5 las conclusiones de este proyecto así como trabajo

futuro.

5

2. ANTECEDENTES

2.1 Actividad cerebral

El cerebro es el órgano más característico del ser humano y contiene varios billones de

células de las cuales unos 100.000 millones son neuronas que se interconectan entre

ellas para que el cerebro funcione. Las neuronas forman una red que envía información

mediante impulsos nerviosos que se producen con la diferencia de potencial entre la

parte interna y externa de la neurona [3].

Figura 1: Representación de los cuatro lóbulos del cerebro.

El cerebro está dividido en dos hemisferios (derecho e izquierdo) donde cada uno de

divide en cuatro lóbulos:

Lóbulo frontal: se encarga de razonar, solucionar problemas y expresar las

emociones.

Lóbulo parietal: se encarga de las percepciones sensoriales externas.

Lóbulo occipital: se encarga de la producción de imágenes.

Lóbulo temporal: se encarga de la coordinación, el equilibrio y la audición.

El hemisferio derecho del cerebro se encarga de la percepción de los sonidos como la

música, de la localización espacial de los objetos y de la percepción táctil. Y el

hemisferio izquierdo del cerebro se encarga de comprender los sonidos del lenguaje, los

gestos de la mano derecha y los movimientos.

6

Para analizar e influir sobre el cerebro se necesita un conjunto de herramientas llamado

neurotecnologia. Existen varios instrumentos que analizan e influyen de maneras

diferentes sobre el cerebro:

FMRI (imágenes por resonancia magnética funcional): se usa para medir la

respuesta de los flujos sanguíneos durante la actividad cerebral.

PET (Tomografía de emisión de positrones): se usa para observar el flujo

sanguíneo en una parte del cerebro mediante la inyección de glucosa radioactiva.

EEG (Electroencefalograma): es el instrumento que se usa en este proyecto y se

usa para medir la actividad eléctrica cerebral mediante el uso de electrodos

colocados en la superficie de la cabeza.

2.2 Electroencefalografía y Electroencefalograma

La electroencefalografía es el estudio y la evaluación de la actividad eléctrica generada

por el cerebro. Ésta actividad eléctrica se obtiene mediante el uso de los electrodos del

electroencefalograma (EEG) colocados en la superficie de la cabeza [4].

Figura 2: Posición de los diferentes electrodos de un dispositivo EEG.

Para saber en qué estado se encuentra el cerebro, se analizan las frecuencias de la señal

cerebral. El rango de frecuencias del EGG es de 1 Hz a 80 Hz, con amplitudes de 10 a

100 microvoltios. Las frecuencias de la señal se dividen en cinco bandas de frecuencia

diferentes:

Delta (0,5 Hz a 4 Hz): se producen cuando el cerebro está en estado de sueño

profundo.

7

Theta (4 Hz a 8 Hz): se producen cuando el cerebro está en transición de un

estado de vigilia a un estado de sueño.

Alpha (8 Hz a 12 Hz): se producen cuando el cerebro está en estado de

relajación o meditación.

Beta (12 Hz a 30 Hz): se producen cuando el cerebro está en estado de atención

o excitación.

Gamma (30 Hz a 50 Hz o superiores): se produce cuando el cerebro está en

estado de vigilia.

2.3 Emociones y EEG Las ondas alpha y beta de la señal del EEG son las más utilizadas de maneras diferentes

para detectar los estados emocionales del cerebro. En este proyecto se utiliza el método

que propuso Choppin [5]. El método se basa en el nivel de valencia y de excitación

emocional. Choppin caracteriza:

Un nivel de valencia positivo al detectar una alta coherencia frontal de alpha y

una alta potencia de beta en el lóbulo parietal derecho.

Un nivel alto de excitación al detectar una alta potencia de beta, una alta

coherencia en el lóbulo parietal y una baja potencia de alpha.

Para determinar el nivel de excitación de una señal obtenida del EEG se dividen las

ondas beta entre las ondas alpha de la señal. También un indicador de nivel de

excitación sería el valor de las ondas beta ya que estas ondas se producen cuando el

cerebro está en estado de excitación. Una alta potencia de beta se asocia a un alto nivel

de excitación.

Para determinar el nivel de valencia de una señal obtenida del EEG se calcula la

diferencia de potencial entre los dos hemisferios del cerebro. La inactividad del lóbulo

frontal del hemisferio derecho se asocia a un nivel de valencia positivo; por el contrario,

la inactividad del lóbulo frontal del hemisferio izquierdo se asocia a un nivel de

valencia negativo.

Para determinar una emoción se le asigna a cada emoción un nivel de excitación y de

valencia como se muestra en la Figura 3.

8

Figura 3: Representación de los estados emocionales en el espacio excitación/valencia.

2.4 Aprendizaje automático El aprendizaje automático en ciencias de la computación es una rama de la inteligencia

artificial que construye modelos computacionales que mejoran automáticamente con la

experiencia, es decir, que aprenden [6].

Algunas de las aplicaciones de aprendizaje automático son:

Minería de datos: análisis de datos inteligentes.

Aplicaciones difíciles de programar: reconocimiento de voz y cara.

Aplicaciones auto-adaptables: recomendadores, filtros de spam.

Hay dos tipos de aprendizaje automático:

Supervisado: consiste en hacer predicciones mediante el uso de las

características de los datos conocidos.

No supervisado: consiste en encontrar una forma de organizar los datos no

conocidos.

En aprendizaje automático también se puede hacer una selección de atributos para saber

qué atributos tienen más información para poder clasificar bien.

En este proyecto se usa el aprendizaje automático supervisado, concretamente, la

clasificación, y para la selección de atributos se utiliza un algoritmo de ganancia de

información haciendo un ranking (de mayor a menor información).

Existen muchos algoritmos de clasificación, pero en este caso se utilizan cuatro de ellos.

9

a) Support Vector Machines (SVM)

Este algoritmo representa los datos como puntos en el espacio, por lo tanto, los datos

que pertenecen a diferentes clases se intentan separar lo máximo posible.

Para predecir a qué clase pertenece un nuevo dato se mira en qué parte del espacio está

representado y se le asigna la clase correspondiente a ese espacio.

Figura 4: Ejemplo de representación de los datos en SVM.

Una ventaja de este algoritmo es que es fácil de entrenar, y es capaz de manejar muchos

atributos. Y una desventaja es que no es capaz de identificar los atributos más

importantes.

b) Artificial Neural Network (ANN)

Este algoritmo consiste en hacer una red neuronal que produce estímulos, simulando así

la actividad cerebral. Cada neurona de la red neuronal tiene varias entradas procedentes

de otras neuronas, y una salida.

Figura 5: Ejemplo de la red neural de ANN.

Este algoritmo aprende de la experiencia y extrae de una serie de datos las principales

características.

10

Algunas de las ventajas de este algoritmo son:

Flexibilidad ante cambios, como por ejemplo, señales con ruido o cambios en la

entrada.

Auto-organización de los datos.

Tolerancia a los fallos, ya que guarda los datos de forma redundante.

c) Decision Tree (DT)

Este algoritmo consiste en analizar y representar los datos de manera gráfica en forma

de árbol. Donde los nodos del árbol son los atributos y las hojas son las diferentes

clases.

Figura 6: Ejemplo de la representación en forma de árbol de DT.

El árbol empieza con un nodo “raíz”, donde este nodo es el atributo más determinante

que ha encontrado el algoritmo para clasificar. Luego se calcula un valor que será el

umbral para decidir qué camino se seguirá del árbol.

Una ventaja de este algoritmo es que es fácil de computar, pero tiene problemas al

decidir cuál es el árbol de decisión más óptimo.

d) K-Nearest Neighbors (KNN)

Este algoritmo representa los datos como vectores en un espacio multidimensional.

Primeramente se representan los datos de entrenamiento junto con sus clases

pertenecientes. Cuando llega un nuevo dato se representa en el espacio y se le asigna la

clase del vector más cercano.

11

Figura 7: Ejemplo de la representación de datos en KNN.

Una ventaja de este algoritmo es que no tiene coste de aprendizaje y sirve para datos

incrementales. Y una desventaja es que los resultados no son interpretables.

13

3. MATERIALES Y MÉTODOS

3.1 Materiales a) Dispositivo Emotiv Epoc

Para leer las señales cerebrales, en este proyecto se usa un dispositivo de EEG llamado

Emotiv Epoc.

Figura 8: Dispositivo Emotiv Epoc.

Este dispositivo consta de 16 canales, donde 14 son canales de datos y 2 son canales de

referencia colocados en una posición óptima para obtener resultados más precisos [7].

Figura 9: Posición de los electrodos del dispositivo Emotiv Epoc.

14

Número de canales 14 (más CMS/DRL de referencia,

localizaciones P3/P4)

Nombre de los canales AF3, F7, F3, FC5, T7, P7, O1, O2,

P8, T8, FC6, F4, F8, AF4

Método de muestreo Muestreo secuencial. Single ADC

Tasa de muestreo 128 SPS (2048 Hz internal)

Resolución 14 bits 1 LSB = 0.51μV

Ancho de banda 0.2 - 45Hz

Conectividad Inalámbrico, 2.4GHz

Duración batería 12 horas

Tabla 1: Características del dispositivo Emotiv Epoc.

Una vez colocado correctamente el dispositivo en la cabeza se hace una prueba con el

programa “Test Bench” del Emotiv para comprobar que todos los canales están

funcionando correctamente.

Figura 10: Interfaz del programa “Test Bench” de Emotiv Epoc.

b) Programa OpenVibe

OpenVibe es una plataforma open-source que permite diseñar y usar interfaces cerebro-

máquina en entornos reales o virtuales. Con esta plataforma se puede adquirir y

procesar datos del cerebro en tiempo real [8].

OpenVibe tiene aplicaciones en diferentes campos:

Medicina diagnóstico en tiempo real, neurofeedback, ayuda a personas con

discapacidad,…

15

Multimedia videojuegos, realidad virtual,...

Robótica.

Otros campos relacionados con interfaces cerebro-máquina y neurociencia en

tiempo real.

En este proyecto se utiliza la aplicación “OpenVibe designer” para diseñar escenarios

que obtienen y analizan los datos cerebrales.

Para que los datos cerebrales se reciban en el “OpenVibe designer”, primero se conecta

a un dispositivo EEG mediante la aplicación “OpenVibe Acquisition Server”.

Figura 11: Interfaz del programa “Acquisition server” de OpenVibe.

c) Programa Weka

Weka es una aplicación que nos da acceso a varias técnicas de aprendizaje automático

[9].

Figura 12: Interfaz del programa Weka.

16

Al abrir un archivo en el “Weka Explorer” antes de aplicar a los datos del archivo

alguna técnica de aprendizaje automático, en la pestaña “Preprocess” podemos ver los

datos del archivo y aplicarle algún filtro.

Una vez pre-procesados los datos, en la pestaña “Classify” se puede elegir el algoritmo

de clasificación que queramos y cambiar los parámetros de entrada de los algoritmos.

Antes de ejecutar el algoritmo escogido hay que elegir una de las siguientes 4 opciones

de test:

Use training set: el algoritmo entrena y clasifica con todos los datos.

Supplied test set: el algoritmo entrena con un conjunto de datos y clasifica con

otro nuevo conjunto.

Cross-validation: el algoritmo separa los datos en n partes (folds), entrena con n-

1 partes y testea con la otra parte, luego cambia las partes y lo repite para cada

una.

Percentage split: el algoritmo construye el clasificador con el porcentaje

definido, y el resto lo deja para testear.

En este proyecto se usa la opción cross-validation con 10 folds.

d) Canciones

Para el experimento se han utilizado pequeños trozos de las siguientes canciones:

Alegre con voz: I’m Gonna Be (500 Miles) - The Proclaimers

Alegre sin voz: Luna de Fiesta - José Luis Encinas

Molesta con voz: Born On the Cusp - Hot Cross

Molesta sin voz: Too Raise Hell - Dione

Relajada con voz: Only Time - Enya

Relajada sin voz: A Way of Life - Hans Zimmer

Triste con voz: My Immortal - Evanescence

Triste sin voz: Aparente Normalidad - César Benito

3.2 Métodos

a) Diseño del experimento

Se buscaron trozos de canciones que al escucharlos te hicieran estar en uno de los cuatro

estados emocionales deseados.

17

Para cada emoción se usaron dos tipos de canciones, una instrumental y otra con voz.

Todos los trozos de canciones, se adjuntaron y se organizaron en un solo audio de la

siguiente manera:

Figura 13: Secuencia y duración de las canciones.

Entre cada dos canciones pertenecientes a la misma emoción hay 10 segundos de

silencio para que el cerebro vuelva a un estado emocional neutral.

Finalmente la duración total del audio es de 4 minutos y 33 segundos.

b) Participantes

El experimento se hizo a 5 personas sanas (3 mujeres y 2 hombres) con promedio de

edad 36.

Edad Sexo

Sujeto 1 20 Mujer

Sujeto 2 25 Hombre

Sujeto 3 23 Mujer

Sujeto 4 57 Mujer

Sujeto 5 56 Hombre

Tabla 2: Características de los participantes del experimento.

18

c) Adquisición de los datos

Una vez creado el audio se ha diseñado el siguiente escenario con el programa

OpenVibe.

Figura 14: Escenario que adquiere los datos del EEG y los guarda en un archivo .gdf.

Este escenario permite reproducir el audio del experimento a la vez que se va recibiendo

la señal del EEG.

Una vez terminada la ejecución de este escenario se guarda en un archivo .gdf la señal

recibida junto con las estimulaciones hechas durante la ejecución.

Descripción del escenario:

Cuando se ejecuta este escenario la caja “Acquisition client” va recibiendo la señal del

EEG y la caja “Signal display” nos permite visualizar esta señal.

Para que se reproduzca el audio se tiene que producir un estímulo. En este caso la caja

“Keyboard stimulator” está configurada de manera que cuando se dé a la tecla “a” del

teclado del ordenador se produzca un estímulo que irá a la caja “Sound Player” y hará

reproducir el audio.

Finalmente, la caja “GDF file writer” guardará un archivo .gdf con la señal y los

estímulos que se han producido durante la ejecución.

19

d) Análisis de los datos

Una vez guardado el archivo .gdf el siguiente paso es analizar la señal extrayendo

diversas características de excitación y valencia. Para hacerlo se ha diseñado el

siguiente escenario con el programa OpenVibe.

Figura 15: Escenario que analiza y extrae características de las señales cerebrales.

Este escenario analiza la señal guardada en el archivo .gdf extrayendo 25 características

para poder detectar las emociones, como son el nivel de excitación y de valencia.

Estas características se guardan junto con el tiempo de la ejecución en un archivo .csv.

Descripción del escenario:

Para los cuatro canales del electroencefalógrafo situados en la parte frontal del cerebro

(AF3, AF4, F3 y F4), que son los que proporcionan más información sobre las

emociones, extraemos de la señal recibida por esos canales las ondas alpha, beta, delta,

theta y gamma. Las ondas que más interesan son alpha y beta, ya que se necesitan para

calcular el nivel de excitación.

Por otro lado, también se calcula la diferencia de potencial entre un canal y otro (AF3 vs

AF4, y F3 vs F4) para obtener el nivel de valencia.

Como se puede observar en la figura 15 el escenario es muy grande, y para explicarlo

mejor se irá describiendo cómo funciona por partes.

20

Para calcular el nivel de excitación de los canales AF3 y AF4:


seleccionando los canales AF3 y AF4.

Primeramente con las caja “Channel Selector (AF3;AF4)” seleccionamos la

señal de los canales que queremos analizar. Luego se aplican 5 filtros a la señal

para obtener las diferentes ondas mencionadas anteriormente. Esto se consigue

mediante la caja “Temporal filter” donde se indica el rango de frecuencias que

queremos de la señal.

Como ya se ha explicado anteriormente, cada onda tiene su rango de

frecuencias.

Una vez filtrada la señal se le aplica a cada tipo de onda un procesador digital de

señales con la caja “Simple DSP” que nos permite manipular la señal

matemáticamente. En este caso lo que se hace es amplificar la señal de la onda

con la fórmula , para obtener así la señal con valores positivos.

Ahora tenemos la señal con valores positivos pero también con los valores

amplificados; entonces ahora con otra caja “Simple DSP” se atenúa la señal

con la fórmula , para obtener así la señal atenuada y con valores

positivos.

21

Una vez hecho todo esto tenemos las 5 ondas de la señal de los canales

seleccionados. Ahora queda calcular el nivel de excitación con las ondas alpha y

beta.

En este proyecto se calcula el nivel de excitación de dos maneras:

o En la caja “Arousal(1/Alpha)” se calcula el nivel de excitación como

1/alpha.

o En la caja “Arousal(Beta/Alpha)” se calcula el nivel de excitación

dividiendo el valor de beta entre el valor de alpha.

Para calcular el nivel de excitación de los canales F3 y F4:


seleccionando los canales F3 y F4.

En este caso se siguen los mismos pasos que se han seguido para calcular el

nivel de excitación de los canales AF3-AF4, con la única diferencia que en la

caja “Channel Selector” se seleccionan los canales F3 y F4.

22

Para calcular el nivel de excitación de los canales AF3, AF4, F3 y F4:


seleccionando los canales AF3, AF4, F3 y F4.


nivel de excitación de los canales AF3-AF4 y para los canales F3-F4, con la

única diferencia que en la caja “Channel Selector” se seleccionan los cuatro

canales a la vez.

Para calcular el nivel de valencia de los canales F3-F4:


seleccionando los canales F3 y F4.

23

En este proyecto se calcula el nivel de valencia de dos maneras:

o Con la caja “Reference Channel (F3)” se elige el canal que queremos

como referencia, y con la caja “Channel Selector (F4) se elige el canal

que queremos para hacer la diferencia de potencial con el canal de

referencia.

Luego con la caja “Simple DSP” se modifica matemáticamente la señal

amplificándola con para tener valores positivos de la señal, y luego

se atenúa con .

o Con la caja “Reference Channel (F3)” se elige el canal que queremos

como referencia, y con la caja “Channel Selector (F4) se elige el canal

que queremos para hacer la diferencia de potencial con el canal de

referencia.

En este caso no se modifica la señal, por lo tanto al hacer la diferencia de

potencial nos quedarán número negativos.

Para calcular el nivel de valencia de los canales AF3-AF4:


seleccionando los canales AF3 y AF4.


nivel de valencia de los canales F3-F4, con la única diferencia que en las cajas

“Reference Channel” y “Channel Selector” se seleccionan los canales AF3 y

AF4 respectivamente.

24

Para calcular los niveles de valencia, de excitación y las diferentes ondas, se ha

utilizado una ventana de tiempo con la caja “Time based epoching”, donde se indica el

tamaño de la ventana de tiempo y el intervalo de tiempo al que se mueve la ventana. En

general se ha usado un tamaño de ventana de 1 segundo y un intervalo de tiempo de 0,1

segundos.

Figura 21: Parte del escenario de la Figura 15 donde se juntan todos las características y se

guardan en un archivo .csv.

Finalmente todas las características extraídas de la señal pasan por la caja “Signal

Merger” donde se juntan todas para luego con la caja “CSV File Writer” guardarlas en

un solo archivo .csv

e) Generación de clasificadores

Una vez tenemos los archivos .csv de cada persona, hay hacer una serie de

modificaciones en el archivo para que el programa Weka pueda leerlo. Además, antes

de empezar la clasificación se quita de los archivos .csv los 10 segundos de silencio que

hay entre cada emoción ya que no nos sirven para la clasificación.

Cuando se hayan aplicado los cambios anteriores en los archivos .csv ya los podemos

abrir con el programa Weka.

Lo primero que hacemos, una vez abierto, es eliminar el atributo “Time” ya que es

irrelevante para hacer la clasificación.

Ahora ya podemos aplicar los diferentes algoritmos de clasificación en todos los

archivos .csv y para los diferentes valores de “Time based epoching” en la pestaña

“Classify”.

Para el algoritmo “Decision Tree” usamos el clasificador que encontramos

dentro de la carpeta “trees”, J48.

25

Para el algoritmo “Support Vector Machines” y “Artificial Neural Network”

usamos los clasificadores que encontramos dentro de la carpeta “functions”,

SMO y Multilayer Perceptron respectivamente.

Para el algoritmo “K-Nearest Neighbors” usamos el clasificador que

encontramos dentro de la carpeta “lazy”, IBk.

Una vez ejecutados todos los algoritmos y haber guardado los resultados de cada uno,

hacemos una selección de los atributos que tienen más información a la hora de

clasificar, mediante la pestaña “Feature Selection” y el algoritmo

“InfoGainAttributeEval”.

Esta selección de atributos se utiliza para saber qué valores de nivel de excitación y

valencia tienen más información para la clasificación. También se utiliza para saber

cuántos atributos son necesarios para obtener un buen resultado en la clasificación.

Para hacer la selección de atributos se ha utilizado solo los archivos .csv

correspondientes al valor “Time based epoching” 1-0,1 (1 segundo de ventana y 0,1

segundos de movimiento) ya que al observar los resultados de los clasificadores (véase

el apartado 4.1) es el que da unos resultados más razonables y buenos. Esto es debido a

que con este “Time based epoching” se analizan los datos en una ventana de 1 segundo,

y ésta ventana se mueve 0,1 segundos, haciendo que el 90% de los datos de la ventana

anterior se vuelvan a analizar, obteniendo así más información de la señal.

27

4. RESULTADOS 4.1 Resultados de los clasificadores

Figura 22: Resultado de acierto de cada algoritmo de clasificación para cada persona con Time Based

Epoching 1-0,1

Para un Time Based Epoching de 1-0,1 el algoritmo KNN da los mejores resultados

para todas las personas y el algoritmo SVM da los peores resultados para todas las

personas, aunque los resultados en casi todos los algoritmos y en todas las personas son

mayores al 50% como se puede observar en la Figura 22.


Epoching 1-0,5

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 4 Sujeto 5 Promedio

Time Based Epoching 1-0,1

Desition Trees

Support Vector Machines

K-Nearest Neighbors

Artificial Neural Network

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%Time Based Epoching 1-0,5

Desition Trees


K-Nearest Neighbors


28

Para un Time Based Epoching de 1-0,5 los resultados no son tan buenos como el caso

anterior, pero el algoritmo KNN sigue siendo el que da mejores resultados, como se

puede ver en la Figura 23, debido a la pérdida de información al mover la ventana 0,5

segundos.


Epoching 2-0,1

Para un Time Based Epoching de 2-0,1 los resultados son mejores que en los casos

anteriores, el algoritmo KNN sigue siendo el que mejor resultados da, y el algoritmo

SVM es el que peor resultados da, aunque en este caso todos los algoritmos en todas las

personas son mayores a 50%, como se puede observar en la Figura 24.

Al tener valores superiores al 50% significa que los datos obtenidos del EGG contienen

suficiente información para poder clasificarlos correctamente en los cuatro estados

emocionales deseados.

0,00%

10,00%

20,00%

30,00%

40,00%

50,00%

60,00%

70,00%

80,00%

90,00%

100,00%

Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 4 Sujeto 5 Promedio

Time Based Epoching 2-0,1

Desition Trees


K-Nearest Neighbors


29

4.2 Resultados de la selección de atributos

Figura 25: Ranking de los atributos con más información para la clasificación y visualización de los datos

analizados de la señal EEG en el espacio excitación/valencia del Sujeto 1

Como se puede observar en la Figura 25 para el Sujeto 1 el mejor valor de excitación es

“BetaF3F4” y el mejor valor de valencia es “Valence2AF3AF4”. Para la representación

de los datos se han usado estos dos valores.


analizados de la señal EEG en el espacio excitación/valencia del Sujeto 2.


“Arousal1AF3AF4” y el mejor valor de valencia es “Valence1F3F4”. Para la

representación de los datos se han usado estos dos valores.

30




“BetaF3F4” y el mejor valor de valencia es “Valence1AF3AF4”. Para la representación

de los datos se han usado estos dos valores.




“Arousal1F3F4” y el mejor valor de valencia es “Valence2AF3AF4”. Para la


31




“Arousal1F3F4” y el mejor valor de valencia es “Valence1F3F4”. Para la


Figura 30: Gráfico del promedio de los datos de la Figura 25.

-0,2

0

0,2

0,4

0,6

0,8

1

1,2

-0,2 0 0,2 0,4 0,6 0,8 1 1,2

Aro

usa

l

Valence

Sujeto 1

happy

annoying

relax

sad

32



-0,2

0

0,2

0,4

0,6

0,8

1

1,2

-0,2 0 0,2 0,4 0,6 0,8 1 1,2

Aro

usa

l

Valence

Sujeto 2

happy

annoying

relax

sad

-0,2

0

0,2

0,4

0,6

0,8

1

1,2

-0,2 0 0,2 0,4 0,6 0,8 1 1,2

Aro

usa

l

Valence

Sujeto 3

happy

annoying

relax

sad

33



-0,2

0

0,2

0,4

0,6

0,8

1

1,2

-0,2 0 0,2 0,4 0,6 0,8 1 1,2

Aro

usa

l

Valence

Sujeto 4

happy

annoying

relax

sad

-0,2

0

0,2

0,4

0,6

0,8

1

1,2

-0,2 0 0,2 0,4 0,6 0,8 1 1,2

Aro

usa

l

Valence

Sujeto 5

happy

annoying

relax

sad

34

Figura 35: Gráfico del promedio de los datos de las Figuras 25, 26, 27, 28 y 29.

Los resultados de las figuras 25, 26, 27, 28 y 29 no representan las emociones en la

misma posición que en la representación original de la figura 3. Esto puede ser debido

por varias razones:

La agregación de ruido a la señal cerebral produciendo la alteración de

información.

La falta de atención por parte de las personas.

La subjetiva de la música a cada persona, por lo tanto, puede que las canciones

escogidas a cada persona le hiciera sentir de una manera diferente a la emoción

deseada.

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0 0,1 0,2 0,3 0,4 0,5 0,6 0,7

Aro

usa

l

Valence

Promedio

happy

annoying

relax

sad

35

Figura 36: Gráfico de la evolución del clasificador Decision Trees al incrementar el número de atributos.

Como se puede observar en la Figura 36, con 9-10 atributos ya podemos clasificar

correctamente, ya que con más atributos el valor se vuelve constante.

Figura 37: Gráfico de la evolución del clasificador Support Vector Machines al incrementar el número de

atributos.



05

101520253035404550556065707580859095

100

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

CC

I (%

)

Número de atributos

DT

Sujeto 1

Sujeto 2

Sujeto 3

Sujeto 4

Sujeto 5

Promedio

05

101520253035404550556065707580859095

100

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

CC

I (%

)


SVM

Sujeto 1

Sujeto 2

Sujeto 3

Sujeto 4

Sujeto 5

Promedio

36

Figura 38: Gráfico de la evolución del clasificador K-Nearest Neighbor al incrementar el número de

atributos.



Figura 39: Gráfico de la evolución del clasificador Artificial Neural Network al incrementar el número de

atributos.

A diferencia de los casos anteriores, en la Figura 39 se necesitan todos los atributos para

clasificar correctamente, ya que siempre va incrementando.

05

101520253035404550556065707580859095

100

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

CC

I (%

)


KNN

Sujeto 1

Sujeto 2

Sujeto 3

Sujeto 4

Sujeto 5

Promedio

05

101520253035404550556065707580859095

100

0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

CC

I (%

)


ANN

Sujeto 1

Sujeto 2

Sujeto 3

Sujeto 4

Sujeto 5

Promedio

37

4.3 Resultados de la correlación En el apartado anterior se ha usado un algoritmo de selección de atributos para saber

qué valores de excitación y valencia tenían más información para clasificar. En este

apartado se ha escogido los valores de excitación y valencia más significativos para

cada persona calculando la correlación entre los datos del EEG y lo que han sentido las

personas con cada canción.

Para calcular la correlación se ha utilizado la correlación de Pearson, con los datos

obtenidos del EEG y los resultados de una encuesta que han contestado las personas

después de realizar el experimento, donde indican con un valor de 1 (bajo) al 5 (alto) el

nivel de excitación y valencia que sintieron al escuchar las diferentes canciones.

El valor de la correlación va de -1 a 1, cuanto más se acerque a 1 más correlación hay

entre los datos y lo que la persona sintió, y cuanto más se acerque a -1 menos

correlación hay entre los datos y lo que la persona sintió.

Figura 40: Gráfico de la correlación de todos los tipos de excitación con lo que ha sentido cada persona.

Como se puede observar en la Figura 40, cada persona obtiene un único tipo de

excitación más significativo con lo que sintió.

Sujeto 1: Arousal1AF3AF4.

-1

-0,8

-0,6

-0,4

-0,2

0

0,2

0,4

0,6

0,8

1

Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 4 Sujeto 5

Arousal

Arousal1F3F4

Arousal2F3F4

Arousal1AF3AF4

Arousal2AF3AF4

Arousal1AF3AF4F3F4

Arousal2AF3AF4F3F4

BetaF3F4

BetaAF3AF4

BetaAF3AF4F3F4

38

Sujeto 2: Arousal1AF3AF4.

Sujeto 3: Arousal1F3F4.



También se puede observar que en este caso el Sujeto 4 es el que más correlación tiene

con los datos obtenidos del EGG y lo que sintió.

Figura 41: Gráfico de la correlación de todos los tipos de valencia con lo que ha sentido cada persona.

Como se puede observar en la Figura 41, cada persona obtiene un único tipo de valencia

más significativo con lo que sintió.

Sujeto 1: Valence1AF3AF4.

Sujeto 2: Valence2F3F4.

Sujeto 3: Valence1AF3AF4.



También se puede observar que en este caso el Sujeto 5 es el que más correlación tiene

con los datos obtenidos del EGG y lo que sintió.

-1

-0,8

-0,6

-0,4

-0,2

0

0,2

0,4

0,6

0,8

1

Sujeto 1 Sujeto 2 Sujeto 3 Sujeto 4 Sujeto 5

Valence

Valence1F3F4

Valence2F3F4

Valence1AF3AF4

Valence2AF3AF4

39

4.4 Verificación de la fiabilidad de los datos Para saber si los datos obtenidos del EEG son fiables, es decir, que no son productos del

azar, se ha realizado varios test (P-Value) con los datos correspondientes a diferentes

emociones.

Los diferentes test se han calculado utilizando un umbral de 0,05. Si el P-Value

obtenido es menor que el umbral significa que los datos obtenidos no son producto del

azar; y si el P-Value es mayor que el umbral significa que los datos obtenidos son

productos del azar.

Además se ha calculado con los datos correspondientes a los niveles de excitación y

valencia más significativos para cada persona (vistos en el apartado anterior).

P-Value Sujeto 1 Arousal1AF3AF4 Valence1AF3AF4

happy-annoying < 0,00001 0,09591

happy-relax < 0,00001 < 0,00001

happy-sad < 0,00001 < 0,00001

annoying-relax < 0,00001 < 0,00001

annoying-sad 0,002472 < 0,00001

relax-sad < 0,00001 < 0,00001

Tabla 3: Valores P-Value del Sujeto 1.

P-Value Sujeto 2 Arousal1AF3AF4 Valence2F3F4

happy-annoying 0,000184 < 0,00001

happy-relax < 0,00001 < 0,00001

happy-sad 0,002053 < 0,00001

annoying-relax < 0,00001 0,003296

annoying-sad 0,182243 < 0,00001

relax-sad < 0,00001 < 0,00001 Tabla 4: Valores P-Value del Sujeto 2.

40

P-Value Sujeto 3 Arousal1F3F4 Valence1AF3AF4

happy-annoying 0,01481 0,00032

happy-relax < 0,00001 < 0,00001

happy-sad 0,013528 < 0,00001

annoying-relax < 0,00001 0,03989

annoying-sad 0,462187 < 0,00001


P-Value Sujeto 4 Arousal1F3F4 Valence2F3F4

happy-annoying < 0,00001 0,00005

happy-relax 0,000908 0,000084

happy-sad < 0,00001 0,009311

annoying-relax < 0,00001 < 0,00001

annoying-sad < 0,00001 < 0,00001

relax-sad < 0,00001 0,168691 Tabla 6: Valores P-Value del Sujeto 4.

P-Value Sujeto 5 Arousal2F3F4 Valence1F3F4

happy-annoying 0,011489 < 0,00001

happy-relax < 0,00001 < 0,00001

happy-sad 0,002048 < 0,00001

annoying-relax 0,117118 < 0,00001

annoying-sad 0,214863 < 0,00001


Como se puede observar en las Tablas 3, 4 5, 6 y 7 la mayoría de los valores son menor

a 0.05, por lo tanto los datos obtenidos son fiables para poder clasificar y detectar las

emociones.

43

5. CONCLUSIONES El objetivo de este proyecto era detectar y clasificar de manera precisa cuatro estados

emocionales (felicidad, tristeza, enfado y relajación). Para hacerlo se obtuvieron señales

cerebrales de 5 personas mediante un dispositivo de electroencefalografía (Emotiv

Epoc). Una vez obtuvimos los datos cerebrales, los analizamos y extrajimos diferentes

características de excitación y valencia con el programa OpenVibe para luego poder

clasificar los datos en los diferentes estados emocionales con cuatro algoritmos de

clasificación del programa Weka.

Los resultados de los clasificadores han sido muy buenos, ya que la mayoría de los

porcentajes de aciertos están entre 70% y el 99%, y esto significa que los datos

obtenidos del EEG contenían suficiente información para poder separarlos en los cuatro

estados emocionales.

También se ha demostrado que los datos obtenidos del EGG son fiables para poder

clasificar mediante el cálculo de la probabilidad de que los datos sean producto del azar.

5.1 Trabajo futuro

Actualmente hay en funcionamiento algunos recomendadores de música que te

recomiendan música según los votos u opiniones de la gente. Pero estos sistemas no

tienen en cuenta tu estado emocional y no te pueden dar una recomendación más

personal.

Entonces como trabajo futuro, con los resultados de este proyecto, se puede seguir

investigando la manera de implementar un recomendador de música más personal que

te recomendara música dependiendo de tu estado emocional.

45

Bibliografía

1. Picard, R., & Klein, J. (2002). Computers that recognize and respond to user

emotion: theoretical and practical implications. Interacting with Computers,

14(Spitz 1945), 141–169

2. Ramirez, R., & Vamvakousis, Z. (2012). Detecting emotion from EEG signals

using the Emotive Epoc device. Lecture Notes in Computer Science, 175–184.

http://doi.org/10.1007/978-3-642-35139-6_17

3. Diamond, M.C., Scheibel, A.B., & Elson, L.M. El cerebro humano. Ariel.

4. Kandel, E.R., Schwartz, J.H., & Jessell, T.M. (2000). Principles of Neural Science.

Mc Graw Hill

5. Choppin, A. (2000). Eeg-based human interface for disabled individuals: Emotion

expression with neural networks. Masters thesis, Tokyo Institute of Technology,

Yokohama, Japan

6. Witten, I.H., Frank, E., & Hall, M.A. (2011). Data Mining. Practical Machine

Learning Tools and Tecniques (3th ed.). Elsevier

7. Emotiv Systems. (2011). Emotiv EPOC. Retrieved from

http://emotiv.wikia.com/wiki/Emotiv_EPOC

8. Renard, Y., Lotte, F., Gibert, G., Congedo, M., Maby, E., Delannoy, V., Bertrand,

O., Lécuyer, A. (2010). OpenViBE: An Open-Source Software Platform to Design,

Test, and Use Brain–Computer Interfaces in Real and Virtual Environments.

Presence: Teleoperators and Virtual Environments, 19(1), 35–53.

http://doi.org/10.1162/pres.19.1.35

9. Holmes, G., Donkin, A., & Witten, I. H. (1994). WEKA: a machine learning

workbench. Proceedings of ANZIIS ’94 - Australian New Zealand Intelligent

Information Systems Conference. http://doi.org/10.1109/ANZIIS.1994.396988

http://doi.org/10.1007/978-3-642-35139-6_17

Detección de los estados emocionales generados por ...

Documents

Transcript of Detección de los estados emocionales generados por ...