IMPLEMENTACION DE UNA LIBRER IA EN SIMULINK PARA EL ... · una librer a de bloques en Simulink con...

Actas de las XXXV Jornadas de Automática, 3-5 de septiembre de 2014, ValenciaISBN-13: 978-84-697-0589-6 © 2014 Comité Español de Automática de la IFAC (CEA-IFAC)

IMPLEMENTACION DE UNA LIBRERIA EN SIMULINKPARA EL DESARROLLO DE INTERFACES

CEREBRO-COMPUTADOR

Alberto Leon, Enrique Hortal, Alberto Rodrıguez, Jose M. Climent, Jose M. Cano, Jose M. Azorın.Universidad Miguel Hernandez de Elche

Avda. de la Universidad s/n, 03202 Elche (Alicante)[email protected]

Resumen

Este artıculo describe la implementacion de unsistema BCI (Brain-Computer Interface) en unentorno de Simulink. Estos sistemas cerebro com-putador nos permiten interactuar con el ordenadorsin necesidad de movimiento corporal, ya que estainteractuaccion se realiza a traves de la decodifi-cacion de las senales cerebrales que son registradassobre el cuero cabelludo del usuario. El obje-tivo de este artıculo es explicar la metodologıa quese ha seguido para la adaptacion del sistema alentorno Simulink. Este sistema permitira teneruna mayor modularidad, con el proposito de podergenerar pruebas independientes con mayor rapi-dez y ademas poder detectar y corregir los falloscon mayor eficacia gracias a la nueva arquitecturacompartimentada.

Palabras clave: Interfaz cerebro-computador, li-brerıa Simulink, sistema modular.

1 INTRODUCCION

La actividad cerebral, segun la manera de adquirirlas senales bioelectricas producidas en el cerebro,puede ser registrada de diferentes formas: invasivay no invasiva. Las tecnicas invasivas miden la ac-tividad de una neurona o de uno grupo de estas[1], [6]. Esta actividad puede ser registrada us-ando microelectrodos intracraneales implantadosdirectamente en el cerebro. En el ambito humanoestos sistemas han sido utilizados, por ejemplo,para el desarrollo de aplicaciones de escritura enun PC (Personal Computer), para el movimientodel cursor o para controlar una protesis robotica[8].

Por otro lado, las tecnicas no invasivas, se basan enel registro de senales elecroencefalograficas (EEG)mediante electrodos situados sobre el cuero cabel-ludo de los pacientes [5]. Esta ultima tecnica es laque se utiliza en este artıculo debido a los posiblesriesgos medicos que derivan de la cirugıa, ademasde los componentes eticos que plantea el proced-imiento invasivo. Con una tecnica no invasiva nosaseguramos no producir ningun tipo de dano en eltejido cerebral.

Podemos distinguir dos paradigmas de control,uno evocado y el otro espontaneo. Los paradig-mas relacionados con eventos evocados se basanen la correspondencia de un patron de senal car-acterıstico generado de forma automatica en re-spuesta a un estımulo externo [9] como por ejem-plo el P300.

En cuanto a los potenciales espontaneos, lassenales electroquımicas son recogidas en el cuerocabelludo y provienen del cortex. Estas senalescambian cuando se realiza una tarea mental rela-cionada con una tarea fısica o cognitiva de modoque esta accion es ejecutada de forma voluntaria.El uso de este paradigma puede aplicarse tantoa movimientos unidimensionales [10] de un cursorcomo al control de un brazo robotico mediante di-versos estados mentales [3].

En este artıculo se lleva a cabo la creacion deuna librerıa de Simulink que permita configurarla arquitectura de un sistema BCI. Dicha arqui-tectura se ha dividido en bloques con diferentesfuncionalidades como adquisicion, registro, proce-samiento de datos, extraccion de caracterısticas,clasificacion y el bloque de la interfaz grafica parael registro online. La utilizacion de esta nuevaarquitectura nos proporcionara una mayor modu-laridad que conlleva una mayor facilidad para larealizacion de las pruebas y la depuracion del sis-tema.

2 LIBRERIA SIMULINK

En este apartado se describen los bloques deSimulink creados para disenar la arquitectura deun sistema basado en una interfaz no invasiva [5],que recoge las senales EEG sobre el cuero cabel-ludo del usuario. Estas senales son procesadas yanalizadas por el software del ordenador dondesimultaneamente se mostrara un feedback visualpara ayudar al usuario a controlar sus pensamien-tos y de esta forma proporcionara un mayor con-trol de la interfaz grafica que utilizaremos pararealizar la prueba.


Figura 1: Ejemplo de los campos configurables delbloque de adquisicion.

2.1 SOFTWARE

Las senales EEG son registradas y procesadas uti-lizando un software desarrollado en Matlab (soft-ware matematico desarrollado por Mathworks).Para utilizar este software se hara uso de la API(Application Programing Interface) de Matlab dis-tribuida con el dispositivo (g.USBamp MatlabAPI). Mediante el uso de esta aplicacion y ellenguaje de programacion Matlab, se ha creadouna librerıa de bloques en Simulink con el que serealiza el desarrollo del sistema.

2.2 BLOQUES SIMULINK

Los bloques en los cuales se han compartimentadolas etapas del registro, procesado y feedback de laprueba son los siguientes: adquisicion, registro,procesado, extraccion de caracterısticas, clasifi-cacion e interfaz grafica online.

2.2.1 BLOQUE DE ADQUISICION

Este bloque ha sido disenado para aportar lamayor capacidad de configuracion posible, ademaspermite tanto guardar la configuracion que se estautilizando como cargar una configuracion que sehaya utilizado previamente.

Este bloque permite configurar diferentes camposcon la intencion de hacerlo lo mas versatil posible.Se puede observar un ejemplo extraıdo del bloquede adquisicion en la figura 1.

A continuacion se describen algunos de estas op-ciones de configuracion.

En primer lugar, se debe escribir el nombre con el

Figura 2: Muestra del bloque de adquisicion.

que se desea guardar la configuracion. Despues semuestran opciones de configuracion tecnicas comoson la frecuencia de muestreo, el filtro paso-bandaque queremos utilizar, el filtro notch y el tiempode duracion de la prueba.

Ademas, esta tambien disponible para su config-uracion el equipo que se utiliza, por si se quisieracambiar de equipo o la configuracion de este.Ası como la configuracion de los electrodos, quetambien es variable segun la distribucion de losmismos.

Este bloque se encarga de conectar el g.USBamp yrealizar la configuracion con todos los parametrosque se han establecido.

La salida de este bloque siempre va a ser 16canales, correspondientes a los 16 electrodos y enfracciones de segundo lo suficientemente pequenaspara que no afecte al procesamiento en tiempo realy para que no se pierda informacion de la senal quese esta adquiriendo.

Se observa una muestra del bloque en la figura 2.

2.2.2 BLOQUE DE REGISTRO

En este bloque se lleva a cabo el registro de to-dos los datos de la prueba. En este se encuentranlas opciones de configuracion disponible de estebloque los cuales son el nombre de usuario y eltipo de prueba. El nombre del usuario se utilizaracomo nombre para ficheros en los que los datosquedaran almacenados.

Por otro lado, existe un campo que permite especi-ficar el tipo de prueba que se desea realizar (onlineu offline). Si el tipo de prueba que se seleccionaes la prueba offline, este sera el bloque que se en-cargara de guardar un registro de los datos quese han adquirido de los usuarios. En este tipo depruebas, este bloque se encarga de manejar toda


Figura 3: Bloque de registro en su configuraciononline.

la interfaz grafica. Los tipos de interfaz gafica seexplicaran mas adelante.

Si por el contrario, el tipo de prueba que se realizaes la prueba online, este bloque de Simulink solose encargara de guardar un registro de seguridad,inicializar la interfaz grafica y pasar los datos alsiguiente bloque.

Respecto a la interconectividad entre bloques, estebloque tiene como entradas los 16 canales cor-respondientes a cada uno de los electrodos quese utilizan en la prueba. Para la prueba online,aparecen 16 conexiones en la parte derecha delbloque, estas son las necesarias para realizar laconexion con el bloque siguiente. No obstante, es-tas conexiones se suprimen cuando se seleccionael tipo de prueba offline. Este bloque, en su con-figuracion offline, no dispone de salida de datos.Se puede observar el bloque en su configuraciononline en la figura 3.

2.2.3 BLOQUE DE PROCESAMIENTO

Este bloque sera el encargado de procesar todoslos datos que se obtienen del registro de senalesdel usuario. Las opciones de configuracion en estebloque son las siguientes: frequency range, filtertype, laplacian surface grid scale, normalizationvariance, overlap y samples. Estos seis campos deconfiguracion permitiran adaptar el procesado delos datos para obtener el resultado deseado en laprueba online.

El campo frequency range es en el campo en el cualse especifica el rango de frecuencias de la senal quese desea procesar. En el campo laplacian surfacegrid scale se indica la configuracion del filtro lapla-ciano que se aplicara sobre las senales EEG. Estefiltro realiza un suavizado de la senal, mejorandosu calidad ya que se elimina en gran medida ladistorsion de senal generada por los electrodos cer-canos. En el apartado de normalization variance

se indica que tipo de varianza se desea aplicar.

Por lo que respecta a los parametros de overlap ysamples, estos estan relacionados con la cantidadde muestras que se van a procesar en cada trialy con la cantidad de muestras que se utilizan deforma reiterativa respecto de las utilizadas anteri-ormente (solapamiento).

Con lo cual, en el apartado de samples se especi-ficara cuantas muestras seran procesadas de formaconjunta. En el apartado de overlap se especificacuantas muestras del bloque anterior se utilizanen el nuevo bloque de muestras a procesar.

En cuanto a los puertos de conectividad de estebloque, podemos encontrar 16 canales de entraday de salida.

2.2.4 BLOQUE DE EXTRACCION DECARACTERISTICAS

Este bloque se encarga de extraer las carac-terısticas de la senal. Estas caracterısticas seranlas utilizadas posteriormente para la clasificacionde las senales de los diferentes estados mentalesque se utilicen en las pruebas.

Para llevar a cabo este proceso es necesario especi-ficar ciertos parametros de configuracion como sonel tipo de resolucion, el tipo de extraccion de lascaracterısticas (como podrıan ser Wavelet, FFT,periodograma, etc) y los rangos de frecuencias delos cuales se realizara la extraccion de las carac-terısticas.

2.2.5 BLOQUE CLASIFICADOR

Este bloque es el que se encarga de clasificar enque estado mental se encuentra el usuario que re-aliza el experimento. Esto se lleva a cabo medi-ante un metodo de comparacion con un modeloque previamente se ha cargado en el sistema.

El modelo necesario para la clasificacion de lassenales se genera con anterioridad despues de re-alizar una prueba offline en la cual se obtenienenlos datos del cortex motor del usuario mientrasrealiza las tareas mentales requeridas.

El unico campo a configurar que contiene estebloque, es el modelo que debe cargar el sistema, elcual se va a utilizar para la clasificacion de senalesen la prueba online.

Por lo que respecta a la conectividad, este bloquecuenta con una entrada (el vector de carac-terısticas de la senal) y una salida (la tarea mentalclasificada).


Figura 4: Bloques de extraccion de caracterısticasy de clasificacion.

2.2.6 BLOQUE DE INTERFAZGRAFICA

Este bloque es el encargado de manejar el feedbackque recibe el usuario en las pruebas online. Cabedestacar que no existe ningun parametro que per-mita configurar nada para poder modificar estainterfaz, ya que cada interfaz grafica que se utilizaes exclusiva de la prueba que se lleva a cabo. Laentrada de este bloque sera utilizada para contro-lar la interfaz grafica que hace de realimentacion(o feedback).

3 EJEMPLO DE APLICACION

En esta seccion se describe la metodologıadisenada para la realizacion de experimentos declasificacion de tareas mentales en un sistemaBCI espontaneo. La metodologıa incluye la se-leccion de las tareas mentales, los protocolos deadquisicion de las senales y el metodo de clasifi-cacion SVM.

En la figura 5 se muestra el esquema de conexionpara las pruebas offline y online utilizando los blo-ques descritos en la seccion 2.2.

3.1 INTERFAZ GRAFICA

Por lo que respecta al protocolo que se ha utilizadopara realizar la interfaz grafica, se distinguira en-tre la prueba online y la offline.

La interfaz grafica de la prueba offline consta detres partes. En la primera etapa se muestra unacruz que sirve para indicar al usuario el inicio decada ciclo del programa, ademas de servir de pe-riodo de relajacion. Esta primera fase dura tressegundos. En la segunda etapa mostramos una im-agen de la tarea mental en la cual el usuario debeconcentrarse para posteriormente registrar su ac-tividad neuronal, esta etapa dura dos segundos.Y por ultimo, se entra en la fase en la cual sonregistrados los datos. Cabe destacar que en estaultima fase no se muestra nada en la pantalla, con

Figura 5: Esquemas de conexion para pruebas of-fline (arriba) y online (abajo).

el motivo de intentar evitar las posibles distrac-ciones del usuario. Esta ultima etapa dura diezsegundos. Como se ha comentado anteriormente,en el caso de pruebas offline, el bloque de registroes el encargado de controlar dicha interfaz.

En cuanto a la interfaz online, tambien existentres etapas dentro de la prueba. Las dos primerasetapas son exactamente iguales en tiempo y encontenido que en la prueba offline. Sin embargo,en la tercera etapa no se mantiene la pantalla vacıasi no que se muestra la tarea mental en la cualel usuario debe concentrarse. Al mismo tiempo,un rectangulo de color azul en la parte derechade la pantalla se va completando conforme se de-tecta que el usuario esta realizando la misma tareamental en la que se encuentra el algoritmo en eseinstante, a modo de feedback. En el caso de quela tarea detectada sea incorrecta, una barra decolo rojo actua como feedback negativo, del mismomodo que con la barra azul. Ademas esta etapatambien tiene una duracion de diez segundos.

El paradigma grafico utilizado para realizar laspruebas online se observa en la figura 6.

3.2 REGISTRO

La interfaz neuronal implementada para esta tareaesta compuesta de un sistema espontaneo no in-vasivo. El hardware con el que se ha realizadola adquisicion de las senales bioelectricas (EEG)esta compuesto por un amplificador g.USBamp(g.tec medical engineering, Austria). Este ampli-ficador tiene 16 canales y una configuracion vari-able para diferentes tipos de filtros y frecuenciasde muestreo.


Figura 6: Paradigma de la interfaz grafica online.

Un gorro g.GAMMAcap (g.tec medical engineer-ing, Austria) es utilizado para sujetar todoslos electrodos, facilitando su correcta colocacion.Los sensores utilizados son los g.LADYbird, dela misma companıa. Estos electrodos son ac-tivos permitiendo mejorar la relacion senal-ruido.Ademas, estos sensores se ven menos afectadospor los artefactos y por las interferencias electro-magneticas [4] que los electrodos pasivos, mejo-rando la relacion senal/ruido.

Seran utilizados 16 electrodos, un electrodo porcada canal, distribuidos de forma uniforme atraves de todo el cuero cabelludo para abarcar unamayor parte de la zona motora del cerebro.

En este caso el periodo de muestreo utilizado esde 256 Hz, ademas se han configurado y aplicadodos filtros internos a cada uno de los canales. Unode ellos es un filtro notch a 50 Hz. Este filtro seutiliza para eliminar el ruido procedente de la redelectrica. Ademas, se aplica un filtro paso bandade 0,5 a 100 Hz utilizado para reducir los artefac-tos y la componente de la corriente continua.

La distribucion de los electrodos es la siguiente:Fz, FC5, FC1, FCz, FC2, FC6, C3, Cz, C4, CP5,CP1, CP2, CP6, P3, Pz y P4 de acuerdo con elsistema 10/10 internacional (ver figura 7). Comotierra se utiliza el eletrodo colocado en la posicionAFz (segun el sistema 10/10) y como referencia detension se utiliza el lobulo de la oreja.

3.3 PROCESADO DE LA SENAL

Las senales son procesadas para tranformar lassenales en el dominio del tiempo, a caracterısticasen el dominio frecuencial para poder ser tratadasfacilmente por un clasificador SVM. En primer lu-gar se aplica un filtro paso banda de 5 a 40 Hz paraobtener la banda que nos proporciona mayor infor-macion acerca de la actividad mental a clasificar.Despues, un filtro laplaciano es aplicado sobre los16 canales. Este metodo permite incrementar lacalidad de la senal. Por ultimo se estima la densi-

Figura 7: Distribucion de los electrodos segun elsistema 10/10 internacional.

dad espectral de la senal utilizando el metodo delperiodograma.

El periodograma es un metodo de calculo espectralque utiliza una estimacion de la potencial espec-tral o PSD, de sus siglas en ingles (Power SpectralDensity), la cual usa una transformada discreta deFourier (DFT). Este metodo se aplica a la senalen tramos de senal de 1 segundo, aplicandolo cada500 ms (con lo que se produce un solape de 500 msentre iteraciones). Las caracterısticas que se uti-lizaran para la posterior clasificacion estan en lasfrecuencias de 8 a 36 Hz con 1 Hz de resolucion.Como consecuencia de este tipo de procesado seextraen 29 caracterısticas por electrodo, haciendoun total de 464 para cada trial.

3.4 CLASIFICACION

Este clasificador se basa en el metodo SVM. Estees un metodo muy extendido a la hora de re-alizar la clasificacion de datos en sistemas BCI.Para realizar la clasificacion, SVM crea uno o var-ios hiperplanos en una o varias dimensiones espa-ciales, con la intencion de distinguir entre variasclases. La calidad de este metodo depende del ker-nel y de los parametros utilizados. En el caso delos sistemas BCI se utiliza generalmente un ker-nel Gausiano o Radial (RBF), de sus siglas eningles Radial Basis Function [2]. En el caso de-scrito aquı, el sistema esta basado en un RBF.Este tipo de kernel tiene dos parametros impor-tantes: γ (el cual regula el tamano del kernel) yC (es el parametro de regulacion). Los valores de


estos parametros se establecen teniendo en cuentalos estudios realizados anteriormente [2], con es-tos parametros y con una configuracion similar.Se toman como valores C=512 y γ =0, 002.

Las 8 primeras pruebas que realiza el usuario sonlas utilizadas para generar el modelo basado en laclasificacion SVM, este modelo es el que se uti-lizara para comparar los resultados con la pruebaonline. Cada prueba de 2 tareas mentales contiene184 trials de datos por cada tarea mental. Con locual, resultan 1472 trials de datos por cada tareamental para crear el modelo. Usando este modeloel sistema clasifica la tarea mental que esta real-izando el usuario en ese momento. Para evitar(o al menos reducir) el numero de errores en laclasificacion, la salida del classificador no se uti-liza directamente como salida del sistema. Coneste proposito se utiliza una moda en la que, tantola clasificacion actual como las 4 anteriores sontenidas en cuenta. Solo si se obtiene un mınimode 4 clasificaciones de la misma tarea el sistema re-conoce el estado mental del usuario como tal. Encualquier otro caso, el dato es considerado comoincierto.

4 CONCLUSIONES

El objetivo de este artıculo ha sido el desarrollode una librerıa de bloques para entorno Simulinkque permita el diseno de un sistema BCI (Brain-Computer Interface). Este sistema incluye laadquisicion, procesado y clasificacion de senalesEEG. Utilizando bloques Simulink, se permite unmanejo del sistema mas facil y rapido y la uti-lizacion y futuros desarrollos de aplicaciones, asıcomo una depuracion mas sencilla. Posterior-mente se podran generar bloques independienteslos cuales nos ofrecen la capacidad de generardiferentes tipos de pruebas, tanto online como of-fline. La creacion de este nuevo sistema esta ori-entada a su posterior aplicacion en pruebas consistemas BCI permitiendo una sencilla ampliaciondel sistema con nuevos bloques e interfaces inde-pendientes.

Ademas, se incluye un ejemplo de configuracion delos bloques disenados para la realizacion de exper-imentos basados en BMI espontaneo para la difer-enciacion de dos tareas mentales y su clasificacionen tiempo real. En el futuro, esta librerıa sera uti-lizada para desarrollar este tipo de pruebas. Porotro lado, esta librerıa ira siendo actualizada connuevos bloques que permitan una mayor versatili-dad y permitira la aplicacion de dicha librerıa condiferentes interfaces.

Agradecimientos

Esta investigacion ha sido financiada por el Min-

isterio de Economıa y Competitividad de Espanacomo parte del proyecto Brain2motion - De-velopment of a Multimodal Brain-Neural inter-faz to Control an Exoskeletal: Neuroprosthe-sis Hybrid Robotic System for the Upper Limb(DPI2011-27022-C02-01), y por la Conselleriad’Educacio, Cultura i Esport of Generalitat Valen-ciana de Espana a traves de la subvencion VALi+dACIF/2012/135.

Referencias

[1] Carmena, J. M., Lebedev, M. A., Crist, E.E., O’Doherty, J. E., Santucci, D. M., et al(2003) Learning to Control a BrainMachineinterface for Reaching and Grasping by Pri-mates, PLOS Biology, vol.1, no. 2.

[2] Florez, F., Azorın, J. M., Ianez, E., Ubeda,A., Fernandez., E., (2011) Development ofa low-cost SVM-based spontaneous Brain-Computer interface, International Conferenceon Neural Computation Theory and Applica-tions, pp. 415-421.

[3] Ianez, E., Azorın, J. M., Ubeda, A.,Ferrandez, J. M. and Fernandez, E., (2010)Mental tasks-based brain-robot interface.Robotics and Autonomous Systems. 58(12) ,pp 1238- 1245.

[4] Ianez, E., Azorın, J. M., Ubeda, A., et al(2010), Mental tasks-based brain-robot inter-face, Robotics and Autonomous Systems 58(12), pp 1238-1245

[5] Millan, J. de R., Ferrez, P. W., Buttfield,A. (2005) Non Invasive Brain-Machine inter-face. Final Report. IDIAP Research Institute-ESA.

[6] Nicolelis, M. A. L., (2001) Actions fromthougths, Nature, vol. 409, pp 403-407.

[7] Tong, S., (2009) Quantitative EEG analysismethods and clinical applications, Norwood,MA, USA, Artech House, pp. 51-108.

[8] Velliste, M., Perel, S., Spalding, M.C., Whit-ford, A.S. and Schwartz, A.B., (2008) Corti-cal control of a prosthetic arm for self-feeding.Nature, 453(7198), 1098-1101.

[9] Wang, Y., Gao, X., Hong, B., Jia, C. andGao, S., (2008) Brain- computer interfacebased on visual evoked potentials. IEEE En-gineering in medicine and biology magazine,27, pp 64-71.

[10] Wolpaw J. R., McFarland D. J. Neat G.W. and Porneris C.A. (2008) An EEG-based


brain-computer interface for cursor control.Electroencephalographic Clinical Neurophys-iology, 78(3), pp 252-259.

IMPLEMENTACION DE UNA LIBRER IA EN SIMULINK PARA EL ... · una librer a de bloques en Simulink con...

Documents

Transcript of IMPLEMENTACION DE UNA LIBRER IA EN SIMULINK PARA EL ... · una librer a de bloques en Simulink con...