gregorio hz -Pobres pero leidos: la familia (marginada) y la lectura en México
TRABAJO FIN DE GRADO - UAMir.ii.uam.es/~fdiez/TFGs/gestion/leidos/2014... · entender la...
Transcript of TRABAJO FIN DE GRADO - UAMir.ii.uam.es/~fdiez/TFGs/gestion/leidos/2014... · entender la...
UNIVERSIDAD AUTÓNOMA DE MADRID
ESCUELA POLITECNICA SUPERIOR
TRABAJO FIN DE GRADO
ADQUISICIÓN Y CARACTERIZACIÓN DE
SEÑALES BIO-MÉDICAS EN DISPOSITIVOS
MÓVILES
Lidia París Cabello
Enero 2014
ADQUISICIÓN Y CARACTERIZACIÓN DE
SEÑALES BIO-MÉDICAS EN DISPOSITIVOS
MÓVILES
AUTOR: Lidia París Cabello
TUTOR: Roberto Latorre Camino
Grupo de Neurocomputación Biológica
Dpto. de Ingeniería Informática
Escuela Politécnica Superior
Universidad Autónoma de Madrid
Enero de 2014
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
I
RESUMEN
En el contexto de aplicaciones de telemedicina y de las interfaces hombre-máquina de última
generación se hace necesaria la adquisición y caracterización de señales biológicas tales como el patrón
respiratorio, el ritmo cardiaco, la conductividad de la piel o la presión sanguínea entre otras. El objetivo
de este proyecto es la implementación de un sistema que permita adquirir y caracterizar la actividad
ocular de una persona mientras interactúa con un teléfono móvil inteligente (smartphone) o una tableta
(tablet). El éxito en la captura y caracterización de este tipo de señal en estos dispositivos permitirá más
adelante realizar experimentos en el ámbito de la interacción hombre-máquina mediante gestos oculares
(gaze gestures), así como el desarrollo de aplicaciones que permitan a una persona interactuar y/o
controlar un dispositivo móvil a través de los ojos. La posibilidad de ejecutar comandos con los ojos en un
teléfono tipo Smartphone, de forma análoga a lo que se hace de forma táctil en una pantalla, es una
opción muy interesante para personas con movilidad reducida o que no puedan utilizar las manos en ese
momento.
Uno de los requisitos fundamentales que nos fijamos a la hora de afrontar el proyecto es conseguir
realizar un seguimiento de los movimientos oculares (eye-tracking) del usuario que está trabajando con
el dispositivo sin incorporar ningún elemento extrínseco. Este requisito implica (i) que la actividad del
sujeto debe registrarse utilizando la cámara integrada en el propio dispositivo (preferiblemente la cámara
frontal), y (ii) que la lógica que permite la caracterización de la actividad ocular debe ejecutarse dentro
del propio dispositivo.
Para conseguir los objetivos fijados, inicialmente realizamos distintas pruebas de concepto para
evaluar un conjunto de herramientas software con las que facilitar el desarrollo y probar el rendimiento
de distintos algoritmos de reconocimiento de las pupilas de un individuo en una imagen. Como resultado
de estas pruebas iniciales decidimos basar nuestro desarrollo en la librería OpenCV.
Una vez definido y montado el entorno de desarrollo y realizadas las pruebas de concepto iniciales,
se comenzó el desarrollo del sistema de eye-tracking para dispositivos Android y de la aplicación que
permite verificar su correcto funcionamiento en un entorno real. Para comprobar la “universalidad” del
sistema desarrollado, en el sentido de poder ser ejecutado en cualquier dispositivo Android, y verificar la
generalidad de los resultados obtenidos, se han realizado pruebas de validación y tests en múltiples
escenarios, con diferentes sujetos y con diversos dispositivos móviles. Los resultados de estas pruebas
muestran que la luz influye significativamente en la correcta detección de las pupilas. Además, aunque el
eye-tracker se puede ejecutar en cualquier dispositivo Android, como era de esperar, la calidad del
objetivo del que disponga la cámara integrada en el dispositivo es un elemento fundamental a tener en
cuenta para la correcta detección de las pupilas del sujeto.
Palabras claves: interacción hombre-máquina (HCI), eye-tracking, dispositivo móvil, OpenCV, Android,
gestos oculares (gaze gestures)
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
II
ABSTRACT
In the context of telemedicine applications and human-machine interfaces generation acquisition
and characterization of biological signals such as breathing pattern, heart rate, skin conductance and
blood pressure among others is necessary. The objective of this project is to implement a system that
allows the purchase and characterize ocular activity of a person while interacting with a smartphone or
tablet. The successful capture and characterization of this type of signal in these devices allow further
experiments in the field of human-machine interaction using gaze gestures, and the development of
applications that enable a person to interact and/or controlling a mobile device through the eyes. The
ability to execute commands with eyes on a smartphone type, similar to what is done by touch on a screen,
is very interesting for people with limited mobility or who cannot use their hands at the time option.
One of the fundamental requirements we set for tackling the project was to track eye movements
(eye-tracking) of the user who is working with the device without incorporating any extrinsic element.
This requirement implies (i) the activity of the subject must register using the integrated camera on the
device itself (preferably the front camera), and (ii) the logic that allows the characterization of the ocular
activity must run within the device itself.
To achieve the objectives, we make different initial proof of concept to evaluate a set of software
tools that facilitate the development and test the performance of different algorithms for recognition of
the pupil of an individual in an image. As a result of these initial tests we decided to base our development
on the OpenCV library.
Once defined and mounted the development environment and conducted initial testing concept,
the development of eye-tracking system for Android devices and the application that verifies proper
operation in a real environment is started. To check the "universality" of the developed system, meaning
it can be run on any Android device, and verify the generality of the results obtained have been tested
and validated in several different scenarios, with different subjects and different devices mobile. The
results of these tests show that light significantly influences the correct detection of the pupils.
Furthermore, while the eye-tracker can be run on any Android device, as expected, the quality of the
objective of providing for the integrated camera on the device is a key element to consider for proper
detection of the pupil of the subject.
Keywords: human-machine interfaces (HCI), eye-tracking, device mobile, OpenCV, Android, gaze gestures
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
III
ÍNDICE
1 Introducción .......................................................................................................................................... 1
1.1 Motivación .................................................................................................................................... 1
1.2 Objetivos ....................................................................................................................................... 2
1.3 Organización de la memoria ......................................................................................................... 3
2 Estado del arte ....................................................................................................................................... 5
2.1 Descripción e historia de la interacción hombre-máquina ........................................................... 5
2.2 Descripción e historia de los sistemas de eye-tracking ................................................................ 6
2.2.1 Clasificación de los sistemas de eye-tracking ....................................................................... 8
2.2.2 Disciplinas en las que se utiliza eye-tracking ........................................................................ 9
2.2.3 Aplicaciones basadas en eye-tracking................................................................................. 11
3 Diseño y desarrollo .............................................................................................................................. 13
3.1 Entorno de desarrollo ................................................................................................................. 13
3.2 Definición de la arquitectura del sistema ................................................................................... 13
3.2.1 Procesamiento de imágenes ............................................................................................... 15
3.2.2 Captura de imágenes .......................................................................................................... 17
3.3 Algoritmos de detección de la pupila ......................................................................................... 17
3.3.1 Métodos de detección ........................................................................................................ 17
3.3.2 Explicación del algoritmo de detección .............................................................................. 20
3.4 Implementación del sistema ....................................................................................................... 21
3.4.1 Instalación ........................................................................................................................... 21
3.4.2 Captura de imágenes con la cámara ................................................................................... 22
3.4.3 Almacenamiento de datos .................................................................................................. 22
4 Pruebas y resultados ........................................................................................................................... 23
4.1 Pruebas de concepto .................................................................................................................. 23
4.2 Pruebas de validación ................................................................................................................. 23
4.2.1 Tipos de dispositivos utilizados ........................................................................................... 24
4.2.2 Descripción de los escenarios ............................................................................................. 24
4.2.3 Descripción de los sujetos ................................................................................................... 26
4.2.4 Descripción de las pruebas ................................................................................................. 26
4.3 Resultados ................................................................................................................................... 27
4.3.1 Análisis de los resultados .................................................................................................... 32
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
IV
5 Conclusiones y trabajo futuro .............................................................................................................. 33
5.1 Conclusiones ............................................................................................................................... 33
5.2 Trabajo futuro ............................................................................................................................. 34
6 Referencias .......................................................................................................................................... 37
Anexo A ....................................................................................................................................................... 39
Anexo B ....................................................................................................................................................... 43
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
V
ÍNDICE DE FIGURAS
Figura 1. Evolución de los mecanismos de interación hombre-máquina ..................................................... 6
Figura 2. Evolución de la tecnología eye-tracking ........................................................................................ 7
Figura 3. Eye-tracker en la cabeza del sujeto descargada de http://news.cnet.com/8301-1023_3-
57613995-93/how-an-eye-tracker-can-make-google-glass-less-creepy-q-a/ .............................................. 8
Figura 4. Eye-tracker remote descargada de http://www.eyegaze.com/eye-tracking-research-studies/ .. 8
Figura 5. Clasificación de los sistemas eye-tracking según el tipo de técnica .............................................. 9
Figura 6. Evolución de los artículos por año de las técnicas eye-tracking en la base de datos Scopus ........ 9
Figura 7. Porcentaje de artículos por área de estudio en la base de datos Scopus. .................................. 10
Figura 8. Mapa de calor de un anuncio....................................................................................................... 12
Figura 9. Definición de la arquitectura del sistema .................................................................................... 14
Figura 10. Detector de caras con clasificadores fuertes ............................................................................ 19
Figura 11. Clasificador en cascada [22] ...................................................................................................... 19
Figura 12. Clasificadores Haar ..................................................................................................................... 20
Figura 13. Selección de dispositivo móvil ................................................................................................... 21
Figura 14. Instalación de OpenCV Manager ............................................................................................... 22
Figura 15. Detección correcta de ojo derecho ........................................................................................... 23
Figura 16. Detección incorrecta de ambos ojos .......................................................................................... 23
Figura 17. Escenario 1 ................................................................................................................................. 25
Figura 18. Escenario 2 ................................................................................................................................. 25
Figura 19. Escenario 3 ................................................................................................................................. 25
Figura 20.Pruebas con Smartphone el Samsung Galaxy Mini S3 con la cámara trasera ............................ 27
Figura 21. Pruebas con Smartphone el Samsung Galaxy Mini S3 con la cámara frontal ............................ 28
Figura 22. Pruebas con Smartphone el Sony Xperia T con la cámara trasera ........................................... 28
Figura 23. Pruebas con Smartphone el Sony Xperia T con la cámara frontal ............................................. 29
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
VI
Figura 24. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara trasera .................................. 30
Figura 25. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara frontal .................................... 30
Figura 26. Pruebas con tablet Samsung Tab con la cámara trasera .......................................................... 31
Figura 27. Pruebas con tablet Samsung Tab con la cámara frontal .......................................................... 31
ÍNDICE DE TABLAS
Tabla 1. Dispositivos utilizados para las pruebas ........................................................................................ 24
Tabla 2. Representación de los datos utilizados para realizar las pruebas. ............................................... 26
Tabla 3. Identificador de las compañías más populares para instalar el dispositivo móvil ¡Error! Marcador
no definido.
Tabla 4. Resultados de las pruebas realizadas con Smartphone Samsung Galaxy S3 Mini con cámara
trasera ......................................................................................................................................................... 43
Tabla 5. Resultados de las pruebas realizadas con Smartphone Samsung Galaxy S3 Mini con cámara
frontal ......................................................................................................................................................... 44
Tabla 6. Pruebas con Smartphone el Sony Xperia T con la cámara trasera ................................................ 45
Tabla 7. Pruebas con Smartphone el Sony Xperia T con la cámara frontal ................................................ 46
Tabla 8. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara trasera ....................................... 47
Tabla 9. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara frontal ....................................... 48
Tabla 10. Pruebas con tablet Samsung Tab con la cámara trasera ............................................................ 49
Tabla 11. Pruebas con tablet Samsung Tab con la cámara frontal ............................................................. 50
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
1
1 INTRODUCCIÓN
1.1 Motivación
El mundo ha evolucionado muy rápidamente gracias a los avances tecnológicos. Estos avances en
la tecnología se han producido para cubrir las necesidades del hombre en todos los aspectos, ayudándole
a enfrentarse a las dificultades y obstáculos que se presentan en el día a día. En la actualidad es imposible
entender la tecnología que nos rodea sin tener en cuenta los teléfonos inteligentes (del inglés,
smartphones) o las tabletas (del inglés, tablets).
Los teléfonos inteligentes son dispositivos electrónicos que integran funcionalidades de un
teléfono móvil convencional y un ordenador personal. Se han diseñado para que, además de realizar
llamadas telefónicas y enviar mensajes de texto, el usuario pueda instalar y ejecutar en ellos aplicaciones
que le permitan gestionar su trabajo diario, jugar, acceder al correo electrónico, etc. Por su parte, las
tabletas son computadoras portátiles de mayor tamaño que un teléfono inteligente. Estas características
han hecho de ambos un elemento fundamental en la sociedad. El usuario normalmente interacciona con
ambos tipos de dispositivo sin la necesidad de un teclado físico o de un ratón. Estos accesorios
habitualmente se ven reemplazados por un teclado virtual con el que se interacciona mediante una
pantalla táctil integrada en el dispositivo que el usuario controla con los dedos o, principalmente en el
caso de las tablets, con un estilete. Las nuevas necesidades de los usuarios han hecho que se extiendan
nuevos mecanismos de interacción con el dispositivo, lo que ha convertido en habitual la interacción
mediante la voz.
Sin embargo, hay ocasiones en las que no es posible utilizar las manos o la voz para interactuar
con el dispositivo, ya sea por algún tipo de discapacidad motriz, por la presencia de ruido de ambiente,
por tener las manos ocupadas o por cualquier otra circunstancia. Es por ello que además de las técnicas
de control del dispositivo mediante la pantalla táctil o la voz, en los últimos años se estén contemplando
nuevas técnicas de control. En este escenario es habitual utilizar técnicas basadas en la adquisición de
señales biológicas (patrón respiratorio, ritmo cardiaco, conductividad de la piel, presión sanguínea, etc).
Entre ellas, cabe destacar los mecanismos de control con la vista, bien teniendo en cuenta la zona de la
pantalla a la que está mirando el usuario, bien mediante los llamadas gestos pupilares (Hiley, 2006).
Mediante esta última técnica se definen determinadas secuencias de movimientos oculares, conocidas
como Gaze Gestures, que se asocian a una determinada acción o comando.
El reconocimiento de gestos pupilares requiere de un mecanismo que permita realizar un
seguimiento de los ojos del sujeto con respecto a la posición de su cabeza, lo que se conoce como eye-
tracking (Jacob, 1995). Las técnicas para realizar el seguimiento del movimiento del ojo se pueden
clasificar de forma general en dos grupos en función de si requieren (técnicas invasivas) o no (técnicas no
invasivas) un contacto físico con el ojo del sujeto. Habitualmente las técnicas invasivas son más precisas
que las no invasivas, pero muestran el inconveniente de ser muy incómodas para los sujetos. Es por ello
que la mayoría de los sistemas de eye-tracking actuales se basen en técnicas no invasivas, que son mucho
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
2
menos molestas. Estos sistemas se suelen basar en el uso de cámaras que proyectan rayos infrarrojos
hacia los ojos de los sujetos sin necesidad de contacto físico.
En los últimos años, el Grupo de Neurocomputación Biológica (GNB) de la Escuela Politécnica
Superior de la Universidad Autónoma de Madrid ha realizado con éxito distintos proyectos en los que se
capturaba y caracterizaba distinto tipo de señales biométricas con el objetivo de desarrollar interfaces
hombre-máquina. En concreto, se han desarrollado sistemas no invasivos que permiten a un sujeto
interaccionar con un dispositivo móvil mediante gestos pupilares (Rozado, 2012). Sin embargo, hasta el
momento el proceso de adquisición y procesamiento de la señal no lo realizaba el propio dispositivo móvil.
Para capturar la imagen del sujeto se utilizaba una cámara externa que se unía al dispositivo móvil y se
conectaba a un ordenador (Moreno Martín, 2013). Y el seguimiento de la pupila se conseguía utilizando
librerías externas que se ejecutaban en dicho ordenador. El trabajo de fin de grado descrito en esta
memoria pretende resolver esta limitación desarrollando las herramientas necesarias para adquirir y
caracterizar la actividad ocular del usuario de un dispositivo móvil utilizando para ello el hardware y el
software disponible en un smartphone o tablet Android estándar de mercado. Ya que los smartphones
suelen disponer de una cámara integrada la imagen del sujeto se capturará utilizando esta cámara. Y
gracias a las mejoras de sus prestaciones, se desarrollará un sistema que permita el procesamiento de las
imágenes capturadas para detectar las pupilas del sujeto.
1.2 Objetivos
El principal objetivo del proyecto es la adquisición y caracterización de la señal biológica de la
actividad ocular con smartphone y tablet. Para ello, se ha realizado el diseño, implementación y validación
de un sistema de eye-tracking para un smartphone o tablet Android, como se detallará más adelante en
esta memoria. Este sistema deberá cumplir con los siguientes requisitos:
Ejecutarse en el propio dispositivo
Utilizar las cámaras del dispositivo
Comportamiento del dispositivo como eye-tracker
Reconocimiento de las pupilas
Salvar las coordenadas de la posición de las pupilas para poder ser utilizadas por otra
aplicación
El objetivo de la fase de diseño, es idear y construir una aplicación en lenguaje Android para poder
usar el dispositivo móvil como eye-tracker, sin utilizar ningún elemento extrínseco. Se podrá utilizar en
distintos dispositivos que dispongan del sistema operativo Android, porque se utilizarán las características
de éstos, como la cámara, la pantalla y el procesador. Esto permitirá que la aplicación pueda utilizarse en
los experimentos del GNB, teniendo en cuenta una serie de limitaciones que se detallarán posteriormente.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
3
En la fase de pruebas, se han realizado pruebas de concepto y pruebas de validación. El objetivo
de las pruebas de concepto ha sido comprender y comprobar la correcta instalación y funcionamiento de
las distintas librerías de OpenCV en los entornos utilizados. Mientras que en las pruebas de validación, se
han realizado pruebas con sujetos para comprobar el funcionamiento de la aplicación, es decir, la
detección facial y de las pupilas.
1.3 Organización de la memoria
La memoria consta de los siguientes capítulos:
Capítulo 1. Introducción: Motivación, objetivos y organización de la memoria.
Capítulo 2. Estado del arte: Descripción e historia de la interacción HCI y descripción e historia
de los sistemas de eye-tracking.
Capítulo3. Diseño: Definición de la arquitectura del sistema, algoritmos de detección de
pupilas e implementación del sistema
Capítulo 4. Pruebas y resultados: Descripción de las pruebas y resultados obtenidos a partir
de las mismas.
Capítulo 5. Conclusiones y trabajo futuro: Breve repaso a las ventajas e inconvenientes de la
aplicación propuesta y posibles mejoras del mismo de cara al futuro.
Capítulo 6. Anexos
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
4
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
5
2 ESTADO DEL ARTE
2.1 Descripción e historia de la interacción hombre-máquina
Por interacción hombre-máquina o HCI (del inglés, Human Computer Interaction) se entiende a la
forma en que una persona se comunica con cualquier tipo de dispositivo electrónico, es decir, los
mecanismos utilizados para proporcionar y recibir información y/o instrucciones de una máquina. En el
contexto de los “ordenadores”, podemos considerar que el primer mecanismo para la interacción
hombre-máquina fueron las tarjetas perforadas que surgieron a principios del siglo XX. Su uso se extendió
hasta mediados de este siglo como mecanismo para introducir y almacenar información en un ordenador.
Hacia la década de los 80, el teclado se convierte en el “estándar” de interacción con el ordenador
gracias a su fácil uso, similar en las antiguas máquinas de escribir del siglo XIX. Además, en esta época,
también se popularizó el ratón, otro medio de interacción muy utilizado hasta el momento.
La siguiente forma de interacción con la máquina fue la pantalla táctil. Aunque las primeras
aparecieron en 1971, su expansión no se ha producido hasta el año 2000 con la aparición de las PDAs,
smartphones, video consolas, navegadores de automóviles, etc. Esta popularidad se debe a la reducción
de los costes de esta tecnología.
Todos los mecanismos de interacción hombre-máquina tradicionales descritos hasta el momento
se basan en una interacción física (táctil) con el dispositivo. Sin embargo, el ser humano siempre ha
utilizado todos los sentidos para interactuar y relacionarse con el medio. Es por ello que en los últimos
años haya cobrado fuerza el desarrollo de mecanismos de interacción hombre-máquina, como la
interacción mediante la voz o el control gestual, que no requieren de un medio físico.
Un ejemplo de interacción mediante la voz, es el reconocimiento de ésta utilizado en el control
de smartphones y tablets gracias a su micrófono integrado y al uso de programas de reconocimiento de
voz como SVoice o Siri. Un ejemplo de control gestual es el controlador de juego llamado Kinect. Ésta
permite a los usuarios controlar e interactuar con la consola, sin necesidad de tener contacto físico,
mediante una interfaz natural de usuario que reconoce gestos, comandos de voz y objetos e imágenes.
Este tipo de interfaces hombre-máquina cobran especial relevancia para personas con algún tipo
de discapacidad que no le permita interaccionar con el dispositivo mediante las interfaces tradicionales.
En este escenario, las nuevas líneas de investigación están centrándose en la comunicación con el
dispositivo mediante la mirada, y más concretamente mediante la realización de gestos oculares (técnica
conocida como gaze tracking) como es el caso de las Google Glass, desarrolladas por la compañía Google.
Se trata de un dispositivo de visualización, de formato muy similar a las gafas tradicionales, que se controla
mediante la voz y gaze gesture. Aunque la técnica eye-tracking y gaze gesture parecen modernas, sus
inicios nacieron durante la década de los 80, pero por los costes tan elevados no se ha podido desarrollar
hasta la actualidad.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
6
Figura 1. Evolución de los mecanismos de interación hombre-máquina
2.2 Descripción e historia de los sistemas de eye-tracking
El concepto de eye-tracking hace referencia a la tecnología que permite captar el movimiento del
ojo con relación a la posición de la cabeza, permitiendo comprender mejor el sistema visual. Esta
tecnología, que aparenta ser reciente, tiene sus inicios a mediados del siglo XIX con el estudio de los
movimientos oculares mediante la observación directa. En 1879, Javal (Javal, 1879) analizó el movimiento
de los ojos al leer y observó que no se realizaba mediante un suave barrido continuo de los ojos, sino que
durante la lectura el ojo seguía la línea que se estaba leyendo en cada instante mediante movimientos
entre los que se producía una serie de paradas cortas y rápidas.
Posteriormente, en 1900, Huey (Huey, 1898) construyó lo que se puede considerar el primer
sistema de eye-tracking. Se trataba de un sistema invasivo que utilizaba una lente rígida (similar a una
lente de contacto) que el sujeto debía colocarse en el ojo. Para que éste pudiera ver, la lente tenía un
agujero en el medio. El seguimiento del movimiento ocular se realizaba gracias a un puntero de aluminio
conectado a la lente y que se movía en respuesta al movimiento del ojo.
Un año después, los investigadores Dodge y Cline (Dodge, 1901) consiguieron registrar el
movimiento de los ojos de manera más precisa y no invasiva. En 1906, Dodge (Dodge, 1906) utilizó una
técnica que consistía en la emisión de líneas de luz a los ojos y la grabación de su reflejo mediante la
fotografía. Este método se convirtió en uno de los más importantes y usados, hasta los avances de los 70
con la era digital.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
7
Más adelante, en 1935, Buswell (Buswell, 1935), basándose en los avances obtenidos en la
descomposición de la reflexión de los haces de luz de un ojo en sus componentes horizontal y vertical,
midió las rutas de análisis de un sujeto al observar una imagen.
En la década de los 60 se utilizaron nuevamente las técnicas invasivas para mejorar la exactitud
de las técnicas anteriores. Uno de los investigadores más importantes de esta década fue el psicólogo
Yarbus (Yarbus, 1965) que realizó estudios con lentes de contacto junto con espejos para sus
investigaciones. Todos estos resultados los recogió en el libro “Los movimientos oculares y la visión” en
1967.
En la década de 1970, la investigación de seguimiento ocular se expandió rápidamente debido a
las nuevas técnicas como el escaneo del ojo mediante el uso de una cámara. Esta técnica permitió
conseguir un alto contraste entre el iris y la esclerótica, facilitando su separación. Esto se utilizó
principalmente para la investigación del movimiento del ojo en la lectura, siendo unos de los
investigadores principales Rayner (Rayner, 1998).
Las técnicas de eye-tracking ayudaron a Just y Carpenter (Just, 1980) a formular el principio del
procesamiento inmediato. Este principio sostiene que durante la lectura cada palabra se codifica e
interpreta inmediatamente después de su percepción. Durante estos años, también surgió el concepto de
atención encubierta, donde destacaron los estudios de Posner (Posner, 1980). Este concepto se define
como la atención que está enfocando un estímulo que no se encuentra directamente enfocada por la
retina. Esta atención encubierta, puede presentar problemas durante las grabaciones de eye-tracking
debido a que no muestra donde se fija la atención. Todo esto conlleva a que el seguimiento de los ojos
puede no indicar un procesamiento cognitivo.
En la actualidad, la tecnología eye-tracking se espera que tenga una gran evolución en los
próximos años hasta poder convertirse en una interfaz de uso cotidiano debido a sus características y el
abaratamiento de sus costes.
Figura 2. Evolución de la tecnología eye-tracking
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
8
2.2.1 Clasificación de los sistemas de eye-tracking
Los sistemas de eye-tracking se pueden dividir en tres categorías según las diferentes
metodologías de medición de los movimientos oculares: electro-oculografía (EOG), lentes de contacto o
bobinas de búsqueda y foto-oculografía (FOG) o video-oculagrafía (VOG).
La metodología EOG se basa en la medida de diferencias de potencial eléctrico en la piel
detectadas por electrodos colocados alrededor del ojo. El principal inconveniente de esta técnica es la
dificultar para medir movimientos oculares lentos y la detección de la mirada. Sin embargo, es una técnica
muy sólida para medir movimientos oculares rápidos y cortos asociados con cambios de la mirada y para
la detección del parpadeo.
La metodología de lentes de contacto o bobinas de búsqueda consiste en el seguimiento ocular
mediante el contacto físico con el ojo a través de un mecanismo basado en lentes de contacto. El método
principal emplea bobinas y el movimiento se mide a través de un campo electromagnético. Aunque es el
método más preciso, sus inconvenientes son varios, como la necesidad de asignar un objeto de referencia,
la incomodidad de la lente de contacto y los problemas de salud derivados de los campos magnéticos de
alta frecuencia.
La metodología FOG y VOG se basa en la captura de imágenes mediante una cámara o dispositivo
de adquisición de imágenes, denominado eye-tracker, permitiendo determinar el movimiento de los ojos
utilizando las imágenes obtenidas por dichos dispositivos (ver Figura 3 y Figura 4). Estos sistemas
requieren una iluminación adecuada, por lo que pueden contar con una o varias fuentes de iluminación,
generalmente infrarroja, aunque también existen sistemas que funcionan con luz visible. El principal
inconveniente de esta técnica es que sus resultados varían mucho si la iluminación no es la conveniente,
pero no impide que se trate del sistema más utilizado por los investigadores.
Figura 3. Eye-tracker en la cabeza del sujeto descargada de
http://news.cnet.com/8301-1023_3-57613995-93/how-an-
eye-tracker-can-make-google-glass-less-creepy-q-a/
Figura 4. Eye-tracker remote descargada de
http://www.eyegaze.com/eye-tracking-research-studies/
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
9
Una de las características requerida de los sistemas eye-tracking es la comodidad del sujeto, por
eso estas metodologías se pueden clasificar como técnicas invasivas y técnicas no invasivas. Las técnicas
invasivas son aquellas que requieren el contacto físico con el sujeto como los sistemas EOG y las lentes de
contacto. Por el contrario, las técnicas no invasivas no requieren contacto físico con el sujeto como FOG
y VOG. Estas últimas son las que mejor se adecuan a la característica de comodidad del sujeto y por ello,
son las técnicas más utilizadas.
Figura 5. Clasificación de los sistemas eye-tracking según el tipo de técnica
2.2.2 Disciplinas en las que se utiliza eye-tracking
Como ya se ha comentado anteriormente, las técnicas de eye-tracking cada vez están cobrando
una mayor relevancia. La Figura 6 trata de cuantificar este interés mostrando el número de publicaciones
relacionadas con estas técnicas en las últimas décadas. Para ello se ha realizado la consulta con el término
“eye-track*” en la base de dato Scopus (Sco).
Figura 6. Evolución de los artículos por año de las técnicas eye-tracking en la base de datos Scopus
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
10
En la Figura 6 se puede observar que los primeros artículos datan de 1963. El número de
publicaciones anuales sobre el eye-tracking se mantiene constante hasta mediados de la década de los
90. A partir de 1996, la tendencia que adquieren los artículos publicados aumenta de forma exponencial
consiguiendo un máximo en 2012 de 228 publicaciones relacionadas con el tema. Este auge en los últimos
años se debe, principalmente, al abaratamiento de los costes de los eye-trackers y su reciente usabilidad
como HCI.
Estas técnicas de eye-tracking tienen un gran potencial en varias disciplinas y áreas de estudio,
por lo que se decidió investigar cuáles son y la importancia que tienen dentro del desarrollo del eye-
tracking. Nuevamente, se ha utilizado la base de datos de Scopus como herramienta para llevar a cabo
este estudio (ver Figura 7).
Figura 7. Porcentaje de artículos por área de estudio en la base de datos Scopus.
Como se observa en la figura, las áreas que presentan mayor porcentaje son ciencias de la
computación, medicina, ingeniería, psicología y neurociencia. Sorprende que ciencias del
comportamiento como la psicología este en las primeras posiciones. Esto se debe a que su estudio del
eye-tracking es más maduro como disciplina científica que las áreas recientes como la ingeniería y ciencias
de la computación. Aun así, estas ciencias jóvenes han conseguido colocarse entre las tres primeras áreas
debido al auge de las diferentes aplicaciones de esta técnica.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
11
2.2.3 Aplicaciones basadas en eye-tracking
Los seres humanos tenemos una gran cantidad de comportamientos asociados a los movimientos
del ojo y a la dirección de la mirada que son muy importantes en la rutina diaria. Por este motivo, se han
realizado diversos estudios sobre este comportamiento que han contribuido a la comprensión del sistema
visual y los mecanismos relacionados con la percepción.
A raíz de estos estudios, se puede encontrar una gran variedad de aplicaciones (Duchowski, 2000)
de eye-tracking no solo en el campo de la informática, sino, como ya se ha comentado anteriormente,
dentro del campo de la psicología, marketing, ergonomía, neurología, etc. que nacen de las
investigaciones realizadas en ciencias de la visión.
Los diferentes usos de la tecnología eye-tracking se pueden dividir en dos tipos: pasiva o activa.
Cuando la tecnología se comporta como pasiva, el eye-tracker proporciona los procesos relacionados con
la visión y la percepción. Mientras que cuando el eye-tracker se comporta como tecnología activa, sirve
como un poderoso dispositivo de interacción con los ojos.
Los ejemplos más significativos de la utilización de eye-tracking, son:
Interacción hombre-máquina para discapacitados físicos: dentro del área de HCI, algunos estudios
ya han demostrado que en tareas sencillas se puede ahorrar hasta un 60% de tiempo en
seleccionar un objeto con esta técnica en comparación con el ratón.
Estudios de ergonomía: conocidas empresas de aeronáutica utilizan la tecnología de eye-tracking,
con el objetivo de comprobar cuál es la mejor disposición de los paneles de mandos,
especialmente en situaciones de emergencia.
Área clínica: numerosos hospitales lo utilizan para analizar movimientos del ojo, realizar
diagnósticos clínicos y corregir defectos. En la actualidad, se está utilizando esta tecnología para
realizar operaciones de corrección de problemas refractivos.
Desarrollo de juegos avanzados de ordenador: permite una nueva forma de interactuar con las
videoconsolas, mediante un casco, a tiempo real en interfaces tridimensionales.
Investigación en percepción visual: numerosas universidades emplean el seguimiento de
movimientos oculares en sus estudios básicos sobre percepción, atención y búsqueda visual.
Área de diseño y publicidad: en los anuncios se utiliza para analizar las partes que más llaman la
atención a los consumidores. La información se puede representar mediante mapas de calor. Los
mapas de calor son una representación estática para el análisis de exploración visual de un
conjunto de usuarios. En estas representaciones, las zonas de mayor intensidad señalan dónde
coinciden las zonas de referencia espaciales con mayor frecuencia (ver Figura 8).
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
12
Figura 8. Mapa de calor de un anuncio.
Además de las comentadas, otras aplicaciones pueden ser: investigación médica, proceso de
traducción de investigación, simuladores de vehículos, simuladores de entrenamientos, detección
de fatiga, etc.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
13
3 DISEÑO Y DESARROLLO
3.1 Entorno de desarrollo
Para desarrollar una aplicación para un dispositivo Android popularmente se suelen utilizar IDEs
basados en NetBeans o en Eclipse. Un IDE (siglas en inglés de Integrated Development Environment) es un
programa informático formado por un conjunto de herramientas de programación que al menos consta
de un editor de código, un compilador, un depurador y un constructor de interfaz gráfica. En nuestro caso,
como entorno de desarrollo hemos decidido utilizar un Eclipse IDE (Ecl) ejecutándose en un ordenador
con sistema operativo Linux.
Para poder desarrollar el proyecto ha sido necesario incluir en el entorno de desarrollo un plugin
llamado Android Development Tools (ADT). Este plugin proporciona un potente entorno integrado en el
que desarrollar aplicaciones para Android. Entre otras cosas, este plugin permite configurar rápidamente
nuevos proyectos, construir una interfaz de usuario de aplicación y depurar la aplicación. Además, permite
la exportación de paquetes de aplicaciones (APKs) para su distribución. Además, dentro del entorno de
desarrollo Eclipse se incluye un emulador que permitirá realizar pruebas en el ordenador Linux como si
fuese un dispositivo móvil Android. Los pasos a seguir para instalar y configurar nuestro entorno de
desarrollo se detallan en el anexo A.
3.2 Definición de la arquitectura del sistema
La arquitectura que hemos definido para el sistema de eye-tracking desarrollado se puede dividir
en los cuatro componentes que se muestran en la Figura 9: módulo de adquisición, módulo de
procesamiento, módulo de salida y tester funcional.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
14
Figura 9. Definición de la arquitectura del sistema
Las distintas componentes se pueden definir como:
Módulo de adquisición: Se encarga de comunicarse con la cámara del dispositivo para obtener en
tiempo real una captura de imagen (frame).
Módulo de procesamiento: Recibe un frame del módulo de adquisición y se encarga de procesarlo
para detectar las pupilas del usuario del dispositivo en dicho frame.
Módulo de salida: Recibe la información del módulo de procesamiento y la formatea para que sea
legible para el módulo encargado de interpretar el eye-tracking. En nuestro caso, este módulo se
limita a escribir la salida del módulo de procesamiento en un fichero de texto en forma de dos
coordenadas cartesianas. Cada una de estas coordenadas representará el punto que según el
módulo de procesamiento ocupan la pupila izquierda y la pupila derecha en el último frame
capturado.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
15
Tester funcional: Se trata de una aplicación auxiliar que hemos desarrollado para validar
cualitativamente el correcto funcionamiento de nuestro sistema de eye-tracking. Esta aplicación
recibe la información del módulo de salida y pinta en la pantalla del dispositivo:
o El último frame capturado indicando la zona en la que se encuentran las pupilas según el
módulo de procesamiento
o Dos recuadros que muestran un zoom con el que detalla la zona de detección.
En la definición de la arquitectura software del sistema, se han encontrado dos puntos críticos: el
procesamiento de imágenes y la captura de las mismas.
3.2.1 Procesamiento de imágenes
Para determinar la forma más eficiente de realizar el procesamiento de imágenes se efectuaron
diversas pruebas de concepto. Estas pruebas consistieron en desarrollar distintas aplicaciones en lenguaje
C++ que, utilizando la librería OpenCV, trataban de detectar las pupilas de un individuo en una imagen
mediante distintos algoritmos. OpenCV (del inglés, Open Source Computer Vision) (Ope) es una librería
libre de visión artificial desarrollada por Intel. Desde que apareció en enero de 1999 se ha utilizado en
infinidad de aplicaciones, yendo desde sistemas de seguridad con detección de movimiento hasta
sistemas donde se requiere reconocimiento de objetos. Esto se debe a que su publicación se produce bajo
licencia BSD (Berkeley Software Distribution), lo que permite que se pueda utilizar libremente con
propósitos comerciales y de investigación. Durante la fase de definición decidimos utilizar esta librería
debido a que contiene infinidad de módulos que abarcan una gran gama de áreas en el proceso de visión,
tales como procesamiento de imágenes (imgproc), detección de objetos (objdetect), calibración de
cámaras, etc. Como se verá más adelante, dentro de estos módulos se incluye uno para facilitar el
desarrollo de algoritmos de eye-tracking. Otras de las características de OpenCV que la hace muy
interesante para nosotros es que es una librería multiplataforma, existiendo versiones
para GNU/Linux, Mac OS X , Windows y Android. Esto nos ha permitido realizar pequeñas pruebas de
concepto de algunas de las funcionalidades críticas de la aplicación en un entorno Linux sin la necesidad
del emulador o de un dispositivo físico Android. Una vez desarrollada y validada la funcionalidad en el
ordenador, el código se podía migrar de forma automática o con ligeras modificaciones al entorno Android.
Esta librería es fácil de utilizar y muy eficiente debido a que su programación ha sido realizada en
código C y C++ optimizados, aprovechando además las capacidades que proveen los procesadores multi-
núcleo. Además, es una librería que dispone de una extensa documentación [ (Doc), (Doc1) ], pero en
algunas ocasiones, principalmente en lo referente a la instalación/configuración y la corrección de bugs,
no se encuentra muy bien organizada, lo que a veces ha hecho complicado trabajar con ella.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
16
Antes de comenzar a utilizar la librería para la detección de las pupilas se realizaron las siguientes
pruebas:
Realizar un proyecto [13] de prueba de C++ en el portátil utilizando el Eclipse IDE que nos permite
visualizar una imagen. Para ello, se ha creado un nuevo proyecto y se implementa un código muy
sencillo que utiliza las librerías de OpenCV. Este proyecto, lee una imagen de una ruta y, utilizando
la librería highgui y core, muestra la imagen al ejecutar el programa.
Instalación y ejecución de los ejemplos [14] proporcionados por OpenCV. Para comprobar la
correcta instalación y comprensión de las librerías de OpenCV, se han instalado los ejemplos que
facilita la librería. Estos ejemplos se han ejecutado tanto en el ordenador como en el dispositivo
móvil gracias a la característica multiplataforma de OpenCV. Estas características, además del alto
nivel de detección tanto de la cara como de la pupila, son los motivos por los que se ha decidido
utilizar la librería OpenCV.
Revisando la literatura (Duchowski, 2007), existe una gran variedad de algoritmos para la
detección de las pupilas de un individuo en una imagen cada uno de los cuales se basa en una técnica
diferente. En la Sección 3.3.2 se describen en detalle algunos de los algoritmos encontrados. En nuestras
pruebas nos centramos en tres de ellos:
El primero algoritmo testeado se basaba en buscar círculos en la imagen capturada. La
principal desventajada que encontramos en nuestra prueba es que la tasa de acierto era
muy reducida debido a que había muchos falsos positivos.
El segundo de los algoritmos convertía la imagen a escala de grises y buscaba dos círculos,
asegurándose que la distancia entre ellos fuera menor que un parámetro. Debido a la
lógica de este algoritmo también observamos que se producían falsos positivos como, por
ejemplo, en el caso que el sujeto llevara pendientes de aro.
El algoritmo que daba mejores resultados consistía en, una vez capturada la imagen,
detectar la cara del sujeto. Después de detectar la cara, determinaba la zona en la que
deberían situarse los ojos. Y, finalmente, una vez detectados los ojos, buscaba la ubicación
de las pupilas dentro de la zona determinada para la posición de los ojos (ver detalles del
algoritmo en la Sección 3.3.1.5).
3.2.2 Captura de imágenes
Como primera prueba de concepto para capturar con la cámara del dispositivo las imágenes con
las que alimentar al módulo de procesamiento, se desarrolló una serie de aplicaciones muy simples que
se limitaban a capturar un frame con la cámara y presentarlo en pantalla. Cada una de estas aplicaciones
capturaba el frame de diferente forma, tanto utilizando componentes propios de la SDK para Android (ej.
MediaStore o MediaRecorder), usando métodos nativos, y utilizando librerías de alto nivel como OpenCV.
Dado que el rendimiento observado en las pruebas fue aproximadamente el mismo para todos los
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
17
mecanismos utilizados, después de decidir utilizar la librería OpenCV en el módulo de procesamiento, por
homogeneidad se decidió utilizar esta librería también en el módulo de adquisición.
3.3 Algoritmos de detección de la pupila
El objetivo de este proyecto es la detección de la pupila de los ojos de una persona con la cámara
integrada en el dispositivo móvil. Aunque normalmente el término “detección” se utiliza para descubrir
la ubicación de varios objetos en una imagen, en este caso se utilizará la expresión “detección de pupilas”
para encontrar las pupilas de los ojos de una persona en una secuencia de imágenes.
El primer problema al que nos hemos enfrentado para conseguir ubicar las pupilas de los ojos en
la secuencia de imágenes, ha sido la necesidad de la detección de la cara. Después de la detección de la
cara, la ubicación de los ojos en ésta se puede buscar por la posición en la cara y sus características. Por
este motivo, se ha decidió buscar un algoritmo de detección de la cara independiente de los componentes
estructurales como barba, bigote, gafas, etc.
Hay diversas técnicas diferentes para realizar la detección de caras en imágenes, muchas de ellas
comparten métodos comunes. Estos métodos se pueden clasificar en distintas categorías, algunas de ellas
se han explicado en los siguientes puntos de esta memoria.
3.3.1 Métodos de detección
3.3.1.1 Método basado en el conocimiento
Este método se basa en el conocimiento humano de lo que constituye una cara humana. La
funcionalidad de este método es, principalmente, localizar la cara. Para conseguir la localización, se basa
en reglas simples que describen las características de una cara como, por ejemplo, la cara aparece en la
imagen con dos ojos simétricos entre sí, una nariz y una boca.
El problema de este método es que resulta complicado describir el conocimiento humano en una
correcta definición de reglas. Si las reglas son muy estrictas pueden no detectarse la cara ya que no cumple
todas las reglas pero, si las reglas son muy generales puede haber falsos positivos.
Un estudio realizado sobre este método fue realizado por Yang (Yang, y otros, 1994). En su estudio,
utilizaron una jerarquía basada en el conocimiento para la detección de caras. En esta jerarquía definen
tres niveles de reglas, las reglas del primer nivel son una descripción general de lo que se considera una
cara. Mientras que las reglas de los niveles inferiores se basan en la detección de los rasgos faciales.
3.3.1.2 Método basado en las características invariables
Este método realiza un reconocimiento de la cara humana utilizando características globales como
el color de piel, la textura y la forma del rostro y después verifica que poseen características faciales como
dos ojos, una nariz, etc. Una desventaja de este método es que depende de las características ambientales
como la iluminación, las sombras, etc. que pueden dificultar la detección.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
18
3.3.1.3 Método basado en plantillas
Los métodos basados en la correspondencia de plantillas, comparan la imagen de entrada con una
plantilla utilizando métodos de correlación para localizar los rostros. Existen dos tipos de plantillas,
plantillas basadas en bordes o regiones, denominadas predefinidas, o plantillas basadas en el contorno
facial, denominadas deformables.
Las plantillas predefinidas son aquellas que están formadas a partir de un patrón estándar de
forma manual. Los métodos que utilizan estas plantillas no pueden detectar los cambios de escala, pose
o forma del rostro en una imagen. Para solventar esta dificultad, surgieron las plantillas deformables, las
cuales están construidas mediante unos parámetros. Estos parámetros permiten que la plantilla se ajuste
a los datos. El problema de estas plantillas es que deben ser inicializadas cerca del objeto, en este caso,
cerca de la cara. En general, este método es sencillo de implementar pero, resulta difícil enumerar las
plantillas para las diferentes variaciones posibles, además del elevado coste.
3.3.1.4 Métodos estadísticos
Los tipos de algoritmos utilizados para estos métodos no asumen ningún tipo de información
previa de la tipología de una cara. A partir de un conjunto de muestras (imágenes de caras e imágenes de
no caras) de entrenamiento extraen la información relevante que diferencia un objeto cara de un objeto
no cara. Este grupo incluye uno de los métodos más referenciados y utilizados actualmente: AdaBoost.
3.3.1.5 Método Adaboost
El método conocido como Adaboost fue presentado originalmente por Viola y Jones (Viola P.,
2001) y es una extensión de un clasificador genérico al problema de la detección de objetos en imágenes.
Este método demuestra como a partir de características locales basadas en el cambio de intensidad se
podía desarrollar un detector de caras muy robusto.
El principio de este método es determinar una serie de características basadas en las sumas y
restas de los niveles de intensidad en la imagen. Para ello se utilizan filtros de Haar de un cierto tamaño y
calculados para las posiciones concretas de la sub-imagen que se quiere clasificar. Dichas características
son evaluadas por un “clasificador débil” para decidir si la sub-imagen corresponde a una cara (aceptada)
o no (rechazada). Este tipo de “clasificadores débiles” suelen conseguir unos resultados muy pobres. No
obstante, combinando varios clasificadores débiles, se pueden generar clasificadores más robustos
(“clasificador fuerte”) cuya tasa de detección crece exponencialmente. El rectángulo punteado de la
Figura 10 corresponde a un “clasificador fuerte”.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
19
Figura 10. Detector de caras con clasificadores fuertes
De todas manera, a pesar que la tasa de detección de caras de un “clasificador fuerte” puede
llegar hasta el 99%, presenta la desventaja de que la tasa de falsas detecciones (aceptar una sub-imagen
como cara cuando no lo es). Por este motivo Viola y Jones propusieron un esquema basado en una cascada
de “clasificadores fuertes” como el representado en la Figura 11.Cada etapa corresponde a un
“clasificador fuerte” y está entrenada con todos los ejemplos que la etapa anterior no ha podido clasificar
correctamente más algunos nuevos. Por tanto, en la etapa de entrenamiento, cada etapa se entrena con
un conjunto óptimo de características capaces de detectar cada vez ejemplos más complicados; es decir,
las primeras etapas se encargan de descartar sub-imágenes que son muy diferentes de una cara, mientras
que las últimas etapas pueden rechazar ejemplos mucho más complicados como pueden ser pelotas,
globos, dibujos, etc…
Figura 11. Clasificador en cascada [22]
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
20
- Método Adaboost para detectar las pupilas de los ojos
Dado que la técnica de detección de rostros de Viola-Jones es un método de detección de objetos,
la misma técnica puede utilizarse para detectar componentes individuales dentro de una imagen del
rostro detectado. Por ejemplo, el filtro de dos rectángulos (en la Figura 12, el segundo clasificador) se
puede utilizar para detectar el ojo derecho y el ojo izquierdo. Esto es porque los ojos tienen distintos
niveles de intensidad.
Figura 12. Clasificadores Haar
Como se ha comentado en el apartado de definición de la arquitectura, para este proyecto se ha
utilizado la biblioteca OpenCV. Esta biblioteca implementa una versión del algoritmo de Viola-Jones
(Bradsky, y otros, 2008). OpenCV dispone de un detector que se comporta como un clasificador Haar, ya
que utiliza características Haar, que consta de adiciones y sustracciones de regiones rectangulares de una
imagen antes de aplicar un umbral al resultado.
El algoritmo para detectar las pupilas consta de tres etapas: primero, se detecta la cara que se
procesa en la imagen de entrada. A continuación, se aplican los clasificadores de Haar que incorpora
OpenCV para detectar la posición del ojo y delimitar la región de interés (ROI, Region Of Interest), es decir,
la porción de la imagen sobre la que nos interesa realizar la detección. Esto nos permite eliminar las zonas
de la imagen que no nos interesan para la detección de las pupilas, como pueden ser las cejas. La siguiente
etapa consiste en aplicar un algoritmo sobre la zona ROI para determinar la posición de las pupilas.
3.3.2 Explicación del algoritmo de detección
Para el algoritmo de detección lo primero que se realiza es la inicialización de una serie de
variables necesarias para el procesamiento de la imagen, captura del video, etc. Además se realiza una
iniciación de las máscaras de los ojos que se van a utilizar.
Algoritmo de la función principal:
Paso 1: Adquirir la imagen de video (frame)
Paso 2: Mientras existan frames en el video, realizar ejecutar clasificador Haar sobre frame actual
para detección de rostro
Paso 3: Almacenar con las coordenadas del área rectangular, los pixeles de la ubicación del rostro
dada por el clasificador
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
21
La función está determinada por el algoritmo de Viola - Jones en función al clasificador AdaBoost
entrenado, dicho algoritmo es:
Paso 1: Cargar parámetros óptimos del clasificador.
Paso 2: Si hay rostro detectado, definir zona ROI en el rostro.
Paso 3: Comprobar si hace match los ojos con la zona ROI detectada. Si hace match,
definir la zona con un rectángulo. Retornar a la función principal.
3.4 Implementación del sistema
3.4.1 Instalación
La instalación de la aplicación en los dispositivos Android se ha realizado a través de Eclipse IDE.
Para ello se debe conectar el dispositivo al ordenador a través del cable USB. Una vez que el dispositivo
se ha conectado al ordenador en el que se encuentra el entorno de desarrollo y éste ha reconocido el
dispositivo, instalado como se define en el anexo A, se selecciona ejecutar la aplicación. Entonces, sale
una ventana (Figura 13) que permite elegir dónde ejecutar la aplicación, en cualquiera de los dispositivos
virtuales gestionados por emulador del IDE o en el dispositivo físico conectado. Al seleccionar el
dispositivo físico, la aplicación se instala en el dispositivo móvil.
Figura 13. Selección de dispositivo móvil
Si es la primera vez que se ejecuta la aplicación en el dispositivo físico, aparecerá un mensaje que
indica la necesidad de instalar el OpenCV Manager (Figura 14). OpenCV Manager (Ope1) es una aplicación
para Android, que permite gestionar los archivos binarios de la librería OpenCV en los dispositivos de los
usuarios finales y compartir librerías dinámicas OpenCV entre aplicaciones del mismo dispositivo. Su
instalación se realiza a través de Google. Al tener instalado el OpenCV Manager se consume menos
memoria, ya que todas las aplicaciones usan los mismos archivos binarios, y se optimiza el hardware para
las plataformas soportadas. Además, se obtienen fuentes seguras de la librería OpenCV, ya que al estar
publicados en Google Play se producen actualizaciones regulares.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
22
Figura 14. Instalación de OpenCV Manager
3.4.2 Captura de imágenes con la cámara
Las cámaras utilizadas son las integradas en cada dispositivo. Para realizar pruebas se han utilizado
tanto la cámara delantera como la trasera de los dispositivos o la webcam en el caso del ordenador. Para
el correcto funcionamiento de la aplicación, es necesario colocar el dispositivo en orientación horizontal
y que el dispositivo este a la distancia suficiente como para que aparezca toda la cara en la pantalla.
Durante la ejecución de la aplicación y mientras la cámara enfoque y localice al sujeto, se van
recogiendo las coordenadas de las pupilas con respecto a la posición de la pantalla a la que miran. Estas
coordenadas se almacenan en un fichero.
3.4.3 Almacenamiento de datos
Hay dos posibles formas de guardar un fichero en un sistema Android: almacenamiento interno o
externo (Alm). El almacenamiento interno se utiliza si no se quiere que el usuario u otra aplicación puedan
acceder al fichero pero puede convertirse en una complicación en el caso de que el dispositivos disponga
de poca capacidad de almacenamiento. Por otro lado, el almacenamiento externo se utiliza cuando se
permite que el usuario u otras aplicaciones puedan acceder al fichero.
Según las características del proyecto, con el almacenamiento interno sería suficiente para
guardar la información pero teniendo en cuenta las posibles aplicaciones que podrían utilizar estos datos
para realizar otro tipo de operaciones se ha decidido utilizar el almacenamiento externo.
Dado el objetivo final que se inicia con este proyecto y se podría continuar utilizando las
coordenadas para reconocer gestos visuales, la comunicación, en este caso, debería realizarse entre
aplicaciones y se usarían otras formas más eficientes.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
23
4 PRUEBAS Y RESULTADOS
Una vez detallado el entorno de desarrollo, la arquitectura definida y los algoritmos a utilizar
explicados en los puntos anteriores, se ha procedido a la realización de las pruebas de la aplicación. Debido
a las características del proyecto y los entornos de desarrollo elegidos, se han realizado dos tipos de
pruebas: pruebas de concepto y pruebas de validación.
4.1 Pruebas de concepto
Las pruebas de concepto han sido detalladas en la definición de la arquitectura, ya que fueron
necesarias para escoger la librería más adecuada para la implementación del proyecto.
4.2 Pruebas de validación
Para comprobar que el sistema de eye-tracking desarrollado durante el trabajo de fin de grado
descrito en esta memoria hemos utilizado la aplicación de prueba descrita en la Sección 3.2. Esta
aplicación nos permite comprobar de forma cualitativa que la salida de nuestro sistema es coherente con
la imagen adquirida con la cámara del dispositivo. Durante estas pruebas consideramos que la detección
y seguimiento es correcta si el cuadro sigue a la pupila desde el principio de la prueba y no se pierde en
todo el movimiento. En caso contrario, la detección no es válida. La detección también se ha visto afectada
por situaciones en las que, al realizar la prueba, se ha detectado solo un ojo (el izquierdo o el derecho)
(Figura 15), se han detectado los dos ojos o no se ha detectado ninguno (Figura 16).
Figura 15. Detección correcta de ojo derecho
Figura 16. Detección incorrecta de ambos ojos
Hemos realizado dos tipos de pruebas de validación utilizando esta aplicación. En un primer
conjunto de pruebas, validamos el correcto funcionamiento del sistema desarrollado en un Smartphone
modelo Samsung Galaxy S3 tratando de seguir los movimientos oculares de un sujeto que mueve los ojos
libremente mientras interactúa con el dispositivo. Este primer grupo de pruebas, además, nos ha
permitido identificar posibles limitaciones para un sistema de las características del desarrollado, así como
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
24
posibles factores a tener en cuenta para mejorar su eficiencia. En el segundo conjunto de pruebas
tratamos de verificar de forma más general el sistema desarrollado. Para ello, se tienen en cuenta los
resultados de las pruebas anteriores y se realizan pruebas con distintos dispositivos y sujetos en diversos
escenarios, utilizando tanto la cámara frontal como la trasera del dispositivo.
A partir del primer tipo de pruebas realizadas con un único sujeto y dispositivo móvil, se ha podido
observar que la detección de la pupila no dependía únicamente de estos parámetros. Por lo que se decide
realizar diversas pruebas cambiando los sujetos y los dispositivos móviles. Pero además, se comprobó que
la luz ejercía una influencia sobre la detección de la pupila, definiendo, además, tres tipos de escenarios
para realizar las pruebas de validación generales.
4.2.1 Tipos de dispositivos utilizados
Los dispositivos utilizados para las pruebas han sido tablets y smartphones. De los dispositivos
mencionados se detalla, en la Tabla 1, el tipo de dispositivo y las características de las cámaras que tiene.
Tabla 1. Dispositivos utilizados para las pruebas
Dispositivo Tipo de
dispositivo Cámara frontal
Cámara trasera
Procesador Memoria
Samsung Galaxy S3 Mini
Smartphone 5 mp 5 mp 1GHz doble núcleo ARM
Cortex-A9 8 a 16 GB
Sony Xperia T Smartphone 1,3 mp 13 mp 1.5GHz dual-core
Snapdragon S4 (Krait) 1 GB
Samsung Galaxy S3 Smartphone 1,9 mp 8 mp 1.4 GHz quad-core ARM
Cortex-A9 1 GB
Samsung Galaxy Tab Tablet 1,3 mp 3 mp ARM Cortex A8 512 MB
4.2.2 Descripción de los escenarios
Debido a que el Smartphone o la tablet se utilizan como eye-tracker, las características de los
dispositivos son los que limitan los resultados de las pruebas. Como se utiliza la cámara intrínseca a cada
dispositivo, para escoger los escenarios de las pruebas se ha pensado en las distintas posiciones del sujeto
y la cámara al realizar una fotografía.
El primer escenario en el que se ha pensado para realizar las pruebas ha sido colocar la luz en la
parte superior de la habitación para que incida sobre el sujeto y el dispositivo móvil, como se puede ver
en la Figura 17.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
25
Figura 17. Escenario 1
El segundo escenario en el que se han realizado las pruebas ha sido colocando la luz detrás del
dispositivo móvil y enfrente del sujeto para que la luz este detrás de la cámara del dispositivo como se
aprecia en la Figura 18.
Figura 18. Escenario 2
El tercer escenario utilizado para realizar pruebas ha sido colocando la luz delante del dispositivo
móvil, que es detrás del sujeto para que la luz dé de frente al dispositivo como se ve en la Figura 19.
Figura 19. Escenario 3
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
26
4.2.3 Descripción de los sujetos
Los sujetos con los que se han realizado las pruebas son adultos entre 24 y 66 años de edad, con
nacionalidad occidental y de ambos sexos. Las características de los sujetos pueden ser que lleven gafas,
lentillas, los ojos pintados o sin ningún accesorio. Los sujetos tienen distinta fisonomía facial, algunos
tienen los ojos de menor tamaño que otros o el iris del ojo de distintos colores.
4.2.4 Descripción de las pruebas
Las pruebas realizadas han consistido en instalar la aplicación en los distintos dispositivos móviles
que se han utilizado. Una vez instalada la aplicación, se ha procedido a averiguar los resultados de acierto
en cada escenario con sujetos de diversas características. Para realizar las pruebas se han utilizado tanto
la cámara frontal como la trasera intrínseca de los distintos dispositivos móviles.
Las pruebas se han realizado por tipos y se numeran del 1 al 18 para poder representar las
características de cada prueba en ellas. Las columnas representan: el número de prueba, que es un
identificador para la gráfica, si el sujeto llevaba gafas o no, si llevaba lentillas o no, si tenía los ojos pintados,
si había luz general y la posición fuente de la luz, respectivamente al orden de las columnas de la Tabla 2.
Se puede observar que en todas las pruebas la luz general está a "Sí", esto significa que la prueba
se ha hecho en una habitación con una luz general a cierta altura o iluminada de forma general por luz
natural.
Tabla 2. Representación de los datos utilizados para realizar las pruebas.
Id. Prueba
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
1 No No No Sí Escenario1
2 No No No Sí Escenario2
3 No No No Sí Escenario3
4 No No Sí Sí Escenario1
5 No No Sí Sí Escenario2
6 No No Sí Sí Escenario3
7 No Sí No Sí Escenario1
8 No Sí No Sí Escenario2
9 No Sí No Sí Escenario3
10 No Sí Sí Sí Escenario1
11 No Sí Sí Sí Escenario2
12 No Sí Sí Sí Escenario3
13 Sí No No Sí Escenario1
14 Sí No No Sí Escenario2
15 Sí No No Sí Escenario3
16 Sí No Sí Sí Escenario1
17 Sí No Sí Sí Escenario2
18 Sí No Sí Sí Escenario3
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
27
4.3 Resultados
Para todas las pruebas realizadas con todos los dispositivos móviles, en el caso de “luz general”
con valor “No” significa que la habitación está a oscuras y la única fuente de luz es la que se indica en la
columna “Posición fuente de luz”, si la luz está encima o detrás del móvil los resultados son equivalentes
a los casos correspondientes según la columna “Posición fuente de luz”. Sin embargo, si la fuente de luz
está detrás del sujeto nunca consigue la detección.
Los resultados de las pruebas realizadas con los distintos dispositivos en cada escenario según las
características de los sujetos se encuentran recogidos en tablas en el anexo B. Para el análisis de los
resultados se ha decidió representar los datos en gráficas.
Como se puede ver en la Figura 20, el porcentaje de detección de la pupila con el Smartphone
Samsung S3 mini, utilizando la cámara trasera, tiene un porcentaje de detección de la pupila alrededor
del 90%. Cuando las pruebas se realizan en el escenario 3, que corresponde con la fuente de luz está
detrás del sujeto, (pruebas 3, 6, 9, 12, 15 y 18), el porcentaje de detección de la pupila se disminuye hasta
el valor de 10%, y en el caso de que el sujeto no lleve ningún accesorio aumenta hasta el 20%. En las
pruebas referentes a los sujetos con gafas, de la 13 a la 18, se nota que la detección de la pupila no tiene
un comportamiento fijo, sino que varía en cada caso. Por ejemplo, en la prueba 17, el sujeto utiliza gafas
y se alcanza un 100% de la detección de la pupila, mientras que en el caso 13, la detección esta alrededor
de un 50% de acierto. Como podemos observar, no hay mucha diferencia entre si el sujeto usa (de 7 a 12)
o no (de 1 a 6) lentillas, debido a que el porcentaje de detección en estas pruebas es aproximadamente
del 90% o mayor.
Figura 20.Pruebas con Smartphone el Samsung Galaxy Mini S3 con la cámara trasera
Como se puede ver en la Figura 21, el porcentaje de detección de la pupila con el Smartphone
Samsung S3 mini utilizando la cámara frontal, oscila entre el 80-90% en la mayoría de las pruebas. Si se
compara con los resultados de la cámara trasera, es visible que se ven reducidos entre un 10 y 20 % el
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
28
porcentaje de acierto. Igual que en el caso de la Figura 20, en las pruebas en las que el sujeto utiliza gafas
(17 a 18) el porcentaje de acierto se ve reducido como máximo un 60%.
Figura 21. Pruebas con Smartphone el Samsung Galaxy Mini S3 con la cámara frontal
Como se puede ver en la Figura 22, el porcentaje de detección de la pupila con el Smartphone
Sony Xperia T, utilizando la cámara trasera es elevado entre un 90-100% de acierto, como el dispositivo
anterior. Se puede observar que los resultados son muy similares a la detección del Samsung Galaxy Mini
S3 con la cámara trasera. Una vez más, los resultados de detección más inferiores se localizan entre las
pruebas 13 a la 18, que coinciden con las pruebas en los que los sujetos llevan gafas.
Figura 22. Pruebas con Smartphone el Sony Xperia T con la cámara trasera
Como se puede ver en la Figura 23, el porcentaje de detección de la pupila con el Smartphone
Sony Xperia T, utilizando la cámara frontal es similar a los resultados con la cámara trasera de este mismo
dispositivo. La diferencia con la gráfica anterior es que el porcentaje de detección para la prueba 13
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
29
aumenta un 10% mientras que, en la prueba 15 disminuye un 40%. Como la prueba 15, tiene la
característica común de que la luz incide detrás del sujeto se han observado las demás pruebas con esa
condición. Las pruebas (3, 6, 9, 12, 15 y 18) cumplen con esa características y se puede observar que los
porcentajes en esas pruebas es alrededor de un 10% inferior que en las que la luz incide de otra forma.
Curiosamente, la cámara frontal de este dispositivo es de menos calidad que la trasera (ver Tabla 1) y
sorprendentemente, los resultados de la detección no lo demuestran.
Figura 23. Pruebas con Smartphone el Sony Xperia T con la cámara frontal
Como se puede ver en la Figura 24, el porcentaje de detección de la pupila con el Samsung Galaxy
S3, son similares a los dispositivos anteriores. Pero en este caso, en las pruebas (3, 6, 9, 12, 15 y 18) se
aprecia que la detección de las pupilas disminuye considerablemente. Observando las condiciones de esas
pruebas, se puede ver, que tienen en común, que la luz se encuentra detrás del sujeto. Lo que nos indican
los resultados es que este dispositivo tiene un menor porcentaje (entre un 20-60%) de detección en esa
condición. Además entre la prueba 13 hasta la 18, la detección de la pupila también disminuye debido a
que el sujeto utiliza gafas.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
30
Figura 24. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara trasera
Como se puede ver en la Figura 25, el porcentaje de detección de la pupila con el Samsung Galaxy
S3, es inferior alrededor de un 10% con respecto a la cámara frontal. En general, los resultados oscilan
entre 80 y un 100%, por lo que no diferencian mucho de los resultados de la cámara trasera. Pero, en las
pruebas 3, 9 y 15, se aprecia que la detección de las pupilas disminuye considerablemente con respecto
al porcentaje de acierto de detección de la gráfica. Observando las condiciones de esas pruebas, se puede
ver que tienen en común que la luz se encuentra detrás del sujeto. Todos estos resultados nos indican
que este dispositivo con la cámara frontal, tiene un menor porcentaje de detección en esa condición.
Figura 25. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara frontal
Con respecto a las pruebas realizadas con la tablet Samsung Tab usando la cámara trasera (Figura
26) se observa que son similares a los demás dispositivos. Destacando que la detección de la pupila
disminuye entre las pruebas 12 y 18, debido a que el sujeto utiliza gafas.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
31
Figura 26. Pruebas con tablet Samsung Tab con la cámara trasera
En el caso de las pruebas realizadas con la Samsung Tab utilizando la cámara frontal (Figura 27),
se observa que los resultados oscilan entre un 60 y un 70% mientras que los demás dispositivos alcanzaban
en algunas pruebas un porcentaje de acierto del 100%. Debido a que todas las pruebas están realizadas
en las mismas condiciones y se van cambiando los dispositivos, se ha de tener en cuenta, que en este caso
el problema debería ser alguna característica del dispositivo (ver Tabla 1). Para estas pruebas, el
porcentaje de acierto de detección de la pupila puede verse afectado tanto por el número de megapíxeles
que dispone la cámara frontal como la poca capacidad de memoria de la dispone el dispositivo. En los
resultados de estas pruebas, se puede comprobar, con más claridad, que la característica de que el sujeto
utilice gafas y la posición de la luz complica la detección de la pupila.
Figura 27. Pruebas con tablet Samsung Tab con la cámara frontal
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
32
4.3.1 Análisis de los resultados
Después de observar las gráficas, mirar las características de cada prueba y los resultados de éstas,
se puede concluir que:
La detección depende mucho de la posición de la cara del usuario respecto al dispositivo, tanto
en distancia como en ángulo. Esta conclusión se ha basado en las pruebas realizadas con un único
sujeto y el dispositivo Samsung S3.
El funcionamiento es independiente de la posición de la fuente de luz siempre que ésta esté a
cierta altura (ej. luz de techo o lámpara de pie), quitando alguna situación muy específica (ej. en
una habitación oscura con una única fuente de luz detrás del usuario) Si se encuentra a la misma
altura que la cabeza del sujeto, en general funciona mejor si está detrás del dispositivo (pruebas
2, 5, 8, 11, 14 y 17).
Los resultados apenas se ven modificados por el uso (prueba de 7 a 12) o no (prueba de 1 a 6) de
lentillas. Si se compara en las distintas gráficas con los diversos dispositivos el porcentaje de
detección de pupila entres estas pruebas, se puede apreciar que hay un comportamiento similar
en ambos tipos de pruebas.
En el caso de los ojos pintados (pruebas de 4 a 6, de 10 a 12, de 16 a 18), afecta al resultado de la
prueba dependiendo de la posición de la luz.
En los usuarios con gafas (pruebas de 12 a 18), el resultado varía notablemente con la posición de
la luz en es el escenario. Esto, se cree, que puede deberse a la forma en que se refleja la luz en el
cristal de la gafa. En estos casos es bastante habitual que sólo se detecte una pupila.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
33
5 CONCLUSIONES Y TRABAJO FUTURO
5.1 Conclusiones
A lo largo de la historia de los ordenadores primero, y luego en otros dispositivos como las
tabletas, teléfonos móviles, pantallas de información, cajeros automáticos, etc. es necesaria una manera
de interaccionar con ellos. A la vez que surgieron las primeras máquinas, surgieron también las primeras
interfaces, como tarjetas perforadas, teclados o posteriormente, ratones o pantallas táctiles.
La llegada al mercado de los Smartphone, y posteriormente las tabletas, abrió la puerta a la
interfaz táctil en estos sistemas. El uso de pantallas táctiles como interfaz de comunicación con un
dispositivo móvil implica la necesidad de utilizar las manos para interaccionar con él. Sin embargo, existen
casos en los cuales no se puede o no es conveniente hacer uso de las mismas, ya sea porque el usuario
tiene algún tipo de discapacidad o lesión temporal, o por el simple hecho de no poder usarlas, por tenerlas
ocupadas en ese momento. En estos casos, una alternativa ampliamente utilizada son las interfaces de
interacción por voz.
Sin embargo, de nuevo, existen situaciones donde no se puede utilizar el control por voz:
ambientes muy ruidosos o por el contrario que requieren silencio. En este escenario cada día cobra mayor
fuerza el uso de interfaces hombre-máquina en las que la interacción con el Smartphone se realiza a
oulares (Gaze Gestures), para lo cual es necesaria la tecnología de eye-tracking o seguimiento de los ojos.
En este proyecto se han analizado distintos algoritmos para implementar los mecanismos de detección
de la pupila en el propio Smartphone y se ha desarrollado un sistema capaz realizar un seguimiento del
movimiento de los ojos de un usuario de un dispositivo Android.
Lo primero que se ha llevado a cabo en el proyecto ha sido el diseño e implementación del
prototipo de la aplicación que realiza la detección de las pupilas, utilizando los módulos de las librerías de
OpenCV. Para, a continuación, poder instalarlo en distintos dispositivos móviles y realizar pruebas de
validación en distintos escenarios a diversos sujetos.
A la vista de los resultados obtenidos durante las pruebas realizadas, cabe destacar que el objetivo
de implementar un sistema que use la tecnología de Eye-tracking utilizando el hardware y el software
intrínseco al dispositivo móvil se ha conseguido. Aun así, se han encontrado situaciones en las que el
sistema desarrollado no detecta las pupilas del usuario de forma correcta. Principalmente los fallos en la
detección se producen ante determinada configuración de las fuentes de luz o en las pruebas en las que
el sujeto utiliza gafas. A continuación se pasarán a exponer tanto las ventajas como los inconvenientes del
sistema propuesto.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
34
Ventajas
La principal ventaja del sistema propuesto es que un mecanismo no intrusivo que no requiere de
ningún tipo de dispositivo especial. El sistema funciona, con las limitaciones identificadas, en cualquier
dispositivo Android con una cámara. Esta característica hace que la aplicación sea usable en cualquier
ámbito ya que solo dependes de transportar de sitio el dispositivo.
En nuestro caso, las pruebas se han realizado principalmente con dispositivos Android pero gracias
al uso de la librería multiplataforma OpenCV, los algoritmos desarrollados se podría utilizar de forma
sencilla como interfaz de comunicación tanto con un ordenador con cualquier sistema operativo (en
nuestro caso se han realizado pruebas con ordenadores Linux), como con tablets y smartphones con
sistema operativo iOS (iPhones y iPads).
Inconvenientes y limitaciones
La correcta detección de la pupila se ve afectada por la posición de la luz con respecto a la cámara,
el modelo de gafas que puede llevar el sujeto y el ángulo y la posición del dispositivo frente al sujeto. Esto
hace que, en cierta medida, el control del dispositivo sea limitado ya que es necesario no mover la cabeza
para realizar un correcto seguimiento de las pupilas.
A pesar de estos inconvenientes, los resultados de las pruebas que se han hecho en este trabajo
apoyan la hipótesis de que es posible realizar un algoritmo de eye-tracking que utilice las características
intrínsecas del dispositivo, sin necesidad de otros accesorios.
5.2 Trabajo futuro
El trabajo futuro a realizar sobre el sistema de eye-tracking desarrollado se dirigiría
principalmente a limitar los inconvenientes identificados durante las pruebas. En el caso de las
limitaciones encontradas respecto a la dependencia de la detección de la pupila del usuario de la posición
de la luz con respecto a la cámara una posible mejora consistiría realizar ajustes en las propiedades de la
cámara a través del software para mejorar la calidad de obturación de ésta.
Con respecto a la limitación existente si el usuario mueve la cabeza, se podría solventar con el uso
de un sistema de head mounted, es decir, el eye-tracker se colocaría sobre la cabeza, como en unas gafas
o una gorra. Una forma de hacerlo sería colocar la cámara y las luces, además de una alimentación para
las mismas, en unas gafas, similares a las que se proponen en Project Glass de Google (Goo)]. Este proyecto
va enfocado a crear unas gafas de realidad aumentada, las cuales sirven para que con los ojos, mediante
eye-tracking, y con comandos de voz se pueda obtener información de un smartphone sin usar las manos,
dando la capacidad de realizar acciones tales como leer el correo, acceder a la agenda, etc.
Otra línea de investigación a realizar sobre el sistema de eye-tracking se podría centrar en realizar
un sistema de interfaz hombre-máquina que utilicen gestos oculares para la interacción con el dispositivo,
utilizando el sistema de eye-tracking desarrollado en este proyecto para realizar el seguimiento de la
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
35
pupila. Este sistema de gaze-gestures, debería iniciar su funcionamiento de reconocimiento de gestos
oculares leyendo el módulo de salida que nos proporciona el sistema de eye-tracking implementado.
Una posible mejora a realizar al sistema sería modificar la manera de almacenar las coordenadas
de una manera más eficiente para permitir la comunicación entre aplicaciones de manera más fluida y
eficiente.
Además de su aplicación para la investigación de interfaces hombre-máquina que utilicen gestos
oculares, el sistema desarrollado puede utilizarse en otros campos de aplicación Estos campos son
aquellos que actualmente tienen aplicaciones basadas en eye-tracking, comentadas en apartados
anteriores, como puede ser marketing. Actualmente, cada vez más se utiliza la tablet o el smartphone
para navegar por Internet, por lo que con un sistema de eye-tracking para una aplicación Android
permitiría hacer mapas de calor para los sujetos que navegan con estos dispositivos.
Otra posible aplicación en la que se podría investigar, sería utilizar esta aplicación de eye-tracking
para conseguir una medición de la atención de una persona al utilizar el móvil.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
36
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
37
6 REFERENCIAS
Almacenamientos en Android [En línea]. - http://developer.android.com/training/basics/data-
storage/files.html.
Android (And1) - Ejemplo de primera app [En línea]. -
http://developer.android.com/training/basics/firstapp/running-app.html.
Android (And) - Instalación adt [En línea]. - http://developer.android.com/sdk/installing/installing-
adt.html.
Bradsky G. y Kaehler A. Learning OpenCV. Computer Vision with the OpenCV Library. [Publicación
periódica]. - 2008.
Buswell G. T. How people look at pictures: a study of the psychology and perception [Publicación
periódica]. - 1935.
Documentación OpenCV (Doc) [En línea]. - http://docs.opencv.org/.
Documentación OpenCV (Doc1)[En línea]. - http://opencv.org/documentation.html.
Documentación OpenCv y Eclipse (Doc2) ( [En línea]. -
http://docs.opencv.org/doc/tutorials/introduction/linux_eclipse/linux_eclipse.html#linux-eclipse-usage.
Documentación OpenCV (Doc3) - Paquete de Android [En línea]. -
http://docs.opencv.org/doc/tutorials/introduction/android_binary_package/O4A_SDK.html#o4a-sdk.
Documentacion OpenCV (Doc4)- Instalación en Linux [En línea]. -
http://docs.opencv.org/doc/tutorials/introduction/linux_install/linux_install.html#linux-installation.
Dodge R. Recent studies in the correlation of eye movement and visual perception. Psychological
Bulletin [Publicación periódica]. - 1906. - págs. 3(3), 85‐92.
Dodge R., & Cline, T. S. The angle velocity of eye movements. Psychological Review [Publicación
periódica]. - 1901. - págs. 8(2), 145‐157..
Duchowski A. Eye-Based Interaction in Graphical Systems: Theory & Practice. Potential Gaze-Contingent
Applications. [Publicación periódica]. - 2000.
Duchowski A. T. Eye Tracking Methodology [Libro]. - London : Springer, 2007.
Eclipse IDE (Ecl) [En línea]. - http://www.eclipse.org/.
Eclipse IDE (Ecl1) - Descarga [En línea]. - http://www.eclipse.org/downloads/.
Eclipse IDE completo (Ecl2) [En línea]. - http://developer.android.com/sdk/index.html.
Google (Goo) [En línea]. - https://plus.google.com/+projectglass .
Harware device (Har) [En línea]. - http://developer.android.com/tools/device.html.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
38
Hiley J. B., Redekopp, A. H., and Fazel-Rezai, R A lowcost human computer interface basedoneye
tracking. [Conferencia]. - [s.l.] : ConfProc IEEE EngMedBiolSoc1, 2006. - págs. 3226–3229..
Huey E. B. Preliminary Experiments in the Physiology and Psychology of Reading. American Journal of
Psychology [Publicación periódica]. - 1898. - págs. 9, 575‐886..
Jacob R.J.K. Eye Tracking in Advanced Interface Design [Libro]. - Oxford UniversityPress, New York :
Virtual Environments and Advanced Interface Design, ed. by W. Barfield and T.A. Furness, 1995. - págs.
258-288.
Javal E. Essai sur la Physiologie de la Lecture. Annales D'Oculistique [Publicación periódica]. - 1879. -
págs. 81, 61‐73..
Just M. & Carpenter, P. A theory of reading : From eye fixations to comprehension. Vol. 87. [Publicación
periódica]. - 1980.
Moreno Martín Tamara Diseño, implementación y vaidación de un sistame de control para
smarthphone basado en la tecnología de gaze-gestures [Informe]. - 2013.
OpenCV (Ope) [En línea]. - http://opencv.org/.
OpenCV Manager (Ope1) [En línea]. - http://docs.opencv.org/trunk/opencv2manager.pdf.
OpenCV (Ope2) - Ejemplo [En línea]. -
http://docs.opencv.org/doc/tutorials/introduction/display_image/display_image.html.
OpenCV (Ope3) Manager - Instalación [En línea]. -
http://docs.opencv.org/platforms/android/service/doc/UseCases.html#manager-selection.
Posner I. Orienting of attention. Quarterly Journal of Experimental Psychology [Publicación periódica]. -
1980. - págs. 32, 3-25.
Rayner K. Eye movements in reading and information processing: 20 years of research [Publicación
periódica]. - 1998. - págs. 124(3), 372‐422..
Rozado D., Rodriguez, F. B., and Varona, P. Extending the bioinspired hierarchical temporal memory
paradigm fo sign language recognition. Neurocomputing. [Publicación periódica]. - 2012. - Vol. 79. -
págs. 75–86.
Scopus (Sco) [En línea]. - http://www.scopus.com/.
Viola P. Jones M. Rapid Object Detection using a Boosted Cascade of Simple Features, [Libro]. - [s.l.] :
Computer Vision and Pattern Recognition, 2001.
Web NDK [En línea]. - http://developer.android.com/tools/sdk/ndk/index.html.
Web SDK [En línea]. - http://developer.android.com/sdk/index.html.
Yang M.-H. y Kriegman D. and Ahuja, N. Detecting Faces in a Survey [Conferencia] // IEEE Transactions
on Pattern Analysis and Machine Intelligence. - 1994. - Vols. 24, nº1.
Yarbus A. L. Role of eye movements in the visual process [Publicación periódica]. - 1965.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
39
ANEXO A
Instalación de entorno de desarrollo
En este punto se van a exponer los pasos que se han seguido para conseguir la correcta instalación
del entorno necesario para el desarrollo del proyecto que se describe en esta memoria de Trabajo Fin de
Grado (TFG). El sistema operativo sobre el que se ha decidido instalarlo es Linux, en este caso Ubuntu
13.04 pero los pasos a seguir serían muy similares para cualquier sistema operativo.
Instalación OpenCV
El primer paso a llevar a cabo ha sido la instalación de la librería OpenCV en el sistema operativo.
Está instalación se ha realizado siguiendo los pasos de la guía de instalación disponible en la web de la
librería (Doc4). La documentación que proporciona la librería OpenCV es muy completa, pero en algunos
casos es difícil ya que la información está repartida en múltiples documentos por lo que hay que navegar.
Los paquetes necesarios para la instalación de OpenCV son:
GCC 4.4.x o posterior. Se puede instalar con: sudo apt-get install build-essential
CMake 2.6 o posterior
Git
GTK+2.x o posterior, incluyendo (libgtk2.0-dev);
pkgconfig;
Python 2.6 o posterior y Numpy 1.5 o posterior con los paquetes para desarrolladores (python-
dev, python-numpy);
ffmpeg or libav development packages: libavcodec-dev, libavformat-dev, libswscale-dev;
[optional] libdc1394 2.x;
[optional] libjpeg-dev, libpng-dev, libtiff-dev, libjasper-dev.
Una vez instalados los paquetes mencionados, es necesario obtener el código de la librería. Existen
múltiples opciones para obtener el código de la librería de OpenCv. De todas ellas, en nuestro caso se ha
elegido realizar la descarga del apartado "Getting the Latest Stable OpenCV Version". Una vez descargado
y descomprimido, se construye y se instala desde línea de comando (puede ocurrir que la instalación
requiera algún paquete más de los ya instalados, en ese caso se procede a su instalación mediante el
comando apt).
Una vez que se han realizado los pasos anteriores la librería se ha instalado en el sistema operativo
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
40
y cualquier programa podrá referenciarla y utilizarla. Para comprobar que se ha instalado correctamente
la librería OpenCV en nuestro sistema operativo se utiliza un pequeño ejemplo en C++ que recomienda la
propia librería (Ope2). Es un ejemplo muy sencillo que sirve para un primer contacto con las librerías de
OpenCV. Este ejemplo nos muestra una imagen en una ventana utilizando los módulos core y highgui de
la librería, que es la librería que se usa para controlar la interfaz.
Instalación de Eclipse
A continuación, se exponen los pasos que se han seguido para instalar Eclipse. En nuestro caso, se
ha decidido utilizar Eclipse IDE (Ecl1)que permite la programación de aplicaciones en Android utilizando
OpenCV, como se explicó en el apartado de diseño y desarrollo de esta memoria.
Hay dos situaciones en la que nos podemos encontrar, la primera de ellas es que ya tengamos
instalado Eclipse IDE y la segunda es que no lo tengamos el IDE. Para la primera de las situaciones,
podemos añadir el plugin ADT al IDE ya instalado. Para la segunda situación, existen versiones de Eclipse
[ (And1), (Ecl2) ] que vienen integradas con todo lo necesario para la programación de una aplicación en
Android sin necesidad de añadir un plugin aparte o la instalación de diferentes conjuntos de herramientas
como el kit de desarrollo de software (SDK, siglas en inglés de Software Development Kit) (Web SDK). Es
necesario instalar el kit de desarrollo nativo (NDK, siglas en inglés de Native Development Kit) (Web NDK),
ya que es un conjunto de herramientas que permite implementar partes de la aplicación utilizando
lenguajes de código nativo como C y C++. Además es necesario utilizar la interfaz nativa de Java (JNI, siglas
en inglés de Java Native Interface), que tanto ésta como NDK nos permiten la comunicación de lenguaje
nativo de C++ con Android. Para poder realizar este proyecto, es necesaria la instalación de todos los
conjuntos de herramientas mencionados, ya que se utiliza código en C++ para el Eye Tracking.
Para comprobar la correcta instalación del entorno de desarrollo, se realiza un proyecto nuevo de
C++ en Eclipse siguiendo los pasos del tutorial (Doc4)]. Lo primero que se hace es crear un proyecto nuevo
vacío de C++. Después, se crea una carpeta dentro del proyecto, donde se ha puesto los ficheros que
contienen el código. Denominamos al fichero como DisplayImage.cpp e introducimos un código que
realiza la función de leer una ruta de una imagen que se le pasa por argumento. Se define el tamaño de la
ventana en la que se va a mostrar la imagen, que debe estar en dicha ruta, y se ejecuta una función para
que muestre la imagen por pantalla.
Por último, se debe indicar al proyecto que debe linkarse con la librería de OpenCV. Para conseguir
que el proyecto que hemos creado se una con esta librería, lo que se ha hecho ha sido acceder a las
propiedades del proyecto y en el apartado de GCC C++ Compiler, en Include paths(-l) se ha introducido
/usr/local/include/opencv. Luego, Libraries(-l) se han añadido las librerías de OpenCV, para este proyecto
de prueba fueron necesarias opencv_core, opencv_imgproc y opencv_highgui.
Una vez configurado todo lo necesario para el programa prueba, se ha procedido a compilar y
linkar el proyecto. Después se ha ejecutado y como resultado se ha podido ver la imagen que se introdujo
en el parámetro, que era el objetivo de esta pequeña prueba.
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
41
Ejecución de la aplicación
Para probar el funcionamiento de la aplicación que se va a desarrollar en Android hay dos formas,
se puede probar en un emulador virtual que nos proporciona el propio Eclipse debido al plugin de Android
o en el dispositivo móvil. Para la configuración del emulador se utilizado la herramienta de Android
siguiendo el tutorial (And1). En cambio, para poder ejecutarlo en el dispositivo móvil primero hay que
instalarlo en el sistema operativo para que lo reconozca.
Para instalar el Hardware Device (Har), es necesario abrir o crear el fichero /etc/udev/rules.d/51‐
android.rules como root y añadir la línea SUBSYSTEM=="usb", ATTR{idVendor}=="0bb4", MODE="0666",
GROUP="plugdev" donde el idVendor debe ser sustituido por el identificador de la marca del Hardware
Device (ver ¡Error! No se encuentra el origen de la referencia.). En nuestro caso, añadimos al fichero
SUBSYSTEM=="usb", ATTR{04e8}=="0bb4", MODE="0666", GROUP="plugdev". Se cierra el fichero y se
ejecuta chmoda+r /etc/udev/rules.d/51‐android.rules
Tabla 3. Identificador de las compañías más populares para instalar el dispositivo móvil
Compañía idVendor
Acer 0502
ASUS 0b05
HTC 0bb4
Huawei 12d1
LG 1004
Motorola 22b8
Samsung 04e8
Sony 054c
Sony Ericsson 0fce
Una vez instalado todo lo anterior, se comprueba el correcto funcionamiento de los ejemplos
(Doc3)], que vienen en la carpeta de OpenCV tanto en el ordenador como en el dispositivo móvil. Para
poder probar los ejemplos, es necesario el OpenManager. La instalación del OpenManager en el
ordenador se ha realizado mediante línea de comandos (Ope3), en nuestro caso el comando ejecutado
fue adbinstall /home/…/OpenCV-2.4.6-android sdk/apk/OpenCV_2.4.6_Manager_2.9_armeabi.apk.
En el caso del móvil, se ha accedido a Google Play para descargar e instalar. Una vez que termina
la instalación, se ejecuta el ejemplo de OpenCV en el emulador o en el móvil y ofrece la posibilidad de
instalarlo dentro del dispositivo, se confirma la acción y cuando finaliza aparece la ejecución de la
aplicación que se está probando.
Una vez realizados estos pasos se tiene la completa instalación, siendo posible ejecutar cualquier
aplicación Android que utilice OpenCV tanto en el ordenador como en el móvil.
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
42
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
43
ANEXO B
Para abreviar los valores en la tabla, se utilizan I = pupila izquierda, D = pupila derecha y I-D las
dos pupilas. El símbolo % indica el porcentaje de detección correcta en esa pupila.
Tabla 4. Resultados de las pruebas realizadas con Smartphone Samsung Galaxy S3 Mini con cámara trasera
Id. Pruebas
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
%I %D %I-D
1 No No No Sí Escenario1 100 100 100
2 No No No Sí Escenario2 100 100 100
3 No No No Sí Escenario3 95 90 90
4 No No Sí Sí Escenario1 100 100 100
5 No No Sí Sí Escenario2 100 100 100
6 No No Sí Sí Escenario3 95 100 95
7 No Sí No Sí Escenario1 95 95 95
8 No Sí No Sí Escenario2 100 95 95
9 No Sí No Sí Escenario3 80 80 65
10 No Sí Sí Sí Escenario1 100 100 100
11 No Sí Sí Sí Escenario2 90 90 90
12 No Sí Sí Sí Escenario3 95 95 95
13 Sí No No Sí Escenario1 85 50 50
14 Sí No No Sí Escenario2 95 100 95
15 Sí No No Sí Escenario3 90 95 90
16 Sí No Sí Sí Escenario1 75 60 40
17 Sí No Sí Sí Escenario2 100 100 100
18 Sí No Sí Sí Escenario3 90 90 80
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
44
Tabla 5. Resultados de las pruebas realizadas con Smartphone Samsung Galaxy S3 Mini con cámara frontal
Id. Pruebas
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
%I %D %I-D
1 No No No Sí Escenario1 90 90 85
2 No No No Sí Escenario2 85 90 80
3 No No No Sí Escenario3 80 95 75
4 No No Sí Sí Escenario1 80 90 80
5 No No Sí Sí Escenario2 100 95 95
6 No No Sí Sí Escenario3 95 95 90
7 No Sí No Sí Escenario1 95 95 90
8 No Sí No Sí Escenario2 80 85 75
9 No Sí No Sí Escenario3 75 90 70
10 No Sí Sí Sí Escenario1 80 80 75
11 No Sí Sí Sí Escenario2 90 85 85
12 No Sí Sí Sí Escenario3 75 95 75
13 Sí No No Sí Escenario1 50 55 35
14 Sí No No Sí Escenario2 100 95 95
15 Sí No No Sí Escenario3 55 70 15
16 Sí No Sí Sí Escenario1 60 60 20
17 Sí No Sí Sí Escenario2 100 100 100
18 Sí No Sí Sí Escenario3 45 40 45
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
45
Tabla 6. Pruebas con Smartphone el Sony Xperia T con la cámara trasera
Id. Pruebas
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
%I %D %I-D
1 No No No Sí Escenario1 95 100 95
2 No No No Sí Escenario2 100 100 100
3 No No No Sí Escenario3 85 95 85
4 No No Sí Sí Escenario1 95 95 90
5 No No Sí Sí Escenario2 100 100 100
6 No No Sí Sí Escenario3 95 85 85
7 No Sí No Sí Escenario1 90 90 90
8 No Sí No Sí Escenario2 100 100 100
9 No Sí No Sí Escenario3 85 90 75
10 No Sí Sí Sí Escenario1 95 95 90
11 No Sí Sí Sí Escenario2 95 90 90
12 No Sí Sí Sí Escenario3 80 80 70
13 Sí No No Sí Escenario1 95 40 40
14 Sí No No Sí Escenario2 100 100 100
15 Sí No No Sí Escenario3 95 95 90
16 Sí No Sí Sí Escenario1 65 85 60
17 Sí No Sí Sí Escenario2 95 90 85
18 Sí No Sí Sí Escenario3 95 90 90
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
46
Tabla 7. Pruebas con Smartphone el Sony Xperia T con la cámara frontal
Id. Pruebas
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
%I %D %I-D
1 No No No Sí Escenario1 95 100 95
2 No No No Sí Escenario2 100 100 100
3 No No No Sí Escenario3 90 90 80
4 No No Sí Sí Escenario1 100 100 100
5 No No Sí Sí Escenario2 100 100 100
6 No No Sí Sí Escenario3 90 80 75
7 No Sí No Sí Escenario1 95 95 95
8 No Sí No Sí Escenario2 100 85 85
9 No Sí No Sí Escenario3 80 85 75
10 No Sí Sí Sí Escenario1 100 100 100
11 No Sí Sí Sí Escenario2 95 90 85
12 No Sí Sí Sí Escenario3 85 85 85
13 Sí No No Sí Escenario1 60 75 45
14 Sí No No Sí Escenario2 95 95 90
15 Sí No No Sí Escenario3 40 60 10
16 Sí No Sí Sí Escenario1 85 75 65
17 Sí No Sí Sí Escenario2 100 100 100
18 Sí No Sí Sí Escenario3 65 90 65
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
47
Tabla 8. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara trasera
Id. Pruebas
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
%I %D %I-D
1 No No No Sí Escenario1 100 100 100
2 No No No Sí Escenario2 100 100 100
3 No No No Sí Escenario3 85 90 85
4 No No Sí Sí Escenario1 100 100 100
5 No No Sí Sí Escenario2 100 100 100
6 No No Sí Sí Escenario3 85 95 85
7 No Sí No Sí Escenario1 100 100 100
8 No Sí No Sí Escenario2 95 100 95
9 No Sí No Sí Escenario3 65 75 65
10 No Sí Sí Sí Escenario1 100 100 100
11 No Sí Sí Sí Escenario2 95 90 90
12 No Sí Sí Sí Escenario3 80 85 80
13 Sí No No Sí Escenario1 80 85 80
14 Sí No No Sí Escenario2 90 90 90
15 Sí No No Sí Escenario3 65 70 65
16 Sí No Sí Sí Escenario1 80 85 80
17 Sí No Sí Sí Escenario2 95 95 95
18 Sí No Sí Sí Escenario3 80 75 75
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
48
Tabla 9. Pruebas con Smartphone el Samsung Galaxy S3 con la cámara frontal
Id. Pruebas
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
%I %D %I-D
1 No No No Sí Escenario1 85 85 80
2 No No No Sí Escenario2 90 85 85
3 No No No Sí Escenario3 75 80 75
4 No No Sí Sí Escenario1 75 95 85
5 No No Sí Sí Escenario2 90 90 90
6 No No Sí Sí Escenario3 80 80 85
7 No Sí No Sí Escenario1 95 100 95
8 No Sí No Sí Escenario2 85 90 95
9 No Sí No Sí Escenario3 65 75 70
10 No Sí Sí Sí Escenario1 85 90 80
11 No Sí Sí Sí Escenario2 95 90 85
12 No Sí Sí Sí Escenario3 75 85 75
13 Sí No No Sí Escenario1 75 65 70
14 Sí No No Sí Escenario2 90 95 95
15 Sí No No Sí Escenario3 50 75 25
16 Sí No Sí Sí Escenario1 65 65 25
17 Sí No Sí Sí Escenario2 100 100 95
18 Sí No Sí Sí Escenario3 25 40 35
Lidia París Cabello ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES
49
Tabla 10. Pruebas con tablet Samsung Tab con la cámara trasera
Id. Pruebas
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
%I %D %I-D
1 No No No Sí Escenario1 90 100 90
2 No No No Sí Escenario2 95 95 90
3 No No No Sí Escenario3 80 85 80
4 No No Sí Sí Escenario1 90 95 90
5 No No Sí Sí Escenario2 90 90 90
6 No No Sí Sí Escenario3 75 75 70
7 No Sí No Sí Escenario1 90 95 95
8 No Sí No Sí Escenario2 95 95 90
9 No Sí No Sí Escenario3 75 80 70
10 No Sí Sí Sí Escenario1 95 90 85
11 No Sí Sí Sí Escenario2 85 90 90
12 No Sí Sí Sí Escenario3 80 85 75
13 Sí No No Sí Escenario1 80 85 75
14 Sí No No Sí Escenario2 90 85 80
15 Sí No No Sí Escenario3 65 70 25
16 Sí No Sí Sí Escenario1 80 80 75
17 Sí No Sí Sí Escenario2 90 90 90
18 Sí No Sí Sí Escenario3 80 90 80
ADQUISICIÓN Y CARACTERIZACIÓN DE SEÑALES BIO-MÉDICAS EN DISPOSITIVOS MÓVILES Lidia París Cabello
50
Tabla 11. Pruebas con tablet Samsung Tab con la cámara frontal
Id. Pruebas
Gafas (sí/no)
Lentillas (sí/no)
Ojos pintados (sí/no)
Luz general (sí/no)
Tipo escenario
%I %D %I-D
1 No No No Sí Escenario1 75 75 75
2 No No No Sí Escenario2 70 75 70
3 No No No Sí Escenario3 65 70 65
4 No No Sí Sí Escenario1 75 80 80
5 No No Sí Sí Escenario2 80 75 70
6 No No Sí Sí Escenario3 50 60 25
7 No Sí No Sí Escenario1 75 70 65
8 No Sí No Sí Escenario2 70 70 70
9 No Sí No Sí Escenario3 50 60 65
10 No Sí Sí Sí Escenario1 80 70 60
11 No Sí Sí Sí Escenario2 75 80 85
12 No Sí Sí Sí Escenario3 50 45 40
13 Sí No No Sí Escenario1 40 45 40
14 Sí No No Sí Escenario2 45 45 45
15 Sí No No Sí Escenario3 15 25 10
16 Sí No Sí Sí Escenario1 25 25 25
17 Sí No Sí Sí Escenario2 20 25 15
18 Sí No Sí Sí Escenario3 10 15 5