Interacción Humano-máquina basada en el movimiento de los ojos: Hacia una interfaz

sin comandos

Daniel Carvajal

Introducción

• 2 super procesadores de información (humano y computador) intentando comunicarse entre si a través de deancho de banda angosto, altamente restringido

Introducción

• El asunto básico: Obtener información del movimiento natural de los ojos del usr mientras observa el display sin que el usuario tenga que entrenarse para adecuarse al sistema.

• Estudiar las características del movimiento natural e intentar reconocer patrones en los datos burdos obtenidos del eye tracker, convertilos en tokens con significado de alto nivel y construir dialogos basados en las caracteristicas conocidas del movimiento del ojo

Introducción

• Efecto significativo en las interfaces software gracias al continuo y paralelo flujo de información la interacion H-M, M-H.

• Se dará una perspectiva sobre el estilos de interfaces Non-Command. Se enfocará la interacción basada en mov de ojos como una instancia de este estilo

Estilos de Interfaces Non-Command

• Nuevo estilo de interfaz• Se dice que la quinta generación de paradigmas de

interfaz, estará centrada en dialogos non command -based

• Estilos tradicionales (linea de commandos, menu, lenguaje natural, window-icon-menu-pointer) esperan, reciben y responden a commandos específicos

• En el estilo non-command el computador monitorea pasivamente al usr y responde apropiadamente sin esperar a que él entregue un commando específico

Estilos de Interfaces Non-Command

• Comandos explicitos (command based) vs Comandos implicitos (Non-command based)

• A menudo aparecen entradas no intencionales -> interpretación cuidadosa.

• “Midas Touch problem”

Perspectiva de la interación basada en mov ojos

• Éxito en la medida en que halla analogía con las habilidades naturales para operar en el ambiente natural.

• Interfaces de manipulación directa tienen especial éxito con usuarios novatos pues no necesitan entrenamiento

• Realidades virtuales ofrecen la promesa de una explotación intensa de las habilidades físicas de manipulación y navegación. Esta noción es dificil de extender a mov_ojos-interacción puesto que pocos objetos en el mundo real responden a dicho movimiento.

• Al describir la interacción H-M eye movement based, se tienen 2 distinciones: la naturaleza del movimiento de los ojos y la naturaleza de la respuesta. Cada una de ellas puede ser vista como natural o nonatural

Perspectiva de la interación basada en mov ojos

• El gran beneficio de la IBMO está en su naturalidad, fluides, baja carga cognitiva, y operación inconciente.

• Estos beneficios son atenuados si se requieren movimientos entrenados, poco naturales y no inconcientes

Características de los movimientos oculares

• El ojo– Retina no es uniforme. Fovea tiene mayor

concentración de receptores

– Fovea cubre un campo de vista de aprox 1 grado

– Fuera de este campo-> Visión perisférica con el 15 a 50 porciento de la agudeza de la fovea

– Para ver un objeto claramente es nocesario enfocarlo con la fovea

– Posición del ojo da ina indicación burda la porción específica de la escena que la pna está examinando

Tipos de movimientos oculares

• Saccade : El principal método de mover la fovea para ver diferentes porciones de la escena. Movimiento repentino y rápido. – Aprox 30-120 ms y atraviesa un rango entre 1 y 40 grado (15-20 grados

típicamente).

– Es balístico es decir una vez comienza su trayectória y destino no puede ser alterada.

– La visión es suprimida.

– 100-300 ms delay desde la colocación del estimulo que atrae el saccade.

– 200 ms de refractory period luego de un saccade para poder hacer otro.

– Típicamente un saccade en seguido por un per. De 200 ms de relativa estabilidad (Fijación) durante la cual el objeto es observado

– Visión perisférica tiene mecanismos para elegir el target

Tipos de movimientos oculares

• Fijación

– Durante la fijación el ojo no está quieto

– Muchos tipos de movimientos pequeños y jitters ocurren generalmente de menos de 1 grado.

– Sequencias de corrimientos seguidos de saltos similares a saccades para corregir el corrimiento (microssacade)

– Superposición de temblor de alta frecuencia

Tipos de movimientos oculares

• Seguimiento (Pursuit)– Ocurre en respuesta al mivimiento de un objeto

en el campo visual– Más lento que saccade– Sincronizado con el objeto en movimiento– Movimientos de seguimiento lisos no pueden

ser inducidos, necesita estimulo (objeto moviendose)

Tipos de movimientos oculares

• Nygtagmus– Ocurren en respuesta a movimientos de la

cabeza– Patrón de movimiento liso para seguir un objeto– Seguido por un mivimiento rápido en la

dirección opuesta para seleccionar otro objeto– Puede ser inducido por aceleración detectada en

los canales internos del oido

Tipos de movimientos oculares

• Movimiento relativo entre ojos– Apuntando inadvertidamente uno hacia el otro

– Pequeña rotación en el eje desde la fovea hasta la pupila, dependiendo del angulo de la nuca y otros factores

• Resumen – El ojo rara vez está totalmente quieto aún cuando esté observando un

display estatico, este constantemente mueve y fija a diferentes porciones en el campo visual. Presenta pequeños y jittered movimientos cuando hay fijación. Fijaciones cortas

Tipos de movimientos oculares

• Implicaciones:– Los movimientos oculares de

un usr ubicado frente a un computador, es una colección de fijaciones (con jitter) conectadas por repentinos y rápidos saccades

– Comparado con la forma lenta y deliverada en que la gente opera un mouse u otro dispositivo de entrada, los movimientos oculares se transporta salvajemente sobre la pantalla

Métodos para medir los movimientos de los ojos

• Que medir?– Para dialogos H-M, se desea medir la linea vista o

mirada, en vez de la posición del ojo en el espacio o el movimiento relativo del ojo dentro de la cabeza.

– Linea vista es una línea radiando desde el ojo

– Hay que considerar posición/rotación relativa de los ojos en la cabeza

– Se podría considerar un solo ojo para deducie la línea vista

Métodos electrónicos

• Usando electrodos ubicados en la piel alrededor del ojo para medir cambios en la orientación en la diferencia de potencial entre la cornea y la retina

• Estos métodos son más utilizados para medir movimientos relativos (electrodos AC) que posiciones absolutas (electrodos DC)

• Puede cubrir un gran rango de movimientos oculares

• Muy utilizado en diagnostico de problemas neurológicos

• Método invasivo

Métodos mecánicos

• Lente de contacto puesto justo sobre la cornea. Una pequeña succión es aplicada para mantenerlo fijo

• El lente tiene un mecanismo pequeño: espiral magnetico, o espejo atado para tracking.

• Muy preciso, muy util en investigación de movimientos muy pequeños

• Poco práctico (montaje de laboratorio)

• Cubre solo un límitado rango

• Interferencia por parpadeo

• Poco amigable

Métodos óptico/video punto único

• Usa imagen remota de alguna característica visible del ojo por ejemplo frontera entre la esclera y el iris (funciona mejor con sujetos de ojos claros) o el reflejo brillante de un rayo colimado sobre el ojo

• Método más práctico

• Puede usar fotografia o video recording (proceso fuera de linea), o procesamiento de video en tiempo real

• Requiere estabilidad de la cabeza

Métodos óptico/video doble punto

• Seguimiento simultaneo de 2 características del ojo que se mueve con respecto al ojo cuando la linea vista cambia

• Permite distinguir entre movimiento de la cabeza y movimiento del ojo• No necesita que la cabeza esté estrictamente rigida, aunque debe estar

dentro del rango de visión de la cámara• Ambos, reflexión de la cornea y bosquejo de pupila son seguidos• Luz infraroja que no molesta al sujeto es utilizada • La linea vista es computada al relacionar información de los 2 puntos de

seguimiento• La resolución de tiempo está limitada a la frame rate• Un método particular utiliza la cuarta imagen de Purkinje, no limitado

por video frame, muy precisa pero delicada de operar

Métodos para medir los movimientos de los ojos

• Implicaciones– A pesar de que son muchas las técnicas, la mayoria son de laboratorio

– El método más razonable es la reflexión corneal más el boquejo de pupila, pues ningun contacto con individuo y cabeza semi libre

– Cabeza se mueve restringidamente (Cubo fronterizo)

– Cámara es paneada y enfocada por un servomecanismo que intenta seguir el ojo

– Atado a la cámara hay un emisor de luz infraroja que ilumina la pupila y crea una reflexión corneal

– El video es analizado para identificar un gran circulo brillante y un reflejo estático puntual (reflexión corneal)

– Suele involucrar redes neuronales o control fussy

Trabajos previos

• Hay un considerable cuerpo de investigadores usando seguimeinto del ojo pero relacionado con herramientas para estudio de procesos motrices y cognositivos. Estos trabajos no implican tiempo real y el mov ojo no afecta la interfaz con el computador

• En interacción H-M este tema ha sido investigado con orientación hacia ayuda a discapacitados físicos. El resultado es interfaces lentas , que requieren entrenamiento

• Real time interfaces. Los efuerzos están más relacionados con mejoramiento del display pero no relacionados con dialogo H-M

• Pocos trabajos en dialogo H-M -> Naval Research Laboratory

Problemas con el uso de mov oculares en dialogo H-M

• La aproximación más evocada es como substituto del mouse

• Factores por lo cual no es posible– El ojo y la naturaleza de su movimiento

– Inestabilidad del hardware de seguimiento del ojo

• El mov ocular es más rápido que otro actual medio de entrada. Normalmente antes de operar un dispositivo mecanico el usr mira el objetivo

Problemas con el uso de mov oculares en dialogo H-M

• A favor: Facil de operar, no hay entrenamiento

• El ojo es mucho más que una herramienta de posicionamiento de cursor altamente veloz. Seguimiento del ojo también indica donde está enfocado el interes del usr y cada cambio de enfoque puede ser una entrada

• A diferencia del mouse es muy dificil controlar la posición con precisión siempre

• A diferencia del mouse los movimientos del ojo están siempre ON. Estado ON es la forma más natural de saber cuando atender la entrada de un dispositivo

Problemas con el uso de mov oculares en dialogo H-M

• Usar parpadeo como señal es no satisfactorio

• Dificultad en emular botones

• Disp. De seguimiento de ojo son menos estables y menos precisos que dispositivos de entrada manuales

Problemas con el uso de mov oculares en dialogo H-M

• Midas Touch Problem– Lo que se quiere es miras y obtener resultado,

no mirar/apuntar y luego click– La interfaz ideal debería actuar sobre la entrada

proveniente de los ojos cuando la pna quiere y permitir solo observar cuando la pna quiere. Pero estos dos casos son casi imposible de diferenciar

Problemas con el uso de mov oculares en dialogo H-M

• Jitter del ojo– En una fijación el usuario cree que su mirada es

estable y no es consciente de los pequños movimientos y jitter

– H-M dialogo debe ignonarlos de manera que corresponda con lo que el usr piensa

– Requiere filtros de alta frecuencia y movimientos bruscos pero a la vez no puede anular las altas frecuencias componentes de un saccade

Problemas con el uso de mov oculares en dialogo H-M

• Multiples Fijaciones– Usr observa un objetivo con múltiples

fijaciones todas en el área general del objetivo– Distintas fijaciones separadas por saccades más

grandes que jitter. X ej. Varias fijaciones con pequeños saccades puede interpretarse como un simple vistazo.

– El dialogo se basará en vistazos y no en fijaciones

Problemas con el uso de mov oculares en dialogo H-M

• Inestabilidad en el equipo de seguimiento– A menudo el tracker no genera información

mientras el ojo se mueve por ej en parpadeo o mover la cabeza fuera del área, pero en ocaciones se puede deber a reflejos espureos en la imagen u otro artificio momentaneo

– Los 2 casos no son fáciles de distingir y no es claro cuando la intarfaz debe responder en momento de no entrada

Problemas con el uso de mov oculares en dialogo H-M

• Realimentación Visual al usuario– Se debe proveer un cursor que siga la mirada?– Para desaparecer de la percepción debe

mantener fijo en la retina pero es dificil seguir los movimientos veloces y pequeños

– Si el cursor se mueve alredor atrae la atención y desordena el dialogo. Posibles loops

– Aunque el seguimiento sea preciso. ¿Para que, si el usuario sabe a donde esta mirando?

Problemas con el uso de mov oculares en dialogo H-M

• OTROS:– Definir metodo de configuración– Definir precisión y rango– Definir calibración local

Técnicas de Interacción

• Selección de objetos

• Despliegue continuo de atributos

• Movimiento de objetos

• Scrolling de texto controlado con los ojos

• Menú de comandos

• Ventanas de atención (listener windows)

• Más alla de windows systems

Antecedentes