Ven

Atención

Derecha

Izquierda

Alto

Reconocomiento de ademanes

• Extracción de características

• Modelado

• Reconocimiento

Imagenes EC Carateríst. R

M

Ademanes

Seguimiento y Ejecución de Comandos

Localiza cara y mano Seguimiento de la mano

Características de postura y movimiento

(0,0)x

y

Image t

..

y'

x'

a = 0

x = +

y = –

form = +

Image t+1 Above

Right

Torso

Reconocimiento Ademanes

Seguimiento de la mano Control por gestos

Síntesis y reconocimiento de voz

• Usamos herramientas estándar: Festival para síntesis y Sphinx para reconocimiento con el corpus para Español desarrollado en el proyecto Dimex

• Para mejorar el reconocimiento, incorporamos modelos probabilistas de lenguaje obtenidos de ejemplos de interacciones en las diferentes aplicaciones (Mago de Oz)

• Para mejorar la señal incorporamos un micrófono direccional y un filtro

Interfaz Amigable

A través de su cara animada, Markovito puede expresar diversas emociones, lo que facilita la comunicación

Reconocimiento de Objetos• Se enseña un nuevo objeto al

robot quien obtienen sus características SIFT y guarda un nombre dado con voz

• El robot después busca el objeto que se pide por voz empatando características SIFT de los objetos que ve

Identificación de personas

• Basada en el reconocimiento de siluetas

• Segmentación con base en distancia usando la cámara estéreo

• Identifica personas paradas, sentadas, de frente y de perfil

Detección de rostros