DISEÑO E IMPLEMENTACIÓN DE UN ASISTENTE PERSONAL CAPAZ DE EXPRESAR EMOCIONES

-CARLOS SANZ MORENO-

DISEÑO E IMPLEMENTACIÓN DE UN ASISTENTE PERSONAL CAPAZ DE

EXPRESAR EMOCIONES

SEPTIEMBRE 2009

DISEÑO E IMPLEMENTACIÓN DE UN ASISTENTE PERSONAL CAPAZ DE EXPRESAR EMOCIONES

- ESTRUCTURA DE LA PRESENTACIÓN-

1. INTRODUCCIÓN1. DEFINICIÓN DEL SISTEMA2. PUNTO DE PARTIDA

2. ARQUITECTURA1. ARQUITECTURA DISTRIBUÍDA2. TECNOLOGÍA DE COMUNICACIONES3. HERRAMIENTAS

3. FUNCIONALIDAD1. LISTA DE FUNCIONES2. DESCRIPCIÓN DETALLADA

4. EMOCIONES1. SISTEMA EMOCIONAL2. NECESIDADES (N-VALUE´S)3. NIF´S4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

INTRODUCCIÓN



2. ARQUITECTURA

3. FUNCIONALIDAD

4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

- DEFINICIÓN DEL SISTEMA -• Objetivo: CREACIÓN DE UN AGENTE EMOCIONAL INTERACTIVO

• Caso de uso: ASISTENTE PERSONAL DOMÉSTICO

• Requisitos:1. ARQUITECTURA ESCALABLE

2. INTERFAZ CON MÚLTIPLES MODALIDADES

3. COMPORTAMIENTO EMOCIONAL

4. COMPORTAMIENTO PERSONALIZADO

5. FUNCIONALIDAD DE ASISTENTE DOMÓTICO

6. COMPAÑERO DE JUEGOS



2. ARQUITECTURA

3. FUNCIONALIDAD

4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

X10 – [ZLÖTNIK,07]ROOMBA– [CANCELA,09]

BRAZO ROBÓTICO– [LSED,09]

- PUNTO DE PARTIDA -

INFRARROJOS – [GUIRAO,06]

CARA ROBÓTICA [SANZ, 08]

OPENCV

• IDENTIFICADOR DE LOCUTOR.

[GARCÍA, 07]

• RECONOCEDOR DE HABLA Y

COMPRENSIÓN.

[GHT]

•SINTETIZADOR DE HABLA CON EMOCIONES.

[BARRA, 08]

ARQUITECTURA


1. INTRODUCCIÓN

2. ARQUITECTURA1. ARQUITECTURA

DISTRIBUÍDA2. TECNOLOGÍA DE

COMUNICACIONES3. HERRAMIENTAS

3. FUNCIONALIDAD

4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

-ARQUITECTURA DISTRIBUÍDA-HARDWAR

E

TRATAMIENTO

DE

IMÁGENES

MODELO

DE

COMPORTA-MIENTO

COMPRENSIÓN

RECONOCIMIENTO

IDENTIFICACIÓN

DE

LOCUTOR

MODELO

DE

EMOCIONES

MODELO

DE

RELACIONES

TASK 1 TASK 2 TASK N

CONTROL

DE

CARA ROBÓTICA

SÍNTESIS

DE

VOZ

HARDWARE

SENSOR

DE

CARICIAS


1. INTRODUCCIÓN




3. FUNCIONALIDAD

4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

-TECNOLOGÍAS DE COMUNICACIONES-

– PRIMERA APROXIMACIÓN: Comunicación por SOCKETS

• INCONVENIENTES: Mecanismo de bajo nivel. Necesidad de interpretar datos y de controlar los procesos de comunicación

– SOLUCIÓN ALTERNATIVA: S.O.A.P. (Simple Object Access Protocol)

• CARACTERÍSTICAS:

Protocolo de alto nivel

Permite definir estructuras de datos

Flexibilidad en cuanto al protocolo de transporte utilizado.Típicamente HTTP

Mensajes legibles para las personas, aunque costoso (basados en XML)

Similar a llamadas a procedimientos locales (métodos rémotos)


1. INTRODUCCIÓN




3. FUNCIONALIDAD

4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

•EJEMPLO DE COMUNICACIÓN: Respuesta a un Concepto

-TECNOLOGÍAS DE COMUNICACIONES-

Reconocedor de Habla e

Identificación de Locutor

Módulo de

Comporta-miento

Control de Conversación

Sintetizador

NUEVA FRASENUEVO CONCEPTO

LOCUTOR

MODO ID

NUEVO CONCEPTO

PARÁMETROS

Emociones

Modelo de Relaciones

EVENTOEMOCIONAL

NUEVA FRASE DEL

LOCUTOR RELACIÓN

PARÁMETROS+ EMOCIÓN+ RELACIÓN

FRASE A SINTETIZAR

ACTUALIZACIÓN

EMOCIONES

EMOCIÓN

JABÓN – SOAP C++ CODE GENERATOR – [Rodríguez Losada]

Genera los servicios web a partir de las cabeceras “.h”

Características:

• Fácil utilización

• Gratuito

• Genera Código C++ Portable

• Librería dinámica de código abierto

• Muy rápido

• No requiere instalación


1. INTRODUCCIÓN




3. FUNCIONALIDAD

4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

- HERRAMIENTAS -

SERVIVOX

recoSoapClient

Módulo Central

recoSoapServer

recoSoapService

Petición XML

Ejecución remotaint FraseReconocida(frase, conceptos, usuarioId, numFrases, direccionArchivo)

Descodificación de XML

Llamada al método

Llamada localint FraseReconocida(frase, conceptos, usuarioId, numFrases, direccionArchivo)

Retorno valor

Codificación XML

Descodificación de XML

recoSoap.h

recoSoapInterface

FUNCIONALIDAD


1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

- L ISTA DE FUNCIONES -

+• DETECCIÓN DE CARICIAS MEDIANTE SENSOR INFRARROJO• INTERFAZ VISUAL NO INTRUSIVA BASADA EN OPENCV• SÍNTESIS DE VOZ CON EMOCIONES• RECONOCIMIENTO DE HABLA CON COMPRENSIÓN• IDENTIFICACIÓN DE LOCUTOR• CONTROL DE CARA ROBÓTICA EXPRESIVA


- DESCRIPCIÓN DETALLADA -

CONTROL VERBAL INALÁMBRICO DE ASPIRADORA ROBÓTICA ROOMBA• Comienzo/Paro de limpiar• Vuelta a la estación de carga

ADAPTACIÓN EFECTUADA: • Creación de un cliente SOAP de control de la comunicación• Configuración Rootooth• Comunicación Bluetooth PC-ROOMBA

1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

CONTROL DE LUCES MEDIANTE X10• Encendido/Apagado dispositivo

ADAPTACIÓN EFECTUADA: • Creación de cliente SOAP para solicitud remota de acciones• Creación script en perl para acceso remoto a la función de control

de X10 del sistema DRAC



DETECCIÓN DE CARICIAS MEDIANTE SENSOR INFRARROJO

ADAPTACIÓN EFECTUADA: • Conexión e instalación de driver para acceso por puerto paralelo• Lectura periódica del sensor• Filtrado por software de lectura ruidosa

1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

JUEGO 3 EN RAYA CON BRAZO ROBÓTICO• Sensores de control del tablero• Funcionamiento autónomo

ADAPTACIÓN EFECTUADA: • Comunicación de la situación del juego vía tftp (trivial ftp)



CONTROL VERBAL DE EQUIPO HI-FI POR INFRARROJOS• Encendido/Apagado

ADAPTACIÓN EFECTUADA: • Creación de un cliente SOAP capaz de comunicarse con el módulo

de control de iRTrans

1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

INTERFAZ VISUAL NO INTRUSIVA BASADA EN OPENCV• Detección de movimiento• Detección de caras• Detección de luz

ADAPTACIÓN EFECTUADA: • Creación de un cliente SOAP (“facedetect.c”)• Procesos de filtrado para detectar:

• Luz: N muestras por encima del nivel• Cara: N caras en un cierto tiempo


1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS


CONTROL DE CARA ROBÓTICA EXPRESIVA• Expresión de emociones sencillas: enfado, alegría, miedo, neutra,

tristeza

• Parpadeo involuntario en función del estado emocional

ADAPTACIÓN EFECTUADA: • Creación de una cara robótica a partir de 5 servomotores• Creación de servidor SOAP para control de los servos


1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS


RECONOCIMIENTO DE HABLA CON COMPRENSIÓN• Reconocimiento independiente de locutor• Vocabulario y Gramática flexibles• Comprensión automática basada en ejemplos• Umbral de confianza

ADAPTACIÓN EFECTUADA: • Creación de un servidor SOAP para la comunicación


1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

- DESCRIPCIÓN DETALLADA - SÍNTESIS DE VOZ CON EMOCIONES

• Elección de frases mediante conceptos, emociones y relación.• Aleatoriedad: cada frase, una probabilidad• “Hot configuration”

ADAPTACIÓN EFECTUADA: • Creación de un servidor SOAP para el proceso de síntesis• Acceso al servidor remoto vía ssh• Reproducción mediante unidad virtual SAMBA• Síntesis por doble proceso

SERVIDOR SOAP

HTSLINUX

.TXT

.WAV

Módulo de

Comporta-miento

SOAP SSH

SAMBA


1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS


MODELO DE RELACIONES CON IDENTIFICACIÓN DE LOCUTOR BASADA EN

LAS CARACTERÍSTICAS DEL HABLA

• Identificación de locutor basada en BIC• parámetro λ

ADAPTACIÓN EFECTUADA: • Experimentos de identificación con parámetro λ• Protocolo de presentación


1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS


• Modo 1: Identificación de frases a partir de la historia de 30 locutoresEXPERIMENTOS IDENTIFICADOR DE LOCUTOR

3 4 5 100.0000.2000.4000.6000.8001.0001.200

Longitud de la Historia

Tasa

de

acie

rto

2 2.5 3 3.5 4 4.5 5 100.000

0.200

0.400

0.600

0.800

1.000

Tasa de acierto

Lambda

Tasa

de

acie

rto

2 3 5 10 15 20 300.82

0.84

0.86

0.88

0.9

0.92

0.94

0.96

0.98

Número de Locutores

Tasa

de

acie

rto


1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS


• Modo 2: Detección de cambios de usuario a partir de la historia de 5 frases de 1 locutor conocido en una población de 30

EXPERIMENTOS IDENTIFICADOR DE LOCUTOR

2 3 40.000

0.200

0.400

0.600

0.800

1.000

1.200

RecallPrecisión

Lambda

Necesidad de protocolo de presentación


1. INTRODUCCIÓN

2. ARQUITECTURA


4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

- DESCRIPCIÓN DETALLADA -PROTOCOLO DE PRESENTACIÓN

Por defecto

Confirmar nuevo

usuario

NombreLocutor = candidatoModo Presentación

Fin de presentación

Lugar de residenciaLocutor = candidatoModo Presentación

Año de nacimientoLocutor = candidatoModo Presentación

ProfesiónLocutor = candidatoModo Presentación

E-mailLocutor = candidatoModo Presentación

A:Presentación/Q: ¿Eres Nuevo?

A:No

A:Cualquier Concepto

A:Sí

EMOCIONES


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- S ISTEMA EMOCIONAL -

Emot

iona

l Gen

erat

or

Emotional

Response

NIF Generator

WeightNIF

Generator

NIF Generator

NIF Generator

NIF Generator

NIFs

Fisiológica (survival)

Seguridad(safety)

Afiliación (changes)

Estima (success)

Autorrealización(ethics)

Task A

Task B

Task C

Task D

Task E

Task F

Task G

New event

ESCALABLE

NECESIDADES CUANTIFICADAS Y PRIORIZADAS

DeseabilidadInesperadoUrgenciaRelevanciaInfrecuencia

RESPUESTA EMOCIONAL INDEPENDIENTE DE TAREA


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- NECESIDADES -–FISIOLÓGICA (SURVIVAL):

– SEGURIDAD (SAFETY):


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- NECESIDADES -–ESTIMA (SUCCESS):

–AUTORREALIZACIÓN (ETHICS):


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- NECESIDADES -

–AFILIACIÓN (CHANGES):


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- N. I . F.´s -– DESEABILIDAD: ¿Cómo satisface el evento la necesidad?

– INESPERADO: ¿El evento sigue la tendencia a corto plazo?

– URGENCIA: ¿La tendencia actual nos acercaría o alejaría de un nivel crítico?

– RELEVENCIA: En esta situación, ¿pequeños eventos pueden llevar a la zona crítica?


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- N. I . F.´s -


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDADES


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- N. I . F.´s -

– INFRECUENCIA: ¿Es la primera vez que ocurre este evento, o se ha producido en el pasado?


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- EMOCIONES -

– ACOTADAS ENTRE 0 Y 100

– ALEGRÍA, TRISTEZA, MIEDO, SORPRESA Y ENFADO

– ATENUADAS SEGÚN τ

– Emociones positivas vs negativas

– NEUTRAL

CONCLUSIONES


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD

4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

- CONCLUSIONES -1. ES CAPAZ DE SIMULAR ESTADOS EMOCIONALES Y EXPRESARLOS2. SISTEMA EMOCIONAL JERARQUIZADO BASADO EN MASLOW QUE

IMPLEMENTA UNA ARQUITECTURA DE SUBSUNCIÓN DE BROOKS3. ARQUITECTURA DISTRIBUÍDA MULTITAREA ESCALABLE4. INTEGRACIÓN DE IDENTIFICADOR DE LOCUTOR Y CREACIÓN DE

MECANISMO DE PRESENTACIÓN5. INTEGRACIÓN DE SINTETIZADOR BASADO EN HMM CON FRASES

DETERMINADAS POR CONCEPTOS Y ALEATORIEDAD6. INTEGRACIÓN DE TECNOLOGÍAS:

CONTROL X10 CONTROL INFRARROJOS BRAZO ROBÓTICO CARA ROBÓTICA

CONTROL BLUETOOTH ROOMBA

FOTOSENSOR PARA CARICIAS ARQUITECTURA C/S COMUNICACIÓN CON SOAP

LÍNEAS FUTURAS


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD

4. EMOCIONES

5. CONCLUSIONES

6. LÍNEAS FUTURAS

- L ÍNEAS FUTURAS -

1. UTILIZACIÓN DE NECESIDADES COMO MOTIVADORES

2. MEJORA DE LA EXPRESIÓN DE LAS EMOCIONES

3. APRENDIZAJE DE COMPORTAMIENTOS

4. MEJORA DE LA INTERFAZ VISUAL BASADA EN OPENCV

5. INCLUSIÓN DE NUEVAS TAREAS Y MEJORA DE LAS EXISTENTES

6. INTEGRACIÓN DE LOS MÓDULOS DE SÍNTESIS, RECONOCIMIENTO EMOCIONES Y RELACIONES EN EL PROYECTO ROBONAUTA


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- NECESIDADES -–FISIOLÓGICA (SURVIVAL):

– SEGURIDAD (SAFETY): IF (PROMEDIO > UMBRAL LUZ )

ELSE

–ESTIMA (SUCCESS):

IF (ÉXITO)

ELSE IF (FRACASO)

–AUTORREALIZACIÓN (ETHICS)

IF (MOVIMIENTO LEGAL)

ELSE


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- NECESIDADES -

–AFILIACIÓN (CHANGES): Efecto de eventos determinado por su repetición.

MODELADO DE OCURRENCIAS: Histograma + Ventana de Parzen.

MODIFICACIÓN DEL N-VALUE:

• ATENUACIÓN PERIÓDICA:


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- N. I . F.´s -

– DESEABILIDAD: ¿Cómo satisface el evento a la necesidad?

– INESPERADO: ¿El evento sigue la tendencia a corto plazo?

– URGENCIA: ¿La tendencia producida es “peligrosa” para la necesidad?


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- N. I . F.´s -

– RELEVENCIA: ¿En esta situación pequeños eventos pueden llevar a la zona crítica?

– INFRECUENCIA: ¿Es la primera vez que ocurre este evento, o se ha producido en el pasado?

Signo(Deseabilidad) K1 K2 K3 f(peso) τ

Alegría+ 0.5 0.5 0.5 Peso >>0

Sorpresa

+ 0.5 Peso ~0

Tristeza

- Peso >>0

Miedo

- 0.5 0.5 ~0

Enfado

- 0.5 ~0


1. INTRODUCCIÓN

2. ARQUITECTURA

3. FUNCIONALIDAD


5. CONCLUSIONES

6. LÍNEAS FUTURAS

- EMOCIONES -

DISEÑO E IMPLEMENTACIÓN DE UN ASISTENTE PERSONAL CAPAZ DE EXPRESAR EMOCIONES

Documents

Transcript of DISEÑO E IMPLEMENTACIÓN DE UN ASISTENTE PERSONAL CAPAZ DE EXPRESAR EMOCIONES