Jocomunico: La APP que habla con naturalidad

Joan Pahisa Solé (Universitat Autònoma de Barcelona).

Joaquín Galiana Sanchis (Servicio Psicopedagógico Escolar V-13).

Andrés Zafra Ramos (Servicio Psicopedagógico Escolar V-13).

Resumen

Jocomunico es una aplicación para la comunicación aumentativa y alternativa dirigida a personas con problemas graves de habla. La aplicación ha sido desarrollada por Joan Pahisa junto con un equipo de seis estudiantes de ingeniería informática, telecomunicaciones, bellas artes y traducción e interpretación. Ha sido creada en un LAB de integración del programa Talentum Startups de Telefónica, en colaboración con la Fundación Adecco y Ericsson. El software, disponible tanto en español como en catalán, puede ser empleado en cualquier dispositivo electrónico que tenga conexión a Internet. Se puede emplear, por tanto, con cualquier sistema operativo. También dispone de una versión para emplearla sin conexión a Internet para Windows (XP o superior) y para Mac OS X (10.6 o superior).

Propósito del trabajo

Jocomunico pretende fundamentalmente dotar a las personas cuya habla no es funcional o es ausente de un sistema que les permita el acceso a la comunicación, por lo tanto, es una aplicación pensada para personas con trastornos graves del habla que se comunican con pictogramas, incluyendo usuarios con:

• Discapacidad física: lesión medular, esclerosis múltiple, ELA, enfermedades neuromusculares…

• Parálisis cerebral.

• Trastorno del espectro autista. • Daño cerebral: ictus, traumatismo craneoencefálico... • Discapacidad intelectual. • Gente mayor.

Jocomunico también puede ser una herramienta que ayude los logopedas y maestros a trabajar diferentes aspectos del desarrollo del lenguaje, como por ejemplo los tiempos verbales, los tipos de frases (órdenes, preguntas, deseos, negaciones, etc.) o la estructuración de frases, entre otros. También puede animar los usuarios avanzados de CAA basada en pictogramas a dar el paso hacia la lectoescritura.

Desarrollo

1. Forma de descarga:

Existen dos formas de acceder a la aplicación. La primera de ellas es bajándonos el software para nuestro dispositivo electrónico entrando en el siguiente enlace http://jocomunico.com/#/download (Fig. 1)

Desde dicho enlace se puede descargar el programa en dispositivos con sistema operativo Windows y Max OS X o hacer un acceso directo a la versión online en Android e iOS. Pulsando sobre cada icono podréis ver las respectivas instrucciones, así como los iconos de descarga en los casos de Windows y Mac OS X. La segunda opción de acceder al programa es utilizando el siguiente enlace http://jocomunico.com/#/login , de esta forma lo usaremos siempre desde dicha página web y por lo tanto online.

Entre las posibilidades que ofrece Jocomunico y, sobre todo, por lo que destaca frente a otros recursos digitales para la comunicación aumentativa es, en primer lugar, por emplear un lenguaje natural. El programa está configurado con un sistema de expansión de manera que hace uso de las categorías gramaticales, así como de las concordancias de género

Figura1:Pantalladescargas

Figura2:Ejemplodeconjugaciónverbal

(masculino-femenino), número (singular-plural), tiempo y persona para ofrecer un habla más natural. A continuación, vamos a ver algunos ejemplos:

• Conjugación verbal:

En este caso el usuario selecciona los pictogramas “Yo querer comer helado” (Fig. 2) y al seleccionar la casilla para que se produzca la frase el programa automáticamente detecta que “yo” es un pronombre personal de 1ª persona del singular y “querer” es un verbo. De esta manera produce la frase “quiero comer helado”.

• Conjugación verbal pasado

Figura3:Conjugaciónverbalpasado

En este caso al seleccionar el pictograma “ayer” (Fig. 3) el verbo ir se conjuga

de manera que el resultado final es “ayer fui”. Otras opciones para expresar acciones que

han sucedido en el pasado son las casillas “pasado lejano”, “pasado”, “pasado inmediato” y “antes”.

• Conjugación verbal futuro

Figura4:Conjugaciónverbalfuturo

En este otro ejemplo al selecciona el pictograma “mañana” (Fig. 4) el verbo ir pasa a conjugarse como “iré”. Otras opciones de formar el futuro son los pictogramas “futuro” y “después”.

• Conjugación verbal + preposición + artículo.

En este caso además de realizar la conjugación verbal también ha añadido la preposición “a” y el artículo “la”.

• Tipos de oraciones

Figura5:Conjugaciónverbal+preposición+artículo

El programa nos ofrece la posibilidad de crear diferentes tipos de oraciones: enunciativa, deseo, pedir permiso, orden, respuesta, condicional, exclamación, negación y pregunta. Es decir, aunque usemos los mimos pictogramas al seleccionar un tipo de frase se modificará el sentido de la oración. Vamos a ver a continuación un ejemplo en el que usando los pictogramas “vosotros + ir + piscina” (Fig. 6) el sentido de la oración cambia al seleccionar un tipo de frase. Concretamente en el primer caso seleccionaremos la función “orden”, siendo el resultado de la oración “vosotros id a la piscina por favor”.

Figura6:Tiposdefrase

Mientras que si en lugar de seleccionar el tipo de frase pedir permiso seleccionamos la opción “pregunta” (Fig. 7) el resultado sería “¿vosotros vais a la piscina?”.

Figura8:Conjugaciónverbal+artículo+concordanciadegénero.

Figura7:Tipodefrasepregunta

• Conjugación verbal + artículo + concordancia género.

En el ejemplo podemos ver como el programa lleva a cabo la conjugación verbal, añade el artículo indefinido y, además, al haber seleccionado “femenino” el sustantivo masculino gato pasa a ser femenino “gata” (Fig. 8).

En segundo lugar, el programa también destaca por ofrecer una predicción de pictogramas (Fig. 9) que aprende del uso que hace su usuario. Esta predicción puede contener entre 5 y 10 pictogramas y aparece en el lado izquierdo del comunicador.

Figura9:Predictordepictogramas

En tercer lugar, cabe destacar que Jocomunico ofrece la posibilidad de tener un “historial” que guarda las últimas frases creadas y también permite la opción de tener almacenadas por carpetas frases ya creadas que van a permitir al usuario comunicarse con una mayor facilidad y rapidez.

Seguidamente vamos a analizar algunas de las otras posibilidades que nos ofrece la aplicación. El comunicador de ejemplo que nos ofrece el sistema está dividido en tres apartados diferenciados (Fig. 10): la columna de predicción, la barra de herramientas y lectura y, por último, el apartado que contiene todo el vocabulario.

Figura10:Partesdelcomunicador Predicción palabras

Barra herramientas y lectura

Vocabulario

Centrándonos en la barra de herramientas, vamos a ver para qué sirven cada uno de los iconos:

Este icono nos permite volver a la pantalla principal del comunicador.

Al pulsar este icono se leerá toda la frase introducida.

En la barra de escritura se irán añadiendo cada uno de los pictogramas que vayamos seleccionando para crear una frase.

Al seleccionar este icono se borrará la última palabra añadida.

Este icono sirve para eliminar toda la frase creada.

El apartado barra de herramientas y lectura puede ser modificado desde las opciones de configuración del usuario. La columna de predicción de palabras ya la hemos comentado anteriormente. El último apartado por el que está formado el comunicador es la cuadrícula en la que podremos añadir todo el vocabulario que deseemos y nos permitirá acceder a tableros secundarios. Este apartado es modificable y nos permite crear tableros de comunicación de entre 1 y 9 columnas y 1 y 9 filas.

A continuación, vamos a ver cómo modificar este gran apartado ya sea usando como base el tablero que viene creado o creando un tablero nuevo. Para ello, deberemos pulsar sobre el icono que encontramos en la parte superior izquierda (Fig. 11).

Al pulsar nos aparecerán las siguientes opciones en el menú superior:

Figura11:Menúdeopciones

Si pulsamos sobre la opción “Editar panel” se nos abrirá el modo edición desde el que podremos modificar el tablero que tenemos de ejemplo (Fig. 12)

Figura13:Panelprincipal

En este apartado nos aparece “P.1” (Fig. 13) que es el nombre del tablero inicial. También nos permite modificar el número de filas y de columnas. En el apartado “panel principal” nos aparece como panel principal “P.1”, es decir, ésta es la pantalla que nos aparecerá siempre que vayamos a usar el comunicador. Pero como podéis ver si pulsáis sobre la flecha hay más tableros, denominadas tableros secundarios que son los que están enlazados con determinadas casillas. Concretamente las casillas “tipo de frase”, “tiempo verbal” y “siguiente” están

configuradas para que al pulsar sobre ellas se vaya a un tablero secundario. Desde este apartado como estábamos viendo podemos modificar cuál queremos que sea el tablero principal. La opción “retorno automático” permite que al seleccionar un pictograma de un tablero secundario se vuelva directamente al tablero principal sin tener que crear una casilla con la opción de retroceso. La opción “leer la frase” sirve para que al añadir cada pictograma nos lea la frase entera. Esta opción es recomendable para tableros secundarios formados por palabras que suelen acabar la oración como por ejemplo lugares.

Para modificar una casilla debemos pulsar sobre el icono del lápiz, mientras que si queremos borrar por completo pulsaremos sobre la x. Si pulsamos sobre el lápiz veremos lo siguiente (Fig. 14):

Figura12:Modificacióndetablero

Figura14:Modificacióndecasilla

Figura15:Búsquedadepictogramaseimágenes

En primer lugar, nos aparece qué “tipo de casilla” es, pudiendo ser pictograma, carpeta historial, frase u otros. En el apartado “función de la casilla”, activaremos esta opción cuando se trate de casillas con determinadas funciones como borrar la última palabra, tipos de funciones… La opción “enlace de la casilla” la activaremos cuando por ejemplo creemos una categoría semántica y queramos que al seleccionar sobre una casilla nos lleve a un panel secundario que contenga todas las palabras pertenecientes a dicha categoría semántica. En “texto de la casilla” nos aparece la palabra que acompañará al texto. También podemos seleccionar el color de la casilla si estamos empleando la codificación por colores. En el caso

de que el usuario requiera usar el comunicador con un acceso por barrido también podrá configurar el nivel de escaneo. Por último, nos muestra la imagen que veremos en la casilla.

En este apartado (Fig. 15) podremos buscar las palabras que queremos incorporar en nuestro comunicador. El programa incorpora un gran número de palabras y emplea los pictogramas creados por Sergio Palao para ARASAAC. De esta manera debemos escribir la palabra que queremos en el apartado “Busca un pictograma”, seleccionar la que deseemos y arrastrarla hasta la celda

que queramos. Si pulsamos sobre “imágenes” en este apartado podremos buscar imágenes para cambiar la imagen que aparece en una casilla pictograma ya creada. Estas imágenes las podemos

cargar desde nuestro ordenador o añadir más desde la opción del menú superior de Mis Paneles.

En el apartado “activar” podemos seleccionar un color para modificar el color de las celdas. Una vez hayamos modificado el color de la/s celda/s deseada/s debemos pulsar sobre “desactivar”.

Por último, en la parte inferior del comunicador (Fig.16) vemos las siguientes opciones:

Figura16:Opcionesparteinferior

En “copiar panel” el programa nos permite la opción de copiar un panel asignándole un nombre nuevo. Esto puede ser útil cuando queremos hacer modificaciones en un panel, pero no queremos perder dicho panel inicial.

En “nuevo panel” crearemos un panel nuevo partiendo de cero. Mientras que en la opción “borrar panel” borraremos el panel en el que estamos trabajando. Para cambiar la visualización de paneles deberemos cambiar el panel seleccionado en la pestaña de la derecha.

Más opciones del menú superior

Finalmente, desplegando el menú superior, se pueden acceder a los apartados de

Configuración, Mis Paneles y FAQ de la aplicación.

Desde Configuración, se puede personalizar la interfaz de la aplicación, además de las voces y del acceso a la misma, mediante acceso directo por dedo o ratón o acceso mediante pulsadores configurando un barrido.

Desde Mis Paneles, podemos personalizar las carpetas de frases, añadir más vocabulario al sistema, ya sean nombres, adjetivos o verbos, hacer o cargar copias de seguridad para compartir información (paneles, vocabulario, etc.) entre usuarios, crear más grupos de paneles o añadir más imágenes al sistema, entre otros.

El apartado del FAQ, además de los botones de (i) de información que se encuentran en distintos puntos de la aplicación, explican cómo utilizar cada una de las opciones de la aplicación.

Conclusiones:

Jocomunico es una aplicación gratuita de código libre bajo licencia de Creative Commons (BY-NC) que puede ser modificada y ampliada por desarrolladores independientes. También puede ser adaptada a las necesidades específicas de un usuario o de un grupo de usuarios en particular.

Así mismo, el sistema de expansión de lenguaje telegráfico a lenguaje natural, como parte de la aplicación, está preparado para ser ampliado. Consta de un parser o analizador sintáctico, que es capaz de aceptar diferentes idiomas independientemente de su estructura, y de un generador que depende del idioma y que actualmente tiene versiones en catalán y en castellano. Para añadir un idioma nuevo hay que crear un generador nuevo a partir de uno de los ya existentes. Además, hay que introducir la información sintáctica y semántica del vocabulario de cada idioma.

Los símbolos pictográficos utilizados por defecto a Jocomunico son propiedad del Gobierno de Aragón y han sido creados por Segio Palao para ARASAAC (http://arasaac.org) que los distribuye bajo licencia Creative Commons (BY-NC-SANO).

Referencias bibliográficas

Augé, C. & Escoin, J. (2003), Chapter 7: Tecnologías de ayuda y sistemas aumentativos y alternativos de comunicación en personas con discapacidad motora, in Alcantud, F. (2003), Tecnologías de ayuda en personas con trastornos de comunicación, Nau Llibres.

Demasco, P. W. & McCoy, K. F. (1992), Generating text from compressed input: An intelligent interface for people with severe motor impairments. Communications of the ACM, 35(5):68-78. doi: 10.1145/129875.129881

Johnston, S., Reichle, J., Feeley, K. & Jones, E. (2012). AAC strategies for individuals with moderate to severe disabilities. Baltimore: Paul H. Brookes. ISBN: 9781598572063.

Pahisa-Solé, J. & Herrera-Joancomartí, J. (2014), Pictogram AAC prototype that expands telegraphic language into natural language in Catalan and Spanish. In Proceedings of the 16th Biennal Conference of ISAAC: Discover Communication. Canada. ISBN: 978-0-9881189-2-8.

Pahisa-Solé, J. & Herrera-Joancomartí, J. (2017), Testing an AAC System that Transforms Pictograms into Natural Language with Persons with Cerebral Palsy. Assistive Technology. doi: 10.1080/10400435.2017.1393844

Soro, E., Basil, C., Rosell, C. & Boix, J. (2007), Vocabulari CACE-UTAC, Grup d’Investigació per l’Estudi de la CAA, Universitat de Barcelona. Retrieved at https:// goo.gl/eFTPzy

Cómo citar este trabajo: Pahisa, J., Galiana, J. y Zafra, A. (2017). Jocomunico: La APP que habla con naturalidad. En Arnaiz, P.; Gracia, Mª D. y Soto F.J. (Coords.) Tecnología accesible e inclusiva: logros, resistencias y desafíos. Murcia: Consejería de Educación, Juventud y Deportes.

Esta obra está bajo una licencia de Creative Commons Reconocimiento-NoComercial-CompartirIgual 4.0 Internacional.