Desarrollo de Interfaces Naturales Para Aplicaciones Educativas

UNIVERSIDAD AUTONOMA DE BAJA CALIFORNIA

Desarrollo de interfaces naturales para aplicaciones educativas

XIV Concurso de Creatividad Científica y Tecnología

Jorge Eduardo Ibarra Esquer, Isaac Alberto González Hernández, Nereyda Guadalupe Pulido Sandoval, Erik Abelardo Rodríguez Alejo, Sánchez Vázquez Stephanie

[email protected], [email protected], [email protected], [email protected], [email protected]

21/12/2012

Concurso de creatividad científica y tecnología UABC

Contenido

Resumen..........................................................................................................................................................................3

Objetivos.........................................................................................................................................................................3

Principios, ideas y razonamientos...................................................................................................................................3

Materiales........................................................................................................................................................................4

Metodología....................................................................................................................................................................4

Cálculos y planos de ingeniería......................................................................................................................................5

Aplicaciones y futuros desarrollos..................................................................................................................................6

Presupuesto y su justificación.........................................................................................................................................6

Resultados esperados......................................................................................................................................................7

Referencias......................................................................................................................................................................7


Desarrollo de interfaces naturales para aplicaciones educativas

Jorge Eduardo Ibarra Esquer, Isaac Alberto González Hernández, Nereyda Guadalupe Pulido Sandoval, Erik Abelardo Rodríguez Alejo, Sánchez Vázquez Stephanie

Universidad Autónoma de Baja California, Facultad de Ingenierí[email protected], [email protected], [email protected],

[email protected], [email protected]

Resumen

Hoy en día la tecnología está presente en todos los aspectos de la vida cotidiana. En la actualidad podemos observar una tendencia hacia el desarrollo de interfaces que resulten más naturales hacia el usuario, invitándolo así a interactuar con la tecnología en mayor medida. El uso de realidad aumentada aporta un nuevo paradigma al uso de aplicaciones educativas, motivando al usuario a utilizarlas y por consecuencia promover el aprendizaje. Se han desarrollado un conjunto de aplicaciones enfocadas a motivar el aprendizaje basado en competencias de acuerdo al programa de estudios 2011 de la SEP, utilizando el dispositivo Microsoft Kinect para proporcionar una interacción natural al usuario.

El desarrollo de juegos de realidad aumentada para el aprendizaje surge de la creciente exposición de los jóvenes a la tecnología desde temprana edad, los avances en el ámbito de la computación y la necesidad de combinar estas dos para crear metodologías y técnicas más eficientes de enseñanza. Además de la creciente competitividad entre instituciones y empresas dedicadas a la educación, las cuales buscan constantemente métodos más modernos con los cuales competir y obtener mejores resultados.Tomando lo anterior en consideración, se planteó el objetivo de brindar una herramienta de software la cual consistiría en diversas aplicaciones basadas en el reconocimiento de voz y reconocimiento corporal que faciliten el aprendizaje en áreas como lo son, el conocimiento general, desarrollo del lenguaje y desarrollo psicomotriz. Las aplicaciones estarán orientadas a grados escolares Preescolar-Primaria.

Al realizar el análisis de factibilidad para este proyecto en conjunto con educadores se encontró un gran potencial e interés en el uso de aplicaciones que involucran tecnología de esta manera, ya que motiva y facilita a los jóvenes a aprender y desarrollarse.Se encontró principalmente la necesidad de aplicaciones para áreas como matemáticas, desarrollo del habla y psicomotriz. Para ser más específicos aplicaciones que ayuden al aprendizaje y práctica de operaciones aritméticas, aprendizaje del vocabulario y la práctica del mismo y el desarrollo psicomotriz de los niños principalmente en nivel Preescolar.

En vista de que las aplicaciones están orientadas a instituciones educativas, las cuales tienden a tener recursos limitados, tanto económicos como de infraestructura, las aplicaciones están diseñadas de manera que resultan una opción factible para las instituciones educativas, debido a que las herramientas utilizadas para su desarrollo proporciona una licencia para uso gratuito, y el hardware necesario para el funcionamiento tiene un costo no muy elevado y la mayoría de las instituciones educativas pueden solventar dicho gasto [1][2].

Objetivos

Desarrollar una herramienta de software la cual consistiría en diversas aplicaciones basadas en el reconocimiento de voz y reconocimiento corporal que faciliten el aprendizaje en áreas como lo son, el conocimiento general, desarrollo del lenguaje y desarrollo psicomotriz. Las aplicaciones están orientadas a grados escolares Preescolar-Primaria.

Principios, ideas y razonamientos

Actualmente nos encontramos en una era donde los dispositivos que utilizamos implementan interfaces de usuario cada vez más complejas y con una diversidad de funcionalidades, lo que ha orillado a buscar formas alternativas a los dispositivos que nos permiten comunicarnos con un ordenador, dispositivos como lo son comúnmente un mouse o teclado. Es aquí cuando empezó a existir la necesidad de crear interfaces de usuario más intuitivas y naturales.

De lo anterior se retoman las NUI o "Natural User Interface" [3] que en la traducción al español podría definirse como Interfaz Natural de Usuario, propuestas por el Doctor Steve Mann en los años 70s [4]. Este tipo de interfaces permiten al usuario comunicarse de una manera natural con un ordenador utilizando nuestros sentidos como medio de interacción. Esto cambia la forma de interactuar con un ordenador y propone una nueva forma de pensar acerca de cómo interactuamos con el contenido.

Un ejemplo son las pantallas multi-touch [5] las cuales nos permiten utilizar el tacto como la manera de comunicarnos incluso implementar "gestos" que estos dispositivos pueden interpretar de manera que la experiencia de usuario sea más natural.

Otro ejemplo son las interfaces de naturales por voz, las cuales permiten manejar un dispositivo por medio del reconocimiento de voz, una implementación de esta interfaz es Google Now [6] o Siri de Apple.

Sin embargo las NUI's no habían tenido tanta popularidad y atención sino hasta la última década con las interfaces táctiles y más recientemente han surgido dispositivos como Microsoft Kinect for Windows [7] los cuales exploran nuevos paradigmas referentes a las NUIs al utilizar movimientos corporales y reconocimiento de voz para interactuar con aplicaciones, lo que elimina la necesidad de que el usuario esté involucrado directamente con un dispositivo o control.


El desarrollo de estas interfaces es relativamente nuevo, por lo tanto se sigue explorando los diversos campos de aplicación, de los cuales han tomado gran popularidad la robótica y la educación l. En estas áreas se han logrado grandes avances como lo son los robots inteligentes los cuales pueden interactuar con los seres humanos respondiendo a sus comandos y gestos corporales. Unas de sus implementaciones son en la educación, desarrollo integral psicomotriz y lingüístico, referente a estos últimos las NUI's ha ayudado en el desarrollo de niños y jóvenes autistas según el "Lakeside Center for Autism " [8] a desarrollar sus habilidades sociales y movimientos corporales.

Otro caso de éxito son aplicaciones diseñadas por Microsoft para el Royal Berkshire Hospital, para ayudar a la rehabilitación de músculos en personas accidentadas y personas con daño cerebral [9].

Y es en casos como los ejemplos anteriores que se detecta una ventaja de las NUI’s sobre las GUI (Graphic User Interface) tradicionales de teclado y mouse, pero ¿por qué? ¿qué ventajas tiene sobre las GUI tradicionales?. Los dispositivos de entrada modernos hacen más flexibles y capaces a las NUI’s y al enfocarse en comportamientos naturales hacen más fáciles a estas de entenderse y aprenderse[3], pero en base a estos argumentos se debe estar consciente de que no siempre implementar una interfaz de este tipo es lo adecuado y nacen otras interrogantes y lineamientos a considerar al desarrollar una interfaz de este tipo.

Algunas ventajas de utilizar NUI’s:

Es una interfaz diseñada para utilizar habilidades aprendidas anteriormente para interactuar con contenido.

Una NUI está determinada en base a su estilo de interacción y no se limita o define por algún dispositivo de entrada en particular.

Pueden incorporar elementos como voz y movimientos corporales para controlar aplicaciones.

La gran exposición a estas tecnologías de la mayoría de la juventud los hace casi natos en el entendimiento y aprendizaje de estas interfaces así como crea un vínculo a temprana edad con estas.

Es por estas ventajas que en este trabajo se plantea el crear aplicaciones orientadas al aprendizaje, desarrollo del habla y psicomotriz donde se explota la principal característica de una NUI, ser natural al emplear los sentidos del usuario para desarrollar o mejorar dichas habilidades en el usuario.

Materiales

1. Kinect For Windows (2)2. 3 Pc con las siguientes especificaciones:

Windows 7, Windows 8, Windows Embedded Standard 7, or Windows Embedded POSReady 7.32 bit (x86) or 64 bit (x64) processor

Procesador Dual-core 2.66-GHz o superior Bus USB 2.0 dedicado 2 GB RAM

Metodología

Se realizó un conjunto de entrevistas a distintas educadoras y coordinadoras con años de experiencia en el área del aprendizaje, tomando en cuenta sus puntos de vista acerca de cuáles son los temas

más difíciles de abordar a la hora de impartirlos ante los alumnos y cómo se pudiera mejorar con la ayuda de nuestras aplicaciones.

En base a los datos obtenidos en la investigación se realizó un modelado de cómo deberían estar estructuradas nuestras aplicaciones para que cumplieran con los objetivos esperados tanto nuestros como de las educadoras entrevistadas.

También se estudió el programa establecido por la SEP basado en competencias [10] y se adecuaron las aplicaciones para que trabajen en conjunto con las competencias establecidas dentro de este documento.

El diseño de las aplicaciones se realiza basado primeramente en la necesidad que encuentra un educador en un área de aprendizaje, como pueden ser las operaciones aritméticas. Posteriormente entran factores como las capacidades desarrolladas y que desarrollarán los jóvenes que utilizarán la aplicación, debido a que ésta debe ser fácil de manejar y comprender pero al mismo tiempo ayude a desarrollar su aprendizaje. Después el análisis de cómo se pueden tomar los requerimientos anteriores y plasmarlos en una aplicación que envuelva voz, movimiento o ambos para cumplir el objetivo.

Como se mencionó anteriormente en el documento las interfaces naturales de usuario implican una nueva manera de pensar acerca de cómo se debe interactuar con el contenido, creando nuevos retos en cuestión de diseñar interfaces y las interacciones con esta. Retos que generan interrogantes para su diseño.

Preguntas como lo son:

¿La aplicación debe ser desarrollada de esta manera por una razón?

¿La aplicación será utilizada sólo por gente con experiencia?

¿Es más importante el legado de las aplicaciones tradicionales, que la facilidad de aprender y utilizar?

¿Es la eficiencia y velocidad entre interacciones con el usuario más importante que la facilidad de uso y la experiencia del mismo?

Para lo anterior existen ya en la actualidad una serie de lineamientos a seguir para crear aplicaciones basadas en movimientos corporales y con voz con Kinect, denominado Human Interface Guidelines, el cual consiste en una serie de principios que facilitan el diseño de interfaces para proporcionar una mejor experiencia de usuario.[3][11]

Cálculos y planos de ingeniería

Las aplicaciones serán desarrolladas en base al dispositivo Microsoft Kinect [7] el cual permite explorar el área de reconocimiento de voz, útil para las aplicaciones del desarrollo del habla y aprendizaje de la lengua.

El dispositivo Microsoft Kinect permite trabajar con el reconocimiento de voz para interactuar con las aplicaciones permitiendo que una mayor cantidad de usuarios puedan hacer uso de las aplicaciones. Cuenta con un arreglo de 4 micrófonos (Figura 1) que trabajan en conjunto para proporcionar una mejor entrada de audio, permitiéndonos determinar el ángulo de donde viene el sonido que se está escaneando, y manejan también cancelación de eco y sonido ambiental por medio de hardware [5]. Esto permite enfocarse en el desarrollo de la aplicación sin tener que considerar estos factores externos dentro del código de nuestra aplicación.


Figura 1. Arreglo de micrófonos

El reconocimiento de voz hace uso de un conjunto de comandos predefinidos en el código de la aplicación, los cuales al ser detectados ejecutarán la función deseada dentro de la aplicación.

Otro campo a explorar es el reconocimiento corporal, el poder controlar aplicaciones con nuestros movimientos sin necesidad de cables o controles, lo cual permite desarrollar aplicaciones las cuales ayuden al desarrollo psicomotriz.

El dispositivo Kinect puede rastrear los movimientos corporales de hasta 4 personas al mismo tiempo, pero solo se pueden obtener datos de 2 personas de manera simultánea. Para hacer esto Kinect compara el cuerpo y movimientos de la persona que está siendo rastreada con una base de datos de “Esqueletos” existente. Una vez que se está rastreando a una o dos personas, Kinect detecta 20 coyunturas del cuerpo por persona, proporcionando la posición de cada una de ellas (Figura 2). Al manipular esta información se puede integrar dentro de las aplicaciones para su futura implementación.

Figura 2. Coyunturas detectadas por Kinect

Para la instalación y configuración de un Kinect en un aula educativa o salón, es necesario un espacio abierto, un dispositivo de proyección ya sea un televisor, un proyecto o incluso los pizarrones inteligentes ya instalados en la mayoría de las escuelas en Mexicali, Baja California, México, un Kinect para Windows y un PC que cumpla con las especificaciones mencionadas anteriormente para operar el Kinect. Se requiere de una distancia mínima de 1.2 metros o más entre el usuario y el dispositivo Kinect para un funcionamiento óptimo por parte de los sensores. Sin embargo, existen dispositivos como el lente “Zoom”[12] el cual una vez instalado en el Kinect nos permite disminuir esta distancia hasta un 40% siendo útil en aulas con un espacio de trabajo reducido de ser necesario.

Figura 3. Mapa espacial indicando las distancias óptimas de operación que van desde 1.2 metros hasta 3.5

Es importante también conocer que el sensor del Kinect tiene una apertura de 43.5 grados +- 27 (Figura 4) así que la distancia recomendada puede variar dependiendo la altura a la que se instale el dispositivo, mientras que la distancia horizontal es de 57.5 grados dando un espacio de trabajo justo y amplio (Figura 4).

Figura 4. Mapa espacial indicando los ángulos de operación de los sensores de profundidad y RGB

En la actualidad contamos con 5 aplicaciones las cuales motivan al usuario a utilizar sus capacidades cognitivas para resolver los retos presentados por las aplicaciones. Estas se enfocan particularmente a temas relacionados con el área de las matemáticas pero no se limitan a ellas solamente. Tomando como referencia el marco educativo de la SEP basado en competencias, se incluyeron aplicaciones que motiven el desarrollo del sistema motriz y la memoria. Algunas de las aplicaciones desarrolladas en la actualidad y que se han probado en salones de clases y en salas de exhibiciones en un museo interactivo son:

Identificar objetos por medio de comandos de voz: En esta aplicación se busca plantear diferentes objetos relacionados a un tema o área en particular y que el


usuario los identifique por medio de comandos de voz. Un ejemplo de esta aplicación ya trabajando, es el identificar letras o frutas y usuario debe ir eliminándolas pronunciando su nombre. La aplicación puede ser utilizada en diferentes idiomas.

Cielo mar y tierra: Este juego busca el que el usuario aprenda a identificar las direcciones, izquierda, derecha, arriba y abajo debido a que educadores mencionaron que es un tema que representa cierta dificultad al aprender.

Aplicaciones y futuros desarrollos

Estas interfaces otorgarán diversos beneficios en su aplicación en la educación como los vistos en este trabajo, sin embargo falta mucho trabajo en el desarrollo en estas aplicaciones, debido a que pueden incrementar su complejidad en tanto como se presenta el contenido educativo y la interacción con este con el fin de desarrollar habilidades del habla y movimiento corporal.

Además estas aplicaciones pueden expandirse en otras áreas que no sean la educación básica, se ha visto interés por parte de educadores en las áreas de personas con habilidades diferentes haciendo énfasis en personas con autismo debido a que este tipo de interfaces pueden ayudar en el desarrollo de sus habilidades sociales y trabajo en equipo.

Un área de aplicación derivada de las aplicaciones de movimiento corporal es la del desarrollo de habilidades corporales en personas las cuales están en algún tipo de rehabilitación.

Presupuesto y su justificación

Nombre Justificación Cantidad Precio c/u

Total

Kinect for Windows

Sensor que nos permite capturar movimiento y reconocimiento de voz

1 $3339 pesos

$3339 pesos

Nota: Este es todo el material necesario ya se cuenta con equipos de cómputo para el desarrollo así como el SDK (Software Development Kit) por sus siglas en inglés Kit de desarrollo de software el cual es gratuito.

El distribuidor oficial de Kinect en México es: http://www.compudabo.com.mx/index.cfm/id/Outlet/list/sensor-kinect-para-windows

Resultados esperados

Al realizar algunas pruebas de campo en un grupo de niños de preescolar se pudo observar que los usuarios se miraban muy atraídos a las aplicaciones que les fueron presentadas. Se generaron dinámicas interesantes en los grupos de usuarios, incluyendo una competencia improvisada entre ellos mismos para decidir quién era el siguiente en turno para utilizar la aplicación. Se hizo evidente que los usuarios se miraban forzados a utilizar los conocimientos pertinentes para resolver los problemas planteados, pero al ser presentados de una manera innovadora y divertida los usuarios seguían utilizando la aplicación, sin importar que los conceptos no correspondieran a su nivel educativo. Las tecnologías empleadas en el desarrollo de las aplicaciones permitieron crear juegos educativos

que resultan divertidos y retadores, a la vez de permitir que usuarios de distintas edades puedan utilizarlos al no implicar interfaces de entrada complicadas de utilizar y dominar.

Por lo tanto, se espera un alto grado de aceptación en futuras aplicaciones las cuales sean más complejas en involucrar los conocimientos y técnicas de enseñanza existentes para que la enseñanza por medio de estas sea más eficiente, así como poder apoyar a profesores en iniciar investigaciones en el campo de la educación como lo pudieran ser el análisis de técnicas tradicionales de enseñanza o la creación de nuevas técnicas referente al uso de estas interfaces y como contribuyen en el aprendizaje del usuario.

Hallazgos

KiDurante el desarrollo de las aplicaciones se empezaron a

alcanzar las limitantes de la plataforma seleccionada [X], paralelamente a éste hallazgo Microsoft liberó actualizaciones para

Hallazgos El sdk con javascript no la cuajaba El sdk con c# empezó a ponerse bastante

bueno

Referencias

[1] Thorbergsson, H., Björgvinsson, T. y Valfells, A. “Economic benefits of free and open source software in electronic governance”. 1st international conference on Theory and practice of electronic governance (ICEGOV '07), Tomasz Janowski and Theresa A. Pardo (Eds.). ACM, New York, NY, USA, 2007. 183-186.

[2] Munga, N., Fogwill, T. y Williams, Q. 2009. “The adoption of open source software in business models: a Red Hat and IBM case study”. 2009 Annual Research Conference of the South African Institute of Computer Scientists and Information Technologists (SAICSIT '09). ACM, New York, NY, USA, 2009. 112-121.

[3] Joshua Blake. Natural User interfaces in .Net. Manning Publications, (2010), EU.

[4] Intelligent Image Processing, John Wiley and Sons, 2001.

[5] Microsoft Pixel Sense, http://www.microsoft.com/en-us/pixelsense/default.aspx

[6] Google Now, http://www.google.com/landing/now/

[7] Microsoft. “Kinect for Windows”. 2012. Visitado el 10 de octubre de 2012. Disponible en la dirección http://www.microsoft.com/en-us/kinectforwindows/

[8] The Kinect Effect at LakeSide Center for Autism, http://lakesideautism.com/

[9] The “Kinect Effect” - consumer technology that’s sparking ideas in healthcare, http://www.microsoft.com/health/en-gb/articles/Pages/kinect-effect.aspx

[10] SEP. “Programa de estudio 2011. Guía para la educadora. Educación Básica Preescolar”. Secretaría de Educación Pública. México. Primera edición. 2011.

http://www.microsoft.com/health/en-gb/articles/Pages/kinect-effect.aspx

http://www.microsoft.com/health/en-gb/articles/Pages/kinect-effect.aspx

http://lakesideautism.com/

http://www.microsoft.com/en-us/kinectforwindows/

http://www.google.com/landing/now/

http://www.microsoft.com/en-us/pixelsense/default.aspx


[11] “Human Interface Guidelines”, http://www.microsoft.com/en-us/kinectforwindows/develop/learn.aspx

[12] Zoom optical lenses by Nyko, http://www.nyko.com/products/product-detail/?name=Zoom

Desarrollo de Interfaces Naturales Para Aplicaciones Educativas

Documents

Transcript of Desarrollo de Interfaces Naturales Para Aplicaciones Educativas