Evaluación de plataformas e-Learning

EVALUACIÓN DE PLATAFORMAS E-LEARNING A TRAVÉS DE

CUESTIONARIOS.

José Miguel Ruiz Delgado

Master de Informática 2008/09. Universidad de Alcalá [email protected]

Resumen Disponemos en la actualidad de una variedad importante de SGA (Sistemas de Gestión de Aprendizaje) tanto de libre distribución como comerciales, y con bastante asiduidad adolecemos de unos indicadores que nos muestren de forma fiable los niveles de evaluación de la calidad de las citadas plataformas de formación, o bien cuando estos existen no suelen ser tan rigurosos y críticos como desearíamos. En este sentido, Carlos Marcelo y Miguel Zapata han publicado conjuntamente un informe en el Monográfico VII de la revista RED (Revista de Educación a Distancia) publicada en la Universidad de Murcia, con el nombre de Cuestionario para la evaluación. "Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia". Metodología de uso y descripción de indicadores, donde abordan un cuestionario de evaluación de la calidad amplio, riguroso y adaptable a cualquier dimensión del sistema de formación a evaluar. En él a través de seis dimensiones distintas, se abarca el estudio de las diferentes fases de evaluación de cualquier programa de formación docente a través de aprendizaje abierto y a distancia. Abordaremos aquí el uso del citado cuestionario aplicado plataformas de formación, como es el caso de WebCt, y A-tutor, no pretendiendo establecer una comparativa de las mismas, sino una evaluación individual de cada una de ellas atendiendo al citado cuestionario. Palabras clave: Evaluación, calidad, plataforma formación, dimensión.

JOSÉ MIGUEL RUIZ DELGADO -2-

1. Introducción. Los Sistemas de Gestión de Aprendizaje como WebCt, y A-tutor, son plataformas de formación de amplia difusión tanto en el ámbito docente como empresarial. La primera de ellas WebCt, (http://www.webct.com ) es una plataforma de Tele-enseñanza comercial desarrollada por la Universidad Bristish Columbia, quizás sea la herramienta de formación por Internet más utilizada actualmente en las Universidades de todo el mundo. Permite seleccionar el idioma de la interface del usuario que se desee (alumno y profesor), actualmente dispone de los siguientes idiomas: inglés, holandés, finlandés, francés y Español (aunque se pueden ampliar). La interface usuario esta diseñada de forma sencilla y enfocada al aprendizaje del alumno, para facilitar la navegación por el sistema dispone de una guía práctica, además dispone de una herramienta de ayuda denominada MiniHelp La plataforma estudiada es la que se utilizó el curso pasado en el Master y a la que seguimos teniendo acceso. Aquí podemos ver la pantalla de una de las asignaturas del primer curso.

A continuación trabajaremos y evaluaremos la plataforma A-tutor (http://www.atutor.ca/ ), que es un Sistema de Gestión de Contenidos de Aprendizaje de código abierto basado pensado para trabajar a través de Internet y ha sido diseñado con el objetivo de conseguir una buena accesibilidad y lograr una gran xadaptabilidad. A-tutor se inició como un producto de Adaptive Technology Resource Centre (ATRC) de la Toronto University, sin embargo hoy en día el proyecto se mantiene en constante desarrollo gracias a los aportes de programadores principalmente de PHP y donaciones de organizaciones externas.


La plataforma estudiada es una demo que podemos encontrar en la Web de distribución. http://www.atutor.ca/atutor/demo/index.php

2. Características del cuestionario. La aplicación del cuestionario citado, se soporta sobre “los Estándares de Calidad para Programas de Formación Docente a través de Estrategias de Aprendizaje Abierto y a Distancia utilizando una estructura procesual. Cada una de las dimensiones del proceso: Contexto, Diseño, Producción, Puesta en marcha, Implementación y Seguimiento de los estándares parte de una declaración o estándar general, para posteriormente ir dividiéndose en estándares más específicos en función de la amplitud y complejidad del estándar.


Los estándares generales son los siguientes: 1. Dimensión Contexto. El programa de formación se adecúa a las características, condiciones y necesidades del contexto educativo en el que el profesorado desarrolla su práctica docente. 2. Dimensión Diseño. Los objetivos, contenidos, estrategias y recursos del programa de formación se han diseñado tomando en consideración los procesos de aprendizaje adulto y las condiciones, posibilidades y limitaciones de la utilización de las tecnologías como soporte para la formación. 3. Dimensión Producción. La producción técnica del programa se ha realizado siguiendo los procedimientos de usabilidad y accesibilidad adecuados a fin de propiciar un aprendizaje acorde con las metas y objetivos del programa dentro de la modalidad de ODL (aprendizaje abierto y a distancia). 4. Dimensión Puesta en Marcha. Los procesos de difusión, información y orientación al profesorado respecto de las características y condiciones del programa de formación son públicos y se desarrollan adecuadamente. 5. Dimensión implementación. La implementación del programa de formación se desarrolla utilizando los recursos técnicos y humanos necesarios, a través estrategias formativas variadas que favorecen la consecución de las metas y objetivos del programa. 6. Seguimiento. El programa promueve el asesoramiento continuado, así como crea espacios virtuales de comunicación e intercambio entre el profesorado participante en el programa una vez que éste ha finalizado” (C.Marcelo,M.Zapata:2008). Esta herramienta de evaluación se ha fundamentado en el modelo dafo, haciendo hincapié en destacar las debilidades y fortalezas del programa que está siendo objeto de evaluación. En el cuestionario de evaluación, se propone adjudicar como respuesta a cada uno de los estándares propuestos, el valor correspondiente a tres niveles distintos. Teniendo presente que los criterios estipulados en él, para cada uno de los niveles ha de corresponderse con: “Nivel alto:

• Existen documentos operativos (manuales de procedimiento, etc) y no orientaciones, recomendaciones, etc que así lo expresan y que son conocidos por todos los agentes implicados con constancia de que así es.

• Existen programas de formación y de asesoramiento que así lo exigen como contenido explicito y evaluable para los agentes implicados.

• La definición es objeto de alguna o de algunas fases del planeamiento. Nivel medio:

• Existe definición explicita de la mayoría de las especificaciones en documentos referenciables pero no existe un plan que asegure el conocimiento, la aplicación o la evaluación de que así sea conocido o aplicado por los agentes o tiene carácter voluntario o no vinculante.

• No se puede asegurar en todos los casos que se haya producido formación específica ni evaluación del grado de cumplimiento.


Nivel bajo: • No se puede constatar o referenciar lo señalado en los niveles anteriores

(medio o alto). • Solo existen referencias imprecisas no constatables. - Existiendo las

referencias no son consultadas, no son accesibles, o no están actualizadas. • No existen o no se cumplen las especificaciones señaladas en el indicador. La

respuesta es NO” (C.Marcelo,M.Zapata:2008) 3. Aplicación del cuestionario. El presente cuestionario Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia, está realizado abarcando todos los posibles puntos de interés dentro de un amplio programa de formación; por tanto es denso, exhaustivo, riguroso y pormenorizado, estando además diseñado para programas de formación completos, siendo adaptable a cualquier dimensión del mismo. En el estudio que nos ocupa de los SGA´s, y atendiendo exclusivamente a la vertiente tecnológica, me propongo aplicar solamente la dimensión tercera correspondiente a la Producción, que es en la que se encuentran directamente implicadas las plataformas de formación WebCt y A-tutor. En la primera será aplicable a WebCt sobre una de las asignaturas de primer curso “Teoría y Practica de la Tutoría Virtual”, y la segunda sobre un curso demo que se encuentra en A-tutor (http://www.atutor.ca/atutor/demo/index.php), en concreto “Contabilidad General y Tesoreria”. 3 Producción. Correspondiendo a esta dimensión, la producción técnica del programa, evaluaremos si ésta se ha realizado siguiendo los procedimientos de usabilidad y accesibilidad adecuados a fin de propiciar un aprendizaje acorde con las metas y objetivos del programa dentro de la modalidad de odl (aprendizaje abierto y a distancia). 3.1 Requerimientos técnicos de la plataforma tecnológica. En primer lugar veremos si la plataforma tecnológica (el conjunto de programas y utilidades en la red que dan soporte al sistema de formación) dispone de los requerimientos técnicos necesarios para hacer viable las metas y objetivos del programa de formación.

WebCt A-Tutor

Alto

M

edio

B

a jo

Alto

M

edio

B

a jo

3.1.1 La plataforma tecnológica permite la personalización del ambiente de aprendizaje por parte del alumnado: colores, calendario, herramientas, etc.

x x


3.1.2 El acceso del profesorado a la plataforma tecnológica es fácil incluso para aquellos con menores habilidades tecnológicas [este enunciado puede resultar impreciso y no evaluable, o solo de forma subjetiva, a través de intenciones. Propongo añadir:] Si el abandono por esta causa o por la desatención basada en ella es 0 poner “alto”, si es inferior al 5% poner “medio”, en cualquier otro caso poner “bajo”.

x x

3.1.3 La plataforma tecnológica permite el desarrollo de diferentes itinerarios formativos en función de las necesidades del programa.

x x

3.1.4 La plataforma tecnológica pone a disposición del profesorado las herramientas estándares de comunicación en ese momento, tanto sincrónas como asincrónas.

x x

3.1.5 La plataforma tecnológica pone a disposición del profesorado herramientas de gestión y seguimiento de su propio progreso

x x

3.1.6 La plataforma tecnológica permite la reutilización de contenidos a través del empleo de estándares como SCORM.

x x

3.1.7 La plataforma tecnológica dispone de herramientas de gestión del contenido, permitiendo diferentes formas de organización de los mismos.

x x

3.1.8 La plataforma tecnológica dispone de recursos para la creación de un repositorio que permita compartir documentos y materiales elaborados por el profesorado.

x x

3.1.9 La plataforma tecnológica pone a disposición del profesorado herramientas de trabajo en grupo y de colaboración.

x x

3.1.10 La plataforma tecnológica incorpora diferentes herramientas de evaluación tanto en el formato de examen, de tareas individuales y grupales, así como de intervenciones en foros y chats.

x x

3.1.11 La plataforma tecnológica pone a disposición del profesorado herramientas personales: blog, portfolio.

x x

3.1.12 La plataforma tecnológica permite el establecimiento de contactos online entre el profesorado y las familias de los alumnos

x x

3.1.13 La plataforma tecnológica permite la creación de foros y áreas de comunicación para el profesorado no participante en el programa.

x x

3.1.14 La plataforma tecnológica permite el acceso abierto a los recursos externos (artículos, capitulos de libros u otros documentos de la red) o internos (elaborados por los formadores), que se utilicen en el programa de formación, y que tengan esta naturaleza de materiales open access, permitiendo el cómputo de accesos y citas a los dispositivos recolectores de éstas.

x x

Apreciación sobre el ítem: Como podemos observar en la valoración realizada, ambas incorporan prácticamente los mismos niveles en los indicadores calidad, aunque demuestra estar mejor equipada de herramientas tecnológicas A-tutor que WebCt. Hoy día no estaría de más incorporar a las plataformas otros medios de acceso a los recursos de trabajo, como puede ser el teléfono movil o iPod. Creo que de cara tanto a los aprendices como docentes, sería interesante añadir una información más completa (quizás a base de asistentes de configuración) para poder trabajar con los paquetes IMS y SCORM, ya que creo que están infrautilizados en ambas plataformas. A favor de A-tutor, y de forma general, tenemos que al ser una plataforma en código abierto, está en constante evolución permitiendo con ello a los desarrolladores el poder implementar constantemente nuevas soluciones, consiguiendo la adaptación a los nuevos sistemas tanto tecnológicos como docentes con más rapidez.


3.2 Usabilidad. El diseño del programa de formación es sensible a las normas de usabilidad que favorecen el aprendizaje abierto y a distancia. 3.2.1 La interfaz de usuario. Veremos si la interfaz de usuario, diseñada para el programa, permite al profesorado [En esto y en lo que sigue ¿Profesor en papel de profesor o en papel de alumno?] una interacción flexible, estructurada, reflexiva, que facilita su proceso de aprendizaje.

WebCt A-Tutor

Alto

M

edio

B

a jo

Alto

M

edio

B

a jo

3.2.1.1 El diseño de la interfaz de usuario permite flexibilidad de acomodación del acceso y navegación en función de diferentes estilos de aprendizaje del profesorado.

x x

3.2.1.2 La interfaz de usuario se caracteriza por la claridad, facilidad de comprensión y coherencia con los objetivos y contenidos del programa.

x x

3.2.1.3 La interfaz presenta una estructura en la que los elementos se encuentran organizados de una forma consistente . Por ejemplo, cada unidad cuenta con las siguientes secciones: introducción, contenidos, recursos, tareas y evaluación.

x x

3.2.1.4 La interfaz proporciona al profesorado el acceso a múltiples recursos electrónicos, incluyendo buenas prácticas docentes.

x x

3.2.1.5 Se proporciona al profesorado unas orientaciones generales, a partir de las que puede obtener información sobre los objetivos, metodología, contenidos del programa, así como la forma en la que se le va a evaluar.

x x

3.2.1.6 El profesorado participante en el programa dispone de información sobre los tutores del programa: quiénes son, su experiencia y conocimiento en relación con los contenidos, así como las vías para contactar con ellos por diferentes medios (online, teléfono).

x x x

3.2.1.7 Se facilita al profesorado un correo electrónico y/o teléfono de contacto para solucionar los problemas técnicos que se le presenten a lo largo del programa.

x x

3.2.1.8 La estructura de presentación de los contenidos, ya sea ésta lineal, jerárquica, basada en casos o resolución de problemas, es coherente con los objetivos del programa de formación.

x x

3.2.1.9 El formato elegido para el diseño de los contenidos permite la interactividad a través de una navegación autónoma, pudiendo el alumnado elegir el menú de navegación, así como imprimir los contenidos seleccionados.

x x

3.2.110 El estilo de presentación de los contenidos promueve la reflexión, el diálogo, y no son meramente informativos.

x x

3.2.111 Se proporciona una buena base de datos de acceso a conocimientos derivado de investigación y práctica sobre necesidades e intereses del profesorado.

x x

Apreciación sobre el ítem: Antes de nada, la estética de ambas plataformas deja bastante que desear y no sería nada complicado actualizarlas a formatos más vistosos e interactivos para hacerlas atractivas a la comunidad educativa, siendo más significativo si cabe el caso de WebCt que es propietaria y con un coste nada bajo.


La mejora del la interface también debería extenderse a como y de que forma se presentan los contenidos, haciéndolo de forma más estructurada y por ejemplo visibles sin tener que abrir los PDF´s en Web o bien tener que descargarlos. Por lo demás, ambas casi repiten resultados de los puntos evaluados. 3.2.2 En este apartado pretendemos ver si los elementos textuales, gráficos y multimedia utilizados en el programa se adecúan a los objetivos, y están diseñados para facilitar la interacción con los materiales formativos.

WebCt A-Tutor

Alto

M

edio

B

a jo

Alto

M

edio

B

a jo

3.2.2.1 El lenguaje utilizado para el desarrollo de los contenidos es adecuado al nivel del profesorado; es claro y directo; tiene los verbos en voz activa; utiliza oraciones cortas y directas; utiliza párrafos breves y los términos se usan correctamente.

x x

3.2.2.2 El contenido textual, gráfico y multimedia no provoca discriminación en relación a edad, sexo, cultura, religión o etnia.

x x

3.2.2.3 En la redacción de los textos se utilizan adecuadamente epígrafes y viñetas para segmentar las frases.

x x

3.2.2.4 En la redacción de los textos se utilizan colores o negrita para destacar palabras clave.

x x

3.2.2.5 Los contenidos y materiales del programa se pueden imprimir sin dificultad por parte del alumnado.

x x

3.2.2.6 Los hiperenlaces del programa funcionan correctamente. x x 3.2.2.7 Las imágenes, audios y videos del programa están bien insertados

no existiendo dificultad para su correcta audición y/o visualización. x x

3.2.2.8 Las imágenes, audio y videos utilizados son de calidad y coherentes con el contenido textual y sirven para facilitar su comprensión. [propongo sustituirlo por: Las imágenes (…) son necesarias ¿añaden elementos significativos para la comprensión y el aprendizaje del contenido que se pretende conseguir?]

x x

3.2.2.9 El programa de formación incluye demostraciones que permiten al profesorado observar y practicar paso a paso procesos complejos.

x x

Apreciación sobre el ítem: Cuando abordamos contenidos, su forma de presentación y utilización, la formación sobre la plataforma propietaria parece ser la que mejor y más profesionalmente es utilizada, esto seguramente es consecuencia de que esta plataforma se utiliza en instituciones con mayor experiencia docente, y donde estos tengan mayor nivel de profesionalidad. 3.3 Evaluaremos si el programa de formación es sensible a las normas de accesibilidad y las aplica en su diseño.


WebCt

A-Tutor

Alto

M

edio

B

a jo

Alto

M

edio

B

a jo

3.3.1 El interfaz de usuario cumple los estándares de accesibilidad5 en línea con lo establecido por el documento eEurope 2002. Accesibilidad de los sitios Web públicos y de su contenido, en los Anexos 1 y 26.

x x

3.3.2 En las tablas, los datos se presentan siguiendo una estructura lógica y ordenada.

x x

3.3.3 Las páginas proporcionan adecuada información de contexto y orientación al profesorado.

x x

3.3.4 Todas las páginas del programa pueden ser identificadas a través de su título.

x x

3.3.5 Al profesorado se le proporciona información, ya sea a través de un texto o en una imagen, sobre el formato de los archivos que se va a descargar.

x x

3.3.6 El acceso al ambiente de aprendizaje se puede realizar desde cualquier navegador: internet explorer, mozilla firefox.

x x

3.3.7 Se dispone de medios alternativos para la publicación de contenidos (cd, material impreso) para los profesores que no dispongan de acceso permanente a internet.

x x

Apreciación sobre el ítem: En este caso ocurre lo mismo que el apartado anterior. 4. Conclusión. Los dos primeros formularios aplicados están dirigidos a evaluar la plataforma de formación desde el punto de vista tecnológico y de funcionalidades, mientras que los dos restantes dependen en buena medida de la capacidad de trabajo sobre la plataforma y formación específica que los docentes posean. Atendiendo al punto de vista tecnológico, la plataforma propietaria es menos atractiva estéticamente que la de código abierto, posee menos posibilidades de personalizar su entorno y tampoco de dotarlo de características más dinámicas. Mientras que la segunda plataforma (sin dejar de tener muchas carencias), es más atractiva en su presentación y permite una mayor personalización de los espacios de trabajo. En cuanto a las herramientas de las que disponen cada una de ellas, son bastante similares presentando prácticamente el mismo potencial a la hora de poner en marcha un curso de formación. Se debe tener presente que este tipo de formación abierta y a distancia puede ser utilizada por aprendices de un espectro muy amplio de población y riqueza cultural, por lo que también es necesario que el entorno de trabajo sea atractivo a estos. Los dos últimos cuestionarios abordan el como se presentan los temas objeto del aprendizaje, y esto esta enormemente influenciado por el equipo docente encargado de diseñarlos desde el punto de vista didáctico, y también para aprovechar las


capacidades que posee la plataforma de presentarlos a los aprendices. Por tanto, los resultados no son totalmente objetivos. En definitiva, disponemos de una buena plataforma de formación en código abierto que está creciendo día a día y de forma gratuita, pero tiene los inconvenientes de carecer de la robustez y el apoyo técnico que la propietaria dispone, eso sí pagándolo directa o indirectamente. 5. Bibliografia. [1] Cuestionario para la evaluación. "Evaluación de la calidad para programas completos de formación docente a través de estrategias de aprendizaje abierto y a distancia". Metodología de uso y descripción de indicadores (Carlos Marcelo y Miguel Zapata:2008).

[url] http://www.um.es/ead/red/M7/cuestionario.pdf [2] Sistemas de educación a distancia a través de redes. Unos rasgos para la

propuesta de evaluación de la calidad. (Miguel Zapata:2003). [url] http://www.um.es/ead/red/M1/sistemas.pdf [3] Sistemas de gestión del aprendizaje – Plataformas de teleformación. (Miguel

Zapata:2003). [url] http://www.um.es/ead/red/M1/SGA.pdf

[4] Evaluación de un Sistema de Gestión del Aprendizaje. (Miguel Zapata:2003). [url] http://www.um.es/ead/red/M1/eval_SGA1.pdf

[5] Evaluación de la calidad para programas completos de formación docente a

través de estrategias de aprendizaje abierto y a distancia. (Carlos Marcelo:2008).

[url] http://www.um.es/ead/red/M7/marcelo.pdf [6] Calidad de la Enseñanza 2.0. (Elena Barberá:2008). [url] http://www.um.es/ead/red/M7/elena.pdf

Evaluación de plataformas e-Learning

Documents

Transcript of Evaluación de plataformas e-Learning