SISTEMA INSTITUCIONAL DE EVALUACIÓN DE COMPETENCIAS

SIEC

Contexto y antecedentes• El campo de la evaluación propiamente dicha es un campo poco explorado en la

educación superior, en términos de crear sistemas e instrumentos institucionales. (TC / TRI) La Universidad Cooperativa de Colombia desarrolla el SIEC, en consonancia con sistemas de evaluación nacionales e internacionales, trascendiendo métodos tradicionales de calificación hacia una evaluación de competencias objetiva, a partir de procesos científicos e intersubjetivos.

• El SIEC diseña y aplica instrumentos de evaluación de competencias genéricas y transversales; además, acompaña la evaluación de las específicas ( ev. interna). Los instrumentos tienen validez de contenido (MT) y validez empírica o estadística (TRI). Con sus resultados se elaboran diferentes reportes, los cuales apoyan la toma de decisiones de los cuerpos académicos de los programas.

Justificación y Pertinencia

La Universidad y su Modelo Crítico con Enfoque de Competencias, diseña y construye un

sistema de evaluación encargado de asegurar un fundamento epistémico, metodológico y

técnico, para desplegar la evaluación formativa al interior de los cursos y a nivel

institucional. Con instrumentos de calidad busca identificar los resultados de aprendizaje

observables de los estudiantes y determinar el nivel de desarrollo de las competencias que

cada uno logra durante su experiencia en la universidad. De este modo, será posible afinar y

diseñar nuevas estrategias de trabajo en aula, con base en el conocimiento de resultados

parciales y acumulados de competencias desarrolladas

Objetivos

GeneralBrindar información válida y confiable sobre los resultados de aprendizaje (parciales /variabilidad), para permitir a la universidad tomar decisiones orientadas a mejorar la calidad de la educación de manera constante.

Específicos• Diseñar y construir instrumentos de evaluación válidos y confiables.• Aportar a la medición del valor agregado en el proceso de formación.• Reconocer el progreso, retroceso o estancamiento del desempeño de los estudiantes

(variabilidad / consistencia).• Aplicar el sistema de evaluación para reconocer las competencias previas de los

aspirantes. ( …)

Alcance conceptual o teórico

• La falta de claridad sobre la teoría y la práctica de la evaluación con enfoque de competencias genera confusión sobre su papel y uso. Se resalta aquí el uso de contextoscomo ejes centrales y articuladores de la teoría con el mundo real. Es así como se construye el SIEC, estructurado en cuatro líneas que buscan reconocer la articulación armónica de los elementos de las competencias, el ser, el saber y el hacer, en el desempeño de los estudiantes en contextos reales debidamente documentados.

• Con el SIEC se busca cambiar la percepción de evaluación como una simple acción de control, verificación y calificación; se promueve entonces su comprensión como todas aquellas actividades dialógicas de análisis permanente sobre toda la experiencia en el curso. Claro, haciendo gala de la la transparencia que debe ostentar cualquier ejercicio de evaluación con calidad.

Alcance conceptual o teórico

Evaluación (Tyler, 1986). Evaluación formativa - sumativa (Scriven, 1979). Campo conceptual (Bourdieu, 2002; Vergnaud, 1990). Dominios Cognitivos (Biggs, 2005; Hattie & Brown, 2004). Contexto (van Dijk, 2001). Relevancia (Wilson & Sperberg, 2004).

Descripción• Entre el inicio y término de un ciclo específico, la evaluación es el monitor de

seguimiento para determinar la trascendencia del proyecto educativo.

• Con esta perspectiva, la universidad implementa el sistema en 2016, y se inicia laconstrucción de instrumentos para competencias genéricas y transversales, trabajoque continua al día de hoy y se proyecta de manera permanente. La construcciónde instrumentos se realiza por medio de colegiaturas de expertos.

• Contexto – ítem: se define el constructo que se busca evaluar, se establecen loscampos en los cuales se presentan los contextos, se exponen los conceptos quese entretejen las situaciones y los elementos de dichos conceptos. Con estosinsumos se diseñan los ítems según su complejidad y se articulan alcontexto. (Se aplica y se procesa)

• Rúbrica: el sistema presenta una matriz sugerida de verbos organizados según su complejidad y articulados a los niveles de dominio cognitivo de la taxonomía SOLO de Biggs y Collis; posteriormente acompaña a los cuerpos colegiados con la afinación de verbos en relación con sus objetos directos según la especificidad del área. Con esta actividad se logra establecer, a partir de la competencia y sus elementos, los descriptores de toda la matriz, agregando al final la escala numérica y obteniendo finalmente la rúbrica de curso.

• Permanentemente se discute sobre los resultados de la evaluación institucional, frente a los resultados de la evaluación interna. De esta manera buscamos la Alineación Constructiva, concepto de Biggs, entre la evaluación y toda la acción educativa en general.

Fuente: BIGGS, John. Calidad del aprendizaje universitario. Narcea, 2005. p. 64.

Taxonomía SOLO

• Con todo el sistema y sus instrumentos se acompaña a los programas para generar protocolos de reconocimiento de competencias previas, en los cuales se establece el estado del mapa de competencias de los programas, en relación con las competencias y experiencia que los aspirantes reportan a la universidad. Allí se establece el grado de reconocimiento que la universidad aprueba, a partir de la convalidación, la homologación y la validación.

Análisis e interpretación reflexiva

ImpactoCon el SIEC se ha construido cultura de la evaluación en su sentido formativo. Se ha ganado comprensión del uso de los resultados de instrumentos confiables para reconocer la eficacia de la acción educativa, y se observa un uso de los resultados para diseñar más estratégicamente el proceso de enseñanza y así lograr mejores resultados en el aprendizaje. La universidad ahora conoce en detalle el estado y tendencias en los resultados de aprendizaje (parciales/avance) en las competencias que evalúa desde el sistema.

ValoraciónSe considera el sistema como un elemento fundamental para lograr reconocer los avances en el desempeño de los estudiantes, lo cual es clave para construir consistentemente el logro de los resultados de aprendizaje declarados. Como oportunidad de mejora se busca el robustecimiento y sostenibilidad del sistema en el tiempo. (talento humano y recurso financiero)

Seguimiento

El proceso de validación de resultados de los instrumentos se realiza a partir de la Teoría de Respuesta al Ítem (TRI), para identificar la consistencia de los instrumentos y reconocer el comportamiento de los diferentes ítems, permitiendo su ajuste y validación antes de generar escalas de calificación, lo que deriva en

confianza en los resultados. A partir de sesiones permanentes se discute la

validez de los instrumentos, tanto del tipo contexto-ítem como de las rúbricas.

Criterios TRI• Los criterios de validez para admitir ítems, hemos propuesto:•

• Dificultad, entre -5 logitos y 5 logitos.• Porcentaje de respuestas correctas, entre 1% y 99%.• Error, menor de 0,05 (ideal menor de 0,01).• Ajustes próximo y lejano, entre 0,70 y a 1,30 (ideal igual a 1,00).• Correlación ítem-prueba, entre 0,10 y 0,50 (ideal, igual a 1,00).• Discriminación, entre 0,50 y 1,50 (ideal, igual a 1,00).• Azar, menor de 0,05 (ideal igual a 0,00).•

• Y para validar el instrumento:•

• Varianza explicada por las medidas, mayor de 50% (ideal mayor de 90%).• Varianza en contraste con el primer componente, menor de 5% (ideal menor de 1%).• Relación de varianzas, mayor de 4,00 (ideal, mayor de 10,00).• Consistencia interna (Coeficiente Alfa de Cronbach), mayor de 0,40 (ideal, mayor de 0,90).• Separación, mayor de 2 (ideal, mayor de 4,5).• Confiabilidad, mayor de 0,50 (ideal, mayor de 0,90).

Sistematización y replicabilidad

Los datos históricos de la acción del SIEC se presentan en reportes de resultados que llegan a la comunidad a través de consolidados en Excel, reportes individuales y por agrupaciones, así como visuales en paneles de Power BI. Se está trabajando en la publicación periódica de boletines que muestren las diferentes reflexiones que se pueden plantear a partir de los resultados. La estructura de trabajo se ha podido replicar cada vez que se necesita robustecer los instrumentos y reportar a la comunidad, ya que se tienen unos protocolos claros que hacen que la práctica se pueda establecer en cualquier institución dispuesta a invertir en la calidad que ofrece un sistema robusto de evaluación.

GRACIAS

Johann Leonardo Campos AlvaradoJefe nacional del SIEC

johann.camposa@ucc.edu.co