Evaluación Habilidades SFIA

Área de Informática y Telecomunicaciones

Vicerrectoría Académica de Pregrado

Agosto 2014

Otoño de 2012, entran en vigencia nuevos planes para: Analista Programador (B50-8) 5 Semestres Ingeniería en Informática (T60-6) 8 Semestres

Perfil de Egreso expresado en Habilidades SFIA con niveles de madurez para cada habilidad.

Contexto

Otoño 2014, egreso 1ra cohorte de Analista Programador

Proyecto: Evaluación Habilidades SFIA

Objetivos:

Medir el desarrollo de las habilidades SFIA en las carreras del Área Informática y Telecomunicaciones.

Retroalimentar el diseño curricular respecto de los resultados de logro de habilidades SFIA.

Evaluar la plataforma de evaluación Validate Skills y su relación con el Marco de Habilidades SFIA.

Mostrar claramente los beneficios del uso de SFIA en los programas de estudio actualizados.

Proyecto: Evaluación Habilidades SFIA

Recordemos: ¿Que es SFIA?Skills Framework for the Information Age

Categorías, Subcategorías y Habilidades SFIA

Programación (PROG)

Competencias Seleccionadas para el ProyectoPerfil de Egreso - Analista Programador

Habilidad SFIA

Descriptor Habilidad SFIA

Construir programas a partir de requerimientos de diseño, generando la documentación necesaria de acuerdo a normas establecidas

PROGNivel 3

Desarrollo de software o programación

Diseñar el repositorio para el almacenamiento de información estructurada y no estructurada en función de las necesidades del negocio

DBDSNivel 4

Diseño de bases de datos o almacenes

Integrar componentes, subsistemas y sus interfaces, realizando pruebas de funcionamiento

SINTNivel 3 Integración de sistemas

Administrar los requerimientos del negocio para asegurar la implementación de los cambios acordados

REQMNivel 3

Gestión y definición de requisitos

Diseñar sistemas de información y sus componentes, manteniendo la compatibilidad con la arquitectura de la solución y de la empresa

DESNNivel 3 Diseño de sistemas

Habilidades SFIA… en la evaluación

Etapas iniciales del ProyectoI. Planificación y Diseño Diseño de evaluaciones

Selección de asignaturas integradoras de competencias del perfil de egreso Diseño de la estructura de la evaluación para cada asignatura seleccionada Asignación de preguntas a las habilidades SFIA, según nivel, a ser evaluadas Selección de 100 estudiantes que cumplan con requisitos necesarios para

ser evaluados. Configuración de validateskills.com

Configuración de espacio privado para INACAP Ingreso de preguntas a la base de datos y configuración de las evaluaciones Configuración de cuentas de usuarios para 100 estudiantes

II. Ejecución y Análisis

a. Capacitación participantes sede (Docentes y Alumnos) b. Realización de las evaluaciones (3 evaluaciones x estudiante) c. Consolidación de resultados y generación de reportes d. Evaluación de resultados y factibilidad de escalamiento para el

proyecto.

Asignaturas v/s Habilidades

Asignaturas 5to. semestre REQM DESN SINT PROG DBDS

Ingeniería y Gestión de Requerimientos (TI1217) √ √

Ingeniería de Software (TI1218) √ √ √ √

Modelamiento de Procesos de Negocio (TI1219) √ √

Niveles SFIA Nivel 3 Nivel 3 Nivel 3 Nivel 3 Nivel 4

¿Como evaluar?Tabla de Especificación

Objetivo: Establecer la estructura de un instrumento de evaluación:

Aprendizajes Esperados Criterios de Evaluación Tipo de pregunta Nivel de complejidad Ponderación de cada pregunta Tiempo de resolución

Instrumento de EvaluaciónHabilidad Cant. Ejercicios Ponderación

DBDS 1 5%

DESN 11 34%

PROG 15 27%

SINT 6 15%

REQM 10 19%

TOTAL PREGUNTAS 43 100%

Tipo de Pregunta Cantidad

Verdadero y Falso 12

Términos Pareados 5

Selección Múltiple/Compuesta 17

Método de Casos (Pauta de Cotejo) 7

Desarrollo (Rúbrica) 2

TOTAL PREGUNTAS 43

Tiempo Total de la Evaluación

188 minutos

Aplicación de la Evaluación

Plataforma de Evaluación

• Validate Skills es una plataforma exclusivamente construida con el fin de evaluar las habilidades contenidas en SFIA

• Permite – Construir sets de preguntas de acuerdo a sus

necesidades– Subir archivos adjuntos de respuestas– Asociar sets de preguntas a distintas evaluaciones– Generar evaluaciones para habilidades específicas – Realizar evaluaciones simultaneas a diversos

roles/perfiles– Medir el progreso de las personas evaluadas vía e-

Portfolio

Validate SkillsFuncionalidades Generales

Validate SkillsPanel del evaluado

Resultados

(Resultados no incluyen preguntas de desarrollo, aún no disponibles su corrección)

ResultadosAprendizajes Esperados Evaluados

SINT REQM PROG DESN0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

43%

57%

86%

69%

Logro del Nivel 3 v/s Habilidad SFIA2.5 Describe los conceptos asociados a la fase de pruebas de Software en el ciclo de vida de software

Ponderación 15%

1.1 Reconoce los tipos de requerimientos, considerando su rol en las organizaciones actuales.

1.3 Aplica la técnica de obtención de requerimientos acorde a la problemática de la organización.

3.1 Aplica mejores prácticas al desarrollo de requerimientos en el contexto de un caso de estudio.

Ponderación 19%

1.4 Reconoce los conceptos asociados a la gestión de proyectos informáticos y sus distintas fases en su correspondiente ciclo de vida.

2.1 Explica las áreas de conocimiento de la Ingeniería de Software de acuerdo a SWEBOK.

Ponderación 27%

1.5 Produce un software como una solución de negocio de acuerdo a un caso específico.

2.3 Aplica estrategias y métodos de diseño de software en la solución a un problema específico.

2.4 Explica los conceptos relacionados con la construcción de software en base a sus métodos y estrategias.

1.2 Reconoce la estructura de un proceso de negocio en el contexto de una organización.

Ponderación 34%

SINT REQM PROG DESN0%

10%20%30%40%50%60%70%80%90%

100%

39%

72%

89%

78%

45% 48%

84%

65%

Nivel de Logro por Sede

SEDE 1 SEDE 2

ResultadosAprendizajes Esperados Evaluados(Resultados no incluyen preguntas de desarrollo, aún no disponibles su corrección)

Principales Conclusiones Evaluación no incluida en las asignaturas y no conducente

a nota, conlleva baja participación por parte de alumnos. De la muestra de 100 alumnos, participaron 49 alumnos en

la evaluación. De las tres evaluaciones definidas, se integraron en una

evaluación general. La herramienta Validate Skills no tiene incorporados los

instrumentos de Rúbrica y Pautas de Cotejo. La metodología utilizada se observa como una potente

herramienta de análisis de competencias y logro de habilidades SFIA.

Se logran los objetivos del proyecto. Aún falta el análisis de las preguntas de desarrollo.

Muchas Gracias

Twitter: @kquiroga