Informe del estudio de validación de los instrumentos propuestos para la

evaluación del personal docente del RUM

Comité Institucional para la Elaboración de los

Instrumentos de Evaluación del Personal Docente del RUM

Octubre de 2009

Miembros del Comité

• Dra. Doris Ramírez, Presidenta• Dra. Darnyd Ortiz – Asuntos Académicos• Dr. Marco Arocha – Ingeniería • Dr. Angel Custodio – Ciencias Agrícolas• Dr. Eddie Marrero – Artes y Ciencias• Prof. David F. Muñoz – Administración de Empresas• Dra. María Rodríguez – Servicio Extensión Agrícola • Profa. Deixter Méndez – Biblioteca • Dra. Nidia S. López – Orientación • Dr. Andrés Collazo - Consultor

Trasfondo

Propósitos del Estudio de Validación

1. Determinar la validez aparente (“face validity”) de los nuevos instrumentos desarrollados para evaluar el personal docente. Para detalles de los instrumentos y su proceso de construcción véase la página de Internet:

http://www.uprm.edu/evaluaciondocente/docs/Validacion.pdf.

2. Editar los instrumentos a partir de los resultados del estudio de validación.

Planificación General del

Estudio de Validación • Para fines del estudio se dividieron los instrumentos en dos categorías:

generales y especializados.

• Los instrumentos generales (cinco) a ser validados por todos los docentes incluyeron los siguientes:– Docencia general, Enseñanza, Investigación–Labor Creativa, Servicio

institucionalizado y Gerencia académica

• Los instrumentos especializados (seis) a ser validados por los docentes de unidades específicas, incluyeron los siguientes– SEA (Especialistas) y (Agente Agrícola y Economista del Hogar)– Servicios de Información (Bibliotecarios)– Servicios para el desarrollo y aprendizaje estudiantil (Consejería

Profesional y Orientación, Servicios Sicológicos, Trabajo Social)

• Este informe se circunscribe a la validación y a las acciones tomadas con relación a los instrumentos generales.

Planificación General … (cont.)

• La consulta se haría en formato de lápiz y papel.• Se solicitaría a los participantes que evaluaran cada ítem de cada

instrumento mediante la escala correspondiente:– Claridad: ¿Cuán bien se entiende lo que quiere decir el ítem?

1 = No se entiende (confuso/ambiguo)2 = Es difícil de entender3 = Se entiende bastante bien4 = Se entiende fácilmente

– Relevancia: ¿Cuán relevante considera el ítem para la evaluación de un docente?

1 = Nada relevante (¿Lo eliminaría o lo cambiaria de lugar? Comente.)2 = Algo relevante3 = Bastante relevante4 = Muy relevante

• Además, se proveería espacio en cada ítem para comentarios y sugerencias (ver siguiente ejemplo).

Componente 1: Enseñanza de las destrezas de Información Claridad Relevancia Sugerencias/Comentarios

Logra los objetivos de la enseñanza desde la perspectiva del usuario. [1.1]

1 2 3 4 1 2 3 4 

Ejemplo del formato de los instrumentos

Planificación … (cont.)• Se acordó que los expertos a ser consultados serían:

– miembros de los comités de personal de cada departamento,– ex-miembros de comités de personal que el director considerara

cualificados para esta tarea,– directores y decanos.

• Se organizó una actividad de orientación el 27 de febrero de 2009 presidida por el Rector a la que se citaron: los presidentes de los comités de personal, directores de departamentos y decanos de facultad de todo el RUM para hablarles sobre la consulta e instruirle sobre el procedimiento.

• Cada director y presidente de comité de personal era responsable de comunicar las instrucciones y llevar los instrumentos a los miembros de sus respectivos comités y asegurarse de que contestaran los mismos.

Reestructuración del Plan de Validación a raíz de la Actividad de Orientación

• En la actividad de orientación (27 de febrero de 2009), los participantes presentaron y avalaron los siguientes cambios:– Que la consulta se hiciera en línea.– Que se permitiera participar a todo el personal docente.– Que los instrumentos estuvieran disponibles en español e

inglés.

• El CIEPD adoptó todos los cambios propuestos.

¿Cómo se llevó a cabo la consulta?

Procedimiento

• La consulta se hizo extensiva a todos los docentes del Recinto que quisieran voluntariamente participar.

• Los cuestionarios se administraron utilizando el sistema para hacer consultas en línea con que cuenta el RUM a través de Mi Portal Colegial.

• Para montar los cuestionarios en ese formato se contó con la colaboración del personal del Centro de Cómputos.

• Los cuestionarios estuvieron disponibles en español e inglés. El Prof. Raymond Knight, del Departamento de Inglés, hizo la traducción al inglés de los cuestionarios.

Procedimiento

• Una vez los instrumentos estuvieron disponibles, se enviaron varios mensajes en línea de anuncio y seguimiento.

• Se dio tiempo suficiente (poco más de un mes) para poder participar. Frecuentemente, se monitoreaba el número de participantes.

• Durante el proceso varios docentes tuvieron problemas contestando el cuestionario en línea.

• Para subsanar el problema, se brindó la opción de contestar los cuestionarios en formato de papel y lápiz a los docentes y/o unidades que así lo solicitaran.

Resultados

Observaciones Generales en cuanto a la Participación

• Hubo participación de todas las unidades docentes (ver Tabla 1).

• Hubo participación amplia en la validación de los cinco instrumentos (ver Tabla 2).

• La participación en términos de modalidad fue ligeramente mayor en la versión de Papel-Lápiz (Ver Tabla 3).

Tabla 1: Participación por Instrumento y Unidad Docente

Instrumentos Artes Ciencias IngenieríaCiencias

AgrícolasEmpresas Otros Total

Doccencia General 18 39 11 25 6 12 111

Enseñanza 11 33 3 20 6 7 80

Investigación – Creación

10 29 4 18 6 6 73

Servicio 12 28 1 21 6 7 75

Gerencia 9 26 1 20 6 7 69

Otros incluye: Biblioteca, Orientación, Decanos

Tabla 2: Tasa de Respuesta por Instrumento

Instrumentos Cantidad %’s

Doccencia General 111 10.4

Enseñanza 80 7.5

Investigación – Creación

73 6.8

Servicio 75 7.0

Gerencia 69 6.5

• La tasa de respuesta por instrumento se basó en 1065 docentes cualificados activos al momento de la consulta y distribuidos de la siguiente forma: 807 en el campus, 57 en las Estaciones Experimentales Agrícolas y 201 en el Servicio de Extensión Agrícola.

• Un aspecto a resaltar es que la cantidad por instrumento ni la suma de todos los instrumentos refleja el número exacto de participantes; esto debido a que una misma persona pudo haber contestado más de un cuestionario (podía incluso contestarlos todos), pero algunos pudieron haber contestado solo los instrumentos que más le interesaron.

• Visto desde esta perspectiva y tomando en consideración el número de instrumentos y la longitud de los mismos, podemos concluir que la participación fue alta.

Tabla 3: Desglose de Modalidad: Internet y Papel-Lápiz

Instrumentos InternetPapel y

lápizTotal

Internet%

Papel y lápiz

%

Total%

Docencia General

64 47 111 58 42 100

Enseñanza 34 46 80 42 58 100

Investigación – Creación

29 44 73 40 60 100

Servicio 29 46 75 39 61 100

Gerencia 25 44 69 36 64 100

Totales* 181 227 408 44 56 100

Los totales se refiere a los instrumentos contestados y sus respectivas modalidades y no a los participantes. La cantidad de participantes por instrumento está indicada en la columna central

Aspectos Generales del Análisis de los Resultados

• Los datos de los cuestionarios contestados en línea y los contestados en papel se analizaron juntos.

• El análisis consistió en sumar para cada ítem (claridad y relevancia por separado) la cantidad de evaluaciones en los rangos 3 y 4 de la escala de todos los participantes que contestaron ese ítem. Luego, se calculó qué por ciento representaba esa suma, esto es: – (cantidad de 3 + cantidad de 4 / cantidad de personas que

contestaron ese ítem).• El CIEPD estableció los siguientes puntos de corte a

sugerencia del consultor :80% o más para claridad70 % o más para relevancia

Aspectos Generales del Análisis de los Resultados (cont.)

• Cada ítem por debajo de estos puntos de corte- en cualquiera de los dos criterios- fue analizado por el Comité bajo la premisa de que el ítem mostraba algún problema de claridad o relevancia a juicio de los participantes del estudio.

• Basado en el por ciento, las sugerencias o comentarios de los participantes y la evaluación de los miembros del Comité en pleno, se modificó la redacción de algunos ítems y se eliminaron otros.

Aspectos Generales del Análisis de los Resultados (cont.)

• Además del por ciento del ítem en los criterios de claridad y relevancia se hicieron otras modificaciones, eliminaciones o adiciones basadas en:– Duplicidad de ítems,– Adecuar el lenguaje de un ítem basado en cambios

hechos en otro,– Recomendaciones específicas hechas por los

participantes,– Necesidad del ítem en función del reglamento que

rige el proceso de evaluación.

Modificaciones a los Instrumentos a raíz del Estudio de Validación

Docencia GeneralPreguntas en el Estudio de Validación 26

Preguntas que pasaron en claridad y relevancia 15 58% 1,2,3,4,5,6,8,9,13,17,18,19,20,23,25

Preguntas que no pasaron en claridad y relevancia 5 19% 10,15,16,21,22

Preguntas que pasaron en claridad y no en relevancia 5 19%• 7,12,14,24,26• Preguntas que pasaron en relevancia y no en claridad 1 4%• 11• Preguntas eliminadas 3 11%• 7,14,21• Preguntas que pasaron a formar parte de 5 19%• otras preguntas• 10,11,12,24,26• Preguntas modificadas 5 19%• 6,8,9,23,25• Preguntas que se quedaron igual 13 50%• 1,2,3,4,5,13,15,16,17,18,19,20,22• Preguntas añadidas 1 4%• 18 (en el instrumento final re-enumerado)• Total de preguntas en el instrumento final 19 NA

EnseñanzaPreguntas en el Estudio de Validación 28• Preguntas que pasaron en claridad y relevancia 23 82%• 1,2,4,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20• 21,22,23,24,25• Preguntas que no pasaron en claridad y relevancia 2 7%• 3,27 • Preguntas que pasaron en claridad y no en relevancia 1 4%• 26• Preguntas que pasaron en relevancia y no en claridad 2 7%• 5,28• Preguntas eliminadas 2 7%• 3,26• Preguntas modificadas 5 18%• 7,17,22,27,28• Preguntas que se quedaron igual 21 75%• 1,2,4,5,6,8,9,10,11,12,13,14,15,16,18,19,20,21,• 23,24,25 • Preguntas añadidas 4 NA• Total de preguntas en el instrumento final 30 NA

ServicioPreguntas en el Estudio de Validación 25• Preguntas que pasaron en claridad y relevancia 9 36%• 10,14,15,17,19,20,21,22,23• Preguntas que no pasaron en claridad y relevancia 5 20%• 6,8,9,13,18• Preguntas que pasaron en claridad y no en relevancia 1 4%• 24• Preguntas que pasaron en relevancia y no en claridad 10 40%• 1,2,3,4,5,7,11,12,16,25• Preguntas eliminadas 8 32%• 2,3,4,9,11,16,18,24• Preguntas modificadas 9 36%• 1,5,6,7,8,10,12,13,15• Preguntas que se quedaron igual 8 32%• 14, 17, 19, 20, 21,22, 23, 25 • Total de preguntas en el instrumento final 17 NA

Gerencia AcadémicaPreguntas en el Estudio de Validación 53• Preguntas que pasaron en claridad y relevancia 53 100%• Comp. 1: 1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17• Comp. 2: 1,2,3,4,5,6,7• Comp. 3: 1,2,3,4,5,6,7,8,9,10,11• Comp. 4: 1,2,3,4,5,6,7,8• Comp. 5: 1,2,3,4,5,6,7,8,9,10• Preguntas que no pasaron en claridad y relevancia 0 0%• Preguntas que pasaron en claridad y no en relevancia 0 0%• Preguntas que pasaron en relevancia y no en claridad 0 0%• Preguntas eliminadas 7 13%• Comp1: 1,8,9,10• Comp.4: 3,5,• Comp.5 7 • Preguntas modificadas 3 6%• Comp. 1: 3,7,13• Preguntas que se quedaron igual 43 81%• Comp. 1: 2,4,5,6,11,12,14,15,16,17• Comp. 2: 1,2,3,4,5,6,7• Comp. 3: 1,2,3,4,5,6,7,8,9,10,11• Comp. 4: 1,2,4,6,,8• Comp. 5: 1,2,3,4,5,6,8,9,10• Total de preguntas en el instrumento final 46 NA

Investigación y Labor Creativa• Preguntas en el Estudio de Validación 69• Preguntas que pasaron en claridad y relevancia 45 65%• 1a: 1,2,3,4,5,6,7,8,9,10,11,12,13,14• 1b: 1,2,3,4,6,9,13,16,21,28• 2a: 1,2,3,4,5 - 2b: 4,5• 3-1,2,3,4• 4a: -1,2,3,4,5,6,7 - 4b:2,3,6 • Preguntas que no pasaron en claridad y relevancia 2 3%• 1b:19,23 • Preguntas que pasaron en claridad y no en relevancia 15 22%• 1b: 5,7,8,10,11,12,14,17,18,20,22,24,25,26,27 • Preguntas que pasaron en relevancia y no en claridad 6 9%• 1b:15 - 2b: 1,2 - 4b:1,4,5 • Preguntas eliminadas 6 9%• 1a: 11,12,13,14 - 1b:5,7• Preguntas modificadas 33 48%• 1a: 8, 10• 1b:1,2,3,4,6,8,9,10,11,12,13,14,15,16,17,18,19,20• 21,22,23,24,25,26,27,28**• 4a: 3,4 - 4b:1,4,5• Preguntas que se quedaron igual 29 42%• 1a: 1,2,3,4,5,6,7,9• 2a: 1,2,3,4,5 - 2b: 1,2,3,4,5• 3 : 1,2,3,4• 4a: 1,5,6,7 - 4b: 2,3,6• Total de preguntas en el instrumento final 38

Tabla 4: Resumen de la Evaluación por Ítem

Instrumentos# items iniciales

Eliminados ConsolidadosSe quedaron

igualModificados Añadidos

# items finales

DoccenciaGeneral 26 3 (11%) 5 (19%) 13 (50%) 5 (19%) 1 19

Enseñanza 28 2 (7%) 0 21 (75%) 5 (18%) 4 30

Investigación – Labor Creativa 69 6 (9%) 0 29 (42%) 33 (48%) 0 38

Servicio 25 8 (32%) 0 8 (32%) 9 (36%) 0 17

Gerencia 53 7 (13%) 0 43 (81%) 3 (6%) 0 46

Discusión y Conclusiones

• Los participantes del estudio juzgaron la gran mayoría de los ítems de los instrumentos como claros y relevantes (ver Tabla 4).

• Una de las razones de esta consistencia es que los ítems fueron construidos siguiendo un proceso riguroso que incluyó: – marco conceptual bien definido y fundamentado

en la literatura pertinente sobre evaluación docente,

– participación de miembros de todas las unidades docentes en el desarrollo de los ítems.

• Los criterios de evaluación establecidos permitieron depurar los ítems de los instrumentos en términos de su claridad y relevancia, el cual era el fin del estudio.