Evaluacin docente: un programa consolidado en busca de mejora y mayor pertinencia sustentada en metaevaluacin13 de marzo de 2015

2

Leticia Elizalde Lora*Maestra en Psicologa Educativa, Universidad Autnoma del Estado de Hidalgo, Direccin General de Evaluacin, Mxico.lelizalde@uaeh.edu.mx

Patricia Bezies CruzDoctora en Filosofa y Ciencias de la Educacin, Universidad Autnoma del Estado de Hidalgo, Direccin General de Evaluacinbezies@uaeh.edu.mx

PALABRAS CLAVE: metaevaluacin, evaluacin de profesoresEJE TEMTICO: 1 Modelos y polticas de evaluacin de docentes y de directivos escolares (metaevaluaciones).

ResumenEn la Universidad Autnoma del Estado de Hidalgo la evaluacin es una accin primordial para la mejora continua del quehacer educativo. Particularmente, a travs de la evaluacin de la docencia se emiten juicios de valor sobre el compromiso, dedicacin y calidad con los que uno de los actores centrales de la vida de las instituciones educa-tivas, el profesor, asume el cumplimiento de su funcin. Debido a la importancia de tal actividad y el nivel de invo-lucramiento de los participantes, as como la naturaleza del proceso, se reconoce la necesidad de implementar me-taevaluaciones, a fin de contar con informacin vlida para que la evaluacin se realice en las mejores condiciones.

Desde 2004 en la UAEH se han implementado diversas experiencias para valorar cmo se evala a los profeso-res y en el presente trabajo se reportan los resultados del proceso de metaevaluacin 2013 en el que participaron 24,537 alumnos y 2,097 profesores. Para ello, se analizan las valoraciones emitidas a travs de un cuestionario enfocado a dimensiones tales como: valoracin general del proceso, aciertos, problemticas, impacto, aspectos a mejorar y grado de satisfaccin.

La metaevaluacin refuerza el rigor, validez y calidad de las evaluaciones, as como la credibilidad, confianza y profesionalidad del evaluador y en la medida en que se realicen ejercicios formales, se estar en condiciones de consolidar y mejorar permanentemente los procesos evaluativos, contar con modelos estadsticos y contribuir con experiencias especficas al estado de conocimiento sobre esta temtica.

*Autor principal

Evaluacin docente: un programa consolidado en busca de mejora y mayor pertinencia sustentada en metaevaluacin

mailto:lelizalde%40uaeh.edu.mx?subject=

3

INTRODUCCIN

El proceso de evaluacin docente institucional de la UAEH se fundamenta en su modelo educativo y en aquellos elemen-tos identificados en la literatura como indicativos de una enseanza de calidad en el nivel de educacin superior. Como parte de la revisin permanente del proceso se efecta su metaevaluacin. Para efectos del presente trabajo, metaevalua-cin se supone como la investigacin sistemtica que tiene como propsito emitir un juicio acerca de la calidad o mrito de un proceso de evaluacin. Su alcance consiste en averiguar hasta qu punto la evaluacin ha logrado sus objetivos, ha cumplido con su misin y si los instrumentos utilizados son adecuados. Para ello, es indispensable incluir no slo la opi-nin de los tomadores de decisiones, sino tambin la de otras audiencias involucradas en el proceso como los estudiantes y los propios profesores. Independientemente de los criterios seleccionados para valorar la propia evaluacin, se debe atender al rigor metodolgico respecto a la obtencin de la informacin y a la consistencia durante el anlisis de datos, generando as procesos de reflexin que permitan la comprensin relevante del objeto evaluado. Indudablemente, la pro-pia naturaleza de la evaluacin condiciona su anlisis y en la medida en que la evaluacin es, ante todo una investigacin, la tarea que habr de valorar el metaevaluador ser la capacidad de explicacin de la investigacin evaluativa.

DESARROLLO

Planteamiento de la problemtica

En virtud de su relevancia, la metaevaluacin requiere de una valoracin suficiente por parte de los propios evaluadores y evaluados. Por ello, se buscaron mecanismos y disearon instrumentos propios para tomar en cuenta la opinin de estu-diantes y directivos que evalan y de los profesores evaluados, para que de forma vlida y confiable aporten informacin para el anlisis crtico y mejora del proceso.

Metaevaluacin como parte fundamental de la evaluacin

La evaluacin es entendida como un proceso documentado de recogida sistemtica de datos e informacin precisa y rele-vante que permiten la emisin de un juicio de valor con relacin al mrito de su objeto de inters. Se puede afirmar, que la evaluacin es una actividad altamente especializada, con presencia en las Instituciones de Educacin Superior a partir de la valoracin no slo del aprendizaje, sino tambin de los profesores, de la calidad de los Programas Educativos y de los procesos de gestin (Fernndez, 2008).

Daz (2013), asume como necesaria la identificacin de tres momentos de un proceso de evaluacin. El primero, considera la valoracin de la evaluabilidad para determinar su viabilidad, con la finalidad de planificar y prever si los resultados de la evaluacin sern tiles para mejorar aquello que se desea valorar. El segundo, incluye los tipos de eva-luacin, los cuales se determinan por su momento de aplicacin. As, el tercer momento tiene como punto de inters la metaevaluacin. A Scriven (2009) se le atribuye la autora del trmino, el cual consiste en identificar la naturaleza de la evaluacin en s misma, (Garca, 2000). Al respecto, Stake (2014), precisa que si bien el trmino es antiguo, los sistemas de metaevaluacin son recientes, en la medida que se requiere determinar la calidad de las evaluaciones identificando sus fortalezas y debilidades. La metaevaluacin no es esencialmente un proceso tcnico, tiene una naturaleza poltica y tica, por lo cual debe informar de la mejor manera los resultados (Scriven, 2009).

4

Instrumentacin de la metaevaluacin

Inicialmente, la valoracin de la evaluacin consisti en la aplicacin de listas de comprobacin para integrar un juicio de valor (Daz, 2013). Un ejemplo se identifica en la KEC (Key Evaluation Checklist) creada por Scriven, donde se detalla meticulosamente el proceso y los diversos elementos de la evaluacin.

Para Letichevsky, Vellasco, Tanscheit y Castro (2005), la recomendacin de implementar las evaluaciones desde las perspectivas formativa y sumativa, tambin debe ser considerada para la metaevaluacin, ya que stas de cierta forma se complementan. Los aspectos a considerar para llevar a cabo la metaevaluacin, pueden estar referidos a cuestiones formales tales como presentacin, estilo, uso del lenguaje; tcnicas e instrumentos, las actitudes y conducta del evaluador, de sus clientes y de los evaluandos; los valores implicados y la tica en general. Al respecto, desde la apreciacin de Santos y Moreno (2004), sera insuficiente incluir exclusivamente evidencias sobre la calidad de los datos recabados o sobre el rigor de los mtodos para extraer informacin, siendo preciso valorar la naturaleza de la iniciativa.

Valoracin del proceso de evaluacin docente de la UAEH

La evaluacin del profesorado en la UAEH es un proceso sistemtico coordinado por la Direccin General de Evaluacin (DGE) desde el 2003. Actualmente, la evaluacin docente est fundamentada tanto en los aportes tericos sobre el tema, como en los perfiles de los profesores referidos en el Modelo Educativo de la Universidad para las distintas modalidades de enseanza (presencial y virtual) y niveles educativos (bachillerato, licenciatura y posgrado), incluidas las actividades artsticas y deportivas de la educacin medio superior y la enseanza de lenguas extranjeras.

Aunado a lo anterior, se ha considerado la importancia de implementar evaluaciones multirreferenciales a partir de la informacin proporcionada por distintas audiencias tales como directivos, el propio profesor a travs de la autoevalua-cin y los alumnos. Para ello, se emplean cuestionarios de creacin institucional, atendiendo a los criterios de validez y confiabilidad. Los instrumentos de evaluacin, fueron diseados para ser aplicados a travs de la web y con ello se tiene la posibilidad de evaluar desde cualquier equipo de cmputo con acceso a internet. De este modo, se incorporan los sis-temas de informacin como estrategia esencial para el desarrollo y aplicacin de los procesos evaluativos institucionales.

Es conveniente enfatizar, que la evaluacin de los profesores se concibe como un proceso dinmico, caracterizado por su diversificacin y revisin permanente a partir de diversas experiencias metaevaluativas desde el ao 2004 (Bezies, Elizalde y Olvera, 2012). Con fundamento en stas, se han tomado decisiones de mejora tanto en la difusin, como en la valoracin de la prctica docente referida a los perfiles institucionales y en la diversificacin de los instrumentos orienta-dos por nivel, modalidad y rea de conocimiento.

A partir de este marco contextual, el presente trabajo tiene como propsito informar acerca de una fase de la metae-valuacin del proceso de evaluacin docente institucional, con base tanto en la opinin de los estudiantes, reconociendo la confiabilidad de stos como evaluadores (Schmelkes, 2014), como de los profesores de la UAEH, identificando as sus fortalezas y reas de oportunidad.

Mtodo

En 2013, durante 7 semanas se recab la opinin de 2,097 profesores y 24,537 estudiantes de todos los niveles edu-cativos en los que se imparte clase en la universidad (Bachillerato, Licenciatura y Posgrado). Durante el perodo de evaluacin docente, estas audiencias tuvieron acceso al cuestionario de metaevaluacin en la pgina web institucional. Se consideraron dimensiones tales como: valoracin general del proceso, aciertos, problemticas, impacto, aspectos a mejorar y grado de satisfaccin. As, el cuestionario para profesores estuvo integrado por 40 preguntas y el de alumnos por 33, las cuales en funcin del aspecto a valorar fueron de respuesta dicotmica, tipo likert, de jerarquizacin o bien de respuesta mltiple.

5

Resultados

En este apartado se refleja la opinin y la valoracin del proceso de evaluacin docente de acuerdo con las dimensiones del cuestionario por profesores y alumnos. En cuanto a la valoracin general del proceso (tabla 1), existe un importante grado de acuerdo con el hecho de realizar la evaluacin en lnea, en la duracin del proceso durante siete semanas, as como del contenido de mecanismos de difusin como carteles, radio y trpticos.

Tabla 1 Valoracin general del proceso

AspectosPorcentaje de aceptacin

MediaProfesoresN = 2 097

AlumnosN=24,537

Evaluacin en lnea 94.6 91.2 92.9

Difusin en radio 77.3 73.9 75.6

Carteles 81.7 79.0 80.4

Trpticos 72.1 71.0 71.6

Informacin de los medios impresos 77.4 77.7 77.6

Duracin del proceso 92.9 89.9 91.4

Evaluacin en las fechas establecidas 41.5 24.1 32.8

Evaluacin al concluir el semestre 37.9 49.8 43.9

En la tabla 2 se aborda la jerarquizacin de algunos factores de acuerdo con el grado de acierto dentro del proceso de evaluacin docente en opinin de los profesores.

Tabla 2 Aciertos del proceso jerarquizados

JerarquaAspectos

ProfesoresN = 2 097

1 La valoracin es acorde a los perfiles de los profesores

2 Acceso de todos los alumnos para evaluar a todos sus profesores

3 Cuestionarios de alumnos por rea de conocimiento y nivel educativo

4 Existencia de un Comit

5 Metaevaluacin

6 Proceso certificado

7 Consulta electrnica de resultados

8 La duracin del proceso

9 Las audiencias

10 Personal de la DGE

Los principales aciertos se relacionan con el uso de los perfiles como referente para evaluar la prctica de los profe-sores, as como con el hecho de atender a la diversidad tanto de reas de conocimiento, como de los niveles educativos. Entre lo menos acertado, se precisan las audiencias que participan, situacin que representa un aspecto a profundizar, considerando la importancia otorgada por la institucin a la realizacin de evaluaciones multirreferenciales.

Los alumnos (tabla 3), al igual que los profesores, destacan la evaluacin basada en los perfiles docentes. Asimismo, se percibe como favorable el acceso de todos los estudiantes al sistema y la diversidad de instrumentos de licenciatura en funcin de las reas de conocimiento.

6

Tabla 3 Aciertos del proceso en la opinin de los alumnos

Jerarqua Aspectos Alumnos N = 24 5371 La valoracin es acorde a los perfiles de los profesores

2 Todos los alumnos pueden evaluar a todos los profesores

3 Cuestionarios de alumnos por rea de conocimiento y nivel

4 La duracin del proceso

5 Las personas que evalan

6 Participacin de los alumnos

7 Hacer la evaluacin en la pgina de internet universitaria

Llama la atencin lo referente al uso de la pgina de internet, ya que en la valoracin general un alto porcentaje con-sidera adecuado realizar la evaluacin en lnea.

Triangulando, se incluye en la tabla 4, la ponderacin otorgada por los profesores a las problemticas asociadas con el proceso de evaluacin docente.

Tabla 4 Problemticas de la evaluacin en la opinin de los profesores

Jerarqua FactoresProfesores N = 2 0971 Los resultados no son tomados en cuenta

2 Los directivos no evalan

3 La duracin del proceso

4 Las audiencias que evalan

5 Consulta electrnica de resultados

6 Participacin de los alumnos

7 Acceso a la pgina Web para realizar la evaluacin

8 Personal de la DGE

Desde su apreciacin, los resultados no se usan para la toma de decisiones relacionada con la docencia, aunado a la incompleta participacin de los directivos para evaluar su desempeo. Entre lo menos problemtico, se identifica el acce-so a la pgina web institucional y el personal de la DGE.

A diferencia de los profesores, los estudiantes (tabla 5) perciben como problemtico el acceso a la pgina web. Lo anterior, puede estar asociado al hecho de que en el ltimo ao sta tuvo cambios en su estructura y por consiguiente la liga para ingresar a los cuestionarios present distintas ubicaciones visuales.

Tabla 5 Problemticas de la evaluacin docente con base en la opinin de alumnos

Jerarqua FactoresAlumnos N = 24 5371 Acceso a la pgina Web para realizar la evaluacin

2 Los profesores se quejan de la evaluacin de los directivos

3 Falta de objetividad por parte de las personas al evaluar

4 Los resultados no son tomados en cuenta

5 La duracin del proceso

6 Los profesores dicen que ellos saben quin los evalu

7 Presin acadmica si no evalas

8 El gran nmero de preguntas de los cuestionarios

9 No pasa nada si evalas mal a algn profesor

10 Los alumnos no conocen el perodo de evaluacin

7

Adems, se posiciona como un aspecto a atender, la evaluacin por parte de los directivos y entre otros aspectos, el uso de resultados de evaluacin sigue siendo una demanda. De acuerdo con la posicin que ocupa, no representa un pro-blema el conocimiento sobre el perodo de evaluacin.

Enseguida, se representa la opinin sobre aquellos aspectos en los que ha impactado la evaluacin de los profesores.

Tanto para los profesores, como para los alumnos, tal impacto se refleja esencialmente en la calidad de la prctica docente con 21.6% y 18.7% respectivamente. Por el contrario, impacta minoritariamente en procesos de evaluacin externa, en la entrega de reconocimientos a los profesores con mejor valoracin y en la asignacin de cargas acadmicas. Particularmente, los profesores opinan que a travs de la evaluacin se mejora el conocimiento que tienen sobre su prc-tica pedaggica.

En la figura 2, se representan aquellos aspectos susceptibles de mejora.

8

Para los profesores resulta prioritario lo referente a los cuestionarios y al igual que en la dimensin de problemticas, se reitera el uso institucional de los resultados. Con menor porcentaje, se seala la duracin del perodo de valoracin (7.9%).

La figura 3 contiene desde la perspectiva de los alumnos los elementos del proceso a mejorar.

Destaca la consideracin de quienes participan (19.5%) y el uso de los resultados para la toma de decisiones institu-cionales (18.4%). En menor medida, se percibe la necesidad de mejorar los instrumentos (12.5%).

Por ltimo, en la dimensin grado de satisfaccin, ocho de cada diez estn conformes con la realizacin de la evalua-cin docente institucional en trminos generales. Particularmente, el 24.6% manifiesta poca satisfaccin con el uso de los resultados.

CONCLUSIONES

A partir del trabajo realizado, se pueden identificar como aciertos de la evaluacin de los profesores la referencia a los perfiles docentes, con lo cual se atiende a la diversidad de situaciones de enseanza.

Los cuestionarios son sin duda objeto de controversia, ya que si bien para los profesores son un aspecto susceptible de mejora, para los estudiantes stos constituyen uno de los elementos con menor problemtica.

El hecho de que los alumnos sean conscientes de realizar la evaluacin de todos sus profesores, estn de acuerdo con la duracin y conozcan el perodo de evaluacin revela que asumen el proceso como algo importante y por consiguiente como parte de su vida en la institucin. Resulta alentadora la apreciacin por parte de ambas audiencias de que la eva-luacin ha impactado mayoritariamente en la calidad de la prctica educativa y en la mejora de los Programas Educativos ofertados por la universidad.

Uno de los retos del proceso de evaluacin docente en la UAEH est relacionado con la consolidacin del uso institu-cional de los resultados. As, para contrarrestar el escepticismo de los usuarios de los resultados y de las audiencias que participan, es necesario pasar del discurso a acciones que le otorguen a la docencia su justo valor. Se analizar el uso de las calificaciones otorgadas (medidas de valor agregado) aunque se coincide con la postura de Schmelkes (2014) en que son producto de diversos factores y no slo de l.

La participacin de los directivos en el proceso de evaluacin es percibida como una problemtica a atender, ya que invariablemente quedan profesores sin evaluar. Cabe precisar, que en un trabajo posterior se reportarn los resultados de la metaevaluacin 2014 dirigida a recabar la opinin de los directivos sobre la evaluacin docente institucional.

9

Desde este trabajo, se enfatiza que el fin de la evaluacin es la mejora y la metaevaluacin es el propio mecanismo de perfeccionamiento de la evaluacin. Por ello, la evaluacin sin su correspondiente proceso valorativo se considera como parcial e inconclusa. Asimismo, a travs de este tipo de experiencias, los profesores tienen la posibilidad de analizar la relevancia de ser evaluados, valorar el impacto que ha tenido en ellos para su prctica profesional y, sobre todo, apreciar que la evaluacin es un proceso que incide favorablemente en todos los participantes de la comunidad universitaria.

En este orden de ideas, es fundamental implementar metaevaluaciones sistemticas (Rueda, 2011), de tal forma que la informacin obtenida a travs de instrumentos diseados ex profeso de vala al proceso, redunde en la mejora del mis-mo y que tenga consecuencias especialmente las positivas. Finalmente, una vez efectuada, es indispensable valorar sus efectos, consecuencias y cambios generados.

BIBLIOGRAFA

Bezies, C. P., Elizalde, L. L. & Olvera, B. I. (2012). Recuento Metodolgico del Proceso Evaluativo Docente en la UAEH. Un Estudio de Metaevaluacin para Visualizar y Comparar el Sistema. Revista Iberoamericana de Evaluacin Educativa, 5 (2), 9-25. Recuperado de http://www.rinace.net/riee/numeros/vol5-num2/art1.pdf

Daz, L. F. (2013). La metaevaluacin y su mtodo. Revista de Ciencias Sociales, (92-93).Fernndez, S. J. (2008). Valoracin de la calidad docente: El profesorado. Un modelo de evaluacin circular. Madrid: UCM,

Editorial Complutense. Garca, S. E. (2000). Metaevaluacin. Universidad Carlos III de Madrid. Letichevsky, A. C., Vellasco, B.R.M.M., Tanscheit, R. & Castro, S. R. (2005). La categora precisin en la metaevaluacin:

aspectos prcticos y tericos en un nuevo enfoque. Ensaio: aval. pol. pbl. Educ., 13 (47), 255-268.Rueda, B. M. (2011). Evaluar para controlar o para mejorar?. Valoracin del desempeo docente en las universidades.

Mxico, IISUE. UNAMSantos, G. M. . & Moreno O. T. (2004). El momento de la metaevaluacin educativa? Consideraciones sobre epistemolo-

ga, mtodo, control y finalidad. Revista Mexicana de Investigacin Educativa, IX (23), 913-931. Recuperado de http://estudiosterritoriales.org/articulo.oa?id=14002307

Schmelkes, S. (2014). Conferencia Magistral: Evaluacion del desempeo docente: estado de la cuestin. V Coloquio Ibe-roamericano de Investigadores sobre Evaluacin de la Docencia. RIIED, Universidad Autnoma de Baja California. Recuperado de http://www.ustream.tv/recorded/52290135

Scriven, M. (2009). Meta-evaluation revisited. Journal of Multidisciplinary Evaluation, 6, (11), iii-viii. Recuperado de http://journals.sfu.ca/jmde/index.php/jmde_1/article/viewFile/220/215

Stake, R. (2014, septiembre). Conferencia Magistral Metaevaluacin. V Coloquio Iberoamericano de Investigadores so-bre Evaluacin de la Docencia. RIIED, Universidad Autnoma de Baja California. Recuperado de: http://www.ustream.tv/recorded/53076609

http://www.rinace.net/riee/numeros/vol5-num2/art1.pdfhttp://estudiosterritoriales.org/articulo.oa?id=14002307http://estudiosterritoriales.org/articulo.oa?id=14002307http://journals.sfu.ca/jmde/index.php/jmde_1/article/viewFile/220/215http://www.ustream.tv/recorded/53076609http://www.ustream.tv/recorded/53076609