Capitulo1 Tejada

La evaluación de programas: consideraciones generales

José Tejada Fernández, UAB, 1998 10

1.- La evaluación de programas: consideraciones generales.

1.1 DIMENSIONES DE LA EVALUACIÓN.- ..................................................................................................11 1.2 EL PROGRAMA Y SU EVALUACIÓN.-...................................................................................................17 1.3 EL PROCESO DE EVALUACIÓN DE PROGRAMAS.-................................................................................22 1.4 LA PLANIFICACIÓN EN LA EVALUACIÓN DE PROGRAMAS.- .................................................................26 1.5 LA INSTRUMENTALIZACIÓN EN LA EVALUACIÓN DE PROGRAMAS ......................................................29 1.6 PROBLEMÁTICAS-DIFICULTADES EN LA EVALUACIÓN DE PROGRAMAS ..............................................31

1.6.1 Patologías generales y abusos de la evaluación como síntesis de las problemáticas-dificultades............................................................................................................................36

1.6.2 Algunas alternativas para la superación de las dificultades-problemáticas en el proceso de evaluación.-...........................................................................................................................38

José Tejada Fernández



1.1 Dimensiones de la evaluación.- Es necesario considerar, aunque sea a título indicativo la concepción que sobre la evaluación tenemos. En este caso solamente haremos alusión a la definición que a lo largo de todo el texto implicamos. Con independencia de otras tantas definiciones previas que podrían justificarla (Tejada, 1997:244-246), conceptualizamos la evaluación como:

* un proceso sistemático de recogida de información, no improvisado, necesitado de organizar sus elementos, sistematizar sus fases, temporalizar sus secuencias, proveer los recursos, construir o seleccionar los instrumentos, etc. En cualquier caso, desde planteamientos multivariados en cuanto a los instrumentos, técnicas y métodos, así como agentes.

* que implica un juicio de valor, que significa, a su vez, que no basta recoger sistemáticamente la información, sino que ésta ha de valorarse, explicando su bondad. Téngase en cuenta que la adjudicación de un valor no significa tomar decisiones, por cuanto los evaluadores pueden realizar esta tarea y otras personas, ajenos a ellos, pueden tomar las decisiones. Queremos decir, que la función principal del evaluador está en la valoración, pero no necesariamente en la toma de decisiones que puede corresponder a los responsables del programa o de los objetivos a evaluar, políticos, u otros.

* orientada hacia la toma de decisiones. El proceso evaluativo ha de tener una utilidad, en este sentido apuntamos entre otros a la toma de decisiones orientada a la mejora de la práctica. Esto significa además, que la evaluación ha de ser un medio pero no un fin en sí misma.

Ubicados en esta conceptualización, nos abocamos a la aplicación de la evaluación. Esto exige reparar en múltiples dimensiones y variables, su selección y su priorización, en un proceso que mezcla planteamientos desde lo epistemológico, lo ideológico, hasta lo técnico. Por lo tanto, realizar una evaluación implica previamente planificar dicha acción y elaborar el diseño pertinente en relación con la realidad a evaluar. Por ello, se torna necesario reparar en las dimensiones afectadas. Un primer acercamiento a las dimensiones afectadas en la evaluación educativa se concreta en el ideograma que presentamos (Gráfico 1). Un comentario sucinto del mismo nos indica que: a) El objeto de evaluación puede ser diverso, aunque la mayoría de autores

llegan a coincidir en torno a los alumnos, el personal docente y no docente, el curriculum, los recursos, los planes y programas, los proyectos, las estrategias metodológicas, las instituciones de formación y los contextos entre otros con carácter general. Con posterioridad nos centraremos, desde la óptica de evaluación de programas, en algunos de los citados. Para cada uno de ellos, las fuentes de información, los protagonistas y estrategias de evaluación, obviamente, pueden variar en su nominación, implicación y diseño.



¿QUE?

OBJETO

¿PARA QUÉ? FINALIDAD

Contexto Necesidades

Objetivos Contenidos Instituciones

¿CÓMO? MODELO

Diagnóstica Formativa Sumativa

Profesores Alumnos

Metodología Recursos

......

EVALUACIÓN

Experimental Naturalista

Basado en demanda Basado en costos

Toma de decisiones Verificación logros

........ Cuantitativa Cualitativa

.....

¿CUÁNDO? MOMENTO

Inicial Continua

Final Diferida

Observación Entrevistas

Cuestionarios Tests

Pruebas Objetivas Escalas

...... Validez

Fiabilidad

Profesores Alumnos

Equipo directivo .....

Usuario Experto

..... Autoevaluación

Heteroevaluación Interna-externa

¿QUIÉN? EVALUADOR

REFERENTE

Coherencia con las finalidades definidas por la política de formación

Pertinencia .......

¿¿CON QUÉ? INSTRUMENTO

Adecuación a las

necesidades formativas del contexto inmediato

Adecuación a determinados principios

psicopedagógicos

Adecuación a los participantes (necesidades, expectativas,

intereses

Gráfico 1.- Dimensiones básicas de la evaluación educativa (Tejada 1991:88).-

b) La finalidad perseguida por la evaluación (diagnóstica, formativa y sumativa) aunque igualmente se podría hacer referencia a funciones más específicas (De Ketele y Roegiers, 1995) relativas a las personas (su rendimiento: inicial, procesal o final), relativas al sistema (gestión), relativas al conocimiento (investigación). En la Gráfico 2 se especifican las mismas y más allá de entrar en detalle en cada una de ellas, conviene, en este momento, centrarnos en la evaluación diagnóstica, la formativa y sumativa, como aglutinadoras de las mismas.



Gráfico 2.- Las funciones de la evaluación (De Ketele y Roegiers, 1995:134)

La evaluación diagnóstica nos permite conocer la realidad en la que operará un programa (evaluación de entrada), tanto en lo relativo al contexto como a los destinatarios del programa; ello nos da pie tanto a posibilitar los recursos y medios necesarios en el contexto para que el programa sea exitoso o bien, teniendo presente las limitaciones contextuales, ajustar el programa a dicho contexto. Por lo que se refiere a los destinatarios nos permite conocer sus necesidades formativas, sus posibilidades para con el programa, etc., lo cual da pie a tomar decisiones sobre admisión, orientación, establecimiento de grupos de aprendizaje según niveles, etc. La evaluación formativa tiene que ver con el desarrollo del programa (evaluación de proceso) en un contexto determinado y su propósito esta directamente relacionado con la mejora y optimización del mismo en el transcurso de la acción formativa. Permite, pues, el ajuste racional de dicha acción según las vicisitudes que la misma encuentra y afecta básicamente a las estrategias de desarrollo (implementación de nuevos medios y recursos, ajuste de la temporalización -acelerando o lentificando el ritmo previsto, cambio de actividades y papel del formador, etc.) La evaluación sumativa (evaluación de productos) nos muestra los resultados obtenidos por el programa y en este sentido la toma de decisiones se orienta a la certificación, promoción, en relación con los destinatarios implicados en la acción formativa, a la vez que permite valorar globalmente el programa permitiendo rechazarlo o aceptarlo en función del éxito del mismo. A continuación expresamos las relaciones e implicaciones entre estas dos últimas dimensiones.

a) predictiva b) reguladora

c) formativa d) certificativa

Funciones relativas a las personas Funciones relativas a un sistema

h) descriptiva

e) preventiva f) prospectiva g) control calidad l) con.rentabilidad m) est. viabilidad

Funciones relativas al conocimiento

i) verificación j) heurística

k) desarrollo



FINALIDAD MOMENTO OBJETIVOS DECISIONES A TOMAR

Diagnóstica Inicial -Identificar las características de los participantes (intereses, necesidades, expectativa).

-Identificar las características del contexto (posibilidades, limitaciones, necesidades, etc.)

-Valorar la pertinencia, adecuación y viabilidad del programa

-Admisión, orientación, establecimiento de grupos de aprendizaje.

-Adaptación-ajuste e implementación del programa

Formativa Continua -Mejorar las posibilidades personales de los participantes.

-Dar información sobre su evolución y progreso.

-Identificar los puntos críticos en el desarrollo del programa.

-Optimizar el programa en su desarrollo

-Adaptación de las actividades de enseñanza-aprendizaje (tiempos, recursos, motivación estrategias, rol docente, etc.,)

Sumativa Final -Valorar la consecución de los objetivos así como los cambios producidos, previstos o no.

-Verificar la valía de un programa de cara a satisfacer las necesidades previstas.

-Promoción, certificación, reconsideración de los participantes.

-Aceptación o rechazo del programa.

Tabla 1. Relaciones entre finalidad y el momento evaluativo

c) El momento evaluativo, conectado con la finalidad, es otra de las dimensiones básicas. Evaluación inicial con finalidad diagnóstica, al principio de una acción formativa, evaluación continua con finalidad formativa, durante el periodo de formación y evaluación final con finalidad sumativa, al final del periodo de formación. Habría que añadir a estos tres momentos, ya clásicos, la evaluación diferida que en la evaluación de programas toma capital importancia por las repercusiones prácticas y sociales de la misma. Un programa no sólo es bueno por cuanto se verifica la suficiencia de los participantes al final de la acción formativa, sino también por cuanto a lo largo del tiempo tiene una repercusión en la práctica, también denominada evaluación de impacto del programa. Téngase presente que no siempre se evidencia el paralelismo establecido, por cuanto podemos verificar en la práctica que muchas veces se realiza evaluación continua con finalidad sumativa, en la medida que se recaba información no tanto para optimizar el programa sino más bien sobre el alumno para poderse asegurar mejor en su evaluación final; es decir, se van registrando resultados parciales más que la evaluación del proceso formativo mismo.

d) El modelo paradigmático seguido, que afectará al diseño a seguir. Este está en íntima conexión con el referente (respecto a qué evaluamos). Condiciona la interacción entre la variables implicadas Así por ejemplo, los criterios para juzgar el valor o mérito de un objeto de evaluación puede ser la confluencia



entre los hechos (logros) y los objetivos -modelo de evaluación por objetivos-, la identificación de las necesidades actuales y potenciales de las audiencias, los ideales o valores sociales o el estándar de conocimientos estructurados por los expertos u otros grupos relevantes. El tabla 2 muestra una breve síntesis de los modelos más conocidos en evaluación de programas. Además, el modelo de interpretación puede basarse en la racionalidad positivista (científico-técnico), en la asignación de valores de la realidad (interpretativo-fenomenológico) o enfatizar el sentido político que adopta cualquier situación (sociocrítico).

e) La instrumentalización nos remite a las herramientas que han de servir para obtener la información considerada como necesaria para la evaluación. Instrumentos y técnicas de recogida de información estructurados, semiestructurados o sin estructurar, susceptibles de tratamientos cuantitativos o cualitativos según el objeto, pero en cualquier caso, válidos, fiables, pertinentes, etc. como características técnicas exigibles a cualquiera de ellos. En una palabra, complementariedad y triangulación de instrumentos.

f) El evaluador se convierte en un eje igualmente importante en el hecho evaluativo. Además de los implicados en el proceso formativo, están los expertos, lo cual nos puede permitir diferenciar entre evaluación interna y evaluación externa, entre heteroevaluación y autoevaluación. Por la relevancia de la problemática generada en torno a esta dimensión, con posterioridad nuevamente repararemos sobre él. Al margen de las ventajas e inconvenientes de una y otra, suelen combinarse en la práctica y utilizarse como elemento de complementariedad. Con todo, lo que se evidencia cada día con más fuerza es la necesidad de capacitación técnica para poder evaluar. El conocimiento de técnicas, instrumentos, metodologías, etc. en aras de una pretendida "objetividad" (intersubjetividad) es un requisito formativo para los protagonistas de la evaluación. g) El referente es la dimensión más diferenciadora de la evaluación. Fuente de criterios e indicadores de evaluación, está conectada con el resto de las dimensiones. En la evaluación de programas, no cabe duda que el referente debe pasar por la coherencia con la política formativa, la contextualización, los principios psicopedagógicos del aprendizaje adulto y la consideración de los participantes como elementos nucleares dentro de los cuales existe toda una gama de indicadores para la evaluación.



Modelo Verificación de logros E. respondente Toma de decisiones Sin referencia a metas E. iluminativa Crítica artística Organizador previo -Objetivos -Problemas localizados -Situaciones decisivas -Necesidades y valores

sociales -Problemas y necesidades localizados

-Efectos

Objetivo -Relacionar los resultados con los objetivos

-Facilitar la comprensión de las actividades y su valoración en una teoría determinada y desde distintas perspectivas -Ayudar a los clientes

-Proporcionar conocimientos suficientes y una base valorativa para tomar y justificar las decisiones

-Juzgar los méritos relativos de bienes y servicios alternativos

-Estudiar del programa, intentando clarificar cuestiones, ayudar al innovador y a otras partes interesadas a identificar los procedimientos y aspectos del programa que pueden conseguir los resultados deseados

-Ofrecer una representación y valoración de la práctica formativa y sus consecuencias dentro de su contexto

Audiencia -Planificadores y directivos del programa

Comunidad y grupo de clientes en zonas locales y los expertos

-Los que toman decisiones -Los consumidores -Innovadores y personas involucradas

-Comunidad y grupo de clientes en zonas locales

Cuestiones previas -¿Qué alumnos alcanzan los objetivos?

¿Cuál es la historia de un programa , sus antecedentes, operaciones, efectos secundarios, logros accidentales, resultados?.

-¿Cómo planificar, ejecutar y reciclar para promover el crecimiento y desarrollo a un coste razonable?

-¿Cuál es el valor de un programa, dados sus costes, las necesidades concretas de los consumidores y los valores de la sociedad en general?

-¿Cómo opera o funciona un programa, cómo influyen en él los contextos donde se aplica?

-¿Cuáles son las características y cualidades de los fenómenos, cuáles son las cualidades emergentes de una clase o programa que se está evaluando?

Metodología Cuantitativa -Planificación experimental -Comparación entre grupos

Cualitativa -Descripción -Estudio de casos

-Cuantitativa -Planificación experimental -Valoración de necesidades -Observación -Estudios piloto

Cuantitativo-cualitativa -Planificación experimental -Evaluación sin metas -Análisis de coste -Comparación-experimentación

-Cualitativa -Estudio de casos

-Cualitativa -Estudio de casos

Instrumentos y técnicas

-Pruebas objetivas -Tests estandarizados de rendimiento pedagógico -Observación predeterminada

-Informes -Entrevistas Sociodrama Observación

-Revisión de documentos -Audiciones -Entrevistas -Tests diagnósticos -Visitas -Escalas de autovaloración

-Listas de control -Tests diagnósticos -Entrevistas -Informes, etc.

-Observación -Entrevista

-Crítica artística

Pioneros TYLER STAKE STUFFLEBEAM SCRIVEN PARLETT Y HAMILTON EISNER Proceso -Establecer metas u

objetivos -Definir los objetivos en términos de comportamiento -Establecer o desarrollar técnicas e instrumentos Recopilar datos Comparar los datos con los objetivos

-Descripción .antecedentes, transacciones, resultados -Juicio . antecedentes, transacciones, resultados

-Análisis de tareas Plan de obtención de información -Plan para el informe sobre resultados -Plan para la administración del estudio

-Valoración de necesidades -Evaluación de metas -Comparación con otras alternativas -Examinar según coste y efectividad -Combinación de la evaluación del personal con la del programa.

-Observación -Investigación -Explicación

-Descripción -Interpretación -Valoración

Tabla 2. Modelos de evaluación de programas (Tejada, 1989:114-116)



En el tabla 3 se presenta una breve ilustración de criterios e indicadores obtenidos de estos cuatro referentes. Con posterioridad retomaremos la problemática implícita más ajustados a realidades concretas o ejemplos específicos, donde pueden operar algunos de ellos y/u otros según sea la necesidad evaluativa.

CRITERIOS INDICADORES Pertinencia: adecuación de un programa con la política de formación y el contexto de formación.

Nivel de coherencia: relación entre los objetivos asignados y los objetivos propuestos.

Actualización: adecuación de los objetivos del programa y las necesidades reales (sociales e individuales)

Relación entre los objetivos propuestos y las necesidades detectadas

Objetividad: adecuación a las leyes y principios científicos

Relación entre los objetivos asignados y contenidos (selección y secuenciación)

Aplicabilidad: posibilidad de puesta en práctica de los objetivos propuestos

Relación entre el programa y la inserción social o laboral

Suficiencia: grado con que un programa satisface las necesidades detectadas

Nivel de exhaustividad, relación entre los objetivos asignados y las necesidades detectadas

Eficacia: nivel de logro de los objetivos asignados

Relación entre los objetivos asignados y los objetivos alcanzados.

Eficiencia: grado de implicación de recursos humanos, materiales y funcionales

Relación entre los objetivos logrados y los recursos implicados (ratio formador/participante, hora/formador/participante, etc.

Comprensividad: grado de optimización alcanzado

Relación entre el nivel de entrada y el nivel de salida de un programa

Relevancia: grado de importancia del programa para cubrir las necesidades individuales y sociales

Relación entre objetivos propuestos y necesidades sociales e individuales (objetivos de formación-necesidades, expectativas, intereses, cambio laboral, polivalencia laboral, etc.

Coherencia: grado de adecuación entre sí de distintos componentes-elementos de un programa

Nivel de relación entre los distintos componentes de un programas (necesidades, objetivos, contenidos, estrategias, recursos, sistema de evaluación)

Tabla 3. Criterios e indicadores de evaluación de programas (Tejada, 1997:255)

La complejidad de la evaluación, pues, se hace evidente a la vista de lo analizado y justifica plenamente la afirmación de que una evaluación nunca es completa en sí misma. Por este motivo, la planificación de la misma tiene que hacer énfasis en la determinación de los aspectos más significativos de cada realidad y momento evaluativo.

1.2 El programa y su evaluación.-



Una vez delimitadas las dimensiones de la evaluación, en las que ineludiblemente hemos de reparar, es necesario considerar igualmente algunos aspectos diferenciales en los programas de formación que hacen de los mismos adoptar también distintas decisiones en la planificación de su evaluación, diferenciadas de otros objetos de evaluación, al priorizar unos elementos específicos sobre otros. Todo ello nos remite a una manera peculiar de evaluar, con una problemática distinta por ejemplo, si se tratase de evaluación de centros o alumnos. Hemos de partir, también en este caso, de un concepto de programa que, con independencia de la polisemia del término en sí mismo, sea operativo y clarificador para seguir avanzando. En aras a la brevedad, asumimos por programa "cualquier propuesta estructurada para producir cambios en las personas que se exponen a ellos" Gairín, 1993:80). Entendiendo como tal "desde un diseño específico para la instrucción de un tema concreto de una materia hasta el plan educativo que comporta el desarrollo de un curso completo; desde la actividad docente de un profesor hasta la organización funcional de uno o varios centros educativos; desde un proyecto experimental de enseñanza hasta todo un sistema educativo formal" (Cabrera, 1987:101). En este contexto particular, pues, la evaluación de programas ha de moverse y como tal la consideramos como aquel proceso continuo, sistemático y multidimensional de recogida de información relevante, válida y fiable que permite tomar decisiones sobre el valor o mérito del mismo para mejorar su funcionamiento. Dichas decisiones, según Cabrera (1987:113-114), se refieren a distintos ámbitos y pueden concretarse en:

* acerca de la implantación del programa * relativas a la continuación, expansión o certificación del éxito del programa * relacionadas con las modificaciones a introducir en el programa en desarrollo.

Además, hay que tener presente y como consecuencia de lo anterior, que existen unas razones que justifican por sí mismas la evaluación de programas:

• cumplimiento de los requisitos de acreditación (cualificación personal)

• rendir cuentas (justificación de la inversión, costos)

• demandas de información

• elección-selección del mejor programa (satisfacer necesidades)

• asistir al equipo de gestión del programa en su desarrollo y mejora

• aprender-verificar acerca de los efectos secundarios (lo no planificado) Cabe advertir, antes de proseguir, que la evaluación de un programa es un proceso íntimamente ligado con el de su planificación, desarrollo y resultados, pudiéndose verificar esta dependencia en los siguientes ideogramas, en los que



Gráfico 3.- Relación entre el nivel de planificación y evaluación de un programa

DIAGNÓSTICA

Contexto Necesidades

Viabilidad Destinatarios

Diseño ......

Inicial

Informe inicial

PROGRAMAPROYECTO

Ajustes

FORMATIVA

Realización Desarrollo Resultados

Gestión Evaluación

......

Continua

Informe de progreso

DESARROLLO PROGRAMA

Ajustes

SUMATIVA

Resultados Productos Impacto Costes

......

Final/Diferida

Informe final

REALIDAD

EVALUACIÓN

Resultados

PLANIFICACIÓN

REALIDAD NUEVA

Final-Corto plazo-Largo plazo

Necesidad de Cambio

Resultados



se evidencia, más allá de las tareas, actividades, tipologías de evaluación, decisiones a tomar, etc. indiscutiblemente dicha conexión.

PLANIFICACIÓN/ DESA- RROLLO Y RESULTADOS

EVALUACIÓN

* Identificación de necesidades

* Evaluación de necesidades

* Programación, (diseño del programa)

* Evaluación del diseño

* Puesta en marcha, desarrollo y gestión del

programa

* Eval. implementación * Eval. cobertura * Eval. proceso

* Resultados * Eval. producto * Eval. impacto

* ... Gráfico 4.- Relación entre planificación y evaluación de programas

Como puede observarse, ya se están apuntando los focos de atención en la evaluación de programas, no obstante es necesario profundizar aún más en la conceptualización del programa, por cuanto nos puede iluminar en dicho proceso evaluativo. De hecho, como destaca Gairín (1993:82-83), la evaluación de programas es en gran medida deudora de la manera como se confeccionaron y de las concepciones implícitas o explícitas que asumen. En este sentido es clarificadora la secuencia conceptual que nos propone el mismo autor, que en síntesis nos remite a:

• Realidad sociocultural, política institucional y política de formación mantienen entre sí un alto nivel de coherencia. De hecho, afirma, las instituciones y los programas que realizan suelen responder habitualmente a las necesidades socioculturales, de la misma forma que la política de formación se considera un aspecto de la política institucional.

• La política de formación se concreta en la realización de programas que buscan satisfacer determinadas necesidades. La priorización que se hace de las necesidades a satisfacer (individuales o sociales; expresadas o percibidas;



etc.), determina claramente el tipo de objetivos que ha de perseguir el programa, las acciones a realizar y la naturaleza de los procesos de intervención.

SECUEN. ESTRUCTURAL SECUEN. CONCEPTUAL SECUEN. OPERATIVA

CONTEXTO SOCIO -CULTURAL

POLÍTICA

INSTITUCIÓN

DEFINIR: Finalidades Grupo destinatario Grado Autonomía

EV. DIAGNO.

POLÍTICA FORMACIÓN

A.- JUSTIFICACIÓN

DETECTAR

NECESIDADES

Necesidades normativas

Necesidades Expresadas

Necesidades Percibidas

Necesidades Comparadas

Instrumentalizac. Configurar grupo de incidencia

B.- DISEÑO Objetivos

Acciones Recursos Responsables Evaluación Temporalizac.

EVAL. PLANIFI-CACION

ELABORACIÓN

DEL PROGRAMA

ESTRUCTURAR Participación ...

C.- OPERATIVA Espacios Tiempos Profesorado

EVAL. PROCESO

DESARROLLO

DEL PROGRAMA

Configurar grupo diana. Establecer mecanismos seguimiento y control.

EVAL. RESULTADOS

EVALUACIÓN

DEL PROGRAMA

ESTABLECER Receptores información. Núcleos de decisión

Gráfico 5.- Secuencia conceptual, estructural y operativa de la elaboración de programas de formación (Gairín, 1993:84).



1.3 El proceso de evaluación de programas.- El proceso de evaluación está estrechamente vinculado con el conjunto de las fases que integran un programa de formación. Es más, la evaluación empieza antes que un programa se implemente, en estrecha relación con todas las actividades de planificación; es decir, empieza cuando han sido realizados los juicios sobre la deseabilidad, necesidad del programa, cuando a partir de análisis de necesidades se establece la política de formación en la institución formativa y consecuentemente se establecen los planes y programas de formación, así como sus objetivos, contenidos, actividades, recursos, etc. (Tejada 1989:90).

TIPO EVALUACIÓN

REFERENTE TAREA ÁMBITO APLICACIÓN

Del contexto/ necesidades

territorio y sociedad: comunidad, grupos, sujetos, etc.

estudio previo de la realidad: problemas, necesidades, recursos, conflictos, etc.

diagnóstico, planificación y toma de decisiones

Del diseño expertos y profesionales en programar y planificar

análisis de criterios programáticos, justificación, coherencia y pertinencia del diseño

diseño y planificación del programa

Del proceso profesionales y participantes en el programa

análisis del desarrollo del programa: estrategias, procedimientos, niveles de ejecución, coordinación, participación comunitaria

ejecución del programa

Del producto equipo evaluador valoración de los resultados en relación con los objetivos y necesidades: eficacia, eficiencia, etc.

obtención de conclusiones y toma de decisiones

Tabla 4.- Estructura metodológica de la evaluación en el desarrollo comunitario (Caride 1990)

En este primer momento, no es suficiente con atender a la deseabilidad y necesidad del programa, siendo este el punto de partida en la evaluación de programas (Caride, 1990; Tejedor, 1990). También hay que reparar en su viabilidad; es decir, si las condiciones para el probable éxito del programa se dan o debieran establecerse. Difícilmente se podrá desarrollar un programa si previamente no se han eliminado sus obstáculos y ello sólo es posible con una evaluación diagnóstica inicial del contexto de implementación. Además, esta evaluación inicial comporta y posibilita igualmente la acomodación de dicho programa a la situación misma, a las características del grupo destinatario, a los propios recursos, a las características físicas y psicosociales de la institución, etc. puesto que no siempre es susceptible desarrollar un programa de acuerdo a las condiciones específicas y las variables que se tuvieron en cuenta en su planificación. La contextualización del mismo es una tarea de capital importancia para poder dar respuesta a aquellas demandas y condiciones del contexto donde ha de implementarse. Consiguientemente, ello obliga a reparar en el propio



rediseño del programa, en los procedimientos, actividades, recursos y estrategias, etc. de cara a conseguir los objetivos establecidos.

Tabla 5.- Esquema básico de las implicaciones del proceso de evaluación de un programa

Respecto a su desarrollo, no sólo tendremos en cuenta el logro de los objetivos planteados, siendo estos importantes, sino que interesarán igualmente los procesos seguidos en su implementación, si se han introducido en el transcurso del mismo modificaciones o mejoras, los cambios de actitudes tanto en los formadores como en los participantes, etc. Con ello estamos apuntando claramente los dos componentes de la evaluación formativa, valorando la discrepancia entre lo diseñado y la realidad, por un lado; y la valoración del propio proceso instructivo mientras se realiza, el progreso hacia los objetivos, etc. De esta forma, continua y racionalmente estamos tomando decisiones sobre el diseño o rediseño del programa en aras a su optimización. Por último, ha de repararse sobre los resultados del programa una vez concluido, si se han conseguido los objetivos -verificación de logros- de cara a acreditar, certificar, etc. (evaluación sumativa) en relación con los alumnos, y también tomar las decisiones necesarias sobre el programa de cara a su perfeccionamiento con el correspondiente rediseño. El objetivo principal, pues, de esta evaluación final y sumativa como indica Cabrera (1987:123) es proporcionar evidencias objetivas, sistemáticas y completas del grado en que el programa ha conseguido los fines que se proponía y el grado en que se han producidos otras consecuencias no

PROGRAMA

Funcionamiento “normal “ de la Institución

Funcionamiento de la Institución tras el proceso

de formación

Situación de materialización de los efectos de la acción

Autoevaluación de la situación previa de la actividad formativa.

Auditoria PRE

• Decisión de formación • Necesidades formación • Fijación de objetivos • Diseño de la acción • Diseño de la evaluación

Mejora conseguida

Situación previa a la acción formativa

Situación a la finalización de la acción formativa

Evaluación diagnóstica

PRE

Autoevaluación de resultados.

POST de la actividad Auditoria POST

Evaluación formativa

Evaluación de gestión y de eficcia

Evaluación de efectividad CAMPO

POST 2 POST 1



previstas, que una vez conocidas, sean también de interés para los responsables y organizadores del programa. Pero con ello no habríamos finalizado el proceso evaluativo. No bastaría con la evaluación sumativa una vez concluido el programa. Habría que asegurar también con una evaluación diferida, a corto-medio-largo plazo, la permanencia y consistencia de los cambios producidos en los sujetos, la mejora de las prácticas profesionales, los cambios institucionales, etc. según las metas del plan de formación. La evaluación de los impactos del programa nos permitirá concluir sobre la eficacia, eficiencia, comprensividad, validez y utilidad del programa, así como sobre su rentabilidad profesional o social, según fuera el caso. En cierta forma, estamos apuntando por un modelo de evaluación, cuya representación gráfica reflejamos a continuación. Modelo que indiscutiblemente integra elementos de otros modelos en la línea de los expuesto por Hamm (1988:404-408) y que nosotros revisamos. Como puede observarse, se integran elementos de los modelos de Scriven, Stake y Stufflebeam. Los componentes de evaluación, tanto por lo que se refiere a un programa o a los alumnos, quedan divididos en tres fases: antecedentes, transacciones y resultados en la terminología de Stake (1976), con su correlato en la subsiguiente división de contexto, input, proceso y producto de Stufflebeam (1987). El modelo permite como tal describir las intenciones y los acontecimientos en cualquier fase, a la par que posibilita la toma de decisiones lo más racionalmente posible a los responsables del programa respecto a la planificación y desarrollo del mismo, tanto en lo que se refiere a la determinación de los objetivos como a la determinación de los recursos, deficiencias y obstáculos observados antes y durante su implementación con el consiguiente rediseño del programa. Con todo ello, estamos asumiendo que no sólo interesan los resultados finales, siendo estos importantes, sino que la implementación y desarrollo de un programa, con las vicisitudes que entraña, cobran capital importancia. Esto nos remite a la consideración de la evaluación formativa y sumativa de Scriven (1967). Estando interrelacionadas, la finalidad de la primera apunta por la optimización del programa, mientras que la segunda nos permite verificar su eficacia, bien sea de una parte o en su totalidad. Por último, cabe destacar igualmente el planteamiento de objetivos libres descritos por Scriven (1973), en su modelo de evaluación sin referencia a metas. Dentro de este planteamiento, el evaluador que aborda la evaluación de un programa , debe evaluar, al margen de los objetivos del mismo, de manera que pueda considerar todos los resultados del programa y no sólo los establecidos. En síntesis, el modelo expuesto nos da una visión más completa, holística, sobre la evaluación de programas, sus dimensiones, las decisiones sobre su implementación y sus resultados, así como de los distintos implicados.



ANTECEDENTES TRANSACCIONES RESULTADOS Contexto/input Proceso Producto

EVALUACIÓN DIAGNOSTICA

EVALUACIÓN FORMATIVA

EVALUACIÓN

SUMATIVA

EVALUACIÓN

PROGRAMAS

contexto general

necesidades contexto instructivo

programa instrumentos

medios y recursos, etc

programa actual

secuencia instructiva temporalización

recursos dinámica

interacción, etc.

cambio en:

conocimientos destrezas actitudes

autoconcepto, etc.

(REDISEÑO)

ADECUACIÓN DEL PROGRAMA

(REDISEÑO)


(REDISEÑO)


EVALUACIÓN

SUMATIVA

mérito, valor,

acontecimientos impactos, eficacia

eficiencia, etc.

EVALUACIÓN

DESTINATARIOS

datos biográficos conocimientos

motivación actitudes destrezas

historia profesional historia académica, etc.

relaciones implicación

participación interacciones motivación actitudes

etc.

conocimientos actitudes

motivación, autoconcepto,

destrezas, etc.

EVALUACIÓN INICIAL EVALUACIÓN CONTINUA EVALUACIÓN FINAL EVALUACIÓN DIFERIDA

Gráfico 6.- Modelo integrador de Evaluación de Programas (Tejada, 1991:92)



1.4 La planificación en la evaluación de programas.- Este breve repaso del proceso evaluativo nos permite igualmente reparar en la propia planificación de la evaluación, considerada la misma como una necesidad de obligado cumplimiento en aras una mayor racionalidad, objetividad, validez y pertenencia del hecho evaluativo, huyendo del libre albedrío o de la improvisación a la hora de acometer la evaluación del programa que está funcionando o como ocurre muchas veces está en sus fases finales. Planificación que en los términos de Posavac (1989:27-38) hay que acometerla considerando los siguientes puntos:

a.- Identificar la audiencia (personas relevantes, sponsor, director del programa, clientes, destinatarios, etc.)

b.- Ajustar los encuentros preliminares con la audiencia con el propósito de fijar qué tipo de evaluación, para qué y porqué de la misma, quien la realizará, cuando se llevará a cabo y qué fuentes de información serán las relevantes y válidas.

c.- Fijar la evaluabilidad del programa d.- Revisar la literatura e.- Determinar la metodología: estrategias, población y muestra, control-

comparación, selección-construcción de instrumentos, recogida de datos, etc.

f.- Presentar una propuesta por escrito. Al margen de las problemáticas que cada uno de los aspectos referidos entraña, así como de su propia operativización, mas que fijar un plan de evaluación de programas específico, preferimos reparar en los distintos tipos de evaluación según el objeto, aportando pautas, procedimientos y criterios generales para tenerlos en cuenta en la planificación de la evaluación de los mismos, ya que cada realidad nos obligará a significar unos aspectos sobre otros, y de la toma de decisiones que hagamos al respecto resultará el plan de evaluación de programas concreto (Mateo, 1994). Desde un punto de vista operativo, podemos concretar la secuencia a seguir desde la idea del trabajo en equipo, dada la complejidad de dicho proceso y la dificultad para abordarla desde la individualidad. Queremos decir con ello que por muy experto o competente que se sea en evaluación, las exigencias del proceso evaluativo nos manifiesta su insuficiencia y nos obliga al trabajo interdisciplinar, consecuencia de la implicación de diferentes ámbitos y protagonistas. Además de integrar el potencial de los distintos miembros del equipo de evaluación y obtener con ello garantías suficientes para el conjunto de problemáticas que se evidencian en el referido proceso, se advierte con ello también la virtualidad de la triangulación, la intersubjetividad y la complementariedad entre evaluación interna y externa, auto y heteroevaluación. Con posterioridad abordaremos las implicación de este planteamiento.

FASE PROPÓSITO ACTIVIDADES QUE



IMPLICA 1. FORMULACIÓN DE

LA EVALUACIÓN Identificación y precisión de la naturaleza de la evaluación

• Definir la audiencia

• Determinar el propósito

• Identificar los aspectos relevantes

2. VALORACIÓN DE LA EVALUABILIDAD

Análisis a priori de la credibilidad y utilidad de la evaluación que se va a efectuar. Reordenación de la misma

• Listado de los componentes básicos: objetivos, resultados y efectos.

• Elección de los más relevantes.

• Análisis crítico de la posibilidad de analizarlos a través del estudio evaluativo

3. PLANIFICACIÓN DE LA EVALUACIÓN

Implementación de la evaluación

• Elección del modelo

• Determinación de la metodología

4. EJECUCIÓN DE LA EVALUACIÓN

Ejecución del proceso evaluativo

• Elaboración del diseño.

• Recogida de la información.

• Análisis e interpretación de la información.

5. UTILIZACIÓN DE LA EVALUACIÓN

Toma de decisiones a partir de las conclusiones elaboradas en el informe evaluativo y otros aspectos a considerar

• Informe de evaluación

• Toma de decisiones

6. METAEVALUACIÓN Evaluación de la evaluación

• Elección de los criterios referenciales evaluativos

• Análisis y valoración efectuada en base a dichos objetivos.

Tabla 6.- El proceso de evaluación (a partir de Mateo, 1994:61).

También podemos diferenciar en el proceso de evaluación de programas y su planificación, una doble exigencia. De un lado, el trabajo interno para el equipo, implicando tareas o actividades relacionadas con el diseño, la documentación y su análisis, la elaboración de instrumentos, el análisis de la información recogida y su sistematización, para llegar a elaborar el informe final. De otro lado, el trabajo externo o de campo, incluyendo acciones tales como la presentación del plan y su negociación entre los diferentes implicados (expertos, esponsor, audiencias, etc.), la recogida de la información y su ampliación o contrastación.



El siguiente ideograma ilustra claramente dicho procedimiento en la evaluación de programas.

Gráfico 7.- Ideograma de flujo en evaluación de programas (a partir de Jiménez, 1996)

DISEÑO

TRABAJO INTERNO TRABAJO DE CAMPO

PRESENTACIÓN

RECOGIDA DE LA INFORMACIÓN

AMPLIACIÓN Y CONTRASTACIÓN

ÚLTIMA PUESTA EN COMÚN

SISTEMATIZACIÓN ORGANIZACIÓN

ANÁLISIS DE LA INFORMACIÓN

ANALISIS DE DOCUMENTOS.

INSTRUMENTALIZACIÓN

DOCUMENTACIÓN PRESENTACIÓN

COMPROMISO

IDEA DEL PROYECTO

INFORME FINAL

NEGOCIACIÓN

R E F L E X I Ó N

E N

E Q U I P O



1.5 La instrumentalización en la evaluación de programas Desde un punto de vista eminentemente práctico, la instrumentalización se erige como una de las facetas o tareas más importantes en el diseño de la evaluación de programas, por cuanto en ella concurren y se integran prácticamente el resto de las dimensiones evaluativas. Es más, se ha evidenciado en la práctica, todo y que se hayan acometido adecuadamente la dimensión conceptual y metodológica, que el olvido o desconsideración de las exigencias que entraña esta dimensión operativa, ha impedido realizar la evaluación del programa. La importancia de esta dimensión y nuestra preocupación por ella la podemos encontrar en el primer apunte de nuestra definición –proceso sistemático de recogida de información-. Esta consideración nos indica que no toda o cualquier información que podamos obtener es la pertinente para nuestros objetivos o finalidades evaluativas. Es decir, dicha información está en estrecha dependencia de QUÉ queremos evaluar (objeto) PARA QUÉ (finalidad) y e FUNCIÓN DE QUÉ (referente-criterio) lo vamos a hacer básicamente. Dicho de otra forma, la información depende de las necesidades evaluativas derivadas del objeto y de la finalidad, siendo el criterio un operador básico que hay que integrar en este momento, en la línea del segundo y tercer apunte de la definición –implica un juicio de valor orientada a la toma de decisiones-. Las cuestiones de evaluación, pues, con independencia en este momento del instrumento y la fuente de información son la resultante de esta triple integración. Esta preocupación nos obliga a reparar, aunque sea mínimamente en el objeto, indicadores, criterios y referente evaluativo. Aparte de las consideraciones que ya hemos realizadas sobre cada una de estas dimensiones de la evaluación al comentar nuestro modelo conceptual (hexágono) de evaluación, cabe advertir que el referente (política formativa, contexto de intervención, principios psicopedagógicos de E-A y los propios participantes-destinatarios de la formación) es una fuente tanto de criterios como de indicadores de evaluación en la medida que del mismo se derivan, en parte, las necesidades evaluativas. Estos hay que considerarlos como normas de referencia para valorar el objeto evaluado. Con anterioridad hemos planteado y definido algunos de ellos, de ahí que ahora eludamos mayor profundización en este particular Los indicadores de evaluación, considerados en este momento como concreciones del objeto, quedan afectados en su selección por el referente y los criterios implicados para la valoración y toma de decisiones y por la propia conceptualización del objeto a evaluar. En consonancia con Gairín (1993:94-95) vendrían a ser la “concreción de un conjunto de fenómenos que definen y delimitan aspectos de un programa, y como elementos que facilitan la determinación de las modificaciones que se producen, resultan ser la parte más definida de la evaluación”. Ello obliga a elegir-seleccionar los más idóneos, al margen de otras consideraciones sobre su utilidad, validez, objetividad, especificidad, transparencia que obviamos en este momento. En resumen, objetos, indicadores, criterios y referente se constituyen en los posibilitadores de la construcción racional de instrumentos de recogida de información, con lo cual nos estamos acercando a la dimensión operativa de la evaluación. De alguna manera son los elementos que posibilitan la elaboración de cuestiones evaluativas. La conformación definitiva de las mismas en clave de



ítems dependerá de la tipología del instrumento, (abierto-cerrado) y de los propios destinatarios de los mismos, realizando para ello la imprescindible tarea de acomodación a sus propias características (vocabulario usual, dificultad-sencillez, mecanismo de respuesta, etc.). El siguiente ideograma a partir de Gairín (1993) puede ilustrar claramente lo dicho hasta ahora.

OBJETO INDICADORES CRITERIOS REFERENTES Diseño del programa Desarrollo del programa Resultados del programa

Objetivos Contenidos Actividades ...... Estrategias Recursos Clima Implicación ....... Logros Impacto Costes

Eficacia

Eficiencia

Pertinencia

Idoneidad

Relevancia

Objetividad

Satisfactoriedad

Suficiencia

Política de formación Contexto Principios Psicopedagógicos Participantes-Destinatarios

Cuestiones de evaluación • ¿Los objetivos definidos son relevantes con la política de formación? • ¿Los objetivos formulados son suficientes para satisfacer las necesidades de los

destinatarios? • ¿La selección de contenidos es pertinente con el contexto? • ¿La metodología permite la participación activa? • ¿La duración de las sesiones se adecua a las necesidades del contexto? • ¿Las prácticas realizadas satisfacen las necesidades de los participantes? • ¿Nivel de los objetivos logrados? • ¿Satisfacción de las expectativas de los participantes? • ¿Nivel de cambio producido en la práctica profesional? • ¿Suficiencia del presupuesto asignado? ..................

INSTRUMENTO

Abierto Extenso ........ Cerrado Limitado ........

Gráfico 8.- Proceso de instrumentalización

La primera cuestión respondería a la integración de objeto diseño del programa, del indicador objetivos, del criterio pertinencia y del referente política de formación. En la misma dirección se pueden analizar el resto de ejemplos de cuestiones evaluativas. Posteriormente, concretaremos esta dimensión en los distintos fragmentos del programa.



1.6 Problemáticas-dificultades en la evaluación de programas Venimos sosteniendo en este capítulo inicial que la evaluación es un proceso susceptible de planificación, que entraña organizar los distintos elementos, sistematizar las fases en su desarrollo, temporalizar las secuencias planificadas y proveer los recursos necesarios para que la misma pueda llevarse a cabo. Todo ello supone, además de vencer las resistencias-obstáculos-dificultades que genera su organización y su desarrollo, proveer de un organigrama evaluativo (asignación de tareas y responsabilidades, competencia técnica) y propiciar los instrumentos, técnicas y metodologías idóneas en cada momento, dentro de un modelo, ajustado y coherente con los propósitos evaluativos. Es en este contexto de referencia en el que queremos ubicarnos a la hora de analizar las problemáticas y dificultades que entraña el proceso de evaluación, tanto en su planificación como en su realización práctica. Se trata con ello de evidenciar los elementos que deben ser objeto de atención en el proceso de configuración y desarrollo de la evaluación y no tanto el justificar la dificultad de la misma. Conviene en primer lugar, antes de empezar y sin pretender ser exhaustivos, tener un marco de referencia sobre el proceso de evaluación en el ámbito de la evaluación de programas (aunque el mismo sea extrapolable a otros ámbitos: centros, profesores, alumnos,...). Para ello retomaremos nuevamente, por ser suficientemente ilustrativa, la síntesis que nos ofrece Mateo (1994:61) sobre el proceso de evaluación, teniendo presente las fases, propósitos y actividades que implica. Cabe considerar en este momento que las posibles dificultades en el proceso de evaluación de programas nos remiten a los conceptos ya acuñados de la evaluación de la evaluabilidad o factibilidad de la evaluación, de tal forma que, aunque las respuestas no puedan ser genéricas, en situaciones de graves dificultades, la puesta en marcha de un programa se pone claramente en entredicho. También habrá que considerar que los programas son deudores de la forma como se confeccionaron y de los objetivos y finalidades que se les asignaron. Una indefinición de metas o la falta de claridad en las acciones que el propio programa plantea es lógico que sean una fuente de problemáticas y, en último extremo, una dificultad para la evaluación. Al referirnos a las problemáticas en la evaluación de programas, estamos aludiendo a aquellos obstáculos que podemos encontrar a lo largo del proceso evaluativo, que afectan tanto a la viabilidad, factibilidad y utilidad de la misma, y, por tanto, repercuten en el proceso de recogida de información, la emisión del juicio de valor y en la consecuente toma de decisiones. Dado que podría ser prolijo la especificación de cada una de ellas, procuraremos concretarlas en torno a aquellas que tienen un carácter general y aquellas otras que en el mismo proceso pueden considerarse específicas.



GENERALES • Teórico-conceptuales

• Sustantivas

• Metodológicas

ESPECÍFICAS • Diseño-implementación del programa

• Diseño de evaluación

• Desarrollo de la evaluación

• El evaluador/res como problema

• Los destinatarios y su participación Tabla 7.- Clasificación de las problemáticas-dificultades

1.- Problemáticas-dificultades generales: En este sentido, cabe diferenciar tres tipos: a) teórico-conceptuales, b) sustantivos y c) metodológicos. a) Problemáticas teórico-conceptuales: Hacen referencia al concepto de

evaluación y de programas que se utiliza y que justifica diferentes enfoques que en la práctica se adoptan.

⇒ En primer lugar, hemos de referir una problemática global que se deriva del abordaje paradigmático marcadamente exclusivista. Queremos decir que la evaluación, en la línea de lo expuesto por Anguera (1990:83), tiene un carácter científico y que puede considerarse como una debilidad teórico-conceptual abordarla exclusivamente desde un sólo paradigma. Todos, en síntesis, pueden ser complementarios. El posicionarse en uno u otro afecta sobre todo al tipo de decisiones que pueden tomarse en relación con las metodologías, instrumentos y técnicas de evaluación, así como el papel del evaluador y a las finalidades evaluativas.

⇒ Considerar la planificación y la evaluación como esquemas sucesivos y no simultáneos e interrelacionados: Así, como ejemplo, si la planificación conlleva la identificación de necesidades o problemas, la evaluación aporta procedimientos para detectarlos o, si se establece el plan de actuación, la evaluación analiza la conceptualización subyacente y la lógica del programa de intervención.

⇒ Diferenciar el proceso de recopilación y análisis de la información del proceso de valoración.

⇒ Presentar como perspectivas contrapuestas la evaluación de procesos y la evaluación de resultados o como sinónimos la evaluación formativa y la evaluación de desarrollo.

b) Problemáticas sustantivas: Referentes a las decisiones sobre el diseño de evaluación planificado y sobre la forma como se ha de desarrollar. Al respecto, pueden citarse (Gairín, 1992:223):



⇒ Falta algún elemento en el diseño de evaluación: no se considera el presupuesto, los recursos necesarios, etc.

⇒ Ambigüedad en la definición de los elementos, lo son de manera muy general, de tal forma que se hace difícil evaluar la factibilidad de la evaluación por la falta de concreción.

⇒ Incoherencia interna en el plan de evaluación; esto es, los elementos considerados no se subordinan a los mismos objetivos, no se contemplan todas ala actuaciones necesarias, la metodología es incoherente con la naturaleza del objeto a evaluar o con los recursos existentes, la temporalización no la imposibilidad de simultanear acciones, etc.

⇒ Inexistencia de mecanismos de control para evaluar los efectos “no previstos” y “no previsibles”.

c) Problemáticas metodológicas: Tienen que ver específicamente con la metodología a usar en el propio proceso. En este ámbito podemos referir:

⇒ debilidad metodológica en los diseños-modelos de evaluación, resultante de la falta de experiencia en evaluación. Se verifica, además, en la práctica, que la misma está en relación o en consonancia con la competencia profesional en función de la formación metodológica que poseen los evaluadores.

⇒ No se aplican criterios de validez, fiabilidad y pertinencia, particularmente los referidos a la determinación de la población y muestra de estudio y los instrumentos de medida, que afectan a la validez interna y externa de la propia evaluación.

⇒ la falta de tradición o cultura evaluativa. Consideramos, en todo caso, que la evaluación como tal es joven, de ahí sus problemas. En la medida que se incremente la cultura evaluativa, y exista experiencia, más allá de lo burocrático, en la evaluación, estas dificultades irán menguando, posibilitándose a través de dicha experiencia recursos para mejorar y superar la debilidad metodológica.

2.- Problemáticas-dificultades específicas: Teniendo presente las problemáticas generales, ya planteadas, presentamos a continuación algunas otras específicas, con carácter complementario, y con el objetivo de concretar aún más el proceso de evaluación desde esta óptica. En este caso las organizamos también de acuerdo al programa, al propio proceso de evaluación, para detenernos por último en los implicados en la evaluación. a) Diseño e implementación del programa: Como destaca Anguera (1990:85) afectan a la factibilidad de la propia evaluación. En este particular, destacamos en consonancia con la autora referida:

⇒ Objetivos mal definidos (imprecisión, vaguedad, etc.), que a veces nos remiten a reelaborar el propio programa de cara a su implementación.



⇒ Fines-objetivos generales no realistas-ilusorios-utópicos, por no atender a las necesidades que ha de satisfacer el programa.

⇒ Falta de claridad en las tareas a realizar.

⇒ Inexistencia de organigrama de secuenciación de las acciones.

⇒ Falta de calendario o previsión temporal (cronograma).

⇒ Falta de monitorización-asesoramiento de los ejecutores del programa. b) Diseño de la evaluación: Básicamente afectan a su estructura y a la naturaleza de los elementos que en él quedan definidos (Gairín, 1992:225). Se pueden concretar en:

⇒ Falta de la consideración del contexto y de los grupos destinatarios.

⇒ No partir del análisis de las demandas.

⇒ Falta de participación de los protagonistas (usuarios, técnicos, responsables, “esponsors”, etc.).

⇒ Delimitación de objetivos deficientes (ambiguos, contradictorios o utópicos).

⇒ Actuaciones no secuenciadas o excesivamente genéricas.

⇒ Ausencia de cronograma o previsión temporal.

⇒ No explicitación de los recursos necesarios.

⇒ Ausencia de organigrama o responsables del proceso (diferenciación funcional).

Dado que estas problemáticas son estructurales, su modificación aumentaría la validez interna del diseño, por contra, su presencia resta credibilidad a la propia evaluación. c) Desarrollo de la evaluación: Tienen que ver con la ejecución de la evaluación. En esta fase podemos encontrar:

⇒ Errores sistemáticos no previsibles de localización de destinatarios, problemas sobre la cumplimentación de protocolos, desfases temporales, mortandad experimental, etc.

⇒ No someter el proceso de evaluación a control, ya sea contrastando las fuentes de información o evaluando el mismo proceso (metaevaluación).

⇒ Realización del informe parcializado, sin fundamentarlo adecuadamente a las conclusiones (se olvidan los límites que han existido, se ignorar los efectos secundarios o se basa la información en una sola persona o se contaminan las valoraciones con sentimientos personales.

⇒ No se consideran adecuadamente las normas de evaluación. Al respecto pueden servir de guía las publicadas en 1988 y actualizadas en 1998, por el Joint Committee on Standars for Educational Evaluation y que hacen referencia a normas de utilidad, factibilidad, legitimidad y precisión.



d) El evaluador/es como problema. En este caso, los principales problemas que se presentan son:

⇒ la falta de competencia metodológica del propio evaluador. Este necesita una formación específica para acometer las tareas que implica tanto el diseño-planificación como la ejecución de la evaluación. Además, aunque exista tal competencia, no siempre es una garantía para una evaluación de calidad, sobre todo desde la óptica de la evaluación externa como veremos.

⇒ la relación entre evaluadores y las demás personas implicadas en el hecho evaluativo ("esponsors", docentes, gestores, etc. y la derivada de la complementariedad entre evaluación interna y evaluación externa, para evitar el sesgo unidireccional que puede producirse cuando se acometen evaluaciones exclusivamente desde una u otra óptica. Los primeros generan recelos, temores, suspicacias, con sus consabidas repercusiones sobre la aceptación o inhibición de los segundos. Además, al no estar implicados en el programa, no conocer todas las dimensiones y dinámicas subyacentes que se originan o presentan durante el desarrollo del mismo. Los segundos, por contra, dada su implicación afectiva, tienen “falta de miras”, y deficiencias para evaluar por estar dedicando sus energías a otros quehaceres, no propiamente evaluativas.

e) Los destinatarios y su participación. La participación en los procesos de evaluación es hoy día una exigencia técnica (aporta validez a las variables, preguntas, indicadores y criterios) y social (necesaria como garantía de la utilidad y aplicabilidad de lo obtenido) pero no por ello ha de incidir en el intercambio de papeles (Gairín, 1992:224). Además de todo lo apuntado en el apartado anterior, existen puntos de fricción entre los implicados en los procesos de evaluación que hay que tener presentes igualmente como problemáticas y dificultades del propio proceso y que se pueden concretar en torno a:

⇒ Diferencias de personalidad entre evaluadores, responsables, gestores, etc. (evaluadores, como asépticos, neutrales, responsables-gestores como extrovertidos, etc.)

⇒ Falta del diferenciación funcional (o de papeles en el propio proceso) entre responsables, gestores, ejecutores, evaluadores.

⇒ Falta de definición nítida de los distintos papeles en el proceso.

⇒ Metas, valores, intereses, expectativas y marcos de referencia en conflicto.

⇒ Características institucionales (larga/corta historia, experiencia, conflictos institucionales, cultura, clima organizacional, etc.).

Estos puntos de fricción se pueden concretar en acciones-tareas del proceso que igualmente quedan afectadas en su desarrollo. En este sentido sencillamente queremos puntualizar en torno a:

⇒ Recolección de datos



⇒ Cambios en los procedimientos para llevar registros (falta de univocidad de criterios).

⇒ Selección de los participantes en el programa.

⇒ Elección de grupos (muestra: grupos experimentales y controles).

⇒ Retroalimentación de la información en el programa.

⇒ Rivalidad de rango Ante tales situaciones no es de sorprender la presencia de las resistencias en los afectados por la evaluación. Resistencias, consubstanciales al propio proceso, que pueden concretarse entre otras por:

⇒ Miedo que las evaluaciones impidan el desarrollo del programa

⇒ Miedo a que el programa finalice.

⇒ Miedo a que la información puede ser abusiva, engañosa, mal utilizada, etc.

⇒ Miedo a que se agoten los recursos del programa.

⇒ Miedo a que la comprensión cualitativa del proceso pueda ser suplantada

⇒ Miedo a pérdida de control del programa.

⇒ Miedo a que la evaluación tenga escaso impacto Las mismas pueden patentizarse de distintas formas, entre otras destacamos la falta de colaboración en la evaluación por parte de los usuarios-afectados, bien sea por recelo u otras motivaciones, pero que posibilitan una información sesgada o rechazo directo, no cumplimiento de protocolos o cualquier instrumento. etc. 1.6.1 Patologías generales y abusos de la evaluación como síntesis de las

problemáticas-dificultades Este breve análisis nos permite llegar a las patologías de la evaluación, bien ilustradas por Santos Guerra (1993:15-31) y que de manera sintética podemos apuntar:

♦ Ev. unilateralmente (alumnos, resultados, conocimientos...)

♦ Ev. lo explícito, lo observable.

♦ Ev. negativamente

♦ Ev. descontextualizadamente

♦ Ev. lo pretendido.

♦ Ev. estereotipadamente (planes, instrumentos...)

♦ Ev. para controlar, para conservar

♦ Ev. sólo interna

♦ Ev. incoherentemente con el proceso E-A.



♦ Ev. competitivamente ♦ No evaluar éticamente.

♦ No realizar paraevaluación

♦ No realizar metaevaluación

♦ Ev. distemporalmente ♦ No se incluye autoevaluación

♦ No se integran diferentes informaciones. Tabla 8.- Patologías de la evaluación (Santos Guerra, 1993).

En la misma dirección, podrían considerarse igualmente los abusos de la evaluación, también expuestos por Santos Guerra (1993:45-56):

♦ Convertirla en un elogio a quien la patrocina o la realiza.

♦ Elegir sesgadamente algunas parcelas o experiencias que favorezcan una realidad o una visión de la misma.

♦ Hacer una evaluación de diferente naturaleza y rigor para realidades igualmente importantes.

♦ Convertirla en un instrumento de dominación, control y opresión.

♦ Ponerla al servicio de quienes más tienen o pueden.

♦ Atribuir los resultados a causas más o menos supuestas a través de procesos atributivos arbitrarios.

♦ Encargarla a equipos o personas sin independencia o valor para decir la verdad.

♦ Silenciar los resultados respecto a los evaluador o a otras personas.

♦ Seleccionar aquellos aspectos que permitan tomar decisiones que apoyan las iniciativas, ideas o planteamiento del poder.

♦ Hacer públicas sólo aquellas partes del informe que tienen un carácter halagador.

♦ Descalificar la evaluación achacándole falta de rigor si los resultados no interesan.

♦ Dar por buenos los resultados a pesar de la falta de rigor, cuando esto no es lo que interesa.

♦ Utilizar los resultados para tomas decisiones clara o subrepticiamente injustas.

♦ Aprovechar la evaluación para hacer falsas comparaciones entre lo que es realmente incomparable.



♦ Atribuir los malos resultados no al desarrollo del programa sino a la torpeza, la pereza o la mala preparación o voluntad de los usuarios del mismo.

Tabla 9.- Abusos de la evaluación (Santos Guerra, 1993)

1.6.2 Algunas alternativas para la superación de las dificultades-problemáticas en el proceso de evaluación.-

Como puede apreciarse, al margen de cualquier comentario específico, la falta de cultura evaluativa se convierte en el principal problema de los procesos evaluativos. Así pues, toda intervención que procure incrementar la cultura evaluativa automáticamente, además de vencer las resistencias a la evaluación, incidirá en la solución de las problemáticas apuntadas. Esto nos remite a insinuar acciones que afecten al conocimiento de la estructura del programa, sus destinatarios, objetivos, contexto de aplicación, recursos, etc.; a la estrecha relación que se ha de establecer entre los evaluadores y los implicados por el programa, bien sean los destinatarios directos de la acción, o bien los responsables del mismo, en aras a la comunicabilidad necesaria para evaluar; al establecimiento de la secuencia temporal, operativa, metodológica e instrumental de la evaluación. Todo ello incidirá tanto en la objetividad (intersubjetividad), como en factibilidad, viabilidad y utilidad de la evaluación. De manera más específica podemos precisar:

1. Estudio del diseño del programa: identificando sus componentes y analizando las conexiones entre los mismos (institución que los financia, informes anuales, presupuestos, recursos materiales, personal implicado, contexto de funcionamiento, necesidades que pretende satisfacer, efectos previstos, destinatarios, temporalización, etc.

2. Comprobación del proceso de implementación-desarrollo del programa: recabando información sobre cómo se implementa, quienes son los beneficiarios, quienes son los usuarios -implementadores-, recursos implicados durante el desarrollo, problemáticas, obstáculos y resistencias, seguimiento de la temporalización prevista, etc.

3. Disponer de un plan preciso, claro y negociado sobre la evaluación y su proceso: El mismo debe reflejar con exactitud los objetos de evaluación, finalidades y objetivos (claves para la toma de decisiones), momentos (cronograma evaluativo), instrumentos (válidos, fiables, pertinentes), fuentes de información (documentales o personales) y evaluadores (organigrama funcional).

4. Complementar evaluación interna con la externa: como superadoras de las deficiencias implícitas de cada una de ellas. En el tabla siguiente presentamos las ventajas e inconvenientes de una y otra, asumiendo la complementariedad.

EVALUACIÓN INTERNA EXTERNA



Conocimiento del programa Conocimiento del contexto aplicación Experiencia técnica Implicación afectiva Evaluación formativa Evaluación sumativa

+- + - + + -

-+ - + - - +

Tabla 10.- Ventajas e inconvenientes entre evaluación interna-externa

5. Operar desde enfoques paradigmáticos no exclusivistas, sino más bien complementarios: Esto afecto al diseño y desarrollo metodológico, los instrumentos y técnicas de recogida de información, así como el papel del evaluador y las finalidades evaluativas. En este sentido, derivado de la propia conceptualización de la evaluación proponemos la gráfico siguiente como superadora de tales reduccionismos.



Gráfico 9.- Implicaciones paradigmáticas en la evaluación (Tejada 1995)

6. Disponer de consenso tanto en el diseño como desarrollo de la evaluación entre los implicados en la misma: lo que obliga a las pertinentes reuniones y negociaciones y cuya resultante es la unificación de criterios evaluativos.

7. Trabajar en grupo (equipo de evaluación): superando las limitaciones derivadas de los individualismos. Dada la complejidad del proceso evaluativo es imposible que una única persona sea capaz de acometer con garantías todas las tareas que el mismo entraña. Además, el equipo implica un gran potencial, por cuanto la diferenciación funcional y competencial (si las definiciones de los roles son claras) posibilita mayor riqueza y posibilidades tanto en el diseño, ejecución y toma de decisiones.

8. Propiciar recursos y apoyo por parte de los administradores o directivos: Lo que conlleva consecuencias organizativas -espacio y tiempo para evaluar-. También ello puede afectar a la formación sobre evaluación, como recurso necesario e imprescindible para que la misma sea acometida con posibilidades de éxito.

9. Articular un sistema de retroalimentación del propio proceso, con información útil y válida para la toma de decisiones respecto al seguimiento

Hecho Valor Acción

Toma de decisiones Medida Valoración

COMPLEMENTARIEDAD

EVALUACION

PROBLEMA PARADIGMÁTICO

INTERPRETATIVO-FENOMENOLÓFICO SOCIOCRÍTICO CIENTÍFICO POSITIVISTA



y desarrollo del propio plan de evaluación, así como para los propios implicadados tanto en la implementación-desarrollo del programa como en la evaluación del mismo.

10.Incorporar la metaevaluación como herramienta de control y mejora de los procesos de evaluación, dado que la propia complejidad del proceso evaluativo exige este requisito para poderle ser riguroso, contrarrestando los riesgos del mismo y poderle atribuir valor.

En síntesis, queremos concluir en la línea de Santos Guerra (1993:34-35) que estas aproximaciones nos remiten a una evaluación más valiosa que se caracterizaría por:

• Independiente y por ello comprometida.

• Cualitativa y no meramente cuantitativa.

• Práctica y no meramente especulativa.

• Democrática y no autocrática.

• Procesual, no meramente final.

• Participativa, no mecanicista.

• Colegiada, no individualista.

• Externa, aunque de iniciativa interna.

Capitulo1 Tejada

Documents

Transcript of Capitulo1 Tejada