ANÁLISIS DE LA METODOLOGÍA DE EVALUACIÓN DE LA …raulmuriel.angelfire.com/Rosales-Muriel.pdf ·...

VIII Congreso Español de Ciencia Política y de la Administración

Irene Rosales Jiménez y Raúl Muriel Carrasco

ANÁLISIS DE LA METODOLOGÍA DE EVALUACIÓN DE LA UNIDAD DE EVALUACIÓN DE EUROPE AID

Irene Rosales Jiménez - [email protected] Nacida en 1983 en Madrid, España. Licenciada en Ciencias Políticas y de la Administración por la Universidad Complutense de Madrid. El quinto curso de la Licenciatura lo cursé con una Beca Erasmus en la Universidad de Copenhague, en Dinamarca. Actualmente, estoy cursando el Máster en Evaluación de Programas y Políticas Públicas en la Universidad Complutense y desarrollando las tareas de coordinación administrativa del mismo. Raúl Muriel Carrasco - [email protected] Nacido en 1983 en Madrid, España. Durante 6 años residí en El Salvador y en Colombia. Soy Licenciado en Ciencias Políticas y de la Administración por la Universidad Complutense. El quinto curso de la Licenciatura lo cursé con una Beca Erasmus en la Universidad de Copenhague, en Dinamarca. Actualmente, tras haber finalizado la parte presencial del Máster en Evaluación de Programas y Políticas Públicas en la Universidad Complutense, estoy realizando la Memoria de Grado. Resumen: Análisis de la metodología de evaluación propuesta por la Unidad de Evaluación de Europe Aid desde la perspectiva sistémico-comprensiva planteada por el Máster en Evaluación de programas y políticas públicas (UCM). Se analizan y contrastan cada una de las fases del proceso evaluativo. Palabras Clave: Evaluación, Metodología, Europe Aid, modelos teóricos.

- 1 -

mailto:[email protected]

mailto:[email protected]



ÍNDICE

0. INTRODUCCIÓN.................................................................................................... 3

1. MOTIVACIÓN PARA EVALUAR......................................................................... 7

2. DEFINICIÓN DE LA UNIDAD DE EVALUACIÓN Y ANÁLISIS DE

CONTEXTO............................................................................................................... 11

3. NECESIDADES INFORMATIVAS...................................................................... 20

4. PREGUNTAS RELEVANTES Y CRITERIOS .................................................... 22

5. OPERACIONALIZACIÓN DE CRITERIOS ....................................................... 23

6. DISEÑO METODOLÓGICO ................................................................................ 25

7. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS ................................... 28

8. TRABAJO DE CAMPO......................................................................................... 30

9. ANÁLISIS DE DATOS ......................................................................................... 31

10. INTERPRETACIÓN............................................................................................ 32

11. ENJUICIAMIENTO............................................................................................. 33

12. RECOMENDACIONES ...................................................................................... 34

13. COMUNICACIÓN DE RESULTADOS ............................................................. 36

14. CONCLUSIONES DEL ANÁLISIS.................................................................... 38

15. BIBLIOGRAFÍA.................................................................................................. 41

- 2 -



0. INTRODUCCIÓN

Este capítulo introductorio se compone de tres apartados. En el primero exponemos la motivación que hay detrás de la elaboración de este trabajo, explicando por qué creemos que tiene interés conocer la metodología propia que ha desarrollado la Unidad de Evaluación de Europe Aid1 y hacer un análisis de la misma. En el segundo apartado introducimos la Unidad de Evaluación al lector con el objetivo de situar y centrar nuestro análisis dando a conocer brevemente la naturaleza de este ente. Por último, el tercer apartado responde al cómo realizamos el análisis, siguiendo qué modelos teóricos y que lógica de evaluación.

1. Motivación del análisis

La idea de realizar este trabajo surge tras la asistencia al Seminario ofrecido por el director de la Unidad de Evaluación de Europe Aid el 23 de febrero de 2007 en Bruselas2. El Seminario resultó muy sugerente y decidimos aprovechar esos conocimientos para organizar un taller extra-curricular en el Máster de Evaluación del Centro de Gestión de la Universidad Complutense que estábamos cursando3. Más tarde, el reto ha sido profundizar en esta metodología con la presentación de este artículo ante el VIII Congreso de AECPA.

Consideramos que el análisis de la metodología de la Unidad de Evaluación de Europe Aid posee un gran interés ya que presenta una propuesta muy definida de qué y cómo debería ser una evaluación desde la visión de la Comisión Europea en un ámbito tan relevante como el de la cooperación al desarrollo. Está metodología se plasma en cuatro guías, siendo el documento principal “Bases metodológicas de evaluación”. Ahora bien, nuestro interés en este artículo no es el de estudiar la propuesta desde la óptica de la cooperación al desarrollo, sino que pretendemos, hasta donde se pueda, analizar la metodología de evaluación que sugiere. Tratamos de distanciar nuestro análisis del contexto en el que está producida la Guía y observar el esqueleto teórico que se propone. Sin duda, este ejercicio conlleva el peligro de pasar por alto o no tener en cuenta elementos del contexto o del ámbito de la cooperación que influyen intensamente al tipo de evaluación que se pretende hacer por parte de Europe Aid. Aún así estimamos que existe un gran espacio para el análisis teórico y que resulta útil tratar de comprender las diversas propuestas teóricas.

La posición influyente en la que se encuentra Europe Aid es otro elemento que hace pertinente este análisis. La metodología propuesta puede desarrollar un papel de influencia sobre el mundo de la evaluación. De forma directa, las evaluaciones realizadas por Europe Aid y los equipos externos que se designen utilizan esta metodología. De forma indirecta, puede ser un referente, especialmente en el ámbito europeo, de cómo realizar evaluaciones.

1 Durante todo el artículo se usará en muchas ocasiones para denominar la Unidad de Evaluación de Europe Aid simplificaciones como Unidad, Unidad de Evaluación o Europe Aid (sin distinguir entre la Oficina de Cooperación y su Unidad). 2 Nuestra asistencia sólo fue posible gracias a la generosa invitación de los organizadores, el Centro de Estudios de Cooperación al Desarrollo. 3 Además de nosotros mismos, Belén Rodríguez Navas, compañera del Máster, participó y contribuyó en estas dos empresas.

- 3 -



Por último, nuestra intención es generar conocimiento y debate con el fin de aprender del intercambio de ideas.

2. La Unidad de Evaluación de Europe Aid

La Oficina de Cooperación Europe Aid se creó el 1 de enero de 2001 con la responsabilidad de gestionar la aplicación de una gran parte de la ayuda exterior de la Comisión Europea4. Sus tareas se reparten por todas las fases del ciclo de los proyectos incluyendo, por tanto, la responsabilidad de realizar evaluaciones de sus intervenciones (Página Web de Europe Aid5).

Para ello, dentro de la Oficina de Cooperación se creó la Unidad de Evaluación. Como se observa en el ‘Gráfico 1’, la Unidad depende de tres direcciones generales: la de Relaciones Exteriores, la de Europe Aid y la de Desarrollo, las cuales son responsables ante dos comisarios: la Comisaria Ferrero-Waldner encargada de las Relaciones Exteriores, Política de Vecindad y Europe Aid, y el Comisario L. Michel encargado de Desarrollo y Ayuda Humanitaria.

Gráfico 1. Organigrama de la Unidad de Evaluación de Europe Aid

Fuente: Elaboración propia basada en el Seminario de 23 de febrero, 2007.

La Unidad ha ido forjando durante los últimos años una metodología propia. En 2006 se materializó el esfuerzo de teorización con la redacción de una guía que sirva como manual de evaluación. Nació con el objetivo de asegurar la calidad en las evaluaciones que se efectúan bajo su responsabilidad y está, por tanto, dirigida especialmente hacia los responsables de las evaluaciones por parte de la Comisión Europea y hacia los

4 No gestiona los instrumentos preadhesión, las actividades humanitarias, la ayuda macrofinanciera, la Política Exterior y de Seguridad Común ni el Mecanismo de Reacción Rápida. 5 La dirección de la Página Web es: http://ec.europa.eu/europeaid/general/mission_es.htm

- 4 -

http://ec.europa.eu/europeaid/general/mission_es.htm



equipos de evaluación externos. Además con está guía se pretende afianzar el cambio en el objeto de evaluación al pasar a realizar evaluaciones de programas y estrategias y no de proyectos como era costumbre (Europe Aid, 2006a: 11).

Los recursos humanos de la Unidad representan aproximadamente unas 15 personas dirigidas por J.L. Chomel. Realizan entre 12 ó 13 evaluaciones de media por año. En la tabla 1 se pueden observar aquellas realizadas desde el 20036. Tabla 1. Evaluaciones realizadas por la Unidad de Evaluación de Europe Aid.

Año de publicación Países Regiones Sectores

2003 Ucrania

Marruecos

Bangladesh

Malawi

MEDA (Cooperación

económica)

Rehabilitación y

reconstrucción

Género

Educación básica

2004 Egipto

Honduras

Etiopía

Lesotho

MERCOSUR

CARDS

EAR

Población

Transporte

Asistencia para el

desarrollo del Comercio

Ayuda alimenticia y

Seguridad alimenticia

Medio Ambiente y

Bosque

2005 Benin

Ghana

Caribe

América Latina

Sector privado

2006 Armenia

Tanzania

Malí

Mauritania, Seychelles

y Comores

Ruanda

TACIS

África Central

Capacidad Comercial

Apoyo Presupuestario

Gobernanza

Agua y Salud

Micro proyectos

Desarrollo rural

6 Exponemos los últimos años con el fin de dar una idea del tipo de evaluación que se ha ido efectuando. Se han realizado evaluaciones previas al año 2000 desde una unidad de evaluación previa que dependía de otras secciones insertas en la Comisión Europea. También se pueden consultar en la Página Web, aunque se consideren representativas de una etapa previa. http://ec.europa.eu/europeaid/evaluation/intro_pages/reports.htm#before%202000

- 5 -

http://ec.europa.eu/europeaid/evaluation/intro_pages/reports.htm



2007 (previsión) India

China

Jordania

Bolivia

Moldavia

Mozambique

Guyana

Pacífico

SADC

América Central

Oeste de África

Este de África

Apoyo estadístico

Energía

Naciones Unidas

Bancos para el

desarrollo y EIB

Sociedad civil

Fuente: Elaboración propia basada en el Seminario de 23 de febrero, 2007.

3. Metodología de análisis

El artículo plantea el análisis de la metodología tomando como documento base la Guía de Evaluación de la Ayuda Exterior de la Comisión Europea (Europe Aid, 2006a) que se irá contrastando con autores relevantes de la evaluación siguiendo el modelo sistémico comprensivo planteado por J.A. Ligero y M. Bustelo en el Máster en Evaluación de Programas y Políticas Públicas. Su esquema de fases de evaluación (Gráfico 2) será nuestra guía a lo largo del artículo proporcionando la espina dorsal sobre el que desarrollamos el análisis.

Gráfico 2: Esquema de fases de Evaluación.

Fuente: Máster en Evaluación de Programas y Políticas Públicas.

- 6 -



Una a una, explicamos cada fase presentado el modelo y las aportaciones de diversos autores y la contrastamos con la propuesta de evaluación de Europe Aid.

1. MOTIVACIÓN PARA EVALUAR.

Uno de los primeros elementos que hay que tener en cuenta a la hora de evaluar, es saber por qué se realiza la evaluación y para qué sirve evaluar. Se trata de reflexionar sobre cuál es el sentido de la evaluación, sobre su alcance y sus limitaciones. Pero no es una reflexión exclusivamente teórica, sino que tiene grandes implicaciones prácticas ya que entendemos que el cómo se va a evaluar dependerá en buena medidas de cuáles son las motivaciones para llevarla a cabo.

La primera de las motivaciones a las que se suele referir la literatura, y en la cual hay un generalizado consenso entre los autores7, es aquella que hace de la evaluación una herramienta básicamente práctica. Es aquella motivación basada en la utilidad. Bustelo considera que ésta se traduce en la necesidad de aportar una información útil y práctica. Información útil que sea pertinente para el caso estudiado y ante su contexto e información práctica entendida como información enfocada manifiestamente a la acción (Bustelo 2001: 32). Siguiendo esta línea, Weiss, en su reflexión sobre las diferencias entre la evaluación y la investigación, llega a la conclusión de que la utilidad es una característica propia de la evaluación (Weiss, 1998: 15). Si bien es obvio que una investigación puede ser igualmente útil y estar enfocada a la acción, el esfuerzo evaluativo no tiene sentido si no es así.

Ahora bien, generar una información útil no es un proceso sencillo y no siempre se consigue. Patton inicia su libro Practical Evaluation diciendo que una de las mayores quejas que él percibe por parte de los destinatarios de las evaluaciones es que se encuentran con evaluaciones no aplicables a la realidad. Es más, para Patton es tan crucial este aspecto que todo su libro está dedicado a generar evaluaciones prácticas que puedan ser aplicables (Patton, 1982:14). Por su parte, Alvira nos advierte de que en visos de la utilidad, la evaluación debe despertar en los stakeholders credibilidad y debe ser dotada de validez por éstos. Lógicamente, esto vendría acompañado por haber generado un conocimiento sólido, bien argumentado, obtenido tras un proceso sistemático, con adecuadas técnicas de recogida, con un fino análisis e interpretación (Alvira, 2002: 8). Una posibilidad para fomentar esa credibilidad y esa dotación de validez es fomentar que esos diversos actores hagan suyo el proceso de evaluación y se apropien en consecuencia de esa información generalmente introduciendo elementos participativos a lo largo de la evaluación (Sería una de las propuestas del modelo sistemático del Master, del modelo pluralista de Monnier (1990-1991: 143-145 o también en Feinstein & Beck, 2006: 539).

Más allá de esta primaria motivación, se han descrito distintas funciones que desempeña la evaluación. Este es un punto muy interesante, ya que según qué tipo de funciones se contemplen se realizan evaluaciones en las que priman más unos u otros

7 Aunque como bien comenta Bustelo, cada autor pone el énfasis en distintos elementos. Así, por ejemplo Monnier pondría el acento en la utilidad social de la evaluación si ésta reconoce y hace participes de la misma a los diferentes actores de la sociedad, o Vendung que se guiaría más por un enfoque de utilidad respecto a acciones futuras, donde ese conocimiento obtenido fuese relevante y útil (Bustelo, 2001: 32). Por su parte, Osuna y Márquez consideran utilidad como generar información útil a los destinatarios principalmente aunque también para todos los participantes (Osuna & Márquez,2000 :13)

- 7 -



aspectos. Históricamente, se ha considerado que la principal función era ayudar a la toma de decisiones. Se partía de un enfoque positivista donde el “decisor” se ayudaba por la racionalidad y objetividad aportada en la evaluación para producir la mejor decisión. Si el programa era bueno, se debería extender, si era malo se debería mejorar o abandonarlo (Weiss, 1998: 10). Se observaba con cierta miopía al no contemplar e introducir en el análisis la inherente dosis de irracionalidad de las acciones humanas. Esta idea no ha sido abandonada, pero sí se ha ido matizando. Actualmente se entiende que con la evaluación se desempeñan más funciones ante una realidad social compleja. Una de las aproximaciones más interesantes, entre otras muchas8, es la realizada por Stufflebeam y Shinkfield (1987:23; también referido en Bustelo, 2001: 33). Ellos distinguen entre tres funciones básicas que son:

1. Perfeccionamiento o mejora (improvement9): Se concibe como aquel aprendizaje obtenido en la evaluación sobre el propio objeto evaluado y que posibilita tomar medidas para mejorar o para garantizar la calidad del mismo. Es especialmente útil para los operarios así como para los receptores y beneficiarios de la actividad evaluada para conocer mejor y en profundidad su situación.

2. Recapitulación o accountability: La evaluación posibilita la rendición de cuentas a diferentes niveles de responsabilidad. Esta función tiene un especial sentido en sistemas políticos democráticos y más teniendo en cuenta que nos referimos principalmente a la evaluación de programas o políticas públicas. Esta motivación se materializa en forma de “juicio sobre el valor de lo evaluado” (Feinstein, 2007: 19).

3. Ejemplificación o iluminación para las acciones futuras (Enlightenment): Se entiende que la evaluación puede generar un atractivo volumen de información que puede contribuir a conocer mejor los fenómenos sociales a los que se enfrentan las diferentes disciplinas del conocimiento. En este sentido, esta función se aleja de ese objeto concreto que ha evaluado para trasmitir una información útil a un nivel más amplio.

Al desarrollar en el libro su explicación sobre la metodología CIPP de Stufflebeam expresan, en relación con las anteriores tres funciones, tres propósitos evaluativos que nos dan una idea más completa de qué hay detrás de cada función (1987: 183):

1. Servir de guía para la toma de decisiones.

2. Proporcionar datos para la responsabilidad.

3. Promover la comprensión de los fenómenos implicados.

En su metodología, Europe Aid (2006a: 24-26) otorga similares funciones a la evaluación aunque adaptadas lógicamente al plano de actuación de la Unidad de Evaluación de la Oficina de Cooperación. Se plantea que la evaluación puede ayudar a: 8 Son muchas las aportaciones de diferentes autores en este ámbito del estudio de la evaluación. Hemos decidido recoger la plasmación de Stufflebeam y Shinkfield por aunar en sus conceptos algunas de las múltiples visiones de otros autores. Así por ejemplo para Chelimsky (2006: 35) las tres motivaciones serían: obtener nuevos conocimientos sobre la intervención o el área objeto de la programación; fortalecer la capacidad del agente operativo para resolver problemas, desarrollar de base de datos, aprender de herramientas analíticas o perfeccionar las técnicas de gestión; y determinar la rendición de cuentas. 9 A lo largo de este trabajo haremos referencia a los conceptos de improvement, accountability y enlightenment usando los términos en español o en inglés indiferentemente ya que consideramos que están ampliamente extendidos por la literatura en español sobre evaluación.

- 8 -



Tomar decisiones: La evaluación se orienta más a ayudar a aquellas personas que deberán tomar decisiones respecto al objeto evaluado como redefinir las orientaciones, diseñar el siguiente ciclo de intervención o corregir la ejecución. Con el fin de cumplir con esta función, el evaluador puede formular conclusiones y proponer recomendaciones o también puede favorecer la implicación de los responsables de tomar las decisiones para generar ese elemento que ya se mencionaba de la apropiación de la evaluación. Europe Aid recoge esa idea de ‘empoderamiento’ aunque la limite a los responsables de la toma de decisiones o a sus colaboradores.

♦

Formular juicio e informar a la opinión pública: la rendición de cuentas una de las motivaciones principales para Europe Aid. La evaluación permite formular juicios sobre el mérito de la intervención resultando muy útil para las instituciones financieras. El juicio se realizará en base a la respuesta a unos criterios de evaluación que se presentarán sus resultados a la hora de la entrega del informe final. A la vez, Europe Aid es muy consciente de su posición en el actual panorama político. Tiene un gran interés por mostrarse abierta a la ciudadanía y caracterizarse por su transparencia, habiendo materializado esta buena intención, entre otras medidas, con el desarrollo de un portal en Internet de fácil acceso con sus documentos de evaluación (guías de evaluación, bases metodológicas, evaluaciones,…)10.

♦

Conocer y comprender mejor la intervención y sus efectos: Vista como secundaria frente a las dos anteriores, esta función se entiende por un lado, como un ejercicio, complementario al de ayuda a la toma de decisiones aumentando el conocimiento de los usuarios sobre la intervención, e indirectamente como la transferencia de conocimiento hacia las redes profesionales o de expertos vinculadas con el tema evaluado. Esta transferencia se produce durante la evaluación pero realmente es después de la entrega del informe final cuando se difunden los conocimientos en forma de seminarios o artículos.

♦

Consideramos que si bien Europe Aid recoge en su metodología motivaciones claras y útiles, bastante acordes con la literatura en evaluación, se puede percibir falta de priorización de la motivación más comprensiva en favor de la finalidad de mejora o toma de decisiones y del control de responsabilidades. Entendemos el concepto de motivación comprensiva partiendo de las ideas que ha ido formulando Stake a lo largo de su labor de teorización donde se considera la evaluación comprensiva como una actitud ante la intervención a evaluar. El evaluador se empapa de la intervención, la enfoca desde una visión pluralista e interactiva con el fin de extraer un conocimiento holístico de ésta (Stake, 2006: 141; Stufflebeam y Shinkfield, 1987: 235). En la metodología de Europe Aid no se resalta la capacidad de la evaluación de generar un conocimiento profundo de la intervención que sea reveladora para los usuarios y operarios de la misma, así como para el resto de stakeholders. Eso puede dificultar, como ya iremos fundamentando, llegar a comprender lo que está ocurriendo en la intervención. Es más, consideramos que este tipo de conocimiento llena de peso al

10 La página web de la Unidad de Evaluación de Europe Aid es: http://ec.europa.eu/europeaid/evaluation/index.htm

- 9 -

http://ec.europa.eu/europeaid/evaluation/index.htm



propio enjuiciamiento. Más allá de un mero juicio positivo o negativo, el evaluador enjuicia desde el conocimiento intenso de la intervención11, lo que ayudará a las motivaciones de mejora y rendición de cuentas.

Profundizando en la idea del uso de la evaluación, ligada a la motivación y las categorías que se han aportando, podemos hacer un repaso a ideas más concretas. Siguiendo la lógica de Weiss (1998: 25-28) y Bustelo (2001), se observan propósitos concretados en dos campos amplios:

- Facilitar el proceso de toma de decisiones: La información obtenida de una evaluación puede servir para hacer correcciones intermedias, decidir sobre el destino de un programa, si se ha de finalizar, institucionalizar o expandir, examinar nuevas ideas, elegir la mejor alternativa, continuar con la financiación o no.

- Facilitar el aprendizaje organizativo: Se cubren actividades como registrar la historia del programa, generación feedback a los profesionales de dicho programa, reforzar los objetivos del programa, rendir cuentas, entender (saber más) sobre la intervención social.

Ante esta variedad de usos, se pueden añadir los que Dahler-Larsen (2007: 98-99) califica de formas no convencionales de uso y que él considera que son cada vez más tenidas en cuenta. Son modos de utilización recientes incluso alguno novedoso frente a los que él denomina convencionales (uso instrumental y uso político, estratégico y táctico). Serían formas no convencionales de utilización centrar la atención en la intervención y en las personas que están vinculadas a ésta; o actuar como un entrenamiento ante el cambio; o demostrar que existe la posibilidad de mejorar; en consecuencia a ese descubrimiento de la capacidad de mejora, la evaluación puede generar entusiasmo y expectativas y, por tanto, puede también generar mayor frustración si no se logra lo suficiente o si no se participa en ella en la misma medida que otros actores; también puede fomentar el debate; o por último, tender puentes de comunicación de perspectivas y experiencias entre los diferentes interesados.

Este tipo de formas de uso no están incorporadas en la metodología de Europe Aid, aunque de forma ‘natural’ algunas de ellas puedan estar siendo realizadas en sus evaluaciones como pueda ser la generación de debate o de entusiasmo y expectativas. Aun así, no estaría mal reflexionar sobre el alcance de estos usos de evaluación ya que como resalta Dahler-Larsen, tomándolos en cuenta al evaluar, la evaluación “puede jugar un papel importante en la distribución de energía y dedicación en las organizaciones” (2007: 99). Elementos estos importantes a tener en cuenta al querer conocer bien una intervención o al querer valorarla.

Por último, haremos referencia a la idea de dos tipos de evaluación, perfectamente complementarias, que son la sumativa y la formativa. Son términos acuñados por Scriven en 1967 cuando teorizaba sobre la evaluación en el ámbito de la educación12. Esta tipología se centra en calificar la intención del evaluador. Si la intención del evaluador es la de generar un feedback con los diferentes agentes, especialmente con los operarios y responsables de la intervención, para ayudarles en el proceso de obtener un mejor producto sería una evaluación formativa. Si la intención es la de obtener 11 Durante el Seminario del 23 de Febrero, J.L. Chomel reiteradamente expresó su insatisfacción por la falta de interpretación en los informes de evaluación. Quizá suceda eso en parte por qué se inicia la evaluación sin tener en cuenta esa motivación más comprensiva. 12 Varios de los teóricos de la evaluación provienen del campo de la educación como el ya citado Michael Scriven, Lee J. Cronbach o Robert Stake.

- 10 -



información que permita, generalmente en una etapa final aunque no necesariamente13, tomar decisiones sobre la continuidad de la intervención, sobre su finalización o tomar decisiones en base a un juicio más final (Weiss, 1998: 31-32).

Desde esta perspectiva, argumentamos que Europe Aid fomenta más recogida de información enfocada a una evaluación sumativa. En el campo de la cooperación al desarrollo desde la perspectiva de Europe Aid, tiene una gran importancia dar cuenta a los financiadores. Éstos esperan recibir una información que les ayude a tomar decisiones sobre los recursos que están otorgando y sobre la pertinencia de esas intervenciones. Consideramos que este tipo de información es muy útil para el tipo de evaluaciones que Europe Aid espera, sin embargo no hay que olvidar que una información formativa puede ayudar generar juicios más potentes y completar esa intención más sumativa de la Unidad de Evaluación.

Después de los argumentos que hemos ido trazando, rescatamos la idea de Weiss de que la evaluación que responda a todas las motivaciones es un mito. Introduce cierto grado de humildad, y sugiere que la evaluadora14 debe tomar la decisión sobre el tipo de evaluación y su alcance (1998: 33).

2. DEFINICIÓN DE LA UNIDAD DE EVALUACIÓN Y ANÁLISIS DE CONTEXTO

Para la definición del objeto de evaluación se han de responder tres cuestiones básicas: qué evaluar (objeto), quienes evalúan (actores de evaluación) y cuándo se realiza la evaluación.

2.1 Objeto de Evaluación

La metodología de Evaluación de Europe Aid acota el objeto de evaluación desde tres perspectivas: el tipo de intervención -proyecto, programa o estrategia-, sectores de intervención y según el campo de intervención.

Distingue primero tres tipos de intervenciones objeto de evaluación para el caso de Europe Aid entre proyectos (intervenciones simples, no divisibles, homogéneas y delimitadas en cuanto al calendario y presupuestos), programas (conjunto de intervenciones homogéneas agrupadas con un objetivo global) y estrategias (conjunto heterogéneo de intervenciones al servicio de un objetivo común). En general, una evaluación puede tener como objeto cualquier tipo de intervención pública ya sean proyectos, planes, programas, medidas, políticas, etc. (Bustelo, 2001: 3). Por su parte, Carol Weiss (1998: 7) distingue entre programas, proyectos y políticas. La definición que Europe Aid formula de estrategia o de intervención compleja coincidiría con el

13 Como bien indica Weiss, muchos programas nunca terminan, sino que están funcionando continuamente (Weiss, 1998: 31). Pensemos por ejemplo en ámbitos donde la intervención no finaliza como puede ser la sanidad o la educación en un estado desarrollado. 14 En su libro, Evaluation, Carol Weiss se refiere al evaluador en femenino y lo hemos querido respetar en el artículo para introducir, además, enfoque de género.

- 11 -



concepto de ‘policy’ de Carol Weiss15. Para Weiss las técnicas de evaluación son “maravillosamente” adaptables para los distintos niveles de intervenciones. María Bustelo (2001: 39-40) considera que en el caso de las políticas públicas, que son realidades menos definidas, la forma de abordar la evaluación será distinta en determinados aspectos aunque la metodología de evaluación sea adaptable. Habrá diferencias en cuanto al agente evaluador, las fuentes de información o la función de evaluación, que no aparecen recogidas por Europe Aid. En el caso de la evaluación de políticas el agente evaluador será un analista; la función prioritaria de la evaluación será la de ilustración para acciones futuras; entre las fuentes de información, primarán los datos secundarios ya existentes, y la temporalidad de la evaluación es más amplia. En la evaluación de programas en cambio, la evaluación la pueden desarrollar consultores externos (no analistas) o responsables internos; entre las fuentes de información primarán los datos generados por el propio programa; la temporalidad está mas delimitada; y la funciones de evaluación están más relacionadas con la mejora o el control de responsabilidades (Bustelo, 2001: 39-40). Estas distinciones, como veremos más adelante, pueden ser relevantes puesto que todas las evaluaciones de Europe Aid tienen que ver con las estrategias de cooperación por país, con las estrategias por regiones o por sectores o temas. Éstas son consideradas como intervenciones complejas y que se situarían en el nivel de políticas.

En segundo lugar, la metodología evaluativa de Europe Aid sugiere acotar el objeto según los distintos sectores de intervención (educación, agricultura, etc.) o según los tipos de sectores transversales a los que responda la intervención (género, derechos humanos).

Por último, la definición del objeto se hace desde la acotación del campo de la evaluación cuyo perímetro está definido por varias dimensiones: geográfica, temporal e institucional o reglamentaria.

Dentro de una intervención ya definida según las dimensiones arriba explicadas, el objeto de la evaluación se puede centrar en determinados aspectos de la intervención o puede pretender tener una visión comprensiva de la totalidad del programa. Los programas sociales son elementos complejos que pueden incluir una gama variada de componentes, personas, teorías, intenciones, estructuras organizativas e incluso elementos contradictorios por lo que el evaluador necesita hacer un esfuerzo para comprender el contenido del programa y qué está pasando (Weiss, 1998: 48-49). Una propuesta para obtener una visión comprensiva del programa es el modelo sistémico planteado por Juan Andrés Ligero Lasa (materiales del Máster en Evaluación, 2006/07), que estructura las intervenciones en las dimensiones siguientes: contexto del programa, el diseño, la estructura, los procesos y resultados. La perspectiva sistémica implica que la “intervención es un sistema interdependiente con su contexto” en el que cada uno de los elementos del programa influyen y son influidos por el resto de componentes (Ligero, materiales del Máster en Evaluación. Ficha sobre Programación por procesos. Pág.1). Siguiendo este esquema, estudiaremos en qué aspectos hace hincapié la metodología de evaluación de Europe Aid.

El contexto de la intervención y de las necesidades sociales de la población. Este análisis se puede desarrollar de una manera estática, estudiando el contexto y las necesidades sociales en un punto (normalmente al principio) de la intervención, o de

15 Definición de política según Carol Weiss: “Officially acepted statement of objectives tied to a set of activities that are intended to realize the objectives in a particular jurisdiction” (1998:7)

- 12 -



manera dinámica controlando los cambios que se produzcan a lo largo de la vida de la intervención. La propuesta que hace Europe Aid es estática ya que sugiere que el informe de evaluación contenga de manera concisa el contexto de la intervención y los principales problemas diagnosticados en el momento en el que fue iniciada (Europe Aid, 2006a: 36). Esta visión estática de las necesidades sociales se ve corregida en cierta medida ya que se añade otro momento de estudio de las necesidades diagnosticadas en el momento que tiene lugar la evaluación para comprobar si ha habido cambios entre la fase de ejecución y la evaluación. Sin embargo, se hace notar una falta de análisis de las necesidades sociales reales de la población que contrastasen con las necesidades identificadas por el programa. Como formula Stufflebeam en su modelo CIPP (1987: 196) una evaluación de contexto habría de analizar la población objeto de la intervención, valorar sus necesidades y problemas para comprobar la coherencia de los objetivos de la intervención (Alvira, 1991: 16).

La estructura de la intervención “es la organización relativamente estable de distintos tipos de recursos para alcanzar los fines del proyecto” (Cohen y Franco 2000: 94 y 97). Según ambos autores, en la estructura se distinguen dos elementos: los recursos (físicos, humanos y financieros) y la organización. Fijándonos en el esquema para el estudio de las organizaciones del Modelo EFQM de Excelencia16 (ver gráfico 4, página 16), se pueden distinguen elementos estructurales como son las personas, las políticas o estrategias de la organización y sus alianzas. La metodología de Europe Aid no recoge la estructura cuando trata el tema de estudiar la lógica de la intervención sino que el elemento estructural pasa casi inadvertido. Sólo se recoge el elemento de recursos ‘inputs’ para tratar el criterio de eficiencia (obtener efectos con el mínimo de recursos) (2006a: 49-50). Este es un punto fundamental ya que, desde una perspectiva de una evaluación por objetivos y resultados, si los elementos estructurales no son estudiados se dejan fuera del análisis posibles explicaciones e interpretaciones de los resultados de la evaluación. Por ejemplo, la causa de un buen o mal resultado puede residir en la cantidad o calidad de recursos de que disponga la intervención, así como de los procesos realizados como veremos más adelante.

El diseño de la intervención. Como aconseja Carol Weiss, un primer camino para comenzar la conceptualización del diseño sería consultar los objetivos oficiales recogidos en el programa. Sin embargo, puede ocurrir que los objetivos no estén recogidos explícitamente, que si están redactados sean ambiguos e imprecisos o que varíen a lo largo del tiempo (Weiss, 1998: 51-54). También puede pasar que los objetivos no sean realistas o que existan diferencias en la manera de concebir esos objetivos entre el personal del programa (Stufflebeam y Shinkfield, 1987: 178). Por todo ello, para la evaluadora no sólo es útil conocer cuál es el mapa de objetivos del programa, sino que es necesario conocer cómo se espera que el programa consiga esos objetivos (Weiss, 1998: 55). La evaluadora ha de reconstruir la teoría del programa, es decir, “el conjunto de creencias que subyacen a la acción” o “el modelo plausible y razonable de cómo se supone que funciona un programa” (Weiss; 1998: 55). Para Weiss no es tan importante centrarse en los objetivos sino que sugiere que se rehaga lo que ella llama la “teoría del cambio” que incluye la teoría de la implementación (actividades de un programa) y la teoría del programa

16 EFQM (1999-2003): Introducción a la Excelencia. página.5 En la página web de: http://www.efqm.org/uploads/introducing_spanish.pdf

- 13 -

http://www.efqm.org/uploads/introducing_spanish.pdf



(efectos o respuestas a las actividades realizadas como mecanismos de cambio) (Weiss; 1998:57-58). La teoría de la implementación puede ser útil para reconstruir las actividades del programa desde una perspectiva de procesos y diagramas de flujo. Por su parte, Europe Aid (2006a: 37-38) recomienda que el evaluador reconstruya la lógica de la intervención aclarando los objetivos de la intervención y traduciendo estos objetivos en efectos esperados. Se recoge la idea de que puede haber objetivos implícitos no evocados en los documentos oficiales y que los objetivos pueden variar con el tiempo o por factores externos. Más allá de los objetivos, la metodología de Europe Aid recomienda el estudio de las principales actividades de los programas para crear un mapa de relaciones causa efecto entre actividades e impactos esperados. Sin embargo, para representar la lógica de la intervención se proponen cinco tipos de representaciones (la matriz de marco lógico, el diagrama de problemas, de objetivos, el diagrama de efectos esperados y el diagrama de decisiones de elección de objetivos) de los cuales sólo en el caso de la matriz de marco lógico se desciende hasta el nivel de actividades (Europe Aid, 2006d: 15-47). El diagrama de marco lógico es explícitamente recomendado sólo para intervenciones simples (Europe Aid, 2006a: 39) cuando la totalidad de las evaluaciones que encarga Europe Aid son evaluaciones de estrategias o sectoriales de grandes proporciones en las que se perdería información sobre las actividades.

Los procesos de una intervención son la “secuencia de acciones que con su desempeño genera un producto con un valor añadido con relación a las entradas iniciales” (Ligero y Pernas, próxima publicación)17. Como hemos visto, para Carol Weiss (1998: 49) las evaluaciones por objetivos y resultados ven la intervención como una caja negra de donde salen resultados sin conocer qué está pasando en su interior, ya que no se preocupan por el contenido del programa. El estudio de los procesos es por tanto fundamental a la hora de establecer las razones y explicaciones a los resultados obtenidos por la intervención. Como se ha argumentado antes, Europe Aid considera que el análisis de actividades es necesario para reconstruir la lógica de la intervención (2006a: 38), sin embargo, y las representaciones gráficas propuestas siguen una perspectiva de resultados y no de procesos, ya que recogen principalmente los objetivos y efectos esperados18. Desde una lógica de procesos, el programa se podría reconstruir en base a un mapa de procesos que distinga los procesos, según los niveles de planificación, en estratégicos (relacionados con la definición y el control de los objetivos, planificación y estrategia de la organización y gestionados por el equipo directivo), operativos (aquellos que permiten el desarrollo de la planificación o estrategia y añaden valor para el ciudadano) y de soporte o apoyo (facilitan el desarrollo de las actividades que integran los procesos clave). Para el análisis de aquellos procesos clave para la consecución de valor añadido, se sugiere la representación gráfica de los procesos en diagramas de flujo que describan las diferentes fases o etapas necesarias para generar un valor añadido (Ligero, materiales del Máster en Evaluación. Ficha sobre programación por procesos. Pág.2).

17 Ligero, J.A. y Pernas, B. (próxima publicación): Análisis y propuestas para intervenir con jóvenes en situación de exclusión. Estudio de caso en un barrio del sur de Madrid Orcasur. Segundo Premio de la Obra Social Caja Madrid. 18 “La evaluación ha de mirar impactos, no procesos”, Jean-Louis Chomel, 23 de Febrero de 2007, Unidad de Evaluación, Comisión Europea.

- 14 -



Entre los resultados de un programa o intervención se pueden distinguir los productos, los efectos y los impactos de un programa. Los productos o outputs19 es lo que produce o genera un programa; los efectos o outcomes20 son los efectos derivados de los productos; y los impactos o impacts que efectos a largo plazo o en una comunidad más amplia más allá de los beneficiarios del programa (Weiss, 1998: 8) (Bustelo, 2001: 112). Asimismo, Europe Aid, recoge la distinción entre productos, efectos e impactos aunque la terminología no es exactamente la misma (ver notas al pie 3 y 4).

Para Carol Weiss, la comprensión del programa resulta fundamental para el mejor desarrollo de las distintas fases de la evaluación desde la formulación de preguntas de evaluación, pasando por la comprensión de los datos, la interpretación de las evidencias, la formulación de recomendaciones, hasta el informe y el meta-análisis (Weiss, 1998: 46-47). Una evaluación que fuera exclusivamente la medición de si los objetivos esperados se han traducido en efectos sería considerada por Stufflebeam y Shinkfield como una cuasievaluación (1987: 70). Como alega María Bustelo (2001: 112-113), sin tener en cuenta la información sobre los productos, los procesos de puesta en práctica, el diseño y teoría subyacente al programa, la evaluación no sería útil en el cumplimiento de sus funciones de mejora o rendimiento de cuentas, ni se conseguiría alcanzar una comprensión suficiente del programa necesaria para el enlightenment. La metodología de Europe Aid es más que una evaluación de efectos porque, además de estos, recoge el contexto y los resultados pero encontramos carencias en cuanto a procesos y estructuras. A continuación y para finalizar este apartado, recogemos unos gráficos del objeto de análisis según Europe Aid, el Modelo EFQM y el modelo sistémico propuesto en el Máster de Evaluación (María Bustelo y Juan Andrés Ligero) que consideramos que son útiles como síntesis gráfica de lo arriba expuesto. Gráfico 3. Objeto de Evaluación de Europe Aid

Fuente: Reelaboración propia basada en Europe Aid (2006a: 49).

Se ha tomado como base para la elaboración de este gráfico, el cuadro explicativo de los siete criterios de evaluación recogido por Europe Aid en la página 49 de la Guía 19 En la versión en castellano de la metodología de Europe Aid la palabra “output” se traduce como “realizaciones” pero consideramos que este término en castellano no es correcto y que la traducción como “productos” se ajusta más al concepto de “output”. 20 Para esta categoría de efectos primarios, Europe Aid utiliza la palabra ‘results”’pero consideramos que la palabra ‘outcome’ tiene que ver más con los efectos.

- 15 -



2006a. Se ha eliminado la parte de criterios que contenía el cuadro para resaltar los distintos aspectos de la intervención en los que se fija Europe Aid, conformando su objeto de evaluación. El estudio de estos aspectos (necesidades sociales/contexto, objetivos/ efectos esperados, recursos y resultados) no es general sino que vienen condicionados por los siete criterios de valor predefinidos por Europe Aid (ver capítulo 4 sobre criterios de valor). Así por ejemplo, Europe Aid recoge el análisis de un elemento estructural, los recursos, pero está “atado” al criterio de la eficiencia que mide exclusivamente si “se obtuvieron los efectos deseados con el mínimo posible de recursos” (2006a: 50). El criterio de eficiencia no daría cabida a un estudio de los recursos en cuanto a, por ejemplo, su calidad o transparencia, etc. Por otro lado, en el cuadro de Europe Aid, se echan en falta los procesos ya que, aunque se recomiende el estudio de las actividades para la reconstrucción de la lógica de la intervención, entendemos que éstas actividades tienen que ver más con los productos o outputs que con los procesos, que además no entran dentro del cuadro de criterios como un componente a analizar. Gráfico 4. Modelo EFQM de excelencia21

Fuente: www.efqm.org “Introducción a la Excelencia” p.5.

En el modelo EFQM de excelencia para el estudio de organizaciones se recogen los elementos de estructura, procesos y resultados pero no se introducen en el análisis el contexto o necesidades sociales ni el diseño o teoría de la organización.

21 Según la definición de Cohen y Franco de estructura (2000: 94 y 97), entendemos que los elementos de “personas”, “políticas y estrategias”, “alianzas y recursos” entran dentro de la estructura, como también podría entrar el componente del “liderazgo”.

- 16 -



Gráfico 5. Modelo Sistémico de Evaluación

Fuente: Ligero y Bustelo, materiales del Máster en Evaluación; y Ligero, J.A. y Pernas, B. (próxima publicación): Análisis y propuestas para intervenir con jóvenes en situación de exclusión. Estudio de caso en un barrio del sur de Madrid, Orcasur.

2.2 Actores y destinatarios de la evaluación

Como dice Carol Weiss, las evaluadoras trabajan en un ambiente multitudinario, “a crowded environment” (1998: 97). El contexto evaluativo se caracteriza por que existen diferentes actores que se ven afectados e implicados en la evaluación (Bustelo, 2001: 121), son los denominados stakeholders o agentes críticos. Según la definición de Guba y Lincoln (1989: 51) los stakeholders son grupos que tienen algo de interés en el evaluando y son grupos “en riesgo” ya que sus intereses pueden verse afectados por los resultados de la evaluación. El espectro de stakeholders puede ser amplio: desde los que encargan la evaluación, pasando por los formuladores del programa, responsables políticos, financiadores, directores, gestores, el personal y los beneficiarios directos e indirectos, los grupos excluidos del programa, hasta la comunidad en general (Weiss, 1998: 97) (Bustelo, 2001: 121) (Guba y Lincoln, 1985: 34).

En este contexto, el evaluador y los stakeholders pueden interactuar de diversas maneras. El rol tradicional del evaluador, asociado a un paradigma más positivista, es el de investigador objetivo y externo cuyo punto fuerte es la metodología. Con las herramientas metodológicas apropiadas, se pueden conseguir respuestas objetivas que ayuden a conocer mejor y a decidir sobre la intervención (Weiss, 1998: 97-98).

Sin embargo, ya cuentan con cierta tradición los enfoques que apuestan por una relación más interactiva entre el evaluador y los stakeholders. Son los enfoques participativos que inciden en la participación de los agentes críticos del programa en el proceso evaluativo (Bustelo, 2001: 96). Podemos identificar cuatro enfoques: la Evaluación de cuarta generación, la evaluación para el empoderamiento, la evaluación pluralista y la evaluación emancipada.

La evaluación de cuarta generación, propuesta por Guba y Lincoln supone “una forma de evaluar en la que las preocupaciones y aportaciones de los stakeholders sirven […] de base para determinar que información se necesita y que es

- 17 -



desarrollada con preceptos metodológicos constructivistas” (Guba y Lincoln, 1985: 50).

La evaluación para el empoderamiento, desarrollada por David Fetterman, sugiere que sean los miembros de la comunidad los que lleven a cabo su propia evaluación, tanto el diseño como la implementación. El rol del evaluador es en este caso el de “consejero”, da formación y provee asistencia dotando a la comunidad de mayor legitimidad metodológica (Weiss, 1998: 99) (Bustelo, 2001: 104).

Eric Monnier propone, en un primer momento, el modelo de evaluación pluralista. La evaluación no sólo se enmarca en un contexto político sino que es un proceso político. Ante la necesidad de legitimidad política para que la evaluación sea útil, la interpretación de los hechos y las recomendaciones han de ser consensuadas de manera interactiva con los distintos actores del programa (Monnier 1990-91: 142-145). Para esto, Monnier plantea que la evaluación se constituya en centro de negociación en torno al “comité de pilotaje” que agrupe a los diversos protagonistas: decisores legítimos, responsables del programa, destinatarios y demás participantes (1990-91: 150). Baron y Monnier (2003) consideran dos dimensiones para el análisis de los modelos participativos: la amplitud de participantes y la profundidad en la participación. La amplitud de la participación se mide en una escala del 1 al 6. En el primer nivel participarían los decisores y principales operadores; en el segundo nivel entrarían los operadores ejecutivos; en el tercer nivel se añadirían otros actores de la definición y la realización del programa; el cuarto nivel incluye a los beneficiarios directos; el quinto a los indirectos o potenciales; y el sexto se ampliaría hasta los ciudadanos o sus representantes. La profundidad de la participación se mediría según la implicación de los grupos en las distintas fases de la evaluación: en la definición del proyecto de evaluación y cuestiones relevantes; en la validación de los métodos y el programa de trabajo; la revisión de la recogida de datos; en el análisis e interpretación; y en la formulación de recomendaciones (Baron y Monnier, 2003). Siguiendo este esquema, el modelo de evaluación pluralista se situaría en un nivel amplio de participantes pero en una posición media en cuanto a la profundidad de la participación ya que intervienen en la fase de definición del objeto de evaluación y en la selección de criterios y ya no vuelven a intervenir mas que para validar los análisis y las interpretaciones del evaluador.

La última propuesta de Monnier y Baron, en línea con Fetterman, es un modelo de evaluación emancipadora que cuenta con la participación de una gran diversidad de grupos afectados que intervienen en todas las fases de la evaluación. La intención de esta evaluación es mejorar la gestión pública y también dar poder a los participantes mediante la comprensión de su propia situación y de los medios para cambiarla.

Para Europe Aid (2006a: 28-34) existen cuatro tipos de actores: el responsable de la evaluación, el grupo de referencia, el equipo evaluador y los stakeholders.

El o la responsable o gerente de la evaluación es un miembro de la Unidad de Evaluación de Europe Aid encargado de gestionar, dar coherencia al proceso y coordinar la actividad de los distintos actores. Selecciona al grupo de referencia a los que consultará sobre la redacción de los términos de referencia y la selección del equipo evaluador. En los términos de referencia se fijan el peso relativo de los criterios que servirán al enjuiciamiento. Gestiona también la difusión de los resultados de la evaluación y el seguimiento de si se tienen en cuenta o no las recomendaciones.

- 18 -



El grupo de referencia es un elemento bastante sui generis de la metodología de Europe Aid. Participan de 10 a 15 miembros y está compuesto por miembros de los servicios de la Comisión Europea principalmente, miembros de las embajadas en Bruselas del país donde se lleve a cabo la evaluación, especialistas del sector y, en caso de que se pueda, estará integrado por representantes del país socio, actores en materia de desarrollo y por una selección de organizaciones de la sociedad civil. No son por tanto los actores de la intervención ni los beneficiarios los implicados en la evaluación sino más bien un grupo de expertos y decisores políticos (miembros de la Comisión) que se encargarán de supervisar el proceso, validar las preguntas de evaluación y los juicios, actúan como intermediarios entre la Comisión y el equipo evaluador. Mantienen de cuatro a seis reuniones con el equipo evaluador.

El equipo evaluador es externo a la comisión y a la intervención. Es el responsable de la recolección y análisis de los datos, la elaboración del informe, los juicios (habiendo sido predefinidos los criterios en los términos de referencia) y recomendaciones. Han de tener en cuenta los comentarios realizados por el grupo de referencia y darles respuesta. El equipo evaluador forma parte de una de las cuatro consultoras externas elegidas por concurso cada cuatro años. Una vez seleccionadas las cuatro consultoras, éstas además concursan y compiten entre sí en cada evaluación que se proponga.

Los stakeholders son definidos como aquellos individuos, grupos u organizaciones que tienen responsabilidades y/o intereses directos o indirectos en la intervención evaluada. Su papel en la evaluación es reducido: han de ser tenidos en cuenta sus puntos de vista, aprovechados sus conocimientos técnicos e interesarles en el uso de la evaluación.

Siguiendo las dos dimensiones para la medición de la participación de Baron y Monnier, el modelo de Europe Aid se situaría en un nivel bajo en cuanto a amplitud de participantes22 y en un nivel medio-alto en profundidad en la participación. Una parte del los actores que participan en la evaluación, dentro del grupo de referencia y el gerente de la evaluación, están situados en el nivel de los decisores políticos al ser miembros de la Comisión, que son a su vez los principales destinatarios de la evaluación23. No obstante, no estaríamos en el primer nivel en cuanto a amplitud de participación, ya que se contempla la posibilidad de que se incluyan en el grupo de referencia a representantes de la sociedad civil y a expertos, pero no se prevé la participación de los operadores ejecutivos o de implementación ni los beneficiarios. En cuanto a la profundidad de la participación, el grupo de referencia y el gerente de la evaluación, tienen mucho que decir ya que participan en cuatro de las fases previstas por Baron y Monnier, si bien en algunas fases intervienen como supervisores o validadores y no tanto como ejecutores24.

22 Durante el Seminario el 23 de Febrero, Jean-Louis Chomel, expresó las dificultades para hacer participativa una evaluación de una política por los problemas para representar a colectivos muy amplios. 23 Consideramos que el hecho de que sean los decisores políticos a nivel de la Comisión, los que participen en el grupo de referencia está en línea con la intención sumativa que se le da a la evaluación. 24 El gerente de la evaluación y el grupo de referencia intervienen definiendo el contenido del programa de evaluación, supervisando los métodos y el trabajo del equipo evaluador, supervisan la recogida de datos pero no la efectúan, validan (que no realizan) el análisis y la interpretación propuesta al igual que validan las recomendaciones.

- 19 -



2.2 Cuándo se realiza la evaluación

Por último, el objeto de evaluación quedará definido según el momento en que se realiza la evaluación dentro del ciclo de la intervención.

Europe Aid recoge dos tipos de intervenciones a tener en cuenta a la hora de definir el momento a evaluar: una intervención puntual o una sucesión de intervenciones (2006a: 19-21).

En el primer caso, la evaluación se podrá realizar antes de que el programa o política se ponga en marcha (evaluación ex ante), durante o al final de la fase de ejecución de la intervención (evaluaciones mid-term o finales) y, por último, se podría realizar la evaluación tiempo después de acabada la fase de ejecución para medir los impactos y la sostenibilidad (evaluación ex post).

En el caso de los ciclos de intervenciones sucesivas, la evaluación se suele llevar a cabo cuando el ciclo actual aún no ha producido todos sus efectos y se planea o comienza un nuevo ciclo.

Aunque las evaluaciones ex ante están previstas en la teoría, analizando las evaluaciones llevadas desde el año 2000 por la Unidad de Evaluación, encontramos que todas las evaluaciones son de medio término, finales, ex post o evaluaciones de ciclo.

Mediante estas tres dimensiones –qué, quiénes y cuándo- se define el objeto de evaluación. En el caso de Europe Aid, se evalúan políticas a nivel de país, región o por sectores. Dentro de la intervención, se definen como objeto de análisis los elementos de: contexto y necesidades sociales iniciales, la lógica de la intervención en términos de objetivos y los resultados y, por último, se concede prioridad a los resultados e impactos (Europe Aid, 2006c: 1). En cuanto a los actores de evaluación, Europe Aid elabora una propuesta especial de participación a través del gerente de la evaluación y el grupo de referencia. Es una participación baja en cuanto a amplitud de participantes y medio-alta en cuanto a profundidad de la participación. Por último, las evaluaciones son principalmente finales, ex post y mid term, en ese orden.

Los cinco capítulos siguientes están dedicados al diseño de la evaluación y comprenden la recopilación de las necesidades informativas, la elección y definición de los criterios de evaluación y la selección de las preguntas relevantes, la operacionalización de los criterios, el diseño metodológico y la búsqueda de fuentes y el diseño de técnicas.

3. NECESIDADES INFORMATIVAS

En línea con el argumento de Cronbach (en Stufflebeam y Shinkfield, 1987:151) se deduce que la demanda de evaluación proviene principalmente de la incertidumbre de los stakeholders de la intervención. Para que la evaluación sea útil, el evaluador tendrá que comprender el pensamiento de los stakeholders y ayudar a formular y contestar preguntas adecuadas y pertinentes (Bustelo, 2001: 84). Las necesidades informativas son los requerimientos de información de los stakeholders a la evaluación, que pueden

- 20 -



estar implícitas, no verbalizadas y carecer de estructuración. Además, las necesidades informativas pueden ser muy variadas según los distintos grupos de interés, desde el patrocinador de la evaluación a los beneficiarios de la intervención. Así pues, una primera fase fundamental para identificar las necesidades informativas sería recopilar todas las posibles necesidades de información que correspondan con los agentes implicados en el programa y elaborar una lista extensa. Este paso puede contemplarse como un primer trabajo de campo que conlleve reuniones o dinámicas de grupo (Ligero, materiales del Máster en Evaluación. Fichas sobre criterios, preguntas e indicadores). Ciertas necesidades informativas también pueden inferirse del estudio del contexto y la intervención realizados previamente. En línea más con lo que propone Carol Weiss (1998:74-77), la metodología de Europe Aid recoge esta última opción como el principal origen de las preguntas relevantes de evaluación: las preguntas directamente e indirectamente deducidas de la lógica de la intervención, teniendo en cuenta los siete criterios de evaluación25 (2006a: 43-44). Además, hay que tener en cuenta las necesidades planteadas en los términos de referencia y las necesidades que justificaron la decisión de lanzar la evaluación. Como podemos observar, no se plantea la opción de recabar las necesidades informativas de los distintos actores de la intervención sino que la principal fuente de cuestiones es el propio programa.

Esta primera recopilación extensa de las necesidades informativas es denominada por Cronbach como “fase divergente”, en la que, según él, el evaluador atiende a una ancha variedad de informadores y amplía la visión restringida que pudiera tener el patrocinador o principal responsable de la evaluación (en Stufflebeam y Shinkfield, 1987: 152). En esta primera fase se designa qué es lo que posiblemente pueda tener valor para una evaluación. A continuación, hay que hacer una selección de las cuestiones que van a ser tratadas en la evaluación en lo que Cronbach llama “fase convergente”, donde se definirán cuáles son las preguntas relevantes. Para la selección de las cuestiones, Cronbach sugiere seguir los siguientes criterios: que la cuestión provoque una gran incertidumbre en torno a la respuesta; la posible abundancia y accesibilidad a la información; la influencia de la cuestión para la futura toma de decisiones; y el bajo coste de la investigación (criterio económico) (1987: 155). Las indicaciones y criterios recomendados por Europe Aid (2006a: 42-48) para llevar a cabo la fase convergente son más complejos, en cierta medida se solapan y en algún punto se observan incoherencias. En primer lugar, Europe Aid recomienda seleccionar una lista con aquellas cuestiones relacionadas con la lógica de la intervención, con las cuestiones incluidas en los términos de referencia, con las cuestiones planteadas por los informantes clave y con las expectativas del grupo de referencia. En un segundo momento, se habla el criterio de “potencial utilidad de las respuestas” para la selección de las preguntas, que, siguiendo la definición de Europe Aid, está en relación con los criterios de Cronbach de influencia (utilización esperada) e incertidumbre (desconocimiento de la respuesta). Un tercer criterio de selección es el de “factibilidad de las preguntas de evaluación” o la evaluabilidad. Los componentes de la factibilidad están en relación con la dificultad para tratar la pregunta, con la complejidad del campo a estudiar, la existencia de dificultades de acceso a la información y con la pretensión de medir una actividad demasiado reciente o un impacto demasiado lejano. A continuación, Europe Aid plantea que la elección de preguntas clave ha de estar sujeta al debate en la etapa de la reunión inicial, entendemos que con el grupo de referencia. 25 Los criterios de evaluación son: eficacia, eficiencia, pertinencia, impacto, sostenibilidad, coherencia y complementariedad. Las necesidades informativas deducidas indirectamente de la lógica de la intervención, son elaboradas en función de dichos criterios.

- 21 -



Además, en este punto, abre la puerta a la participación de los stakeholders ya que se considera que la selección de preguntas es más exitosa cuando se consulta a los potenciales usuarios de la intervención. En este punto, los stakeholders son tenidos en cuenta para la selección de las preguntas aunque no se plantea, sin embargo, cómo se consultaría a los usuarios sobre la selección de preguntas. Finalmente, Europe Aid expone tres razones para seleccionar las preguntas:

- porque alguien la ha planteado. Aunque no se definen qué stakeholders son los que pueden plantear necesidades informativas. En el caso de que se esté optando por una definición amplia de actores más allá del grupo de referencia, como parece por la mención más arriba de los usuarios del programa, se plantea una incoherencia puesto que en la fase divergente no se contempla la recogida de las necesidades informativas de todos los actores;

- porque es útil. Es decir, algún actor espera validación, la cuestión puede ayudar a la toma de decisiones o alimentaría el debate público. Esta idea está en línea con el criterio anteriormente propuesto de potencial utilidad de la respuesta;

- y, finalmente, otra razón sería que no se conoce la respuesta. Con lo que se volvería a hacer referencia a la incertidumbre en torno a la respuesta.

4. PREGUNTAS RELEVANTES Y CRITERIOS

Desarrollada la fase convergente, se han seleccionado las cuestiones relevantes para la evaluación. El siguiente paso en el diseño de la evaluación es establecer cuales van a ser los criterios de valor (de evaluación, según Europe Aid). Los criterios son herramientas o conceptos que encierran en sí mismos un juicio de valor en positivo, ya que delimitan un campo de valor socialmente aceptado, y ayudan a contrastar con la situación real del programa. Es decir, dónde se sitúa el programa con respecto a lo deseable (Ligero, materiales del Máster en evaluación. Fichas sobre criterios, preguntas e indicadores). Existen dos procedimientos para formular los criterios de valor:

- Utilizar un modelo estándar de criterios en los que clasificar las preguntas de evaluación. El modelo estándar más utilizado en la evaluación de la ayuda al desarrollo está basado en los cinco criterios formalizados por el Comité de Ayuda al Desarrollo (CAD) de la OCDE: pertinencia, eficacia, eficiencia, impacto y sostenibilidad26. Este modelo de criterios es fruto del consenso y la experiencia y ayuda a adaptar las diferentes necesidades de un programa favoreciendo la comparación.

- Establecer los criterios de valor de manera interpretativa, según las necesidades de valoración de los stakeholders. Los actores implicados en la evaluación han de ponerse de acuerdo sobre la definición de los criterios de valor. Esta opción está en línea con la evaluación comprensiva de Stake (2006: 142) que supone que el

26 Las definiciones de los cinco criterios propuesta por el CAD están hechas, no en términos de deseabilidad, sino que están redactadas para la medición. Por ejemplo, la eficacia, se define como la “medida en que se lograron o se espera lograr los objetivos de la intervención para el desarrollo, tomando en cuenta su importancia relativa”. La pertinencia se define como la “medida en que los objetivos de una intervención para el desarrollo son congruentes con los requisitos de los beneficiarios, las necesidades del país, las prioridades globales y las políticas de los asociados y donantes”. (OCDE 2002: 20 y 32) www.oecd.org/dac/evaluationnetwork

- 22 -

http://www.oecd.org/dac/evaluationnetwork



evaluador ha de familiarizarse con las preocupaciones y sistemas de valoración de los agentes implicados.

El modelo de Europe Aid utiliza siete criterios estandarizados basados en los cinco del CAD a los que añade dos más: la coherencia/complementariedad y el valor añadido comunitario. El criterio de coherencia tiene tres dimensiones: la coherencia interna del programa de desarrollo de la Comisión, la coherencia/complementariedad con las políticas del país asociado y con las intervenciones de otros donantes y la coherencia con las otras políticas comunitarias. El criterio del valor añadido de la Comisión es la medida en que se suman las ventajas aportadas por la intervención a las que habrían resultado exclusivamente de la acción de los Estados miembros en el país asociado.

Las definiciones de los criterios que hace Europe Aid y las preguntas que formula como ejemplos muestran una clara tendencia a la evaluación por objetivos y a la medición de los efectos. La redacción de los criterios, tanto en el caso del CAD como en el caso de Europe Aid, no se realiza en términos de deseabilidad social sino que son definiciones orientadas a la medición: en qué medida los objetivos de la intervención corresponden a las expectativas (pertinencia), en qué medida se alcanzaron los objetivos (eficacia), en qué medida se obtuvieron los efectos con el mínimo de recursos (eficiencia), en qué medida se perpetúan los beneficios resultantes (sostenibilidad), en qué medida se consiguen efectos a largo plazo (impacto). Entendemos que esta orientación a la medición tiene que ver con el hecho de que las definiciones de los cinco criterios del CAD están muy incorporadas en la práctica de la evaluación de la ayuda al desarrollo, por lo que se tiene asumida su definición en términos de valor y no se considera necesario hacerla explícita.

Si bien la evaluación por criterios preordenados tiene la ventaja de que se facilita la comparación entre intervenciones, la principal desventaja es que, al no se hacerse una evaluación interpretativa de la situación dada, quedan fuera de juego criterios que podrían emerger de la propia intervención y ser importantes. No se concibe la opción de que la intervención o los stakeholders puedan considerar otros criterios como deseables y que, en su contexto particular, alguno de los siete criterios propuestos no sea tan relevante. Por ejemplo, los criterios de equidad o igualdad en la distribución de los productos y efectos, la participación real del grupo de beneficiarios o la rapidez para cubrir las necesidades pueden ser más importantes para una intervención que el criterio de eficiencia o sostenibilidad, etc.

5. OPERACIONALIZACIÓN DE CRITERIOS

El siguiente paso en el diseño de la evaluación es el desarrollo de la matriz de evaluación donde se operacionalizan los criterios en subcriterios o preguntas, aspectos que definen la pregunta, los indicadores y sus fuentes de verificación u obtención de información (Ligero, materiales del Máster en evaluación. Ficha sobre criterios, preguntas e indicadores).

- 23 -



Tabla 2. Matriz del Diseño de la Evaluación

Criterio:

Preguntas Aspectos que definen la pregunta Indicadores Fuentes de obtención de

información

Fuente: Ligero, materiales del Máster en evaluación. Ficha sobre criterios, preguntas e indicadores.

Una vez elegidos los criterios de valor o usando un modelo estandarizado, las preguntas de evaluación se agruparán en torno a esos criterios explicitándolos y operacionalizándolos. Así pues, cada criterio se desglosará en una serie de preguntas de evaluación que darán una definición operativa al criterio. En un modelo estandarizado, para que las preguntas tengan cabida habrían de amoldarse a los criterios de valor predeterminados. El producto final es una columna, la primera, donde se recogen las preguntas de evaluación para cada criterio. A esta fase se le llama trabajo vertical.

A continuación el diseño de la matriz de evaluación se extiende en horizontal: para cada pregunta se introducirán aquellos aspectos que definan la pregunta para el caso de la intervención concreta. Este es un paso relevante para la transición del concepto o pregunta hasta una variable empírica y medible o indicador. Europe Aid llama a este elemento “criterio de juicio”, ya que se precisa cuál es el aspecto de la intervención que al analizarlo va a permitir apreciar su mérito o éxito. Por tanto, el enjuiciamiento de la intervención estará basado en el criterio de juicio que va acompañado de un “nivel meta” o estándar y de un indicador.

Así pues, el siguiente paso en el trabajo horizontal es la definición de los indicadores para cada pregunta. El indicador supone la concreción de la pregunta en una variable empírica, observable y medible y están vinculados a los datos que es preciso recopilar. En la construcción de indicadores hay que procurar que se acerquen lo más posible al concepto a medir y deben ser redactados como una condición lógica que si se cumple contesta a la pregunta de evaluación. Aunque desde una perspectiva más interpretativa de la situación de la intervención no haría falta, los indicadores pueden ir acompañados de un estándar que tengan una función valorativa. Es decir, el estándar “es el patrón o norma que se establece sobre un determinado grado del indicador y permite valorar si un objetivo del programa se ha alcanzado o no”. (Ligero, materiales del Máster en evaluación. Ficha sobre criterios, preguntas e indicadores). Europe Aid, propone un concepto similar al de estándar llamado “nivel meta”: un objetivo verificable o un nivel de desempeño a alcanzar, que permitirá enjuiciar el cumplimiento de los objetivos de la intervención. El nivel meta se establece tras la definición del criterio de juicio y se establece, o bien partiendo de los niveles establecidos en los objetivos de la intervención, o bien mediante la comparación con buenas prácticas de otras intervenciones (garantizando que las condiciones del contexto sean suficientemente parecidas) o con buenas prácticas dentro de la misma intervención (Europe Aid, 2006a: 57-58). Tras la explicación sobre el nivel meta, Europe Aid introduce el concepto de indicadores, que están vinculados a los criterios de juicio y especifican “qué información se debe recabar para emitir un juicio según dichos criterios” (2006a: 59).

- 24 -



Por último, el diseño de la matriz de evaluación se completa con una columna que contenga las fuentes de extracción de la información donde se definen, para cada indicador, la forma en que se obtendrán los datos de manera fiable. Previo a las fuentes de información, en el caso de Europe Aid se introducen tres pasos anteriores: la secuencia de razonamiento, la estrategia de análisis y las áreas de investigación. En la secuencia de razonamiento se introducen aquellas etapas que se desarrollarán para responder a la pregunta y que cubren la etapa relativa a indicadores, la relativa al análisis y la relativa a la aplicación de los criterios de juicio. En la fila de estrategia de análisis se recogen los tipos de análisis que se realizarán para analizar los datos. Las áreas de investigación marcan aquellas áreas de la intervención o intervenciones de donde se recogerán y tratarán los datos.

En el caso de Europe Aid la tabla de diseño de la evaluación quedará de la siguiente manera:

Tabla 3. Tabla de diseño para cada pregunta

Preguntas Texto de la pregunta relacionado con un criterio.

Criterios de Juicio Aspecto por el que se apreciará el éxito de la intervención.

Indicadores Datos que ayudarán a apreciar el éxito.

Nivel meta Nivel a considerar como éxito.

Secuencia de Razonamiento Etapa de indicadores, de análisis y de enjuiciamiento.

Estrategia de análisis Tipos de análisis de los datos.

Áreas de investigación Nivel en el que serán recogidos los datos

Fuentes de información y herramientas Forma de obtención de los datos.

Fuente: Basado en Europe Aid, (2006 a: 62 y 66)

Para finalizar, queremos hacer hincapié en la conexión que la metodología de evaluación de la Unidad de Evaluación de Europe Aid establece entre al nivel meta y el enjuiciamiento. El nivel meta permitirá enjuiciar de manera que se considerará la intervención como un éxito (si supera o iguala este nivel) o un fracaso (si no se alcanza). En el capítulo 11 (ver página 33) sobre enjuiciamiento se continúa el desarrollo de esta línea argumental.

6. DISEÑO METODOLÓGICO

Una fase paralela a la elaboración de la matriz de evaluación es la fase de las estrategias o del diseño metodológico27. En las evaluaciones de resultados el concepto

27 Europe Aid entiende como diseño metodológico la fase de elaboración de las tablas de diseño para cada pregunta, vistas en el capítulo 5. Lo define como el método que permitirá al evaluador responder a las preguntas y llegar a un juicio final mediante las fases de secuencia de razonamiento lógico, la estrategia

- 25 -



de validez interna es clave ya que se “pretende demostrar de un modo inequívoco que existen –o que no existen- efectos específicos debidos a una intervención” (Alvira, 1991: 56). Para asegurar la validez interna, estas evaluaciones necesitan de un control metodológico válido que controle las relaciones causales entre variables independientes y dependientes asegurando que el programa es responsable de los efectos observados y que éstos no se deben a otras variables intervinientes (Weiss, 1998: 185). Las estrategias metodológicas se pueden clasificar en dos tipos: las apoyadas en la lógica de la distribución al azar y apoyadas en a lógica del control de posibles variables intervinientes (Ligero, materiales del Máster en Evaluación. Ficha sobre elecciones metodológicas para la evaluación de resultados. Pág. 13). A continuación explicaremos los posibles diseños de cada una de estas estrategias para después analizar cuál es la propuesta de Europe Aid.

Las estrategias apoyadas en la lógica de la distribución al azar pretenden controlar los efectos de otras variables mediante una igualdad fabricada (Ligero, Ibíd.: 25). Encontramos tres tipos de diseño: el diseño experimental, el cuasiexperimental y los diseños no experimentales.

El diseño experimental se basa en la comparación del grupo de intervención y uno o más grupos de control que no ha recibido la intervención. La selección de los miembros de cada grupo se realiza de manera aleatoria para asegurar que ambos grupos sean equivalentes de forma que las diferencias observadas después del programa sean atribuibles a la intervención. Para reforzar la validez interna del diseño se puede añadir una medición antes de comenzar el programa (Alvira, 1991: 65). En algunos tipos de programas estos diseños son difíciles de desarrollar bien porque abarquen a toda la población, porque no se hayan distribuido los grupos aleatoriamente desde el principio de la intervención o por cuestiones éticas, etc.

El diseño cuasiexperimental replica el modelo experimental basándose en la comparación con un grupo de control no equivalente, es decir, sin aplicar la aleatorización, o la comparación consigo mismo mediante series temporales. El grupo de comparación ha de confluir en las variables más relevantes con el grupo de intervención. Este método implica la realización de un análisis ‘pretest-postest’ para comparar ambos grupos y/o ajustar los grupos mediante regresión a posteriori. La comparación consigo mismo mediante series temporales implica mediciones repetidas antes, durante y después de la intervención. Así, se permite comparar al grupo de intervención consigo mismo en el tiempo obteniendo una estimación del efecto neto. Las series temporales se podrían contrastar también con otros grupos de comparación. Según el modelo ARIMA de serie temporal es aconsejable que haya al menos de 50 mediciones antes y 50 posteriores a la intervención para darle mayor robustez al modelo (Alvira, 1991: 66 y 71) (Ligero, Ibíd.: 18-19).

Los diseños no experimentales no permiten extraer el efecto neto pero pueden proporcionar explicaciones “intuitivas” a la espera de un modelo con mayor validez interna. Entre este tipo de diseños encontramos cuatro modelos: el modelo “antes –después” (pretest-postest) que mide solo la intervención; el modelo “antes -después con estudio de contexto” que da información sobre posibles variables que están afectando; el modelo “sólo después con grupo de comparación no equivalente” (con mayor solidez si se estudia el contexto); y el modelo “sólo después con comparación”

de recopilación y análisis de datos y los campos seleccionados para realizar las investigaciones. Además añade la idea de “optimización del método” que trata de combinar de manera adecuada las herramientas de búsqueda de información, el tiempo y los recursos disponibles (Europe Aid, 2006a: 64).

- 26 -



de los efectos de otros proyectos comparables o con la literatura sobre el sector de la intervención (Ligero, Ibíd.: 20-24).

Las estrategias apoyadas en la lógica del control de las posibles variables intervinientes pueden servir en sí mismas para completar los diseños no experimentales (Ligero, Ibíd.: 25). Si se trata de controlar sólo una variable, el mecanismo puede ser las tablas de contingencia trivariada que observan la relación de la variable “a” y “b” en cuanto a “c”. Estadísticamente se pueden homogeneizar dos grupos en una serie de variables determinadas, reconstruyendo así un grupo de comparación cuasiexperimental. A esta herramienta se la conoce por estandarización o modelización. Por último, mediante la regresión múltiple se conseguiría ver cual es la contribución neta de las variables independientes sobre la variable dependiente.

La metodología de Europe Aid recoge de manera implícita la idea expuesta anteriormente de validez interna28 al hacer una llamada de atención sobre la relación entre indicadores y efectos: los indicadores dan información sobre los cambios pero estos cambios pueden ser suscitados por el programa o por otros efectos (Europe Aid, 2006a:63). Las opciones de diseños metodológicos están recogidas dentro de las estrategias de análisis29. Estas estrategias se clasifican en cinco tipos (2006a:99-82):

- Análisis del cambio. Se mide la evolución de los indicadores “a través un periodo de tiempo” pero no se establece una relación de causalidad entre la intervención evaluada y el cambio. Su intención tiene más que ver con observar la evolución de los cambios a lo largo del periodo. Se correspondería con un diseño de varias mediciones durante un periodo de tiempo. No se define cuánto tiempo ha de abarcar ese periodo ni el número de mediciones a desarrollar. Tampoco se pretende contribuir a la validez interna por lo que no se puede considerar como un modelo de series temporales, aunque el formato tenga similitudes.

- Meta-análisis. Extrapolación de los hallazgos de otras evaluaciones o estudios tras verificar su validez y la posibilidad de transferirlos. Esta estrategia se correspondería con un modelo “sólo después” con comparación de los efectos observados con los efectos de otros proyectos comparables.

- Análisis de atribución. Tratan de identificar la proporción de los cambios observados que son o no atribuibles al programa para lo que se propone el uso de métodos como grupos de comparación o modelización para realizar un ‘análisis contrafactual’ que quedará reflejado en una gráfica. Es decir, mediante un ‘pretest- postest’ se identifican los cambios en el objeto de la intervención y los cambios en el grupo de comparación o la modelización. Estaríamos ante un modelo cuasiexperimental que permitiría una estimación fiable de los efectos del programa.

- Análisis de contribución. Trata de poner de manifiesto si la intervención es una de las causas de los cambios observados. Para ello se propone el desarrollo de una cadena argumental donde se busquen elementos de prueba de cada uno de los vínculos causa-efecto procedentes de la reconstrucción de la lógica de la intervención. Este modelo entraría más en la lógica empleada por de marco lógico.

28 Europe Aid asocia la validez interna a la calidad del método de evaluación que permite que no haya sesgos imputables a la recogida de información o a las técnicas de análisis (Europe Aid, 2006a: 87). 29 Como hemos visto en el capítulo anterior, las tablas de diseño por preguntas de evaluación contenían un apartado dedicado a las estrategias de análisis.

- 27 -



- Identificación de los principales factores externos o contextuales independientes a la intervención pero que obstaculizan o amplifican los cambios esperados. Supone un estudio de contexto, pero no se controla su efecto estadísticamente como variables intervinientes por lo que estaríamos en un diseño no experimental de estudio de contexto. Se ganaría validez interna si se aplicasen controles estadísticos expost como los citados anteriormente: estandarización, tablas trivariadas o regresión.

En conclusión, podemos decir que la metodología de Europe Aid contiene la preocupación por la causalidad de los efectos o a validez interna, a la que intenta dar solución mediante una serie de estrategias de análisis que contienen diversos diseños y modelos metodológicos. Consideramos que el nombre de “estrategias de análisis” puede llevar a pensar que serían sólo mecanismos de control ex post de los datos previamente recabados. En cambio, el diseño de las estrategias metodológicas conviene hacerlo en una fase previa al trabajo de campo, en paralelo a la operacionalización de criterios ya que sirve como guía para el diseño de las herramientas de extracción de información, para la búsqueda de datos sobre determinadas variables previamente pensadas y para definir las fuentes donde se van a buscar información. Por ejemplo, habría que pensar de antemano en aplicar las herramientas de extracción de información al grupo de control o comparación, o pensar qué variables están interviniendo en un contexto para buscar datos sobre ellas y estandarizar. Estos elementos, necesarios para el diseño metodológico y a desarrollar durante del trabajo de campo, quedarían suprimidos si el diseño metodológico se define durante la fase del análisis de datos ya que se contaría sólo con la información recabada de antemano.

Entre los modelos metodológicos propuestos consideramos interesante la propuesta del análisis ‘contrafactual’ por ser un modelo cuasiexperimental con mayor validez interna. Entre las otras propuestas, nos surge la duda de si Europe Aid contempla la posibilidad de la combinación de estrategias ya que ello podría suponer mayor robustez de los modelos. Es decir, si se combinasen, por ejemplo, el análisis del cambio (varias mediciones a lo largo de un periodo de tiempo) con el estudio del contexto o de los factores externos más relevantes, la estrategia metodológica sería más completa. Se hecha en falta la mención a los diseños experimentales, la mención a los diseños no experimentales “antes-después” y la posibles combinaciones de éstos últimos diseños o de los modelos propuestos por Europe Aid con las estrategias de control ex post de las variables intervinientes, que aumentarían la validez interna del modelo.

7. BÚSQUEDA DE FUENTES Y DISEÑO DE TÉCNICAS

La primera parte del capítulo nueve de la metodología de evaluación de Europe Aid, dedicado a la recolección de información, se centra en el plan de recogida de información a través de datos primarios y secundarios. Este apartado de diseño de técnicas y búsqueda de fuentes de información coincide con la última fase del diseño de la evaluación.

Las herramientas propuestas para la recopilación de los datos primarios son tanto cualitativas como cuantitativas. En la guía de metodología se enumeran cinco técnicas: entrevistas, cuestionarios, focus groups, visitas y observaciones directas (2006a:73). En la Guía sobre Herramientas de evaluación también se explican algunas herramientas de recopilación de datos que además se consideran válidas para la fase del análisis (2006c:10): la entrevista individual, los focus groups o las entrevistas de grupo, la

- 28 -



encuesta y el estudio de caso. En cada una de las herramientas se recoge cómo preparar la técnica, cómo desarrollarla, recursos necesarios, ventajas e inconvenientes. No se abordan sin embargo, los pasos o la forma de analizar los datos surgidos con cada técnica, excepto en el caso de la encuesta.

- Entrevista individual (desestructurada, semiestructurada y estructurada): Es una técnica rápida y que implica recursos moderados. La preparación requiere poco tiempo y el desarrollo de las entrevistas está limitado al número de entrevistas que se puedan hacer al día. Los principales gastos son de desplazamiento aunque en algunas ocasiones bastan entrevistas en la Comisión Europea y el gobierno del país socio (2006a:71). Con las entrevistas puede haber problemas de representatividad de los interlocutores.

- Focus groups o entrevistas de grupo: Es también un método rápido, que implica algo más de coste porque hay que remunerar a los animadores del grupo, los costes de logística son mayores y, a veces, se remunera a los participantes. La muestra es más amplia que en el caso anterior y es una herramienta útil para explicitar posturas y recopilar datos sobre la percepción del impacto entre los beneficiarios finales.

- Encuesta: Es una técnica que se puede usar con una muestra representativa, es útil para averiguar el grado de satisfacción de los beneficiarios finales y se recoge información cuantificada lo que permite un tratamiento estadístico. Las preguntas y el método de muestreo han de estar bien escogidos y se deberá tener presente la necesidad de dedicar un tiempo considerable en su elaboración. La dificultad del terreno hará variar el tiempo dedicado al desarrollo de la encuesta. . Los costos de logística son también mayores.

- Estudios de caso: se utilizan uno o varios casos reales con objeto de profundizar en el conocimiento del evaluando. Se obtiene una información en profundidad. No requiere mucho tiempo de preparación ni desarrollo, pero puede haber problemas de representatividad o generalización de los resultados.

Una de las principales recomendaciones que hace Europe Aid en cuanto al diseño de técnicas se refiere a la búsqueda de fuentes secundarias, es decir, a la información que ya se encuentra disponible en los propios datos de la intervención, en los datos de la gestión o el seguimiento, en los datos estadísticos publicados, en los informes de evaluación, etc. La importancia de los datos secundarios se basa en evitar duplicaciones y costos y, sobretodo, en que la no utilización de fuentes secundarias supondría falta de interés de los informadores y una disminución de credibilidad de la evaluación ya que las partes interesadas encuentran esta información como importante30 (Europe Aid, 2006a: 74-75).

Carol Weiss (1998:152) identifica también fuentes primarias y secundarias de recopilación de información. Entre las primarias se ocupa de las entrevistas formales e informales, la observación y los cuestionarios. Entre las fuentes secundarias recoge los documentos del programa, los datos disponibles de otras instituciones y datos estadísticos existentes de la administración o de encuestas longitudinales. Como vemos hay coincidencia de técnicas entre las propuestas por Weiss y por Europe Aid. La autora añade además unas consideraciones sobre el uso de datos secundarios: “la evaluadora ha de estar segura de los que sabe, de lo que está consiguiendo y donde se mete”

30 El director de la Unidad de Evaluación incidió también en la utilidad de los datos secundarios. Además, refirió gran parte de la información necesaria para una evaluación se encuentra en las bases de datos secundarios en Bruselas (Jean-Louis Chomel, 23 de febrero de 2007).

- 29 -



(1998:172). Las precauciones que Weiss menciona son que hay que tener en cuenta si el objeto de medición o la definición de los términos es la misma en las fuentes secundarias, que los datos secundarios midan los mismos indicadores y no otros, también la exactitud o fiabilidad de los datos, la base geográfica de las fuentes secundarias en contraste con la muestra que la evaluadora necesita, la representatividad de la muestra o si en cambio no se ha conseguido llegar a ciertas poblaciones de difícil acceso y, por último, la posible manipulación sobretodo en los datos administrativos. Consideramos que sería interesante que la metodología de Europe Aid recogiera alguna de estas precauciones para el tratamiento de los datos secundarios con la intención de conseguir mayor exactitud y fiabilidad de los hallazgos. En cambio, como veremos en el capítulo siguiente, sí se recogen consideraciones para la validez de los datos obtenidos de fuentes primarias. Finalmente, Weiss aduce que, a pesar de estas consideraciones, el uso de las fuentes secundarias tiene mucho sentido y es muy útil para, en el caso de programas grandes, conseguir datos longitudinales de la distribución de recursos y outcomes (1998:175).

8. TRABAJO DE CAMPO

En el capítulo sobre recolección de información, Europe Aid plantea posibles dificultades del trabajo de campo y posibles soluciones. Puede haber problemas de acceso a los informadores, que los informadores no se expresen con libertad o que sea difícil establecer una muestra significativa. Otro tipo de dificultades planteadas en la guía están relacionadas con la denominada brecha cultural, que supone la existencia de diferencias de idioma o distancia cultural. Además, puede suceder que los datos sean débiles si la fuente no está completa o no es fiable.

A continuación, la metodología de Europe Aid analiza los posibles sesgos que pueden afectar a la fiabilidad de los datos y a la calidad de la evaluación. Entre los posibles sesgos se hace mención al ‘sesgo de confirmación’, entendido como la tendencia a buscar datos que confirmen las hipótesis de la lógica de la intervención centrándose únicamente en los efectos esperados. Existe también la posibilidad de que los informantes no se expresen con la libertad deseada, generalmente debido a cierta dosis de autocensura. Esto produce una disminución de la fiabilidad de los datos. Otro sesgo posible introducido desde la figura del informante, es que éste exprese una información manipulada a servicio de su propio interés. Se identifica también como sesgo la posibilidad de que el evaluador introduzca preguntas durante las entrevistas que inviten o induzcan al informante a dar un tipo de respuesta. En el caso de las entrevistas, una demasiada empatía provoca un sesgo positivo en las respuestas y la tendencia a sobreestimar los efectos de la intervención. Los cuestionarios deben estar respaldados por una muestra de informadores amplia y representativa para no introducir sesgo. Y, por último, en el caso de las entrevistas hay que tener en cuenta que las personas que aceptan ser entrevistadas pueden no ser representativas de la opinión general. Estas consideraciones son interesantes para lograr una mayor fiabilidad de los datos recogidos de las fuentes de información primarias.

Por último, queremos hacer una referencia al tiempo considerado como necesario para desarrollar el trabajo de campo. Europe Aid propone que, aunque es una fase difícil de la evaluación, es suficiente entre medio mes y un mes para el desarrollo del trabajo de

- 30 -



campo31. Nos parece que el tiempo dedicado al trabajo de campo dentro de los doce meses que dura todo el proceso32 puede ser limitado. Esta limitación se puede deber a la relevancia otorgada en la metodología de Europe Aid a los datos secundarios que conllevan la dedicación de un menor tiempo para su recopilación, una vez que están pensadas las fuentes de búsqueda de información. En cambio, las fuentes primarias (excepto la encuesta) conllevan menor tiempo de preparación pero requieren dedicar un tiempo del trabajo de campo para su aplicación.

9. ANÁLISIS DE DATOS

Por análisis de datos entendemos el ejercicio por el cual una ingente masa de información se transforma en un conjunto coherente de datos (Weiss, 1998: 271). En este proceso de trabajo con los datos, la responsabilidad del evaluador es doble: debe contribuir a garantizar que los hallazgos que se encuentren tengan una sólida y precisa base en los datos, y debe ser capaz de presentar el análisis a los responsables de tomar decisiones y a aquellos que vayan a usar la información de tal forma que éstos puedan entenderla (Patton, 1982: 240). La etapa del análisis no es el último paso de la evaluación sino la preparación, mediante el examen, organización y ordenación de los datos, para la fase final que comprende la interpretación de los datos, el enjuiciamiento sobre ellos y las recomendaciones (Patton, 1982: 269).

Europe Aid plantea una vinculación entre la etapa del análisis y del enjuiciamiento ya que mediante el juicio estos hallazgos se convierten en conclusiones:

Análisis: Datos Hallazgos Juicio: Hallazgos Conclusiones

Si bien en la explicación de cada técnica de recopilación de información no se desarrolla un paquete de ideas en cuanto al análisis específico de la información surgida de cada herramienta (excepto en el caso de la encuesta), la metodología de Europe Aid recoge unas recomendaciones para el tratamiento general de datos, su exploración y confirmación. Los datos han de tratarse mediante operaciones como el cruce de datos (uso de varias fuentes o tipos de datos para establecer un hecho); la comparación (usando tablas o gráficos, comparar teniendo en cuenta una o varias dimensiones); la agrupación (asociando datos a tipologías); el listado (identifica las diferentes dimensiones de una necesidad, efecto…); etc. Carol Weiss (1998: 285-287) identifica algunas operaciones para el análisis de datos además de las arriba mencionadas: la descripción, el recuento, la división por factores, la búsqueda de similitudes, el examen de casos desviados, búsqueda de correlaciones, etc. Tras este primer tratamiento de los datos, el análisis exploratorio buscará nuevos tipos de información, datos y factores con el fin de identificar posibles estructuras, diferencias, contrastes, similitudes y/o

31 (Jean-Louis Chomel, 23 de febrero de 2007). 32 La distribución temporal del proceso de evaluación supone que se dedica un mes para la elaboración de las preguntas de evaluación, de seis a siete meses para el trabajo de diseño, de medio mes a un mes para el trabajo de campo y entre cuatro y cinco meses al informe final. (Jean-Louis Chomel, 23 de febrero de 2007).

- 31 -



correlaciones y reforzar los hallazgos (Europe Aid, 2006a: 80-82). Por último, la confirmación de los datos supone verificar los hallazgos garantizando la calidad y la credibilidad de los mismos. Para ello hay que someter los hallazgos a todas las críticas posibles y contar con el apoyo de pruebas como hechos observados, documentos, declaraciones de testigos, etc.

Como fuentes de información y confirmación, Europe Aid identifica una gran cantidad de herramientas que pueden servir para ayudar en el análisis de datos: el diagrama de problemas, el diagrama de decisiones, los focus groups o entrevistas de grupo, el cuestionario, el análisis multicriterio, el análisis coste beneficio, el estudio de caso, la técnica DAFO, los indicadores de contexto, el panel de expertos y el análisis cultural y social (Europe Aid, 2006c: 10).

Entre los tipos de análisis recogidos habría que reconsiderar el uso de los análisis de revisión de la teoría del programa para plantear el contraste con los datos, así como, un análisis de redes sociales podría ser significativo a la hora de encontrar hallazgos.

Por último Europe Aid introduce la idea de la validez del análisis que se consigue cuando: los hallazgos pueden generalizarse más allá de la muestra observada y se puede aseverar que una intervención similar implementada en otro contexto tendría los mismos efectos en determinadas condiciones (validez externa); los hallazgos no derivan de una información sesgada y se puede asegurar que los hallazgos derivan de hechos (validez interna33); y, por último una validez de construcción, es decir que los indicadores que se debían medir se han medido.

10. INTERPRETACIÓN

Europe Aid no recoge un apartado especial para el capítulo de la interpretación, sin embargo, durante el análisis expresa la necesidad de que los hallazgos no se expresen como un listado de datos sino que vengan acompañados de una explicación de causalidad plausible. En esta línea, Carol Weiss (1998: 288) también comenta la necesidad de dar explicaciones fundamentadas a los datos y Stake alega que el análisis ha de acompañarse de una dotación de significado lo más completo posible que se obtendrá probando hipótesis y triangulando interpretaciones (Stake, 2006: 232). Sin embargo, ambos autores no distinguen una fase explícita de la evaluación dedicada a la interpretación. Como argumenta Patton, la interpretación va más allá de los hallazgos empíricos (findings) o la información recogida. Las interpretaciones ofrecen “explicaciones sobre los hechos, especulaciones sobre las interrelaciones, las causas y las razones de los hallazgos y los significados otorgados a los datos” (Patton, 1982: 273). En línea con Patton, consideramos que, dada la importancia de dotar de significado a los resultados, es necesario dedicar una fase, tiempo y recursos a la interpretación de los datos. Ligero y Bustelo (materiales del Máster en Evaluación. Ficha sobre interpretación de los datos. Pág. 2-3) consideran que la fase de interpretación supone un ejercicio de síntesis de toda la información recogida al que se dotará de explicación y sentido intentando contestar a la pregunta de qué está ocurriendo en la intervención y resolviendo las aparentes contradicciones que hayan surgido durante el análisis de datos. Para la búsqueda de la explicación más veraz

33 En este caso el concepto que usa Europe Aid de validez interna es distinto al que usamos para el capítulo 6 sobre diseños metodológicos.

- 32 -



Ligero y Bustelo hacen cuatro recomendaciones: que se desechen explicaciones sin fundamento, que se prueben hipótesis alternativas, que se revise la interpretación en función del contexto del programa y que se contrasten las explicaciones con los stakeholders. Aunque ambos autores reconocen que no existe el método infalible para encontrar la mejor explicación, recomiendan dos procedimientos comprensivos: el camino de los campos de ideas y la disposición de la información según las dimensiones del programa: contexto, diseño, estructura, procesos y resultados (ver gráfico 4, página 16). Ambos procedimientos tienen como objetivo conseguir una visión holística de los datos surgidos del análisis, para dar así una interpretación comprensiva. Siguiendo el argumento de Weiss de la caja negra (1998: 49. ver página 14), entendemos que para conseguir una visión comprensiva de lo que está pasando en el programa y elaborar una interpretación plausible de los datos, hacen falta el análisis de los procesos y la estructura, además de los resultados e impactos. La mención de Europe Aid a la reconstrucción de las cadenas de causalidad para asegurar la fiabilidad de los hallazgos y las explicaciones de los mismos, van por esta línea de entendimiento del programa. Sin embargo, consideramos que para elaborar de manera más comprensiva estas cadenas causales, sería aconsejable que propusieran un estudio más relevante de los procesos y las estructuras, ya que en la metodología se priorizan resultados e impactos (Europe Aid, 2006a: 13).

El poder dar una interpretación comprensiva de los hallazgos y de lo que está pasando en el programa es relevante para conseguir la consecución de las tres funciones de la evaluación: en primer lugar enlightenment y mejorando la comprensión del programa, se facilitan las funciones de mejora (improvement) y rendición de cuentas (accountability).

11. ENJUICIAMIENTO

Tras los hallazgos y las interpretaciones, el siguiente paso en la secuencia lógica propuesta por Patton (1982: 273) corresponde al enjuiciamiento. Los juicios son los valores aplicados a los datos que mediante criterios específicos se concluye que los hallazgos son “buenos” o “malos”; “positivos” o “negativos”; “en la dirección deseada” o “en una dirección no deseada”; “por encima de las expectativas”, “en línea con éstas” o “por debajo de las expectativas”. Esta forma de enjuiciar se desarrolla mediante la comparación de los hallazgos con los criterios y los estándares predefinidos (los niveles meta en el caso de Europe Aid). En este tipo de enjuiciamiento preordenado o de categórico, el enjuiciamiento se realiza según se ha definido en el diseño basándose en los datos y no tanto en las interpretaciones. Si los datos son fiables y los indicadores cumplen con los estándares o niveles meta, se puede decir que el programa cumple positivamente con el criterio de evaluación correspondiente. El criterio de juicio será positivo para este programa. El enjuiciamiento categórico tiene la ventaja de que es un sistema rápido, donde, si el diseño está bien hecho, no surgen inconvenientes. Ligero argumenta que una desventaja de este tipo de enjuiciamiento es que se queda en un juicio “salomónico” y no interpretativo, donde, si el indicador supera o iguala el nivel meta, es positivo y, si no lo alcanza, negativo. Juan Andrés Ligero pone el ejemplo de que si, el nivel meta para la eficiencia se establece en el 100% y el programa alcanza el 98%, el programa sería calificado como ineficaz. Es decir, en este juicio pesa más el 2% no logrado que el 98% alcanzado. Por tanto, argumenta que el enjuiciamiento salomónico se preocupa más por clasificar el programa según los criterios preordenados

- 33 -



que por entender las causas o las razones de los datos obtenidos por el programa, atendiendo más a una finalidad sumativa que formativa (Ligero, materiales del Máster en Evaluación. Ficha sobre Establecimiento de Juicios de valor. Pág. 4-5).

Europe Aid se adhiere a este tipo de enjuiciamiento recomendando aplicar los criterios de juicio y los niveles meta a los hallazgos. Sin embargo, los niveles meta diseñados no son tan rígidos sino que eventualmente pueden identificarse otros puntos de vista durante el trabajo de campo y ser tenidos en cuenta en los criterios de juicio (Europe Aid, 2006a:89). En un tipo de enjuiciamiento comprensivo las cuestiones definidas y consensuadas en el diseño son útiles pero pueden ser modificadas porque se incorporen nuevas demandas o cuestiones que pueden surgir del conocimiento y la comprensión del programa (Ligero, Ibíd.: 5). Por tanto, para el enjuiciamiento comprensivo es fundamental la fase de interpretación del programa que articule todos los hallazgos y les dé sentido, como hemos visto en el capítulo anterior. El juicio no será tan categórico como fundamentado en la realidad del programa. Se ha comentado anteriormente que si bien en la metodología de Europe Aid aparece la preocupación por la explicación de los datos, la priorización de una evaluación por resultados e impacto no favorece una visión o interpretación total del programa (ya que se necesitan los elementos estructurales, la comprensión de los procesos y las interrelaciones de los distintos elementos del programa). Por ello, se considera que el modelo de enjuiciamiento de Europe Aid tiende más a la categorización que al juicio interpretativo aunque se permita cierta flexibilidad a la hora de construir los niveles meta y los criterios de juicio.

Por otro lado, Europe Aid vincula directamente los juicios con las conclusiones del informe de evaluación. El enjuiciamiento de los datos son las conclusiones o respuestas a las preguntas de evaluación. El listado de conclusiones hace además referencia a la manera en que derivan los hechos, análisis y criterios de juicio y se apuntan cuales han sido los límites metodológicos en un ejercicio de transparencia (Europe Aid, 2006a: 90). Se identifican además las tres o cuatro conclusiones principales y las lecciones que son conclusiones transferibles a la misma intervención en sus próximos ciclos o a otras intervenciones similares en otro contexto.

12. RECOMENDACIONES

En la literatura especializada existe cierto consenso sobre la pertinencia de las recomendaciones en la evaluación. Se les otorga el valor de ser el “vinculo formal entre la evaluación y su uso” (Torres, Preskill y Piontek 1996, citado en Bustelo 2001: 60). Como afirma Patton, frecuentemente las recomendaciones son la parte más visible de una evaluación (Patton, 1982: 271), por ello es muy importante dedicar unos recursos significativos a su elaboración.

Algunos autores como Scriven o, en menor medida, Stake, han expresado dudas sobre la conveniencia de que el evaluador formule recomendaciones34. Pero como ya se ha indicado, es un producto bastante generalizado de la evaluación.

34 Es conocido que Scriven planteó sus dudas basándose en argumentos como que el evaluador no estaba muchas veces cualificado para aportar recomendaciones por su falta de un conocimiento de tipo experto sobre el ámbito de la evaluación (en Bustelo, 2001: 60-61). Por su parte, en menor medida, Stake también expresa sus dudas sobre la conveniencia de aportar recomendaciones aunque no niega su utilidad si están

- 34 -



Para Patton, las recomendaciones son sugerencias para el futuro, propuestas de cambio o de mantenimiento para la intervención y consejos para diferentes stakeholders sobre como mejorar la intervención (Patton, 1982: 273). Se hace mucho hincapié en que si se quiere construir recomendaciones de buena calidad y que puedan ser útiles se necesita que éstas estén vinculadas con el resto del trabajo de evaluación. Así mismo, cabría afirmar que un enjuiciamiento más comprensivo facilitaría la formulación de recomendaciones. Las recomendaciones no pueden dar la impresión de aparecer de la nada, deben tener un sentido lógico con las fases de análisis de los datos y de interpretación. Respecto a este punto, en la metodología de evaluación de Europe Aid se advierte textualmente que “si una recomendación no deriva de las conclusiones con claridad, es probable que refleje ideas preconcebidas o los intereses de una de las partes interesadas” y señala que la mera presencia de recomendaciones de baja calidad en el informe desacredita toda la evaluación (Europe Aid, 2006a: 91).

Es muy necesario para el ulterior uso de las recomendaciones, que éstas aparezcan expuestas en un orden siguiendo algún criterio lógico según el tipo de recomendaciones que sean. Patton recomienda una serie de criterios: si son recomendaciones de intencionalidad sumativa o formativa; según el destinatario (financiadores, responsables, operarios, clientes, beneficiarios,..); según su prioridad o su urgencia; según su viabilidad; según su importancia; según si afecta a procesos, a financiación, a organización o a contenidos; según el posible plazo de implementación (de corto a largo plazo) (Patton, 1982: 279). Como vemos hay muchas formas de clasificarlas, aunque lo importante es que el orden que se considere adecuado facilite la comprensión y el posterior uso de las mismas por parte de los diversos actores que estén involucrados.

Las recomendaciones en las evaluaciones de Europe Aid deben también presentarse con un orden lógico. La guía metodológica se inclina por indicar que se deben agrupar por prioridad y por los destinatarios a los que va dirigida la recomendación (Europe Aid, 2006a: 91). Si observamos algunos de los informes finales de evaluaciones ya efectuadas observamos distintas formas de clasificación: en el caso de la Evaluation of the European’s Commission Support to the United Republic of Tanzania (2006)35 se clasifican por un sistema de tres grados de prioridad y por el destinatario; en el caso de la Evaluation of European Commnunity Support to Private Sector Development in Third Countries (2005)36 se clasifican las recomendaciones en dos niveles: el estratégico y el de implementación. Por tanto, observamos que existe la práctica en Europe Aid de ordenar las recomendaciones y concluimos que las diferencias de criterios de ordenación entre distintas evaluaciones son perfectamente adecuadas. Así mismo, se observa que en los informes de evaluación realizados alrededor del año 2000 las recomendaciones se agrupaban más en una lógica de contenidos (por sectores o por temas) y no se explicitaba claramente la prioridad de las mismas37. Se percibe una cierta bien construidas. Advierte del peligro, entre otros, de introducir como recomendaciones la expresión de intereses de grupos de interés (Stake, 2004: 303-304). 35 Para consultar esta evaluación: http://ec.europa.eu/europeaid/evaluation/document_index/2006/824_docs.htm 36 Para consultar esta evaluación: http://ec.europa.eu/europeaid/evaluation/document_index/2005/951656_docs.htm 37 Para consultar evaluaciones que presentan divisiones de tipo de contenidos y no priorizan: - Evaluation of EC Country Strategy in Turkmenistan (2000): http://ec.europa.eu/europeaid/evaluation/reports/tacis/951587.pdf - Evaluation of EC Country Strategy for Namibia 1996-2000 (2001): http://ec.europa.eu/europeaid/evaluation/reports/acp/951584.pdf

- 35 -

http://ec.europa.eu/europeaid/evaluation/document_index/2006/824_docs.htm

http://ec.europa.eu/europeaid/evaluation/document_index/2005/951656_docs.htm

http://ec.europa.eu/europeaid/evaluation/reports/tacis/951587.pdf

http://ec.europa.eu/europeaid/evaluation/reports/acp/951584.pdf



evolución hacia la formulación de recomendaciones más fáciles de entender y con un formato más atractivo.

Otro elemento interesante, al que ya hemos hecho referencia anteriormente, es la idea de que la participación con stakeholders potencia la apropiación de la evaluación y, en este caso, de las recomendaciones, lo que promueve su posterior utilización. En este sentido, los stakeholders serían invitados a involucrarse en la formulación de las recomendaciones (Bustelo, 2001:78; Patton, 1982: 272), generando discusión y debate y, presumiblemente, de este proceso resultarán recomendaciones más prácticas y útiles.

En la metodología de Europe Aid no se fomenta plenamente una construcción participativa de las recomendaciones aunque sí existe el trabajo conjunto entre el equipo evaluador y el grupo de referencia que posibilita de alguna manera la formulación de recomendaciones que parten de la opinión y juicio de más de un actor. Lo que ha establecido Europe Aid con el objetivo de que los destinatarios se apropien de las recomendaciones para fomentar su utilidad es construir una fiche contradictoire (también conocida como Response of European Commission Services). Esta ficha incluye una tabla de tres columnas en las cuales se introducen tres elementos: las recomendaciones en forma resumida; la respuesta de los servicios de la Comisión Europea respecto a esas recomendaciones una por una expresando la aceptación o no de la misma; y, por último, se informa del seguimiento de las recomendaciones un año después de la finalización de la evaluación38. Si bien mediante este ejercicio de reflexión no se lograría una ‘involucración’ plena de los stakeholders con las recomendaciones, la fiche contradictoire puede cumplir un rol interesante de seguimiento y control, especialmente con la intención de generar una especie de obligación de los destinatarios con la implementación de aquellas recomendaciones que se hayan considerado adecuadas y hayan sido aceptadas.

Por último, las recomendaciones pueden presentar alternativas de actuación, teniendo en cuenta que la realidad en la que se mueven estas evaluaciones es cambiante y compleja. Por tanto, Weiss sugiere que sería positivo que el evaluador hiciese un ejercicio de reflexión sobre los posibles cambios que se pueden dar en un futuro y que afecten a la intervención y, en base a ello, formulase recomendaciones alternativas ante estas situaciones (Weiss, 1998:282). Por ejemplo, el evaluador puede meditar cuales serían las recomendaciones si se aprueba o se rechaza una ley que afecte directamente a la intervención y plantear alternativas de acción futura.

13. COMUNICACIÓN DE RESULTADOS

La comunicación de los resultados de la evaluación se ha considerado esencial para poder potenciar la utilidad de la misma. Es tan fundamental el rol de la comunicación que incluso se argumenta que la evaluación sería imposible sin ésta (Alkin, Christie & Rose, 2006: 384). A través de la comunicación, los hallazgos se dan a conocer a

38 Para un ejemplo de fiche contradictoire en la Evaluation of European Commission Country Strategy for Lesotho : http://ec.europa.eu/europeaid/evaluation/response/acp/951658_rsp.pdf

- 36 -

http://ec.europa.eu/europeaid/evaluation/response/acp/951658_rsp.pdf



diferentes audiencias39, se hacen accesibles, se hacen comprensibles y prácticos. En una línea similar que relaciona utilidad y comunicación de la evaluación, Cronbach afirma que la utilidad del trabajo evaluativo depende del grado de comprensión que se produzca en los miembros de la comunidad que toma las decisiones (en Stufflebeam & Shinkfield, 1987: 156).

Europe Aid tiene conciencia de que debe existir una difusión de los resultados o hallazgos de la evaluación40. Para ello, tras completar el informe, se diseña un plan de comunicación. Se preparan los mensajes según el tipo de audiencia al que se va a transmitir. La Unidad de Evaluación de Europe Aid identifica como audiencias un grupo amplio de sujetos: los servicios de la Comisión, las instituciones europeas, los actores externos, las redes de expertos, los medios de comunicación y el público en general. El trabajo de selección de mensajes y audiencias se realiza durante la última reunión con el grupo de referencia. De esta forma se consigue que la responsabilidad de la difusión recaiga sobre los tres actores presentes en la reunión: el gerente de la evaluación, el grupo de referencia y el equipo evaluador. Deja abierta la puerta a posibles otros actores que por su relevante rol en la evaluación pudiesen también participar. Entre todos ellos se reparten los papeles a desempeñar en la difusión.

Respecto a los canales y formas utilizados para la comunicación, se ha fijado un proceso de cómo deben ser. Se realizan distintos resúmenes del informe (no tienen porque ser diferentes, pero los distinguimos por su función y destino) que se difunden: uno es para la jerarquía del servicio responsable de la evaluación; otro se envía a los actores interesados y a los servicios correspondientes; otro más se publica en páginas web en las que sea pertinente que esté, facilitando con un link el acceso al informe completo; el último resumen también se ‘cuelga’ en Internet destinado a la comunidad internacional del ámbito de la cooperación al desarrollo, expresando las lecciones aprendidas que puedan ser útiles para otros. Además, si es pertinente, se realizarían artículos para los medios de comunicación o para el público en general. Todos estos documentos, no excluyen la posibilidad de presentar los informes en reuniones, talleres o seminarios. La página web de la Unidad de Evaluación de Europe Aid desempeña un papel importante en la labor de difusión, especialmente enfocado hacia para la comunidad científica y el público en general.

La generación de resúmenes es una práctica muy extendida y es vista como una herramienta útil a la hora de comunicar resultados. Los informes suelen ser largos e incluso a veces tediosos, es por ello que los resúmenes prestan una labor muy adecuada remarcando las ideas principales. Además desde Europe Aid se argumenta que los responsables políticos de la Comisión no tienen el tiempo suficiente para entrar al detalle de los hallazgos de la evaluación. Para éstos, así como para otras audiencias, la lectura del resumen les invita a acceder al informe completo para comprobar ciertas informaciones. Pese a esas posibles virtudes, otros autores como Stake han advertido de las inconveniencias que presentan los resúmenes ejecutivos. Esgrime que son “a menudo simplistas en exceso y que, debido a ello, no tratan las cuestiones en

39 Consideramos el término ‘audiencia’ como lo expresa Scriven: “An audience is a group of parties to whom an evaluation report is made, or made accessible, or to whom it should me made.” (Scriven, 2006: p.482). 40 Durante el Seminario del 23 de Febrero de 2007, Chomel señaló la necesidad de comunicar los hallazgos de la evaluación. Transmitió la idea de que en Europe Aid se le daba mucha importancia a la comunicación y que ésta se debía hacer pensando en el tipo de audiencias a la que iba dirigida. Además argumentó que había que realizarla con calidad y que resultase atractiva y directa para el receptor.

- 37 -



profundidad”. Se generaliza frecuentemente sin fundamento y se suprime la interacción individual que se produce al leer el informe al completo (Stake, 2004:294).

Desde una concepción de la comunicación de la evaluación más amplia, se considera que ésta no se produce al final únicamente, sino que está presente a lo largo del trabajo evaluativo (Alkin, Christie & Rose, 2006: 384). Por tanto, la comunicación que realiza Europe Aid también incluye el intercambio de información y debate que se produce en las diferentes reuniones entre el gerente de la evaluación, el grupo de referencia y el equipo evaluador, y no sólo en la última41. En estos distintos momentos se comunicaría aspectos relacionados con el desarrollo de la evaluación. También se podría entender como parte de la comunicación de la evaluación ciertos contactos con stakeholders relacionados con el objeto evaluado por parte del equipo de evaluación.

Con el objetivo de reforzar a transparencia y la utilidad de las evaluaciones, la Unidad de Evaluación elabora, tras recibir el informe final de evaluación, una sencilla valoración de la calidad de ésta. Realiza un examen desde 9 criterios (meeting needs, relevant scope, defendible design, reliable data, sound análisis, credible findings, validity of the conclusions, usefulness of the recommendations, clearly reported). Según estos criterios se otorga una calificación al informe.

14. CONCLUSIONES DEL ANÁLISIS

Partiendo de la metodología sistémico-comprensiva propuesta por María Bustelo y Juan Andrés Ligero en el Máster en Evaluación de Programas y Políticas Públicas, hemos analizado la metodología de evaluación propuesta por Europe Aid.

Para Europe Aid, las principales motivaciones de la evaluación tienen que ver con la mejora, relacionada con la toma de decisiones, y con el control de responsabilidades. Es decir, la evaluación tiene un carácter más sumativo que formativo, por lo que, además, la evaluación se dirigirá a un destinatario concreto: los servicios de la Comisión Europea. La función de enlightenment se entiende más como transferencia de conocimientos que como la comprensión profunda del programa. El conocimiento del programa resulta fundamental a la hora de realizar un enjuiciamiento comprensivo que, a su vez, es necesario para incrementar el potencial de la evaluación en sus funciones de improvement y accountability.

Las evaluaciones tienen como objeto grandes políticas de cooperación a nivel de país o por sectores. Las evaluaciones suelen ser ex post o finales. Entre los aspectos de la intervención, se prioriza el análisis de los objetivos (lógica de la intervención), resultados e impactos. Si bien se tienen en cuenta el contexto y las necesidades sociales iniciales, se puede observar una carencia en cuanto a un enfoque por procesos y una perspectiva de la estructura de la intervención (excepto en lo referido a recursos). Para conseguir tener una visión holística y comprensiva del programa, sería necesario el estudio sistémico de todos los elementos de la intervención: contexto, diseño, estructura, procesos y resultados. En cuanto a los actores de evaluación se identifican: el 41 Ya se ha referido en capítulos anteriores al número de reuniones entre los tres actores citados. Además de estas reuniones, el Director de la Unidad de Evaluación, Jean-Louis Chomel, apuntó la extensa cantidad de correo electrónico que se generaba entre los tres actores durante el proceso de evaluación (21 de Febrero de 2007).

- 38 -



gerente de la evaluación, el grupo de referencia y el equipo evaluador. La participación de los stakeholders en el desarrollo del proceso de evaluación está limitada a los actores que participan en el grupo de referencia, que son principalmente miembros de los servicios de la Comisión Europea, la principal destinataria de la evaluación. El grado de participación del grupo de referencia es amplio ya que supervisan y colaboran en el desarrollo de tareas relevantes de la evaluación como la definición de preguntas, el análisis y enjuiciamiento.

Tras la fase divergente de recopilación de necesidades informativas y la fase convergente de selección de las preguntas relevantes, las preguntas se adhieren y amoldan a los siete criterios de evaluación predeterminados: pertinencia, eficacia, eficiencia, impacto, sostenibilidad, coherencia y valor añadido de la Comisión Europea. No se contempla la posibilidad de que otros criterios de evaluación y juicio surjan con la comprensión de la intervención. Los criterios de evaluación se desarrollan en criterios de juicio que van acompañados de indicadores que los operacionalizan y de niveles meta o estándares de consecución. Para asegurar la validez interna, Europe Aid hace algunas propuestas de diseños metodológicos, la más interesante, el escenario contrafactual que implica el desarrollo de grupos de comparación o modelización. Sin embargo, no se hace demasiado hincapié en la importancia del diseño de las estrategias metodológicas durante la fase del diseño de la evaluación para desarrollar mejor el plan de recolección de información etc., por ello se nota un sesgo de los diseños metodológicos propuestos hacia el análisis de la información previamente recogida.

Entre las técnicas de recopilación de información cobran especial importancia las fuentes secundarias y se recoge un listado de herramientas para la consecución de fuentes primarias de información. El trabajo de campo ocupa un tiempo limitado dentro de la evaluación (entre quince días y un mes).

Europe Aid aconseja el análisis exhaustivo de los datos para la conversión de éstos en hallazgos sobre los que se enjuiciará y se obtendrán las conclusiones. Se recoge la necesidad de dotar de explicación a los datos pero se detecta una carencia en cuanto a la interpretación comprensiva de los datos que implicaría conocer las causas y el qué está pasando en la intervención, para lo cual es necesario el conocimiento comprensivo de sistema de la intervención en sus distintos elementos42. El dar una interpretación al conjunto de los datos facilita el enjuiciamiento comprensivo del programa (se comprenden las causas para completar el enjuiciamiento). Europe Aid realiza un enjuiciamiento categórico basado en el contraste de los hallazgos con los niveles meta43 lo que se corresponde más con una visión sumativa de la evaluación. A su vez, los juicios realizados sirven como base a las recomendaciones. Éstas serán más útiles si parten de un enjuiciamiento comprensivo que si se realizan desde un enjuiciamiento categórico. Siguiendo la línea argumental, la comprensión de la intervención basada en el análisis sistémico del objeto de evaluación en sus distintos elementos favorece el desarrollo de una interpretación, enjuiciamiento y recomendaciones comprensivas que incrementan la utilidad de la evaluación, su función de mejora y, también, de rendición de cuentas.

42 Intervención como sistema con los elementos de: necesidades sociales, diseño, estructura, procesos y resultados 43 Se admite cierta flexibilidad en la formulación de los niveles meta, puesto que se pueden cambiar o introducir nuevos niveles meta tras la información obtenida en el trabajo de campo.

- 39 -



Respecto a la comunicación de resultados, Europe Aid ha desarrollado una labor muy valiosa. Existe una fuerte conciencia de la utilidad de difundir los resultados de la evaluación, unido a un compromiso democrático por la transparencia.

Por último, queremos resaltar el esfuerzo valioso de la elaboración de esta metodología por parte de Europe Aid que de forma amplia desarrolla distintas fases del proceso evaluativo con unas bases teóricas implícitas.

- 40 -



15. BIBLIOGRAFÍA

Libros y artículos:

Alvira, F. (1991). Metodología de la evaluación de programas. Madrid, CIS.

Ballart, X. (1992): ¿Cómo evaluar problemas y servicios públicos?: aproximación sistemática y estudios de caso. Madrid, Instituto Nacional de Administración Pública,

Ballart, X. (1996): “Modelos teóricos para la práctica de la evaluación de programas” en Subirats, J. y Brugué, Q. (Ed): Lecturas de Gestión Pública. Madrid, Ministerio de Administraciones Públicas. Págs. 321-352.

Baron, G. y Monnier, E. (2003): “Un sistema pluralista y participativo: Coproducir la evaluación con la sociedad civil”. Revista Informations sociales, nº 110, Septiembre de 2003.

Bustelo, M. (2001): La evaluación de las políticas públicas de igualdad de género de los gobiernos central y autonómicos en España 1995-1999. Madrid, Tesis digitales de la Universidad Complutense de Madrid.

Bustelo, M. (2002): “¿Qué tiene de específico la metodología de evaluación?”, en Bañón, R. (Comp): La evaluación de la acción de las políticas públicas. Madrid, Díaz de Santos. Pags. 13-32.

Chelimsky, E.(2006): “The Purpose of Evaluation in a Democratic Society” en Shaw, Ian F., Greene, Jennifer C. Y Mark, Melvin M. (Ed.): The Sage Handbook of Evaluation. Sage Publications. Pags. 33-55

Chelimsky, E. y Shadish, W. (1997): Evaluation for the 21st Century. A handbook. Thousand Oaks (etc.), SAGE.

Cohen, E. y Franco, R. (2000): La Evaluación de los Proyectos Sociales. México, Siglo XXI.

Dahler-Larsen, Peter (2007): “¿Debemos evaluarlo todo? O de la estimación de la evaluabilidad a la cultura de la evaluación” en Revista de Economía nº 836, 93-104. Mayo-Junio 2007, ICE.

EFQM (1999-2003): Introducción a la Excelencia. En la página web de: http://www.efqm.org/uploads/introducing_spanish.pdf Consultada por última vez el 25 de Julio de 2007.

Europe Aid (2006a): “Bases Metodológicas de Evaluación”, Metodología de Evaluación de la ayuda exterior de la Comisión Europea. Volumen 1. Luxemburgo, Oficina de publicaciones oficiales de las comunidades europeas.

Europe Aid (2006b): “Guía para las evaluaciones geográficas y temáticas”, Metodología de Evaluación de la ayuda exterior de la Comisión Europea. Volumen 2. Luxemburgo, Oficina de publicaciones oficiales de las comunidades europeas.

- 41 -

http://www.efqm.org/uploads/introducing_spanish.pdf



Europe Aid (2006c): “Guía para las evaluaciones de proyectos y programas”, Metodología de Evaluación de la ayuda exterior de la Comisión Europea. Volumen 3. Luxemburgo, Oficina de publicaciones oficiales de las comunidades europeas.

Europe Aid (2006d): “Herramientas de Evaluación”, Metodología de Evaluación de la ayuda exterior de la Comisión Europea. Volumen 4. Luxemburgo, Oficina de publicaciones oficiales de las comunidades europeas.

Feinstein, Osvaldo (2007): “Evaluación pragmática de política públicas” en Revista de Economía nº 836, Mayo-Junio 2007, ICE.

Feinstein, Osvaldo y Beck, Tony (2006): “Evaluation of Development Interventions and Humanitarian Action” en Shaw, Ian F., Greene, Jennifer C. Y Mark, Melvin M. (Ed.): The Sage Handbook of Evaluation. Sage Publications. Pags. 536-558.

Guba, E. y Lincoln, Y. (1989): Fourth Generation Evaluation. Newbury Park, SAGE.

Ligero, J.A. y Pernas, B. (próxima publicación): Análisis y propuestas para intervenir con jóvenes en situación de exclusión. Estudio de caso en un barrio del sur de Madrid Orcasur. Segundo Premio de la Obra Social Caja Madrid

Monnier, Eric (1990-1991): “Objetivos y destinatarios de la evaluación” en Documentación Administrativa, nº 224-225. Pág.131-152, 1990-1991.

Morris, L.L., Taylor Fitz Gibbon, C.J. y Freeman, M.E. (1987): How to communicate Evaluation Findings. Newbury Park, SAGE.

OCDE (2002): Glosario de los principales términos sobre evaluación y gestión basada en resultados. http://www.oecd.org/dataoecd/29/21/2754804.pdf Consultada por última vez el 26 de Julio de 2007.

Osuna, J. L. y Márquez, C. (2000): Guía para la evaluación de políticas públicas. Sevilla, Instituto de Desarrollo Regional. Fundación Universitaria.

Patton, M. Q. (1990): Qualitative evaluation and research methods. Newbury Park, SAGE.

Patton, M. Q. (1982): Practical Evaluation. Beverly Hills, SAGE.

Schwandt, T. (2002): Evaluation Practice Reconsidered. New York, Peter Lang.

Stake, R. E. (1967): “The Countenance of Educational Evaluation.” Teachers Collage Record 68: 523-40.

Stake, R. E. (2006): Evaluación comprensiva y Evaluación basada en estándares. Barcelona, Ed. Graó.

Stake, R.E. (1975): “Program Evaluation Particularly responsive Evaluation”, Center for Institutional Research (CIRCE). Ocasional Paper Series. Paper #5. http://www.wmich.edu/evalctr/pubs/ops/ops05.html

- 42 -

http://www.oecd.org/dataoecd/29/21/2754804.pdf

http://www.wmich.edu/evalctr/pubs/ops/ops05.html



Stufflebeam, D. y A. Shinkfield (1987): Evaluación sistemática. Guía teórica y práctica. Madrid, Paidós/MEC.

The Joint Committee on standards for Educational Evaluation (1994): The Program Evaluation Standards. How t asses Evaluation of Educational Programs. Thousand Oaks, New Delhi, London, SAGE.

Weiss, C.H. (1998): Evaluation. Methods fo studying programs and policies. New Jersey, Pretience Hall.

Seminarios y Conferencias:

- Seminario de Jean-Louis Chomel el 23 de febrero de 2007 en la Unidad de Evaluación de Europe Aid, Comisión Europea. Organizada por el Centro de Estudios de Cooperación al Desarrollo de la Universidad San Pablo CEU.

- Seminario de Robert Stake el día 25 de abril de 2007 “Conversaciones Con Robert Stake”. Organizado por el INAP, la Agencia Estatal de Evaluación y el Máster en Evaluación de Programas y Políticas Públicas.

- Conferencia inaugural de Robert Stake el 26 de abril de 2007, en el I Foro Abierto sobre Evaluación de programas y servicios públicos. Organizado por la Dirección General de la Calidad de los Servicios y Atención al Ciudadano de la Comunidad de Madrid.

- Conferencia final de Eric Monnier el 26 de abril de 2007, en el I Foro Abierto sobre Evaluación de programas y servicios públicos. Organizado por la Dirección General de la Calidad de los Servicios y Atención al Ciudadano de la Comunidad de Madrid.

- Seminario de Eric Monnier el día 27 de abril de 2007. Organizada por el Máster de Evaluación de Programas y Políticas Públicas.

Páginas web:

- Europe Aid: http://ec.europa.eu/europeaid/index_en.htm Consultada por última vez el 27 de julio de 2007.

- Unidad de Evaluación de Europe Aid: http://ec.europa.eu/europeaid/evaluation/index.htm Consultada por última vez el 27 de julio de 2007.

- Máster en Evaluación de Programas y Políticas Públicas (UCM): www.masterevaluacion.es Consultada por última vez el 27 de julio de 2007.

- CAD, OCDE: www.oecd.org/dac/evaluationnetwork Consultada por última vez el 25 de julio de 2007.

- Banco Mundial: http://www.bancomundial.org/ Consultada por última vez el 22 de julio de 2007.

- 43 -

http://ec.europa.eu/europeaid/index_en.htm

http://ec.europa.eu/europeaid/evaluation/index.htm

http://www.masterevaluacion.es/

http://www.oecd.org/dac/evaluationnetwork

http://www.bancomundial.org/



- 44 -

- Modelo EFQM de Excelencia: http://www.efqm.org Consultada por última vez el 22 de julio de 2007.

- Center for Institutional Research and Currículo Evaluation (CIRCE) at the College of Education. University of Illinois at Urbana-Champaign: http://www.ed.uiuc.edu/circe/

- Evaluation Center at the Western Michigan University: http://www.wmich.edu/evalctr/

http://www.efqm.org/

http://www.ed.uiuc.edu/circe/

http://www.wmich.edu/evalctr/

ANÁLISIS DE LA METODOLOGÍA DE EVALUACIÓN DE LA …raulmuriel.angelfire.com/Rosales-Muriel.pdf ·...

Documents

Transcript of ANÁLISIS DE LA METODOLOGÍA DE EVALUACIÓN DE LA …raulmuriel.angelfire.com/Rosales-Muriel.pdf ·...