GAIETAKO SAILA ETXEBIZITZA ETA GIZARTE …

LA EVALUACIÓN EN LA GESTIÓN DE PROYECTOS Y PROGRAMAS

DE DESARROLLO

5

Euskal Lankidetza Publikoa. Prestakuntza-eskuliburuakCooperación Pública Vasca. Manuales de formación

1. Garapen lankidetza. Sorrera eta bilakaera historikoaLa cooperación al desarrollo. Surgimiento y evoluciónhistórica

2. Garapenerako gobernuz kanpoko erakundeakLas organizaciones no gubernamentales para el desarrollo

3. Garapenaren finantziazioa. Fluxu pribatuak eta garapenerakolaguntza ofícialaFinanciación del desarrollo. Flujos privados y ayuda oficialal desarrollo

4. Hondamendiak eta nazioarteko ekintza humanitarioaDesastres y acción humanitaria internacional

DEPARTAMENTO DE VIVIENDAY ASUNTOS SOCIALES

ETXEBIZITZA ETA GIZARTEGAIETAKO SAILA P.V.P.: 12 €

Salneurria: 12 €

5. Ebaluazioa garapeneko proiektu eta programen kudeaketan.Agenteak, ereduak eta erremintak barne hartzen dituenproposamenaLa evaluación en la gestión de proyectos y programas dedesarrollo. Una propuesta integradora en agentes, modelos yherramientas

9 788445 722541

ISBN 84-457-2254-9

EBALUAZIOA GARAPENEKOPROIEKTU ETA PROGRAMEN

KUDEAKETAN

DEPARTAMENTO DE VIVIENDAY ASUNTOS SOCIALES

ETXEBIZITZA ETA GIZARTEGAIETAKO SAILA

5

Euskal Lankidetza Publikoa. Prestakuntza-eskuliburuakCooperación Pública Vasca. Manuales de formación

1.Garapen lankidetza. Sorrera eta bilakaera historikoaLa cooperación al desarrollo. Surgimiento y evoluciónhistórica

2.Garapenerako gobernuz kanpoko erakundeakLas organizaciones no gubernamentales para el desarrollo

3.Garapenaren finantziazioa. Fluxu pribatuak eta garapenerakolaguntza ofícialaFinanciación del desarrollo. Flujos privados y ayuda oficialal desarrollo

4.Hondamendiak eta nazioarteko ekintza humanitarioaDesastres y acción humanitaria internacional

5. Ebaluazioa garapeneko proiektu eta programen kudeaketan.Agenteak, ereduak eta erremintak barne hartzen dituenproposamenaLa evaluación en la gestión de proyectos y programas dedesarrollo. Una propuesta integradora en agentes, modelos yherramientas

9788445722541

ISBN 84-457-2254-9

LA EVA

LUA

CIÓ

N EN

LA G

ESTIÓ

N D

E PROY

ECTO

S Y PRO

GR

AM

AS D

E DESA

RRO

LLOE

BA

LU

AZ

IOA

GA

RA

PE

NE

KO

PR

OIE

KT

U E

TA P

PR

OG

RA

ME

N K

UD

EA

KE

TAN

5

0 Evaluación en la gestión (C) 21/1/05 12:32 Página 2

5

LA EVALUACIÓN EN LA GESTIÓN DE PROYECTOS Y PROGRAMAS DE DESARROLLO

Una propuesta integradora en agentes, modelos y herramientas

Lara González Gómez

Vitoria-Gasteiz, 2005

Eusko Jaurlaritzaren Argitalpen Zerbitzu Nagusia

Servicio Central de Publicaciones del Gobierno Vasco

ETXEBIZITZA ETA GIZARTE DEPARTAMENTO DE VIVIENDA GAIETAKO SAILA Y ASUNTOS SOCIALES


Edición: 1.ª, febrero 2005

Tirada: 1.500 ejemplares

© Administración de la Comunidad Autónoma del País VascoDepartamento de Vivienda y Asuntos Sociales

Internet: www.euskadi.net

Edita: Eusko Jaurlaritzaren Argitalpen Zerbitzu NagusiaServicio Central de Publicaciones del Gobierno VascoDonostia-San Sebastián , 1 - 01010 Vitoria-Gasteiz

Coordinación: Amaia del Río Martínez

Diseño Portada: Marra Publicidad

Fotocomposición RGM, S.A.e impresión: Padre Larramendi, 4 - 48012 Bilbao

ISBN: 84-457-2254-9D.L.: BI - 312-05

GONZÁLEZ GÓMEZ, LaraLa evaluación en la gestión de proyectos y programas de desarrollo : una propuesta in-tegradora en agentes, modelos y herramientas / Lara González Gómez. — 1.ª ed. —Vitoria-Gasteiz : Eusko Jaurlaritzaren Argitalpen Zerbitzu Nagusia = Servicio Centralde Publicaciones del Gobierno Vasco, 2005

p. ; cm. — (Euskal Lankidetza Publikoa. Prestakuntza-eskuliburuak = CooperaciónPública Vasca. Manuales de formación ; 5) Contiene, además, con portada y paginación propias, texto contrapuesto en euske-ra: «Ebaluazioa garapenerako proiektu eta programen kudeaketan…»ISBN 84-457-2254-91. Evaluación de proyectos. I. Euskadi. Departamento de Vivienda y Asuntos Socia-les. II. Título. III. Título (euskera). IV. Serie.330.322.54


ÍNDICE

INTRODUCCIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

1. LA EVALUACIÓN EN EL CICLO DE VIDA DE GESTIÓN DE PROGRAMAS Y PROYECTOS . . . . . . . . . . . . . . . . . . . . . . 19

1.1. El proyecto es una herramienta básica en la gestión estratégica internacional . . . . . . . . . . . . . . . . . . . . . 22

1.2. La evaluación es una acción transversal a toda la ges-tión de programas y proyectos . . . . . . . . . . . . . . . . . 29

1.2.1. La preparación de la intervención . . . . . . . . . 34

1.2.1.1. La identificación de necesidades y po-tencialidades: el diagnóstico . . . . . . . 36

1.2.1.2. La planificación de la intervención . . 371.2.1.3. La formulación a las entidades donan-

tes: el diseño . . . . . . . . . . . . . . . . . . . 40

1.2.2. La implementación . . . . . . . . . . . . . . . . . . . . 43

1.2.2.1. La ejecución de las acciones . . . . . . 441.2.2.2. El seguimiento a la intervención . . . . 46

1.2.3. La evaluación ex post . . . . . . . . . . . . . . . . . . 49

1.3. La evaluación ex post en los proyectos de desarrollo 53

1.3.1. Las diferentes tipologías de evaluación . . . . . 531.3.2. Las funciones de la evaluación ex post . . . . . 54

1.4. Dificultades con que se encuentra la evaluación ac-tualmente . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

5


6

2. LA EVALUACIÓN EX POST EN LA PRÁCTICA: … ¿Y ESTO CÓMO SE HACE? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

2.1. La evaluación hay que planificarla . . . . . . . . . . . . . . 70

2.1.1. La decisión de evaluar… ¿Esperamos al final? . . 702.1.2. Los Términos de Referencia de una Evaluación

(ToR) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

2.2. Los agentes de la evaluación. ¿Quién realiza las eva-luaciones? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

2.2.1. Los agentes de la evaluación: avanzando hacia la participación . . . . . . . . . . . . . . . . . . . . . . . 80

2.2.2. Ventajas y desventajas de cada modalidad . . 83

2.3. Los modelos de evaluación . . . . . . . . . . . . . . . . . . . 88

2.3.1. La tradición evaluativa: cuatro generaciones . . 882.3.2. El modelo de evaluación del enfoque del marco

lógico (EML) . . . . . . . . . . . . . . . . . . . . . . . . . . 94

2.3.2.1. Historia y metodología del EML . . . . 942.3.2.2. Los indicadores: concepto y tipologías 1072.3.2.3. Los criterios de evaluación ex post de

la OCDE . . . . . . . . . . . . . . . . . . . . . . 116

2.3.3. Los modelos de tradición participativa o de auto-gestión . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

2.3.3.1. La tradición participativa en los proyec-tos de desarrollo . . . . . . . . . . . . . . . . 127

2.3.3.2. El Diagnóstico Rural Participativo (DRP)(Participatory Rural Appraisal-PRA) . . 134

2.3.3.3. La sistematización de experiencias . . 142

2.3.4. Los modelos de la economía: la evaluación so-cioeconómica de proyectos . . . . . . . . . . . . . . 149

2.3.4.1. El Análisis Coste Beneficio (ACB) . . . . 1512.3.4.2. El Análisis Coste Efectividad (ACE) . . . 1542.3.4.3. El Análisis Coste Utilidad (ACU) y Cos-

te Impacto (ACI) . . . . . . . . . . . . . . . . 157

2.4. Las herramientas para la recogida y análisis de infor-mación . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159

2.4.1. La investigación evaluativa es un tipo de inves-tigación social . . . . . . . . . . . . . . . . . . . . . . . . 159

2.4.2. La recogida de información: el trabajo de campo 162

2.4.2.1. La recogida de información secundaria y primaria . . . . . . . . . . . . . . . . . . . . . 162

2.4.2.2. La recogida de información cuantitati-va y cualitativa . . . . . . . . . . . . . . . . . 166

2.4.3. Dos instrumentos para la evaluación . . . . . . . 169

2.4.3.1. La entrevista . . . . . . . . . . . . . . . . . . . 1692.4.3.2. La observación directa . . . . . . . . . . . 174


7

2.4.4. El tratamiento y el análisis de la información . . . 177

2.5. Hacia un modelo integrador en agentes, modelos y herramientas: algunas propuestas flexibles . . . . . . . 185

2.5.1. No existe el modelo único . . . . . . . . . . . . . . . 1852.5.2. Hacia una propuesta de modelo integrador . . 187

2.5.2.1. La conformación del equipo de eva-luación . . . . . . . . . . . . . . . . . . . . . . . 189

2.5.2.2. La articulación flexible de los modelos evaluativos . . . . . . . . . . . . . . . . . . . . 191

2.5.2.3. La triangulación de métodos mediante combinación de técnicas cuantitativas y cualitativas de obtención de informa-ción . . . . . . . . . . . . . . . . . . . . . . . . . 193

3. LA PRESENTACIÓN DE LOS RESULTADOS Y LOS INFOR-MES DE EVALUACIÓN . . . . . . . . . . . . . . . . . . . . . . . . . . . 199

3.1. El informe de evaluación . . . . . . . . . . . . . . . . . . . . . 202

3.1.1. El informe de evaluación como presentación de resultados y lecciones aprendidas . . . . . . . . . . 202

3.1.2. Algunos informes de agencias internacionales 205

3.1.2.1. Informes de seguimiento/evaluación del Gobierno Vasco para proyectos con cargo al FOCAD . . . . . . . . . . . . . . . . 206

3.1.2.2. Informe de evaluación de la Agencia Española de Cooperación Internacional (AECI) . . . . . . . . . . . . . . . . . . . . . . . . 222

3.1.2.3. Informe de evaluación final de una in-tervención humanitaria europea (ECHO) 234

3.2. La socialización de resultados y la toma de decisiones 243

3.2.1. La retroalimentación y toma de decisiones . . 2433.2.2. Evaluación en Internet y Redes de Evaluación . . 245

BIBLIOGRAFÍA CITADA . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251

BIBLIOGRAFÍA COMENTADA . . . . . . . . . . . . . . . . . . . . . . . 259


ÍNDICE DE CUADROS

CAPÍTULO 1:

Cuadro 1. El concepto de proyecto en la cooperación al desarrollo . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Cuadro 2. Algunas deficiencias en los programas y pro-yectos orientados al desarrollo . . . . . . . . . . . 27

Cuadro 3. Ciclo de vida de gestión y tipos de evaluación según objeto y temporalidad . . . . . . . . . . . . . 34

Cuadro 4. Momentos principales de la primera etapa del ciclo de vida de un proyecto según algunos or-ganismos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Cuadro 5. El conocimiento del medio . . . . . . . . . . . . . . . 37Cuadro 6. La importancia de la identificación . . . . . . . . . 37Cuadro 7. Necesidades prácticas y necesidades estratégi-

cas de género . . . . . . . . . . . . . . . . . . . . . . . . . 39Cuadro 8. Esquema general del formato de formulación de

ayudas a proyectos con cargo al FOCAD . . . . . 42Cuadro 9. El seguimiento debe ser un proceso sencillo . . 47Cuadro 10. Informes de seguimiento de proyectos según la

AECI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49Cuadro 11. El concepto de la evaluación ex post . . . . . . . 50Cuadro 12. Estudio sobre experiencias internacionales en

evaluación según los criterios de la OCDE . . 51Cuadro 13. Principales diferencias entre el seguimiento y la

evaluación ex post . . . . . . . . . . . . . . . . . . . . . 56Cuadro 14. El informe final o el informe término de proyecto 57Cuadro 15. Utilidades de la evaluación . . . . . . . . . . . . . . 61Cuadro 16. Dificultades que enfrenta la evaluación ex post 62Cuadro 17. Algunos problemas a la hora de evaluar proyec-

tos de carácter social . . . . . . . . . . . . . . . . . . . . 66

9


CAPÍTULO 2:

Cuadro 18. Los términos de referencia de una evaluación ex post . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Cuadro 19. La planificación de la evaluación . . . . . . . . . . 75Cuadro 20. Objetivos que orientan la evaluación . . . . . . . 76Cuadro 21. Niveles de evaluación e informaciones intere-

santes a observar . . . . . . . . . . . . . . . . . . . . . . 78Cuadro 22. El cronograma semanal . . . . . . . . . . . . . . . . . . 79Cuadro 23. Ventajas e inconvenientes de las diferentes mo-

dalidades de evaluación según los agentes que la realizan . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

Cuadro 24. Principales modelos de la tradición evaluativa 91Cuadro 25. Cuatro generaciones en evaluación de proyectos 93Cuadro 26. Metodología del EML-ZOPP . . . . . . . . . . . . . . 97Cuadro 27. Stakeholder analysis o análisis de involucrados 99Cuadro 28. El origen del árbol de problemas . . . . . . . . . . 100Cuadro 29. Definiciones de indicador . . . . . . . . . . . . . . . . 108Cuadro 30. Tipologías de indicadores . . . . . . . . . . . . . . . . 110Cuadro 31. Ejemplos de indicadores de evaluación . . . . . 113Cuadro 32. Indicadores de género . . . . . . . . . . . . . . . . . . 115Cuadro 33. Criterios clave en la evaluación ex post de pro-

yectos de desarrollo . . . . . . . . . . . . . . . . . . . . 117Cuadro 34. Algunas experiencias para la consideración de

la eficacia . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118Cuadro 35. Medir la eficiencia . . . . . . . . . . . . . . . . . . . . . 120Cuadro 36. Análisis de la pertinencia de un proyecto . . . . 121Cuadro 37. La sostenibilidad de los proyectos en el largo

plazo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123Cuadro 38. Analizar el impacto . . . . . . . . . . . . . . . . . . . . 125Cuadro 39. Participación, desde la colaboración hasta la

emancipación . . . . . . . . . . . . . . . . . . . . . . . . 128Cuadro 40. Los cuatro principios de la evaluación partici-

pativa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130Cuadro 41. Principales contribuciones al Diagnóstico Rural

Participativo . . . . . . . . . . . . . . . . . . . . . . . . . . 135Cuadro 42. Principales diferencias entre el DRR y el DRP . . 136Cuadro 43. Técnicas utilizadas por el PRA-DRP . . . . . . . . 138Cuadro 44. Definiciones de sistematización . . . . . . . . . . . 144Cuadro 45. Los principios de la sistematización . . . . . . . . 145Cuadro 46. La matriz de ordenamiento reconstrucción y la

ficha de recuperación de aprendizajes . . . . . . 146Cuadro 47. Las diferentes propuestas de sistematización . . 148Cuadro 48. Modelos de la evaluación socioeconómica de

proyectos . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151Cuadro 49. Cálculo del VAN . . . . . . . . . . . . . . . . . . . . . . 153Cuadro 50. Cálculo y criterio de decisión de la TIR . . . . . 153Cuadro 51. Modalidades de ACE . . . . . . . . . . . . . . . . . . . 156Cuadro 52. La matriz de costo-efectividad del ACE . . . . . . 157Cuadro 53. Diferencias entre evaluación e investigación . . 161Cuadro 54. Revisión de documentos existentes . . . . . . . . . 164

10


Cuadro 55. Algunas claves para elegir los instrumentos para la evaluación . . . . . . . . . . . . . . . . . . . . . . . . . . 165

Cuadro 56. Clasificaciones de las técnicas de recogida de in-formación para la evaluación . . . . . . . . . . . . . . 167

Cuadro 57. Técnicas cuantitativas y cualitativas de investi-gación. Principales ventajas e inconvenientes de su utilización en evaluación . . . . . . . . . . . . . . . 168

Cuadro 58. Modalidades de entrevista . . . . . . . . . . . . . . . 170Cuadro 59. Pautas claves para realizar una reunión comu-

nitaria o taller . . . . . . . . . . . . . . . . . . . . . . . . . 171Cuadro 60. Recomendaciones para realizar una entrevista 173Cuadro 61. Modalidades de observación directa . . . . . . . . 175Cuadro 62. Matriz de organización de datos cualitativos . . 179Cuadro 63. La naturaleza de las variables condiciona la elec-

ción de la herramienta de medición . . . . . . . . . 182Cuadro 64. Procedimientos estadísticos univariable, bivaria-

ble y multivariable . . . . . . . . . . . . . . . . . . . . . . 183Cuadro 65. Equipo de evaluación . . . . . . . . . . . . . . . . . . . 190Cuadro 66. Pistas para combinar de forma flexible el mo-

delo de evaluación del marco lógico con otros modelos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

Cuadro 67. Tipos de triangulación según Denzin . . . . . . . 195Cuadro 68. Recomendaciones finales . . . . . . . . . . . . . . . . 196

CAPÍTULO 3:

Cuadro 69. Algunas recomendaciones en la preparación del informe evaluativo . . . . . . . . . . . . . . . . . . . . . . 203

Cuadro 70. Informe de una evaluación ex post . . . . . . . . . 204Cuadro 71. Pautas para la elaboración de una evaluación

ex post de EuropeAid . . . . . . . . . . . . . . . . . . . 241Cuadro 72. Formato estándar del CAD para los resúmenes

de evaluación . . . . . . . . . . . . . . . . . . . . . . . . . 242Cuadro 73. Difusión de las lecciones aprendidas . . . . . . . 244Cuadro 74. Lista de direcciones web según agentes de coo-

peración . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

11


ÍNDICE DE GRÁFICOS

Gráfico 1. Políticas, programas y proyectos . . . . . . . . . . . 24Gráfico 2. Definición de la estrategia de intervención en

una región . . . . . . . . . . . . . . . . . . . . . . . . . . . 25Gráfico 3. Ciclos de gestión en algunas agencias interna-

cionales . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30Gráfico 4. El ciclo de vida del proyecto (The proyect cycle) 32Gráfico 5. El proceso de ejecución y seguimiento del pro-

yecto (implementación) . . . . . . . . . . . . . . . . . . 45Gráfico 6. Las finalidades de la evaluación ex post . . . . . 59Gráfico 7. Los momentos clave en la evaluación de pro-

yectos de desarrollo . . . . . . . . . . . . . . . . . . . . 73Gráfico 8. Árbol de problemas . . . . . . . . . . . . . . . . . . . . 102Gráfico 9. Árbol de objetivos . . . . . . . . . . . . . . . . . . . . . 102Gráfico 10. La matriz de planificación . . . . . . . . . . . . . . . 104Gráfico 11. La evaluación en el EML . . . . . . . . . . . . . . . . 116Gráfico 12. Principales corrientes que influyen en el PRA-DRP 132Gráfico 13. Técnica de diagramas y mapeo . . . . . . . . . . . . 139Gráfico 14. Técnica de clasificación y ranking . . . . . . . . . 140Gráfico 15. Ficha para el monitoreo de actividades . . . . . . 141

13


INTRODUCCIÓN

La evaluación es una acción sin término medio, o seconsidera una agresión externa peligrosa para la vida denuestras intervenciones y de nuestra organización, o es unaobligación pesada impuesta por las agencias donantes.También puede ser entendida como una herramienta quefavorece la conciencia crítica y el aprendizaje en pro delmejoramiento de la calidad de nuestras instituciones, peroque requiere de un esfuerzo humano, técnico y económico.

La evaluación tiene, casi siempre, grandes personas detrac-toras y opositoras, o grandes impulsoras y defensoras de lamisma. Este manual se ubica precisamente en la segundaopción, sin olvidar, por supuesto, las dificultades que, enocasiones, supone poner en marcha una evaluación, o im-plantar sistemas de seguimiento y evaluación continúa engrandes programas o, incluso, en las instituciones.

La evaluación puede ser entendida como una accióntransversal a las intervenciones de desarrollo (acciones hu-manitarias, proyectos y programas), además de cómo unproceso permanente inserto en la vida de las organizacionessociales. A veces evaluamos de manera informal, incluso in-conscientemente, a lo largo del día, y son varias las vecesque realizamos tareas ligadas a la evaluación. Para tomaruna decisión de la vida cotidiana, primero nos informamos,después emitimos un juicio sobre una determinada situa-ción con base a unos criterios (éticos, morales, de riqueza,de altruismo, de ahorro, de amistad, etc.), y acto seguido,

15


tomamos decisiones que nos sirven para establecer una for-ma de proceder. Si en una ocasión, una determinada deci-sión no es lo suficientemente válida, optamos por introducirciertos cambios que nos permitan mejorar en la próximaocasión y tomar la decisión acertada.

Esto es un poco lo que ocurre con la evaluación de inter-venciones de desarrollo. La evaluación se vuelve una cons-tante que nos permite dar pasos hacia los objetivos de desa-rrollo que nos proponemos. Es una constante en el ciclo devida de nuestras intervenciones, pero que no siempre se rea-liza de una forma sistemática y ordenada.

Este es el tema que abordamos en este manual. Entender laevaluación como una acción transversal a las intervencionesde desarrollo, sean del tipo que sean; establecer los mecanis-mos de planificación de la evaluación como una herramientainvestigativa que tiene que ser sistemática y ordenada parapoder valorar nuestra forma de proceder; y por último, pre-sentar los resultados a las partes implicadas mediante infor-mes de evaluación u otros medios, son los temas principalesde este libro.

El manual está dividido en tres grandes bloques y once su-bapartados. La primera parte aborda los temas ligados al con-cepto de evaluación enmarcado en el ciclo de vida de unproyecto. Se toma el proyecto como punto de partida básicodentro de la gestión estratégica, aunque la evaluación es tras-ladable a otros niveles de intervención (acciones humanita-rias, programas, políticas, etc.). En esta primera parte se pro-mueve la idea de la evaluación como una acción transversalque atraviesa las intervenciones de desarrollo, desde la identi-ficación (evaluación ex ante) la ejecución y el seguimiento(ongoing evaluation) y la evaluación final o ex post. Se dedicaun apartado a la definición de la evaluación ex post comouna tarea diferenciada de otras acciones evaluativas (diagnós-tico, valoración de proyectos a subvención o seguimiento).Por último se abordan las principales dificultades a las queuna evaluación debe superar a la hora de ponerla en marcha.

La segunda parte se centra en como hacer una evalua-ción en la práctica. Se plantea cómo elaborar unos términosde referencia (planificación) de la investigación evaluativaque se llevará a cabo, y se presentan los elementos claveque deben ser diseñados previamente, poniendo el énfasisen tres de ellos que son de especial relevancia: los agentes,los modelos y las herramientas para la evaluación. En cadauno de ellos se plantean las diversas alternativas o modali-dades que se han desarrollado tanto en la literatura, pero so-

16


bre todo en la práctica de la evaluación en la cooperaciónal desarrollo. Tras la descripción de cada una de las posibi-lidades, el manual ofrece una propuesta adicional, que es lade la autora, donde se ofrece una alternativa integradora avarios niveles. Se trata de un modelo integrador en agentes,modelos y herramientas que unifique los intereses de lasagencias donantes, de las entidades locales y de la pobla-ción beneficiaria, en el esfuerzo por valorar el impacto ge-nerado por la intervención y la capacidad de la gente porgestionarlo de manera autónoma.

La tercera y última parte ofrece herramientas específicaspara la elaboración de un informe de evaluación ex post, yrescata la importancia de la socialización de resultadoscomo vía de retroalimentación para el aprendizaje y la tomade decisiones entre las partes involucradas. También se in-cluyen comentarios acerca de algunos informes utilizadospor agencias locales (Gobierno Vasco), la Agencia Españolade Cooperación Internacional (AECI) y la Unión Europea(ECHO) para la presentación de informes de seguimiento yevaluación final. Además, se ofrece un listado de direccio-nes web de agencias multilaterales, bilaterales y horizonta-les (universidades, institutos y redes) que publican informes,guías o documentación en torno a la evaluación.

17


1La evaluación en el ciclo de vida

de gestión de programas y proyectos


En la primera parte de este manual presentamos la eva-luación como una acción transversal al ciclo de vida de losproyectos y programas de desarrollo. La evaluación puedeser entendida, tal y como veremos a continuación, comouna acción que atraviesa todas las etapas de la vida de unaintervención, y a su vez, como una etapa propia del mismo.Veamos a qué nos referimos.

La acción de evaluar (valorar algo), se inicia desde losprimeros momentos de concepción e identificación del pro-yecto, cuando se realiza la valoración de las necesidades ypotencialidades de la población beneficiaria. Es lo que seconoce como evaluación ex ante o evaluación previa. Ade-más, durante la implementación del proyecto, es decir, ensu ejecución a lo largo de un período más o menos largo, esnecesaria la valoración continua del progreso de las activi-dades, del cumplimiento de planes iniciales, y del presu-puesto. Esto es, en definitiva, la evaluación del progreso dela intervención, o lo que es más conocido: el seguimiento oevaluación intermedia. En tercer lugar (y es a la que prestaespecial atención este manual) la evaluación ex post o pos-terior se realiza una vez terminado el proyecto o al cabo deun tiempo de finalizado. Esta valoración, la más completade todo el proceso, toma prestado todos los conocimientos,avances e informaciones de las anteriores y será la que de-termine en última instancia si el proyecto fue exitoso en ellogro de sus objetivos y si los mismos lograron impactar enla población de forma sostenible.

En esta primera parte se revisan algunos conceptos bási-cos en torno al proyecto de desarrollo y su contexto generalen la gestión estratégica, así como las funciones básicas de

21


la evaluación en cada una de sus etapas. Se pone especialatención en la evaluación ex post como acción diferente delseguimiento, revisando sus principales funciones y ventajaspara el control, calidad y aprendizaje en la gestión de pro-yectos y programas, así como las dificultades que deberáafrontar.

1.1. EL PROYECTO DE DESARROLLO ES UNA HERRAMIENTA BÁSICA EN LA GESTIÓN ESTRATÉGICA INTERNACIONAL

Para hablar de evaluación (y de gestión) de proyectos dedesarrollo en el marco de la cooperación internacional esnecesario definir algunas premisas de partida sobre lo quese entiende por proyecto o programa, dado que la metodo-logía propuesta por la cooperación se centra básicamenteen la gestión de proyectos desde el ciclo de vida de losmismos. Es la unidad básica de gestión de las intervencio-nes, así sean acciones de desarrollo o sean acciones deemergencia (socorro, rehabilitación, etc.).

Un proyecto nace como una expresión de la voluntadtransformadora (Gómez Galán y Sainz Ollero, 2003). Su fi-nalidad es transformar una realidad que, en principio, no essatisfactoria, buscando unos fines y estableciendo unos me-dios para lograrlos. En el ámbito de la cooperación al desa-rrollo, en general, hay un consenso generalizado en inter-pretarlo como una herramienta de carácter socioeconómicoque busca la superación de algunas carencias en un colec-tivo determinado. El proyecto integra ciertas variables detipo social, cultural, económico, político, educativo, y seapoya en el uso de los recursos disponibles y en las poten-cialidades de la población para mejorar su situación. Ade-más, el tiempo y el lugar donde se realizan los proyectosson dos elementos muy relevantes para completar su carac-terización.

La antigua Overseas Development Administration (hoy elDepartment for Internacional Development-DFID) concibeel proyecto de desarrollo como un conjunto de insumos di-señados para lograr unos objetivos sociales y económicosen un período específico de tiempo. A través de los proyec-tos las personas convierten las ideas en actividades para lo-grar cambios beneficiosos. Algunas concepciones se re-fieren al mismo como un acto de creación: proyectar escrear. Un proyecto supone realmente un acto de creaciónque permite determinar cómo, cuándo, en cuánto tiempo,

22


para quién y con qué recursos, potencialidades y esfuerzospueden conseguirse determinados objetivos o metas en unapoblación.

Cuadro 1. El concepto de proyecto en la cooperación al desarrollo

Otra definición es la ofrecida por la UNESCO, que entien-de el proyecto como una actividad destinada a conseguirciertos objetivos específicos con un presupuesto dado y enun período de tiempo determinado.

En resumen, pueden encontrarse en la literatura numero-sas definiciones del término proyecto, pero en la mayoría delos casos, existen algunos elementos que se repiten y queson los que mejor lo caracterizan. En primer lugar, entende-mos el proyecto como un instrumento, una herramienta, oun medio que permitirá alcanzar unos objetivos propuestoso unas metas orientadas a cubrir unas necesidades y conse-guir ciertos cambios en la realidad de determinadas perso-nas. Así, los grupos beneficiarios son los protagonistas delproyecto, bien como objetos de la acción de cambio o comosujetos del proyecto que participan en el mismo, aprove-chando sus potencialidades y recursos para hacer sostenibleslas iniciativas puestas en marcha. A estos elementos hay quesumar el tiempo y el lugar de realización del proyecto.

Los proyectos, además, son por definición unidades ope-rativas estructuradas con base en un conjunto de procesostécnicos que responden a una concepción económica y tec-

Un proyecto, es un conjunto autónomo de inversiones, activi-dades políticas y medidas institucionales o de otra índole, diseña-do para lograr un objetivo específico de desarrollo en un períododeterminado, en una región geográfica delimitada y para un gru-po predefinido de beneficiarios, que continúa produciendo bie-nes y/o prestando servicios tras la retirada del apoyo externo, ycuyos efectos perduran una vez finaliza su ejecución.

Fuente: MAE-SECIPI (1998): Metodología de la evaluación de la coope-ración española. OPE- SECIPI, Madrid, p. 97.

Un proyecto es una empresa planificada que consiste en unconjunto de actividades interrelacionadas y coordinadas paraalcanzar objetivos específicos dentro de los límites de un presu-puesto y un periodo dados.

Fuente: COHEN, E. y R. FRANCO (1997): Evaluación de proyectos sociales.Cuarta edición. Siglo XXI Editores, México, p. 85.

23


nológica. Se trata de una unidad operativa en relación conotras categorías mayores en las que se inserta. Juan José Mi-randa en su Manual de Gestión de Proyectos (2002: 74) re-sume el proyecto como «la unidad operativa del desarro-llo», dado que a través de los proyectos se alcanzan losobjetivos establecidos en los planes de desarrollo.

Gráfico 1. Políticas, programas y proyectos

Fuente: Basado en CEPAL: Curso sobre «Formulación y evaluación de proyec-tos sociales». PROPOSAL-Programa Conjunto sobre Políticas Socialespara América Latina —CEPAL-OEA-NNUU—. Sin edición. Pág. 3.

Es por ello que se hace necesario distinguir los proyectosde los programas y de las políticas, ya que corresponden a es-calas diferentes en el marco de la gestión estratégica. Al hablarde políticas, se hace referencia a grandes objetivos de desarro-llo insertados en una estrategia; cuando se habla de programasse hace alusión a las intervenciones específicas de esas políti-cas, y de proyectos cuando su actuación se refiere a una di-mensión local interactuando con el colectivo beneficiario.

Los proyectos son componentes, partes o elementos de unprograma. Son centros de asignación de recursos para desa-rrollar un programa dentro de un plan o política. En la gestiónestratégica, son unidades operativas que canalizan recursos eintervienen actores alterando la situación punto de partida.

EJEMPLO:

Política I: Política de satisfacción de necesidadesalimentario-nutricionales de los sectores poblacionales queestán por debajo de la línea de pobreza.

PLAN:

Programa I.1.: Programa Nacional de Comedores EscolaresPrograma I.2.: Programa Nacional de ComplementaciónAlimentariaPrograma I.3.: Programa Materno Infantil

Proyecto I.1.a.: Proyecto de comedor escolar en el barrioX (dentro del programa de comedores escolares) (1)

Proyecto I.1.a

Proyecto I.1.b

Proyecto I.1.c

PROGRAMA I.1 PROGRAMA I.2 PROGRAMA I.3 PROGRAMA I.4

POLÍTICA

SOCIALPLAN I

EJEMPLO:

Política I: Política de satisfacción de necesidadesalimentario-nutricionales de los sectores poblacionales queestán por debajo de la línea de pobreza.

PLAN:

Programa I.1.: Programa Nacional de Comedores EscolaresPrograma I.2.: Programa Nacional de ComplementaciónAlimentariaPrograma I.3.: Programa Materno Infantil

Proyecto I.1.a.: Proyecto de comedor escolar en el barrioX (dentro del programa de comedores escolares) (1)

Proyecto I.1.a

Proyecto I.1.b

Proyecto I.1.c

PROGRAMA I.1

POLÍTICA

SOCIALPLAN I

24


El lapso de implementación de los proyectos fluctúa en-tre unos y tres años, pero puede tener una duración muchomayor cuando son parte de un programa. Un programa esun conjunto de proyectos que persiguen los mismos objeti-vos. Establece prioridades de la intervención, identifica y or-ganiza los proyectos, define el marco institucional y asignalos recursos a utilizar (Cohen y Franco, 1997: 86).

Así mismo, estos programas se agrupan en planes localesde desarrollo que buscan mejorar ciertas situaciones com-plejas de los ámbitos donde se desarrollan. En el marco dela cooperación, en concreto, serán las instituciones públicaslocales las encargadas de desarrollar dichos planes, a losque la cooperación podrá aportar en forma de programas oproyectos conjuntos. La cooperación se presenta como unaestrategia consensuada entre las entidades del país en de-sarrollo y su cooperante en el Norte. Normalmente, los pro-yectos de desarrollo se enmarcan en la política del país anfi-trión, dado que posteriormente será éste y sus organizacionespúblicas y privadas los responsables últimos de sostener losbeneficios de la intervención realizada.

Grafico 2. Definición de la estrategia de intervención en una región

Fuente: Elaboración propia.

PROGRAMASPROYECTOS

– Estrategia-país

– Estrategiastemáticas

– Líneastransversales

ESTRATEGIASAGENCIAS

DONANTES /COOPERANTES

Prioridades SUR

– Diagnósticos

– Necesidades

– Potencialidadesde la poblaciónbeneficiaria

PLANES DEDESARROLLO

NACIONAL,REGIONAL Y LOCAL

25


Este proceso de negociación de estrategias, debe tener encuenta a varios grupos involucrados. Si bien las institucio-nes del Norte buscan apoyar las estrategias de institucioneslocales en países en desarrollo, ambas tendrán que orientarsus intervenciones hacia la mejora de la situación de pobla-ciones beneficiarias según los diagnósticos realizados.

La dinámica de alianzas internacionales puede partir dela iniciativa de las agencias donantes, como de la solicitudde apoyo a una iniciativa concreta de un país en desarro-llo. Así, en el primer caso, las agencias de cooperación,tratarán de entrar en sintonía con los planes de desarrollolocal a través de la definición de estrategias-país alimenta-das por su conocimiento de la zona, y de las prioridadesestablecidas por los países que solicitan la ayuda. Los pro-yectos a desarrollar deben ser fruto, en principio, del en-cuentro entre las estrategias establecidas por la entidad coo-perante en el país y la región en cuestión, y las prioridades yprogramas establecidos por los países o municipios benefi-ciarios. Se parte de que éstos tienen bien diagnosticada lasituación punto de partida de su población afectada poruna necesidad. En ese sentido, los proyectos buscan mejo-rar una situación insatisfactoria diagnosticada, fortalecien-do las capacidades de las entidades locales y de la pobla-ción involucrada. En este caso, el proyecto o programa decooperación forma parte de una planificación estratégicamayor, negociada entre las entidades cooperantes, las enti-dades públicas locales y la población beneficiaria, entreotras.

Pero hay algunos autores que recogen otra posibilidaddistinta a que el proyecto se conciba como la unidad opera-tiva de políticas y planes. Es el nacimiento de la idea de unproyecto como la respuesta a problemas concretos de ungrupo humano para cuya satisfacción o solución surgen ac-ciones desde el terreno en forma de proyectos. Gómez Ga-lán y Sainz Ollero (2003) reconocen esta posibilidad comouna perspectiva valiosa dado que supone un alto grado departicipación social de las personas implicadas en el pro-yecto y asegura la «vitalidad» del mismo.

Visto de cualquiera de las dos formas, el proyecto comounidad gestora del desarrollo, ofrece ciertas ventajas: entraen relación directa con el colectivo beneficiario ubicado enuna zona delimitada, tiene posibilidad de fortalecer capaci-dades y aminorar las problemáticas de una población, y so-bre todo, si está gestionado de forma participativa tiene grancapacidad de generar impacto en el largo plazo.

26


A pesar de lo mencionado anteriormente, no puede decirseque no se presenten ciertos inconvenientes o desviaciones du-rante la ejecución de los proyectos. El Instituto Latinoamerica-no y del Caribe de Planificación Económica y Social —ILPES—recoge entre sus manuales la necesidad de incrementar la ra-cionalidad de las políticas en general y, por consiguiente, delos programas (y proyectos), para disminuir las deficiencias quese han encontrado en numerosas intervenciones de desarrollo.

Una propuesta concreta para mejorar las intervencionesde desarrollo en forma de proyectos (y programas) ha sido elciclo de vida de gestión de proyectos de desarrollo. Un sis-tema de gestión de proyectos de desarrollo es un conjuntode procedimientos explícitos, cuya finalidad es mejorar latoma de decisiones en relación con la asignación de recur-sos para el logro de objetivos a través de la movilización demedios adecuados para su obtención.

Cuadro 2. Algunas deficiencias en los programas y proyectosorientados al desarrollo

— Tendencia a crear programas puramente asistenciales: Es necesario crear programas generadores de autocapacida-des de desarrollo en la población focal, permitiendo la soste-nibilidad en la satisfacción de necesidades.

— Carencia de participación de los hombres y mujeres benefi-ciarios:Son numerosos los fracasos de proyectos y programas motiva-do por la escasa participación de las personas beneficiarias enlos mismos, así como por errores de diseño. En muchos pro-gramas no se consideran aspectos tales como las costumbres,las relaciones sociales, las relaciones desiguales de género ylos diferentes intereses de los hombres y mujeres beneficiarios.

— La «moda» en los programas sociales:Se dan momentos en los que ciertos temas de desarrollo ad-quieren vigencia, y numerosos organismos y organizacionesse orientan a la realización de proyectos dirigidos a satisfacerciertas carencias relacionadas con esos temas. A veces se du-plican esfuerzos, generando ineficacia e ineficiencia.

— Discontinuidad y reducción de programas en ejecución:En ocasiones se terminan o reducen programas sin haber lo-grado el umbral de desarrollo necesario para alcanzar los ob-jetivos propuestos y hacerlos sostenibles.

— Inercia al cambio: Tanto las personas beneficiarias como las administradoras pre-sentan reticencias al cambio del proyecto o programa si ésteno está logrando los resultados propuestos.

27


La Comisión de las Comunidades Europeas en 1993 se-ñalaba dos elementos claves para la mejora de la gestión deproyectos de desarrollo:

1. Por un lado, generar procesos que incorporen calidaden la gestión del propio proyecto: mejor y más realistadefinición de objetivos, identificación realista de losmedios y recursos disponibles, incorporación de mo-delos participativos, respeto a los valores sociocultu-rales, incorporación de la perspectiva de género, re-fuerzo de la capacidad gestora de los organismos queejecutan el proyecto, salud financiera de los proyec-tos, evaluación del impacto no previsto, etc.;

2. Por otro lado, concebir el proyecto como un todo inte-grado que permita establecer cierta disciplina para latoma de decisiones en los momentos oportunos (dese-char ideas iniciales no válidas, realización de estudiosde factibilidad, financiación realista, seguimiento siste-matizado de la ejecución del proyecto, posibilidades dereorientación del mismo, evaluación como acopio deinformación para la toma de decisiones futuras, etc.).

La concreción de esta propuesta se verifica en el denomi-nado ciclo de vida o ciclo de gestión de proyectos que suponeuna atención detallada e integral de todos los pasos por losque un proyecto transita, desde su concepción como idea has-ta la evaluación final o posterior, pasando por todas las etapas

— Calidad versus cantidad: Con cierta disponibilidad de recursos, se tiende a privilegiarla cantidad de personas beneficiarias, por encima de la cali-dad del bien o servicio empleado. Esto puede resultar efi-ciente, pero muy ineficaz, al no alcanzarse los umbrales desatisfacción requeridos.

— Programas universales: El análisis de la población objetivo debe reconocer la hetero-geneidad del grupo.

— Realización de programas sin perspectiva de género:Un proyecto que quiera ser reconocido por su buen hacer, de-berá incluir la perspectiva de género, teniendo en cuenta queésta no supone únicamente una visualización de las mujerescomo una categoría social más, sino que responda eficazmentea sus necesidades prácticas y estratégicas de género, para contri-buir así a la erradicación de las desigualdades de género y de lasubordinación generalizada de las mujeres hacia los hombres.

Fuente: Elaboración propia a partir de ILPES (1998): Guía para la identifica-ción, preparación y evaluación de programas sociales. Dirección deproyectos y programación de inversiones ILPES, Santiago de Chile.

28


correspondientes. Este instrumento debe inducir a todas laspersonas responsables de la concepción, ejecución y evalua-ción de los proyectos a tener en cuenta los elementos esencia-les a lo largo del ciclo, desde la primera idea hasta la últimaevaluación a posteriori, efectuada años después de la realiza-ción del proyecto. Esto es lo que se ha denominado el enfoqueintegrado (Comisión de las Comunidades Europeas, 1993).

Veamos entonces, que es lo que se entiende por gestiónintegrada y su vinculación con la evaluación.

1.2. LA EVALUACIÓN ES UNA ACCIÓN TRANSVERSAL ATODA LA GESTIÓN DE PROGRAMAS Y PROYECTOS

La gestión de un proyecto se puede entender como un ci-clo articulado y progresivo desde que se concibe la idea, seconcreta y se planifica, luego se formula y se interviene,hasta el momento último en que se valora si el conjunto deactividades, medios utilizados y resultados obtenidos hancumplido los objetivos propuestos.

La intervención es circular porque las distintas etapas,fases o momentos a través de los que se concreta son inter-dependientes, conducen unas a otras y retro actúan entresí, de manera que para considerar cada una es necesarioconocer el contenido y desarrollo de las demás. Estas eta-pas, ya clásicas, aunque con diferentes nombres y maticessegún los distintos autores y agencias de desarrollo, se es-tructuran mediante elementos conceptuales y técnicos queincorporan una metodología determinada.

La gestión del ciclo del proyecto es un método de trabajoaplicable a las intervenciones de cooperación internacionalpara el desarrollo, cuyo objetivo es definir un lenguaje co-mún para los organismos donantes y para los que ejecutan,en relación con las fases o etapas de vida del proyecto. A pe-sar de la infinidad de aproximaciones, parece que el enfoqueintegrado y el marco lógico son los instrumentos más utiliza-dos por las agencias y organizaciones europeas a la hora deabordar la gestión del ciclo de un proyecto, y sobre todo, enla planificación y seguimiento del mismo.

Todas las fases de la gestión de un proyecto pueden obser-varse desde dos puntos de vista claves:

—Como una herramienta de trabajo que permite cono-cer, analizar para una intervención, y actuar.

—Como una herramienta de aprendizaje que permite mejo-rar los futuros proyectos a través de la acumulación de ex-periencias y conocimientos a lo largo del todo el proceso.

29


Al tratar de esquematizar el ciclo del proyecto podemosencontrar diversos términos para referirse a las etapas delmismo, subdividido en seis, siete o incluso más, dependien-do de los autores o agencias que lo han abordado.

Gráfico 3. Ciclo de vida de gestión en algunas agencias internacionales

Fuente: Ministerio de Asuntos Exteriores —MAE-SECIPI— (1998): Metodolo-gía de la Gestión de Proyectos de la Cooperación Española. MAE-SECIPI, Madrid.

Programación

Identificación

Formulación

Ejecución

Ciclo de la intervenciónLíneas de influencia

Plan Director Plan Anual

Evaluación

Seguimiento

FinalizaciónInforme final

Informe de evaluación

Informe de seguimiento

Ficha de identificación

Documento del proyecto

Fuente: DFID (2002): Tools for De-velopment. A handbook forthose engaged in develop-ment activities. Performancean Effectiveness Department.DFID, London.

Fuente: European Comisión (2001):Manual Project Cycle Mana-gement. Evaluation Unit. Euro-peAid Cooperation Office Ge-neral Affairs, Brussels.

Identification

ClearanceEvaluation

Post-completion

Approval

Implementation

Completion

Design andAppraisal

Feedback andLesson

Learning

Programming

Financing

Implementation

Evaluation

Appraisal

Identification

30


En el caso de la Comisión Europea se habla de 6 grandesetapas para gestionar un proyecto: la programación, la for-mulación, instrucción, financiación, ejecución y evalua-ción; y en el caso de la Agencia Española de CooperaciónInternacional (AECI), se presentan 7 etapas: La programa-ción, la identificación, la formulación, ejecución, segui-miento, finalización y evaluación1.

Lo importante de todas ellas, es la importancia de su in-terconexión temporal y lógica, así como su conexión con laacción evaluadora. Este manual pretende ofrecer una clari-ficación en torno a la vida del proyecto y de su gestión, asícomo simplificar la presentación de la evaluación, y opta poruna clasificación en tres momentos claves que desarrolla acontinuación (Gráfico 4):

—La preparación del proyecto como la agrupación detodos los momentos, acciones y documentos que sedan antes de que el proyecto sea aprobado.

—La implementación del proyecto, etapa que correspon-de a la intervención como tal, la ejecución y su con-trol de avance desde que inician las actividades hastaal último día de intervención.

—La evaluación, entendida como evaluación ex post oposterior, realizada una vez que el proyecto ha termi-nado, incluso mucho tiempo después.

Esta agrupación de las etapas del ciclo de vida de un pro-yecto o programa tiene una conexión directa con la clasifi-cación de la evaluación desde un punto de vista temporal:la evaluación ex ante, la evaluación intermedia y la evalua-ción ex post.

Al inicio del proyecto varias son las acciones a desarro-llar en el marco de su preparación: es necesario realizarun diagnóstico de necesidades, identificar sus problemáti-cas y capacidades (valoración), y planificar la intervenciónen términos de objetivos y resultados deseables para lograrun cambio respecto a la situación anterior. En ese sentido,la evaluación es una acción permanente en la etapa depreparación del proyecto tanto en la valoración de las ne-cesidades y potencialidades de los hombres y mujeres deuna región determinada. Un tipo de evaluación que corres-

31

1 Para una mayor ampliación de dichas propuestas consultar dichos ma-nuales referenciados en la bibliografía.


ponde a dicha etapa es la evaluación de necesidades y po-tencialidades. En el primer momento de la preparación delproyecto se realiza la planificación a partir de la identifica-ción de unas necesidades no satisfechas. La evaluación denecesidades es un proceso que permite establecer priori-dades y tomar decisiones sobre la aplicación de recursos yel establecimiento de unos objetivos. Así, y como ya apun-tábamos, un proyecto será pertinente si responde a unasnecesidades bien establecidas, y además será exitoso, si hatenido en cuenta los potenciales de los grupos de la comu-nidad.

Gráfico 4. El ciclo de vida del proyecto (The project cicle)


Por otro lado, en la fase de planificación previa defini-ción de los objetivos, se establecen unos medios, conside-rados como los más idóneos para la consecución de di-chos objetivos. El análisis o revisión de si esos objetivos ysus medios para conseguirlos se adecuan al proyecto, sedenomina valoración previa. Este análisis sólo permite co-nocer si teóricamente esos medios son potencialmenteadecuados para los fines que se pretende conseguir antesde haberlos puesto en marcha. Es decir, una vez que elproyecto es planificado, es formulado en términos de for-matos adaptados por las agencias donantes para su estu-

Implementación

Evaluación

Preparación

32


dio y aprobación. Así, una vez diseñada la intervención,personal experto en las agencias donantes, realizará unaevaluación previa de la propuesta para su aprobación orechazo.

Una vez que el proyecto cuenta con financiación co-mienza la ejecución de la intervención, y es lo que hemosllamado en nuestro esquema: la implementación del pro-yecto. En esta gran etapa que implica la intervención en te-rreno, la evaluación también es una acción constante que esimportante tener en cuenta. Cuando las actividades comien-zan a ponerse en marcha, es necesario valorar su avance entérminos de eficacia y eficiencia, es decir, si se ejecuta elproyecto de manera eficaz (logrando los resultados espera-dos) y valorando la ejecución del presupuesto en términosde su optimización. En este caso hablamos de evaluacióndurante el proyecto, evaluación intermedia o seguimiento(mid-term evaluation, on-going evaluation).

El seguimiento del proyecto puede realizarse hasta elúltimo día de ejecución de actividades relativas a la inter-vención. El informe final de proyecto es el último informeque se realiza durante el proyecto. Es lo que se conocecomo evaluación de fin de proyecto (end project evalua-tion) y corresponde más a un informe global de seguimien-to que a una evaluación posterior, dado que se realiza enel marco de la intervención, o días después. El alcance deesta evaluación busca valorar los logros mediante el análi-sis de los resultados y sus indicadores, y el objetivo deproyecto.

La evaluación ex post o posterior comparte elementos dela anterior pero difiere de la misma en su integralidad. La fi-nalidad de esta última es la evaluación de los resultados yefectos generados por el proyecto en la población benefi-ciada, así como la evaluación del impacto y la sostenibili-dad del mismo. Esta evaluación es mucho más global, serealiza un tiempo posterior a la intervención y tiene un sen-tido más profundo al analizar que impacto se generó y si laintervención ha sido sostenible en el tiempo. Ambos crite-rios requieren de un tiempo de distancia para poder ser ana-lizados y verificados.

En resumen, la evaluación es una acción transversal ypermanente en las intervenciones de desarrollo, y el ciclode gestión de un proyecto o programa puede organizarse enrelación a los distintos tipos de evaluación ligados a la tem-poralidad del mismo. Veamos cada etapa con mayor pro-fundidad.

33


Cuadro 3. Ciclo de vida de gestión y tipos de evaluación según objeto y temporalidad

A continuación se desarrolla más ampliamente cada unade estas etapas, los momentos o fases que hacen parte deellas y su vinculación con la evaluación.

1.2.1. La preparación de la intervención

La preparación de la intervención es una etapa crucial enla que se sientan las bases del proyecto o programa, partien-do de un conocimiento de la realidad y estableciendo la si-tuación a la que se quiere llegar.

Cuando nos referimos a la etapa de preparación del pro-yecto, incluimos varios momentos o acciones a realizar an-tes de que el proyecto como intervención se ponga en mar-cha. El hecho de referirnos a una primera etapa mas ampliade preparación del proyecto, supone poner de manifiesto laexistencia de un proceso más global que la identificación,

ETAPA FASES TIPOS DE EVALUACIÓN(Según objeto y temporalidad)

Identificación

Planificación

Formulación

Ejecución

Seguimiento

Evaluación posterior

Evaluación denecesidades y

potencialidades(Diagnóstico)

Evaluación previa (Valoración de donantes)

Evaluación de progreso

Evaluación de proceso

Evaluación de fin de proyecto

Evaluación deresultados e impacto

Evaluación deexperiencias oSistematización

EVALUACIÓN EX ANTE

EVALUACIÓNINTERMEDIA

EVALUACIÓN EX POST

PREPARACIÓN(Antes del proyecto)

IMPLEMENTACIÓN(Durante el proyecto)

EVALUACIÓN(Después del proyecto)


34


Cuadro

4.

Mom

ento

s pri

ncip

ale

s de la p

rim

era

eta

pa d

el cic

lo d

e v

ida d

e u

n p

royecto

según a

lgunos

org

anis

mos

Org

anis

mo

CO

MIS

IÓN

D

E LA

SC

OM

UN

IDA

DES

EUR

OPEA

S

UN

IDA

D D

EEV

ALU

AC

IÓN

UN

ITED

NA

TIO

NS

DEP

AR

MEN

T

OF

DEV

ELO

PM

ENT

SUPPO

RT A

ND

MA

NA

GEN

MEN

TSE

RV

ICES

OX

FAM

INST

ITU

TO

LATIN

OA

MER

ICA

NO

Y

DEL

CA

RIB

E D

E PLA

NIF

ICA

CIÓ

NEC

ON

ÓM

ICA

YSO

CIA

L (I

LPES

)

AG

ENC

IAES

PA

ÑO

LA D

EC

OO

PER

AC

IÓN

(AEC

I)

Mom

ento

s pri

nci

pal

es

Pro

gram

ació

n

Iden

tifi

caci

ón

Inst

rucc

ión

Finan

ciac

ión

Iden

tifi

caci

ón

de

nec

esid

ades

Dis

eño d

eac

tivi

dad

es

Idea

Dia

gnóst

ico

de

la s

ituac

ión

Pla

nif

icac

ión

y dis

eño

Iden

tifi

caci

ón

Pre

par

ació

n

Pro

gram

ació

n

Iden

tifi

caci

ón

Form

ula

ción

Conce

pto

s

—D

efinic

ión d

e o

rienta

cio

nes

y p

rincip

ios

de

la c

oopera

ció

n c

on la C

om

isió

n

—P

rim

era

ela

bo

ració

n d

e i

deas,

exp

resa

das

media

nte

obje

tivos,

resu

ltados

y a

ctivid

ades

—Est

udio

de f

actibilid

ad:

dete

rmin

ació

n d

eta

-llada d

e todos

los

asp

ecto

s del pro

yecto

—Pro

puest

a d

e fin

ancia

ció

n

—A

nálisi

s de n

ecesi

dades

—A

nálisi

s de p

roble

mas

—C

onvers

ión d

e n

ecesi

dades

en a

ctivid

ades

—D

iseño d

e l

os

asp

ecto

s té

cnic

os,

tem

pora

les

y d

e c

ost

es

—A

nálisi

s de r

ecurs

os

—Exam

en c

rítico d

e la p

ropuest

a

—D

iseño d

e o

bje

tivos,

activid

ades

y r

ecurs

os

—Pla

nific

ació

n t

enie

ndo e

n c

uenta

a t

odos

los

inte

rvin

iente

s—

Indic

adore

s de m

edic

ión

—Id

ea

—D

esc

ripció

n d

el pro

ble

ma

—D

iagnóst

ico

—Localizació

n d

el pro

ble

ma

—Sele

cció

n d

e a

ltern

ativas

—C

ost

es

—Est

able

cim

iento

de u

n p

rogra

ma d

e c

oope-

ració

n y

solicitud d

e a

poyo

—D

efin

ició

n d

e obje

tivo

s, d

elim

itac

ión d

e per

-so

nas

ben

efic

iari

as, pre

visi

ón fin

anci

era

e in

s-titu

ciones

par

tici

pan

tes

—Si

stem

atiz

ació

n d

e la

info

rmac

ión d

el p

roye

cto

Docu

men

tos

rele

vante

s

—O

rien

taci

ones

def

inid

as e

n e

l pro

gram

a nac

ional

o reg

ional

—Id

eas

de

pro

yect

o

—Fi

cha

de

iden

tifica

ción

—Es

tudio

de

fact

ibilid

ad (

nat

ura

leza

del

pro

yect

o,

his

tori

al-

conte

xto, pla

n d

e tr

abaj

o, ex

per

tos/

as, dura

ción, et

c.)

—Pro

pues

ta d

e finan

ciac

ión

—A

cuer

do d

e finan

ciac

ión

—D

ocu

men

to d

e id

entifica

ción

—D

iseñ

o d

e el

emen

tos:

•

activi

dad

es•

tiem

pos

•re

curs

os

•co

stes

—Per

fil

—D

iagn

óst

ico

—Pre

fact

ibilid

ad

—Es

tudio

de

fact

ibilid

ad—

Dis

eño d

e pro

gram

a

—D

ocu

men

to e

stra

tegi

a—

Fich

a de

iden

tifica

ción

—D

ocu

men

to d

e fo

rmula

ción d

el p

roye

cto

35


diagnóstico, o la formulación por sí mismas, aglutinando to-das esas fases2 en una mas amplia.

Incluso hay diferentes propuestas sobre como se nombracada fase, que corresponden, en realidad, a cada una de lasorganizaciones internacionales que ha tratado de concep-tuar sobre el tema (Cuadro 4).

En nuestro caso, hemos resumido la etapa de prepara-ción del proyecto, en tres grandes momentos:

—La identificación de necesidades y potencialidades odiagnóstico.

—La planificación de la intervención.

—La formulación del proyecto o programa.

1.2.1.1. La identificación de necesidades y potencialidades:el diagnóstico

Identificar un proyecto es perfilar una idea de lo que sequiere hacer a partir del conocimiento de la situación enla que se quiere intervenir. Los elementos comprendidosen la identificación deben ser suficientes para poder tomaruna decisión acerca de la conveniencia de pasar a la si-guiente etapa, la planificación. Una buena identificaciónpasa por la realización de una investigación sociológicaaplicada que se conoce como diagnóstico. Este busca ca-racterizar la población afectada por una determinada pro-blemática, así como establecer el marco social, político,económico y cultural en que se inserta. Es lo que se conocecomo «tomar la foto» de la realidad a intervenir.

En la actualidad, la expansión de la metodología del enfo-que del marco lógico en el sector de la cooperación para laplanificación de proyectos (el cual parte en las primeras etapasde su metodología de la premisa de que existe un diagnósticoya construido) ha tenido como consecuencia la poca valora-ción de la realización de diagnósticos previos, y, sobre todo,de diagnósticos participativos que sean realizados con todo elrigor de la investigación social. Hay que señalar que por elcontrario, el diagnóstico sigue siendo una herramienta necesa-ria y de vital importancia para poder identificar cuáles son,precisamente, los aspectos que requieren mayor atención.

36

2 En este punto nos referimos al término etapa, como aquellos momentosprincipales de la vida del proyecto: La preparación del proyecto, la imple-mentación y la evaluación. Nos referiremos a fase, como subdivisiones me-nores dentro de cada etapa señalada.


Cuadro 5. El conocimiento del medio

Cuadro 6. La importancia de la identificación

1.2.1.2. La planificación de la intervención

Una vez que dispone de un documento de diagnósticoque nos refleja la realidad social de una población, el pasosiguiente es la planificación de una posible intervención. Elestudio y análisis de la realidad observada y reflejada en eldiagnóstico permitirá establecer las prioridades de los gruposbeneficiarios y de las potenciales entidades involucradas.

Para planificar un proyecto, en general, es necesario defi-nir ciertos elementos, tales como los objetivos, los resulta-

La identificación debería ser el paso previo a todo proyecto.Es la fase en la que se detectan unas necesidades y se ven lasposibles acciones que se pueden emprender para subsanarlas.De entre todas las posibles, se optará por una concreta que seráel proyecto que se lleve a cabo. En esta fase deberían intervenirlos beneficiarios de la acción, manifestando sus necesidades ysu opinión ante las propuestas de solución, también deberíanintervenir los técnicos o expertos en proyectos de la organiza-ción y de la contraparte si la hubiere (en los proyectos de coo-peración al desarrollo), para analizar su viabilidad.

Fuente: DE ASIS, A. y otros (2003): Manual de ayuda para la gestión de en-tidades no lucrativas. Fundación Luis Vives, Madrid, pp. 60-61.

Una pista, una hipótesis de acción, una simple intuiciónprovoca a veces un proceso que se orienta hacia una acción con-creta. Pero es necesario adquirir un buen «conocimiento delmedio» (…). Esta fase se llama también diagnóstico. Es arriesga-do pretender omitir esta etapa de «conocimiento del medio».No se debe pasar a fases más operacionales, de montaje de unfinanciamiento y de ejecución de una acción, antes de haberconfrontado metódicamente las hipótesis iniciales con las reali-dades concretas del medio (…). Debe evitar la recopilación deuna infinidad de datos tan numerosos que no podrán ser trata-dos correctamente, y se revelarán inutilizables. El estudio delmedio no es un trabajo «enciclopédico», debe ser utilizablepara determinar los factores negativos y las potencialidades deuna zona antes de sugerir acciones: debe ser definido, es decirrealizado, según un objetivo preciso.

Fuente: BEADOUX, E. y otros (1992): Guía metodológica de apoyo a pro-yectos y acciones para el desarrollo. De la identificación a laevaluación. IEPALA, Madrid.

37


dos de medio plazo, las actividades a realizar para conse-guirlos, la población que se beneficiará de ellos, las entida-des que participarán en el proyecto, entre otros. En el casode la planificación de un proyecto desde la metodología dela cooperación internacional (El enfoque del marco lógico),será necesario dar respuesta a los requisitos que plantea di-cha herramienta asumida por la mayoría de las agencias do-nantes. Algunos elementos se rescatan a continuación:

1. Es necesario que las personas implicadas (stakehol-ders) estén claramente identificadas y se defina elequipo de trabajo para toda la intervención. Convieneprecisar cuidadosamente los grupos objeto dado quedeberán asumir responsabilidades a lo largo del pro-yecto, pudiendo tomar decisiones sobre su desarrollo.En los períodos de identificación y planificación sue-len converger, al menos, tres instancias básicas:

—Las personas beneficiarias en general y sus repre-sentantes (hombres y mujeres),

—las instituciones y agencias responsables de la orga-nización ejecución del proyecto (contrapartes) y,

—las organizaciones o agencias responsables de apo-yar y financiar la realización del proyecto.

2. Especial atención debe prestarse a las relaciones degénero en la identificación y la planificación. El Con-sejo de la Comunidades Europeas señalaba en la Re-solución del Consejo de la Comisión Europea de Di-ciembre 20 de 1995 el compromiso de orientar sucooperación para el desarrollo de acuerdo con la inte-gración del enfoque de género: «en la concepción,formulación y puesta en marcha de todas las políticasy acciones de desarrollo, así como en el seguimientoy evaluación». En este punto es relevante considerarlas relaciones de género en cuanto a la división deltrabajo, el acceso a los recursos y utilización de éstos,mecanismos de toma de decisiones, distribución delas rentas y beneficios, asignación del tiempo y estadojurídico de las mujeres, analizando el impacto de estosfactores en el éxito del proyecto (OCDE-CAD, 1993).Es en esta etapa, al realizar el análisis de situación,cuando se deben tomar en consideración los factoresde influencia en la identificación de las necesidadesprácticas y estratégicas de género, así como evaluar yseleccionar las posibles soluciones desde esa mismaperspectiva.

38


3. El Comité de Ayuda al Desarrollo (1993) enfatiza laimportancia de la descripción minuciosa de los objeti-vos para asegurar un examen previo eficaz y una bue-na realización de las actividades. Los objetivos debenser definidos de la manera más realista posible y conmucha sencillez para hacer más fácil su comprensióny aceptación.

4. Para concretar correctamente una planificación, elEML sugiere la formulación de actividades ligadas alos resultados (logros de corto plazo), además de laconstrucción de un buen cronograma que relacionedichas actividades con una secuencia temporal, paraestablecer los «tiempos» del proyecto y su consecu-ción.

Cuadro 7. Necesidades prácticas y necesidades estratégicas de género

5. En el marco de la planificación del proyecto tambiénse incluye el estudio de viabilidad, considerando lasposibilidades de que los resultados alcanzados semantengan en el futuro. Dependiendo del tipo de pro-yecto que se trate, habrá que realizar un tipo u otro deanálisis de viabilidad. En las actividades de tipo pro-ductivo, por ejemplo, será necesario realizar estudioseconómicos o de comercialización, en aquellas queconsistan en infraestructuras serán muy importanteslas consideraciones técnicas, en proyectos de microcrédito, el plan de recuperación de cartera, etc.

Caroline Moser se refiere a las necesidades prácticas de gé-nero como aquellas que las mujeres identifican en virtud de susroles socialmente aceptados por la sociedad, no desafiando lasdivisiones del trabajo por género o la posición subordinada delas mujeres en la sociedad, siendo necesidades que respondena la necesidad percibida inmediata. Las necesidades estratégi-cas por el contrario, son aquellas que las mujeres identifican envirtud de su posición subordinada a los hombres en su socie-dad. Estas varían de acuerdo a los contextos particulares y se re-lacionan con las divisiones del trabajo, del poder y del controlpor género.

Fuentes: MOSER, C. (1995): Planificación de género y desarrollo. Teoría,Práctica y Capacitación. Entre mujeres. Flora Tristán Ediciones,Lima.MOSER, C. (1993): Gender Planning and Development. Theory,Practice and Traning. Routledge, London.

39


6. Una vez clarificado que acciones pueden ser llevadasa cabo, es necesario construir un presupuesto o plande inversión económica para el proyecto. La inversiónestablecida, será la necesaria para dotar al proyectode unos recursos humanos, logísticos y materiales re-queridos para poner en marcha y desarrollar las acti-vidades planificadas.

7. Por último, es interesante establecer desde el inicio unplan de seguimiento y evaluación para el proyecto,que pasa por definir los indicadores que propone lamatriz de planificación del marco lógico (cuantitati-vos y cualitativos) para la medición de los cambios anivel de resultados y objetivos propuestos. Es intere-sante definir responsabilidades con relación a la reco-gida de información a todos los niveles del proyecto(personas beneficiarias, personal operativo, responsa-ble de los informes, etc.), así como los tiempos para lapresentación de los mismos.

1.2.1.3. La formulación a las entidades donantes: el diseño

Una vez que han sido identificados los aspectos de la si-tuación de partida que queremos modificar, los objetivosque deseamos alcanzar y los medios necesarios para obte-nerlos, así como la viabilidad de todo ello, es el momentopara diseñar el proyecto y detallar la formulación. Es el mo-mento de vaciar la información recabada durante el procesode identificación (diagnóstico) y el diseño global de la plani-ficación, en un formato o formulario que establecen lasagencias donantes como requisito previo a la aprobación deuna intervención y la asignación de unos recursos.

Es importante señalar que mientras el proceso de planifi-cación es uno (así sea flexible y ojalá haya sido participati-vo), no ocurre lo mismo con la formulación. De una mismaplanificación de proyecto (el eje central de la intervención)pueden salir tantas formulaciones como agencias a las quequeramos presentar la iniciativa para lograr los recursos ne-cesarios. Esta fase de formulación está muy ligada a los do-nantes y requiere de un buen conocimiento de sus líneas definanciación, sus mecanismos y sus formatos.

Por otro lado, la fase de formulación, está también vincu-lada a la negociación con las agencias donantes. Si bien eldocumento de formulación es un reflejo de nuestro proyec-to vaciado en el esquema de una agencia donante (nacionalo internacional) con un potencial presupuesto, también es

40


cierto que los donantes pueden decidir financiar la interven-ción parcialmente (lo que supondrá buscar co-financiacio-nes), o establecer modificaciones antes de la aprobación. Espor esto que algunas propuestas sobre el ciclo de vida con-sideran la financiación como una fase relevante que mereceser tenida en cuenta en el proceso de preparación de unproyecto, pues hasta que no se da el «aprobado» definitivo,la propuesta puede tener modificaciones3.

Un documento de formulación de proyecto debe reunir,al menos, tres características según la Agencia Española deCooperación Internacional (1998):

—Servir de guía para la acción, de tal modo que se en-cuentren en el mismo las etapas de ejecución, los re-cursos disponibles, las temporalidades, etc.

—Ser elemento de comunicación, que exprese el com-promiso entre todos los grupos e instituciones implica-dos en la puesta en marcha de la acción.

—Ser la base para la toma de decisiones, incluyendo lainformación necesaria que permita la toma de decisio-nes, bien respecto al inicio del proyecto como en lasposibles redefiniciones del mismo.

Una vez que el proyecto es formulado y presentado a laspotenciales instancias financiadoras, hay dos elementos cla-ves que son eje principal de la valoración previa (evalua-ción ex ante):

1. La pertinencia: es decir, si el proyecto es útil y respon-de a las necesidades existentes. Se trata de una cues-tión de utilidad, que la intervención esté suficiente-mente justificada. Su revisión conduce a decisionessobre si se debe financiar el proyecto o no.

2. La viabilidad: se valora si el proyecto será capaz deprocurar beneficios durante un largo período de tiem-po, después de que lo esencial de la ayuda exteriorsuministrada por los donantes haya llegado a su fin.

Reflexionar sobre la pertinencia y la viabilidad es interro-garse sobre las posibilidades de realizar acciones necesariasque puedan mantenerse cuando la ayuda y los apoyos exte-riores terminen.

41

3 Es tal la influencia de esta fase, que se habla de fase de financiación oFundraising. En Latinoamérica se refieren a este proceso como «merca-deo». Existen a nivel internacional posgrados de formación sobre el tema.


Cuadro 8. Esquema general del formato de formulación de ayudasa proyectos con cargo al FOCAD

Datos iniciales

Información general del proyecto (título, país, entidad solicitante,socio local, duración, financiación, etc.)

1. Descripción resumida del proyecto2. Localización detallada3. Contexto, antecedentes y Justificación

3.1. Contexto3.2. Antecedentes3.3. Justificación

4. Lógica de intervención4.1. Objetivo general4.2. Objetivo específico de proyecto

4.2.1. Indicadores4.2.2. Fuentes de verificación4.2.3. Factores externos o hipótesis

4.3. Resultados esperados4.3.1. Indicadores4.3.2. Fuentes de verificación4.3.3. Factores externos o hipótesis

4.4. Relación de actividades previstas5. Participación de los beneficiarios y beneficiarias

5.1. Identificación de la población beneficiaria5.2. Criterios de selección de la población beneficiaria directa5.3. Fases del proyecto en que participarán los beneficiarios y

cómo lo hacen.6. Cronograma de actividades7. Presupuesto y financiación del proyecto, desglose por cofinancia-

dores8. Estudio de viabilidad y sostenibilidad

8.1. Factores técnicos8.2. Factores económico-financieros8.3. Factores institucionales8.4. Factores sociopolíticos y fortalecimiento del tejido social8.5. Sostenibilidad del proyecto tras la finalización del mismo, ges-

tión de recursos y compromisos alcanzados9. Grupos objetivo: líneas transversales en el proyecto: adecuación

con prioridades sectoriales9.1. Apoyo a colectivos en situación de especial vulnerabilidad o

marginación9.2. Factores medioambientales y de defensa de la biodiversidad9.3. Enfoque de género. Análisis de género e indicadores de impacto9.4. Potenciación de las organizaciones comunitarias9.5. Adecuación con alguna de las prioridades sectoriales

10. Seguimiento y evaluación del proyecto

Fuente: GOBIERNO VASCO (2003): Departamento de Vivienda y Asuntos Socia-les. Viceconsejería de Asuntos Sociales. Dirección de Cooperación alDesarrollo, Vitoria-Gasteiz.

42


La metodología de la gestión de proyectos de la coope-ración española (2000) apunta a la importancia de la reali-zación de una valoración previa de lo formulado del pro-yecto —que refuerce la calidad de los documentos delproyecto— analizando los aspectos que se hayan considera-do como esenciales y proponiendo modificaciones perti-nentes para aumentar su coherencia y su viabilidad. Es lallamada evaluación de la evaluabilidad, valoración previa,valoración de proyectos o valoración de la suficiencia, quemediante un estudio técnico del documento de proyecto de-termina la idoneidad de su ejecución en función de una se-rie de criterios de calidad y unas puntuaciones.

1.2.2. La implementación

La implementación es la etapa de realización del pro-yecto. A nivel temporal, se refiere al «durante» de la inter-vención, y abarca desde que el proyecto es aprobado y sehace el primer traslado de fondos, hasta el último día de laejecución de las actividades y el cierre del presupuesto. Po-dría considerarse la fase de mayor importancia dentro detodo el ciclo de gestión, dado que es la que tiene la vincu-lación directa con toda la población beneficiaria e involu-crada directa e indirectamente.

Si pensáramos en un proyecto como en un partido de fút-bol, hay etapas de todo el proceso que son importantes: lapreparación, la definición de la estrategia, el entrenamientode las personas que jugarán, etc., (evaluación ex ante), ac-ciones necesarias para que el partido funcione. Pero nocabe la menor duda, que la etapa más visible de todas es eljuego en el terreno, desde que inicia el partido, hasta que seacaba. Después podrá valorarse si se jugó bien o mal, y enque se puede mejorar (evaluación ex post), pero el «duran-te» del partido de fútbol requiere toda la atención del públi-co, los jugadores, el personal de entrenamiento, juntas di-rectivas, etc. Por lo tanto, nuestro proyecto en el terreno ysu implementación, requerirá de elementos de gestión queserán los que perfilen el desarrollo del proyecto y su éxito ofracaso.

En esta etapa de implementación nos encontramos condos grandes momentos: la ejecución y el seguimiento. Son dosacciones que van necesariamente unidas, como las dos ca-ras de la misma moneda: no debiera existir la una sin laotra. Para poder hacer seguimiento de una intervención, tie-ne que darse esa intervención (que en nuestro caso es la eje-

43


cución del proyecto); pero no puede darse una ejecución decalidad, si no se le hace seguimiento de la misma para retro-alimentar las acciones y orientarlas en caso de que fuera ne-cesario.

Así, la ejecución del proyecto responde a la realizaciónde las actividades que estaban previstas en la planificación,y a la ejecución del presupuesto, y el seguimiento buscarealizar el acompañamiento a la acción que se está desa-rrollando. Observando el progreso del proyecto, anticipan-do posibles desviaciones de lo planeado y realizando losajustes necesarios. Se trata de un proceso continuo y metó-dico de recogida de información y tratamiento de datospara la evaluación.

1.2.2.1. La ejecución de la acciones

La ejecución del proyecto presupone la existencia de unplan operativo (planificación), basado en la aprobación definanciación, identificación inicial y diagnóstico. Para laejecución del mismo es necesario una serie de requisitos,tales como:

1. La existencia de un organismo responsable de la eje-cución del proyecto que tome las decisiones funda-mentales frente a contingencias, seguimiento de lastareas y asignación de recursos en el momento previs-to. Este órgano podrá ser de la entidad contraparte,del consorcio o agrupación de varias de ellas, o de lacombinación de personas de la contraparte y la orga-nización donante en el terreno. En cualquier caso,será necesaria la existencia de una unidad gestora/di-rectora de la intervención.

2. La constitución de comisiones o grupos de trabajopara atender las tareas del proyecto. En este sentido,es importante la participación de la población benefi-ciaria en dichas tareas, tomando en consideración susmotivaciones, capacidades, experiencias y disponibi-lidades. Especial atención deberá prestarse a la parti-cipación de las mujeres en el proyecto y en la asigna-ción de tareas, de tal modo que tiendan a disminuirlas desigualdades de género o, por lo menos, a noacrecentarlas.

3. Conocimiento y aprobación por parte de las personasinvolucradas y beneficiarias de las actividades y ac-ciones a realizar y la capacidad técnica y financierade llevar a cabo lo planificado.

44


4. Establecimiento de unas buenas vías de comunica-ción, tanto entre las fuentes de financiación del pro-yecto y el organismo que ejecuta el mismo, comoentre las diversas comisiones o grupos de trabajoque se han creado y la población beneficiaria. Esinteresante la puesta en práctica de procedimientosque permitan la obtención de información necesariaen cada momento.

Gráfico 5. El proceso de ejecución y seguimiento del proyecto(implementación)


5. Control de los recursos. Es importante que la unidad eje-cutora del proyecto, así como otras instituciones u orga-nismos de apoyo, analicen detalladamente la previsióny programación de recursos necesarios en la implemen-tación. La falta de un recurso humano, físico o económi-co en un determinado momento puede afectar la plani-ficación de forma parcial o total. Por otro lado, laejecución del presupuesto del proyecto, exige una desa-gregación detallada y adecuada de cada actividad y ta-rea para su mejor tratamiento, dado que en esta etapa esfrecuente que se presenten situaciones que obligan a in-troducir cambios en la programación financiera, al tenerque transferir fondos de una actividad a otra, ampliarunas partidas y reducir otras, ampliar o reducir el presu-puesto por donaciones, etc.

EJECUCIÓN

Plan operativo de proyectoPlan de proyecto

— Plan que sigue el formato base de laidentificación

— Recursos aprobados

— Organismo responsable de la ejecución(unidad gestora)

— Socialización a partes involucradas

— Grupos de trabajo

— Actividades

SEGUIMIENTO

Informes deseguimiento

— Seguimiento externo (agencia)

— Seguimiento interno (local)

— Informe/Ficha de seguimiento:

• Revisión de objetivos

• Revisión de actividades

• Revisión planificación: tiempo, costes, etc.

• Identificación de cambios

• Establecimiento de previsiones

• Formulación de recomendaciones

45


1.2.2.2. El seguimiento a la intervención

El monitoreo o seguimiento es un proceso esencialmenteinterno a la ejecución del programa que permite descubrirlas anomalías que surgen durante la ejecución y tomar me-didas para paliarlas. Es una revisión permanente de lo queestá ocurriendo en el desarrollo del proyecto, en compara-ción a lo que se había previsto.

El manual de metodología de la evaluación de la coope-ración española define el seguimiento como aquella fase delciclo «que se lleva a cabo de manera continuada durante laejecución para controlar que la utilización de los recursos yla formalización de actividades están de acuerdo con el cro-nograma previsto» (MAE-SECIPI, 1998: 36). Esto requiere queno se pierda de vista el esquema dibujado en la identifica-ción y diseño del proyecto, aunque de manera flexible, detal modo que se pueda reorientar aquellos aspectos queaconseje la interpretación de la evolución del proyecto.

El seguimiento debe ser una acción que acompaña siem-pre la ejecución de los proyectos, dado que su finalidadprincipal es mantener informadas a todas las personas impli-cadas sobre el estado en que se encuentra la ejecución y enqué grado se están realizando las actividades y alcanzadolos resultados previstos. Para ello, los procedimientos utili-zados en el seguimiento deberán atender a un estudio com-parado entre lo que estaba previsto y lo que se está realizan-do. Se compara la realización de las actividades según loplanificado, y los resultados en relación con los indicadoresque se establecieron para posibilitar dicha medición.

Dos son las ideas que podemos recoger como esencialessobre el seguimiento. En primer lugar, que es un medio decontrol que permite comprobar que la actuación se corres-ponde con lo planificado, tanto en contenido como en pla-zos temporales. Y en segundo lugar, es un medio para la ad-ministración del proyecto, ya que permite la recolección deinformación, que tratada correctamente puede redundar enmedidas prácticas de corrección y adaptación a los cambiosque las acciones provocan.

Lo ideal sería establecer un sistema de monitoreo y eva-luación desde el inicio del proyecto, consensuado y retroali-mentado por toda la unidad gestora, y que permitiera tenerla información suficiente para la realización de los informesde seguimiento. Los instrumentos y herramientas para la re-cogida de información, pueden ser muchos y varían segúnlas circunstancias del proyecto, la orientación del equipo o lasposibilidades económicas, pero las más habituales son:

46


—La observación directa de las actividades realizadas.

—Las entrevistas semi-estructuradas a informantes clave.

—Documentos como actas de entrega, listas de asisten-cia, etc.

—Documentos contables y de gestión.

La idea es promover el uso de fichas de seguimiento ela-boradas por cada área de responsabilidad del proyecto se-gún su actividad y complementarla con la información queproveen las personas participantes, los grupos beneficiarios,etc. Estas fichas, su análisis y complementación con la in-vestigación permanente, servirán como fuentes para la reali-zación de los informes internos (para la organización) y ex-ternos (a donantes).

Cuadro 9. El seguimiento debe ser un proceso sencillo

Una manera de sistematizar la información recabada du-rante el seguimiento es la realización de los informes de se-guimiento. Estos informes tienen la función de configurar unbalance crítico de los avances del proyecto con respecto a

El seguimiento no debe suponer un sistema sofisticado demedición, sino que responda a los indicadores del progreso. Engeneral, el seguimiento debe caracterizarse por ser liviano,orientado y concertado, combinando elementos cuantitativos ycualitativos. Esto tiene algunas implicaciones que se puedenconcretar en los siguientes puntos:

— No debe exigir demasiado tiempo ni dinero, sino unapráctica fácil y sencilla que no requiera grandes inversio-nes de capital económico y humano.

— Además, como se ha señalado con anterioridad, será ne-cesario establecer indicadores que permitan el análisis delos hechos sobre los que se efectúa el seguimiento.

— Debe ser concertado, es decir, que tenga en cuenta laparticipación de todas las personas involucradas.

— Tiene que combinar, en la recolección de datos e infor-mación, la metodología cualitativa y cuantitativa de ma-nera equilibrada, de tal modo que no se acumulen cifrassin análisis valorativos complementarios.

Fuente: BEADOUX, E. y otros (1992): Guía metodológica de apoyo a pro-yectos y acciones para el desarrollo. De la identificación a laevaluación. IEPALA, Madrid.

47


la realización de sus objetivos y de las posibilidades de ob-tener una eficacia duradera para los grupos destinatarios(CCE, 1993). Estos informes recogen de manera exhaustivalos avances logrados en el proyecto en cada periodo, bienparcialmente (referido a un trimestre, por ejemplo) o al final,incluyendo todas las actividades realizadas y resultados delproyecto desde el inicio hasta el fin. La periodicidad de es-tos informes estará condicionada a la naturaleza del proyec-to, así como a las exigencias de las agencias donantes y delas organizaciones que ejecutan el proyecto.

El seguimiento en general, y estos informes en particular,permiten el cuestionamiento sobre las necesidades de hacervariaciones o cambios y su establecimiento, bien sea en lasactividades, en el presupuesto a nivel no sustancial o inclu-so, en el diseño del proyecto. En el caso de que los cambiossean sustanciales, tanto en el presupuesto como en las acti-vidades u objetivos, será necesario reportarlo a las entidadesdonantes para su aprobación.

Tres tipos de acciones pueden darse a partir de dichos in-formes:

—Acciones correctivas (cambios no sustanciales): estasacciones suponen pequeñas correcciones del proyec-to, considerando que la planificación original del pro-yecto sigue siendo válida. Normalmente supone unareorientación de recursos o de tiempo.

—La reformulación o replanificación (cambios sustancia-les): supone cambiar las expectativas de la gente sobrelos resultados del proyecto. Así, se reformulará el pro-yecto, cuando deban modificarse los objetivos, se ha-yan detectado grandes variaciones en el presupuesto,reducción de suministros, etc.

—La cancelación (devolución de fondos): la cancelacióndel proyecto es una decisión drástica que afecta a todoel proyecto. Esta no debería ocurrir sin haber conside-rado las fases anteriores.

La ejecución y el seguimiento son los dos momentosclaves en la implementación del proyecto y de su gestión,pero requieren que se haya realizado un buen trabajo ante-rior en el examen previo. En la medida en que se definancon claridad y realismo los objetivos que se quieren alcan-zar, las actividades a realizar y los medios que se disponenpara su puesta en marcha, el seguimiento será sobre todouna ayuda al desarrollo del mismo según las previsiones es-tablecidas.

48


Cuadro 10. Informes de seguimiento de proyectos según la AECI

1.2.3. La evaluación ‘ex post’

Genéricamente se ha concebido la evaluación como elanálisis sobre la cantidad o el valor de algo realizado. Esuna valoración que necesita de una información recabadade forma rigurosa, tal y como establecen las técnicas deinvestigación social aplicada, y que se realiza desde cier-tos criterios que permitirán afirmar si la intervención pue-de ser calificada como positiva o no, si los logros han teni-do el impacto deseado y son sostenibles en el tiempo.

Por ello, en el ámbito de la cooperación al desarrollo, unaevaluación posterior puede entenderse como un proceso en-caminado a determinar la pertinencia, eficacia e impacto de

1. Datos de presentación del proyecto (título, país, fechas, etc.)

2. Descripción del proyecto y del mecanismo de ejecución

a. Descripción resumida del proyecto originalb. Descripción resumida del proyecto y sus mecanismos de

ejecución con la explicación de las modificaciones

3. Objetivos propuestos y grado de cumplimiento

a. Objetivo general y específicob. Indicadores previstos y logro de los indicadores

4. Resultados previstos y grado de cumplimiento

a. Resultados esperados b. Indicadores previstos y logro de indicadores

5. Actividades realizadas y grado de ejecución

6. Programación y ejecución presupuestaria

7. Valoración de la ejecución del proyecto, desviaciones y re-comendaciones

8. Entrega final del proyecto

a. Finalización y transferencia del proyectob. Receptividad de la contraparte y de los beneficiariosc. Perspectivas de viabilidad del proyecto y procedimientos

de gestión posterior

9. Fecha y autor del informe

10. Anexos

Fuente: Agencia Española de Cooperación Internacional (AECI).

49


todas las actividades a la luz de sus objetivos. La definiciónmás utilizada para la evaluación dentro del marco de la coo-peración al desarrollo, es la establecida por el CAD de laOCDE en su manual de la ayuda al desarrollo (Cuadro 11).

Cuadro 11. Concepto de evaluación ‘ex post’

Esta definición de evaluación ex post se centra princi-palmente en el análisis de los resultados de la interven-ción, sus efectos sobre la población y la sostenibilidad delos mismos en el tiempo. Para valorar los resultados y susefectos se utiliza de manera generalizada los indicadoresde resultado, proceso o impacto que veremos en la segun-da parte de este manual.

Tal y como hemos visto en la definición del Comité deAyuda al Desarrollo (CAD) de la OCDE a mediados de losnoventa, se establecieron algunos criterios clave para valorarlas intervenciones de la cooperación al desarrollo, desde unamirada posterior a la intervención. Poco tiempo después, mu-chas agencias bilaterales y multilaterales se han hecho eco deesta propuesta y los han establecido como criterios vincula-dos a la evaluación con el enfoque del marco lógico (estable-cidos en el manual de la NORAD en 1997), y asumidos en laactualidad por la Unión Europea (EuropeAid) a nivel de pro-yectos de cooperación, la Oficina de Ayuda Humanitaria dela CE (ECHO) y la AECI, entre otras, desde el año 1998.

Actualmente, son muchas las agencias internacionalesque han asumido el reto de realizar evaluaciones ex post, yen la mayoría de los casos, desde los criterios propuestos

La evaluación es una función que consiste en hacer unaapreciación, tan sistemática y objetiva como sea posible, sobreun proyecto en curso o acabado, un programa o un conjunto delíneas de acción, su concepción, su realización y sus resulta-dos. Se trata de determinar la pertinencia de los objetivos y sugrado de realización, la eficiencia en cuanto al desarrollo, laeficacia, el impacto y la viabilidad. Una evaluación debe pro-porcionar unas intervenciones creíbles y útiles, que permitanintegrar las enseñanzas sacadas en los mecanismos de elabora-ción de las decisiones, tanto de los países de acogida como delos donantes.

Fuente: COMITÉ DE AYUDA AL DESARROLLO —OCDE— (1995): Manual dela ayuda al desarrollo. Principios del CAD para una ayuda efi-caz. Mundi Prensa, Madrid, pág. 178.

50


por la OCDE en el año 1995. Casi diez años después, exis-ten publicadas en la red más de 100.000 evaluaciones expost bajo dicho esquema.

Cuadro 12. Estudio sobre experiencias internacionales de evaluación según los criterios de la OCDE

Veamos en que consisten los criterios para la evaluaciónex post, que con frecuencia confundimos en el lenguaje co-loquial, pero que en ámbito de la gestión (management) tie-

En un estudio reciente promovido por la Oficina de Plani-ficación y Evaluación (OPE) de la Agencia Española de Coo-peración Internacional y realizado por HEGOA sobre expe-riencias internacionales de evaluación en el sector deldesarrollo rural integrado y el fomento de las actividades agro-pecuarias, se analizaron evaluaciones publicadas en Internetpor agencias bilaterales, multilaterales y de carácter horizontal(ONGD, universidades, centros de investigación). Las agenciasanalizadas, fueron AUSAID, DANIDA, BMZ, USAID, DFID,SIDA, EuropeAid, BM, Banco Asiático, FIDA y FAO, para untotal de 57 evaluaciones analizadas, que fueron realizadas en-tre 1998 y 2002, correspondientes a 85 programas ejecutadosen la última década.

El proyecto de investigación evaluativo partió de un análisisinicial de 30.000 evaluaciones en el área de desarrollo rural,publicadas por un centenar de agencias internacionales con pá-gina en Internet acotadas bajo criterios de temporalidad, signifi-catividad, tipo de evaluación y fecha de realización. El ejerciciode análisis se realizó bajo el mismo esquema para todas las eva-luaciones, organizadas y clasificadas mediante una ficha. Las fi-chas de valoración de las evaluaciones seguían el siguiente es-quema:

1. Características del proyecto/programa.

2. Características de la evaluación (metodología).

3. Alcance general del proyecto (logros globales).

4. Criterios de evaluación de la OCDE: eficacia, eficiencia,pertinencia, sostenibilidad e impacto.

5. Aprendizajes y recomendaciones.

Fuente: GONZÁLEZ, Lara (2003): Estudio sobre Experiencias Internacionalesde Evaluación. Sector Desarrollo Rural Integrado y Proyectos deFomento de las Actividades Agropecuarias. OPE-Cooperación Es-pañola y equipo de asesoría de HEGOA. Universidad del PaísVasco, Bilbao.

51


ne sus diferencias etimológicas y técnicas (estos criterios sese amplían en la segunda parte):

—Eficacia (Effectiveness):Se entiende que un proyecto es eficaz cuando produceel efecto esperado. Es decir, si tras la implantación delprograma o proyecto, los objetivos establecidos hansido alcanzados. Es una medida del nivel de alcancetanto de los objetivos como de los resultados de unaactividad que se dirigió a una población beneficiaria,en un periodo temporal determinado.

—Eficiencia (Efficiency):La eficiencia es el análisis que pone en comparaciónlos resultados obtenidos con los medios utilizados.Este análisis que debe tener en cuenta todos los me-dios que tomaron parte en el desarrollo del proyecto,constituye un análisis de costes en el cual se valoranlos insumos (inputs) del mismo y su optimización. Elanálisis que relaciona los medios y los objetivos com-prueba si el programa ha sido eficiente.

—Pertinencia (Relevance):La valoración de la pertinencia del proyecto se pre-gunta si se han cubierto las necesidades de la gentedespués de finalizado. Es decir, si el proyecto realmen-te respondió a las necesidades señaladas por hombresy mujeres y sus grupos, y si éstas eran reales y respon-dían a su contexto.

—Sostenibilidad (Viability- Sustainability)Un proyecto es sostenible si los efectos del mismo, soncapaces de mantenerse por si mismos en el tiempo.Puede estimarse la viabilidad al inicio del proyecto ycomprobar su grado de autonomía al final del mismoo tiempo después a su ejecución. La sostenibilidad esun criterio de vital importancia en la evaluación expost, dado que el objetivo de la intervención debe sersiempre trasladar capacidades a la población benefi-ciaria y sus organizaciones.

—Impacto (Impact):Este criterio apunta a la valoración de todos los efectossurgidos en el entorno del proyecto en cualquiera delos ámbitos de la vida social, así sean positivos o nega-tivos, esperados o no. Se trata de una medición másamplia que la eficacia, dado que trata de observarademás de los resultados o efectos conseguidos positi-vos y esperados, los no esperados y los negativos.

52


En conclusión, en este apartado hemos visto cómo la ac-ción evaluadora es una constante dentro del ciclo de vidade un proyecto o programa de desarrollo. La evaluación esuna acción necesaria tanto en la preparación del proyectocuando analizamos las necesidades y potencialidades de lapoblación, como al valorar el mismo diseño de la interven-ción (y establecer si parece pertinente y viable). Es una acciónimprescindible a lo largo del proceso de ejecución paracontrolar los avances y establecer los cambios necesarios. Ypor último la evaluación ex post, nos permite hacer una va-loración global del proyecto, una vez que éste ha finalizado,desde el análisis de resultados, procesos e impacto. Los crite-rios más consensuados a nivel internacional son los pro-puestos por la OCDE: la eficacia, la eficiencia, la pertinen-cia, sostenibilidad e impacto. Todo ello si anteriormente sehan ido estableciendo adecuadamente los indicadores demedición necesarios.

1.3. LA EVALUACIÓN ‘EX POST’ EN LOS PROYECTOS DEDESARROLLO

1.3.1. Las diferentes tipologías de evaluación

Tal y como hemos visto anteriormente, el concepto deevaluación es transversal a toda la intervención, de talmodo que una tipología de la evaluación puede clasificar-se desde la temporalidad a la que se refiere (ex ante, inter-media y ex post). Pero existen otras posibles según otroscriterios.

En primer lugar, si tenemos en cuenta el criterio delagente que la realiza, podemos encontrar cuatro modali-dades que ampliaremos en los próximos capítulos de estemanual.

—La evaluación interna, si la responsabilidad de la eva-luación recae sobre la entidad ejecutora;

—la evaluación externa si la pone en marcha una enti-dad externa a la intervención, o el mismo donante;

—mixta si se combinan las dos anteriores;

—y participativa si es un equipo multidisciplinar e inte-grador de los distintos grupos involucrados el que sehace responsable de su ejecución.

En segundo lugar, encontramos la clasificación propuestapor M. Q. Patton (1990) que diferencia:

53


—la evaluación formativa, como aquella que se aplica alproyecto estudiado y su contexto específico tratandode mejorar al interior de la intervención;

—de la evaluación sumativa, como aquella que produceun juicio global sobre la efectividad de un programa opolítica y la posibilidad de ser trasladado a otra reali-dad o hacerse generalizable.

En el caso de la cooperación internacional, el seguimien-to del proyecto tiene más elementos de la evaluación forma-tiva propuesta por Patton, y la evaluación ex post tiene uncomponente mayormente sumativo.

En último lugar, podemos encontrar también clasificacio-nes de la evaluación ex post según su objeto.

—La evaluación de resultados (o de producto) pone elénfasis en los resultados y efectos que el proyecto halogrado según lo previsto y el impacto que se ha gene-rado el entorno de la población.

—La evaluación de procesos o experiencias, también co-nocida como sistematización, la cual se centra en la for-ma en cómo se ha desarrollado el proyecto, las relacio-nes entre personas e instituciones involucradas, la tomade decisiones, los instrumentos, procedimientos, y lasexperiencias vividas en torno a toda la intervención.

En el caso de realizar una evaluación ex post tendremosque establecer si su carácter será mayormente externo, su-mativo y de resultados (evaluaciones propuestas por los do-nantes en su mayoría), si serán de carácter interno en lacontraparte, formativa y más centrada en los procesos (diná-micas existentes en organizaciones locales), o si se estable-cen evaluaciones integradas que permitan la participaciónde todos los agentes del proyecto mediante la conforma-ción de equipos de evaluación que puedan analizar tantolos resultados del proyecto y su impacto, como recoger lasexperiencias vividas durante su desarrollo. Esta decisión, esclaramente institucional y compete a la entidad que ejecutael proyecto y su contraparte, en recomendable consensocon las agencias donantes.

1.3.2. Las funciones de la evaluación ‘ex post’

Algunas veces nos preguntamos, ¿y para que sirve la eva-luación ex post? ¿Qué diferencia hay con el seguimiento?¿No es lo mismo que el informe final que se entrega a las

54


agencias donantes? ¿Cuál es la finalidad de realizar evalua-ciones posteriores si el proyecto ya ha finalizado?

Veamos ahora algunas respuestas a estas preguntas:

Si ponemos la atención en dos de las acciones evalua-tivas anteriormente mencionadas: el Seguimiento (S) y laEvaluación ex post (E), podemos observar que a pesar de serdos acciones complementarias del ciclo de vida del proyec-to, poseen funciones diferenciadas. Son múltiples los orga-nismos y entidades que señalan su necesaria relación, hastael punto de haberse generalizado el término S+E.

Pero también hay que resaltar la distinción obligatoriaque cabe establecer entre ellos. En ese sentido, la mismaAgencia Alemana de Cooperación Técnica —GTZ— enun documento propio sobre el seguimiento en la coopera-ción técnica (Klinger, Steigerwarld; 1998), subraya la su-peración del binomio S + E como una sola función, y susustitución por seguimiento con el fin de evitar malenten-didos. Mientras el seguimiento es una valoración conti-nua, tanto del funcionamiento de las actividades del pro-yecto en el contexto de los calendarios de su ejecución,como de la utilización de los insumos del proyecto porparte de las poblaciones fijadas como objetivo en el con-texto del diseño (Casley y Kumar; 1990); la evaluación expost es una valoración a posteriori sobre la pertinencia,eficacia, eficiencia y efectos del proyecto en el contextode sus objetivos declarados. Para ello se requiere informa-ción procedente de fuera del proyecto, en tiempo, zona ypoblación.

Esto no supone que, pese a sus funciones distintas, nohaya características comunes que realzan la relaciónexistente entre ellas. En ese sentido, el seguimiento sinevaluación (es decir, la evaluación de progreso sin la deresultados) puede darse, pero sólo permite juzgar la ejecu-ción de la intervención sin poder concluir nada sobre labondad de la misma y su efecto en la población bene-ficiaria. Por otro lado, la evaluación ex post sin el segui-miento resulta casi inviable. La evaluación posterior re-quiere de una buena información disponible en losinformes de seguimiento. Por lo tanto, deberá utilizarse lainformación recopilada durante el seguimiento para laevaluación, porque si no, adolecerá de una ausencia im-portante al no haber quedado registrados los avances delproyecto, los cambios necesarios realizados en la planifi-cación inicial, y las reacciones continúas de la poblaciónfrente a la intervención.

55


Cuadro 13. Principales diferencias entre el seguimiento y la evaluación ‘ex post’

En segundo lugar, la evaluación ex post también tiene al-gunas diferencias con el informe final del proyecto o progra-ma. El informe final es el informe agregado de todos los in-formes parciales en cuanto al logro de los indicadoresestablecidos para los resultados del proyecto y su objetivo.Normalmente se realiza al finalizar la intervención y permi-te una primera aproximación a la valoración del éxito o fra-caso del proyecto.

Objetivo

Periodo dereferencia

Necesidadesde análisis

Usuariosprimarios

SEGUIMIENTO

Recolección de informa-ción para la ejecución ytoma de decisiones res-pecto al proyecto.

Proyecto en ejecución.

Cumplimiento de pla-nes y calendarios.Revisión de funciones,actividades y productos.Percepciones de la po-blación beneficiada so-bre la ejecución.Situación financiera.Relación gastos/presu-puesto.

Entidad ejecutora.Agencia donante.Población beneficiaria.

EVALUACIÓN EX POST

Recolección de infor-mación para el apren-dizaje de lo realizado,lo impactado (efectos) yla toma de decisionesfuturas.

Proyecto finalizado.

Revisión de resultados.Cumplimiento de obje-tivos (eficacia).Percepciones de la po-blación sobre el proyec-to y sus logros (efectos).Eficiencia (recursos-re-sultados).Pertinencia (necesida-des).Sostenibilidad (autono-mía de la población be-neficiaria).Impactos (efectos noesperados).

Entidad ejecutora.Entidad donante.Otras entidades y agen-tes.Población beneficiada.Población no beneficia-da-entorno.


56


Ahora bien, mientras que todos los proyectos realizadosrequieren de manera imprescindible de un seguimiento per-manente y la realización de un informe final de proyecto paravalorar el progreso del mismo, los resultados alcanzados y ellogro del objetivo; no ocurre lo mismo con la evaluación expost. Una evaluación posterior o de impacto, no puede serrealizada al final de todos los proyectos, sobre todo cuando elalcance de estos es pequeño (a nivel de cobertura o de secto-res) y requiere de la ejecución de otros proyectos posterioreso paralelos para poder evaluarse el impacto (objetivo superiory otros efectos) de un programa más amplio.

Cuadro 14. El informe final o informe de término de proyecto

El último informe de seguimiento recibe el nombre informe detérmino del proyecto, en el cual se registran los datos físicos (acti-vidades y tareas) y financieros de los proyectos, los desfases res-pecto al cronograma de la ejecución, los objetivos originalmenteestablecidos y los resultados alcanzados. Este informe es necesa-rio para realizar la evaluación ex post y de impacto. El informe detérmino del proyecto tiene especial importancia porque resumela información recolectada durante la etapa de monitoreo (…).

Los elementos a destacar en un informe de término de pro-yecto son:

—Comparación de los gastos y flujos financieros.

—Observaciones sobre el cumplimiento temporal.

—Verificación de la ejecución técnica.

—Especificar los datos a colectar anualmente.

Las funciones del informe de término de proyecto son:

—El informe de término de proyecto reestima los gastos fi-nancieros y el cumplimiento al momento de la termina-ción del proyecto.

—Mediante el informe de término de proyecto se puede ob-servar el funcionamiento de la operación del proyecto.Además en este informe se deben incluir recomendacio-nes y la opinión del ejecutor del proyecto.

—El informe de término del proyecto especifica los datos arecoger en los años siguientes a la culminación de la ope-ración del mismo.

Fuente: MINISTERIO DE ECONOMÍA Y FINANZAS (2002): Manual para la eva-luación ex post de proyectos de Riego pequeños y medianos.Dirección de Programación Multianual del Sector Público. Mi-nisterio de Economía y Finanzas, Perú, pp. 20-21.

57


Parece más pertinente la realización de una evaluación expost a un nivel de programas de largo plazo o cuando la insti-tución ejecutora y otras instancias consideran relevante hacerun corte transversal y analizar varias intervenciones dirigidashacia un mismo objetivo programático o de largo plazo. Unaevaluación ex post puede ser planteada por una entidad trascinco años de presencia en una región para valorar los cam-bios acaecidos en la población y establecer nuevas líneas es-tratégicas para su entidad. Decidir si promocionar nuevosproyectos en la misma línea mantenida hasta la fecha, o bus-car ampliar la cobertura a otras zonas del país tratando dellevar a escala los logros de anteriores intervenciones (sca-ling up).

Las funciones otorgadas a la evaluación son válidas sise aclararon previamente a su puesta en marcha y si el es-tudio de investigación evaluativa responde a los interesesde quien la solicitó o de las partes implicadas en el pro-yecto.

A continuación abordamos las principales funciones a lasque debe responder la evaluación, entendida como la emi-sión de juicios valorativos sobre el impacto que el proyectoha logrado en una población beneficiaria, durante una tem-poralidad concreta.

La evaluación ex post puede tener tres funciones princi-pales:

1. Apoyo a la gestión institucionalUna función importante de la evaluación es recogertodas las informaciones que se han ido recopilandoen forma de informes internos y externos (a donantes)de seguimiento. Si el seguimiento ha introducido ele-mentos ligados a la valoración del proceso (como setomaron las decisiones, funcionamiento de equipo,relaciones de poder, relaciones de género) al interiorde la organización, es probable que haya supuestoun refuerzo a lo largo de toda la intervención. Du-rante la investigación evaluativa posterior proba-blemente aparecerán documentos (actas), escritos (re-comendaciones, memorandums) ligados a la gestióninstitucional necesaria para llevar a cabo el proyecto.Si durante el desarrollo de la acción se dieron cam-bios relevantes en la organización, tendrá que acep-tarse la necesidad de implementar esos cambios y ga-rantizar los apoyos y financiamientos necesarios en elfuturo. Además, la evaluación permite medir la eficien-cia en el desarrollo del proyecto, el funcionamiento

58


del equipo, así como mirar los costes y la eficiencia deluso de los recursos (humanos, técnicos, materiales ylogísticos) y descubrir si es necesario mejorar el modoen que se estaban haciendo las cosas. La evaluaciónex post establecerá recomendaciones de carácter ge-neral ligado a la gestión institucional local y sus equi-pos de trabajo.

Gráfico 6. Las finalidades de la evaluación ‘ex post’


2. Control de recursos y de funcionamientoLa evaluación tiene una importante función de con-trol financiero y contable, así como de la realizaciónde las acciones. Esta función normalmente respondea las demandas de las agencias donantes que necesi-tan la justificación de lo invertido en el proyecto, osimplemente como respuesta a los requerimientos delos gobiernos donantes. Esta función es necesaria,aunque frecuentemente es mal percibida por los ac-tores del terreno que temen las sanciones que puedeacarrear. A través de la evaluación de eficiencia eco-nómica y financiera, se puede conocer el grado derentabilidad de los capitales, bienes y servicios pues-tos a disposición del proyecto. Se suelen aplicar téc-nicas de coste eficiencia y coste utilidad, etc., que es-tablecen pistas de cómo mejorar la eficiencia en elfuturo. Este tipo de análisis incorpora aspectos estric-

EVALUACIÓN ‘EX POST’

INFORMACIÓN

APOYO A LA GESTIÓN

FUTUROS PROYECTOS

CONTROL APRENDIZAJE

59


tamente económico-financieros, pero también aspec-tos sociales. Tal y como señala el CAD en sus reco-mendaciones, la evaluación proporciona una basepara la justificación de las acciones emprendidas,considerándola bajo el ángulo de los resultados parael desarrollo y del impacto de la ayuda al desarrollo.Añaden además, que esta función debe concebirsede manera distinta a la obligación de justificar la uti-lización de los fondos públicos, en un sentido única-mente, contable y jurídico, siendo estas cuestionescompetencia de las auditorias (CAD, 1995). El con-trol a lo realizado desde un punto de vista económi-co como de actividades es necesario, dado que losproyectos de cooperación y emergencia se nutren defondos públicos que deben ser fiscalizados para ase-gurar cierta transparencia.

3. Aprendizaje para el futuro cercanoOtra de las finalidades de la evaluación ex post, y anuestro parecer la más interesante, es entenderlacomo una herramienta de aprendizaje que permitemejorar las políticas, programas y proyectos futuros, através de la consideración de las enseñanzas sacadasdel pasado. De hecho, la realidad empírica es la quepone de manifiesto que haber realizado evaluacionesen los últimos tiempos, bien de proyectos de desarro-llo específicos, como de políticas de intervención másgenerales, ha contribuido a descubrir cuales era loserrores cometidos y los caminos equivocados por losque se orientaba la cooperación, permitiendo apren-der de los mismos y tomar decisiones que orientasenel futuro en determinadas direcciones. Por tanto, esmediante acciones y juicios evaluativos, incluso me-diante la investigación evaluativa, en general, que seha podido llamar la atención de las personas que to-man las decisiones sobre las limitaciones que tiene enocasiones los esfuerzos de la ayuda, debido a imper-fecciones, a elementos de rigidez de las políticas se-guidas por los donantes y por los países beneficiarios;o la insuficiencia de la coordinación, falta de partici-pación, etc.

Tal y como señala la agencia noruega de desarrollo(NORAD; 1997), la finalidad más importante de la evalua-ción, es proporcionar conocimientos y experiencias quepuedan mejorar la calidad de la ayuda al desarrollo. Es de-cir, invertir en comunicación orientada a la mejora median-te el aprendizaje.

60


Cuadro 15. Utilidades de la evaluación

Es importante resaltar que la evaluación puede y debecontribuir a la mejora de las acciones de desarrollo, comoproveedora de información para el control, ayuda a la ges-tión y, sobre todo, en la influencia que ejerza en la toma dedecisiones futuras. La evaluación, por ello, debe ser debida-mente organizada y expresada en un informe que deberá serde dominio público.

En conclusión, la evaluación puede mejorar la gestión delos programas y proyectos de desarrollo, ayudar a la gente aaprender de las experiencias pasadas, incrementar la res-ponsabilidad de los donantes en sus demandas de que losrecursos sean utilizadas con efectividad, eficiencia y de acuer-do con los objetivos establecidos, y por último, proveer de in-formación para una buena comunicación entre organizacio-nes locales, beneficiarios y donantes.

1.4. DIFICULTADES CON QUE SE ENCUENTRA LA EVALUACIÓN ACTUALMENTE

Lo cierto es que la puesta en marcha de las evaluacionesno es siempre una tarea sencilla. En numerosas ocasionesnos ocurre que la percepción de las dificultades que entraña

La evaluación se refiere tanto al futuro como al pasado: esuna vía para valorar los resultados de las acciones pasadas, enaras a incorporar dicho aprendizaje en la planificación futura.Manteniendo una mirada crítica de lo ocurrido, la evaluaciónpuede:

—Determinar hasta que punto se han encontrado los objeti-vos y las metas.

—Valorar la relevancia, la efectividad, la eficiencia, el im-pacto y la viabilidad de lo que se ha logrado.

—Reconsiderar, a la luz de la experiencia, la validez de lossupuestos del plan original.

—Indicar que puntos de vistas internos pueden ser ofrecidospara mejorar una práctica y una política de desarrollomás amplia.

Fuente: EADE, D. and WILIAMS, S. (1995): The oxfam handbook of deve-lopment and relief. Volume I. An Oxfam Publication, London,pág. 415.

61


la puesta en práctica de las mismas, y en ciertos casos laacumulación de experiencias pasadas en la que los informesde evaluación ponían de manifiesto los aspectos menos po-sitivos de la cooperación, la ha enmascarado como la caranegativa de la gestión, relegándola a una situación secunda-ria dentro de los procesos de intervención en el desarrollo.Hoy, tras casi una década en que las agencias promovieransu realización, comienza a asumirse su importancia, aunquetodavía no se pueda afirmar que sea una práctica común ynormalizada. Aún encontramos que se confunde la evalua-ción y la investigación evaluativa con la realización de in-formes de seguimiento a los donantes.

El propósito de abordar aquí las dificultades con que lasevaluaciones se encuentran, tiene por objetivo ponerlas enconocimiento de aquellas personas que toman parte en lasmismas, para que sean conscientes y capaces de establecerlos mecanismos necesarios para superarlas.

Cuadro 16. Dificultades que enfrenta la evaluación ‘ex post’

Algunas dificultades propias de la evaluación ex post:

— Falta de financiación y no inclu-sión en el presupuesto

ECONÓMICAS — No entendimiento de la evalua-ción ex post como parte de lagestión del proyecto

— Confusión con auditorias

— No confiabilidad y validez de losmétodos elegidos

METODOLÓGICAS— Falta de coherencia entre la me-

todología de planeación y ejecu-ción con la de la evaluación

— Dificultad de medición cualita-tiva

— Dificultad de entendimiento porevaluadores externos

TIPOS— Dificultades de fiabilidad si es

interna— Dificultad de consenso y a veces

falta de tiempo en el caso de unaevaluación participativa


62


En primer lugar, merece la pena diferenciar entre lo quepodemos denominar dificultades con las que la evaluación seencuentra en su aplicación, de aquellas otras limitaciones quese derivan de una utilización inadecuada de las evaluacionesy a las que ya hemos hecho referencia con anterioridad.

1. Una de las principales dificultades con que la evalua-ción se enfrenta es de índole económica:

—Gran parte de las agencias de cooperación y sus con-trapartes, encuentran siempre mayores dificultadespara disponer de financiación para la evaluación. Fre-cuentemente, las evaluaciones ex post se conciben demanera separada al resto de proyectos o a un progra-ma global de intervención y a la hora de realizarla noexisten fondos institucionales disponibles. En estecaso, el error de fondo puede ser conceptual. Pareceque todavía no está totalmente integrada la idea deque la evaluación es parte (tan necesaria como lasotras) del proyecto, tal y como lo hemos presentado enel ciclo de vida anteriormente. Sin la evaluación se ca-rece de información relevante sobre cómo se actúa,qué se logra y si es sostenible. Es más fácil poner enmarcha nuevas intervenciones que busquen éxito sidisponemos de un referente anterior.

—En segundo lugar, muchas veces las evaluaciones sonentendidas en su función de control estrictamente fi-nanciero y contable. Se confunde la evaluación conuna auditoria contable. En este sentido, entender laevaluación en sentido global, integrando una revisiónmás profunda con un análisis más amplio que la efica-cia y la eficiencia como es la utilidad del proyectopara la población objetivo, o si es posible continuarlos cambios positivos sin ayuda externa, o el impactogenerado en otros ámbitos tales como las pautas cultu-rales, relaciones sociales, relaciones de género, comu-nitarias, etc.; ayuda a comprender la evaluación comouna herramienta que proporciona información sobrelo realizado, posibilitando el aprendizaje sobre las ex-periencias vividas y ayudando a la toma de decisionessobre las acciones futuras.

2. Otro tipo de dificultades con las que se encuentra laevaluación a la hora de su puesta en práctica, son las relati-vas a la metodología utilizada:

—Es cierto que la evaluación ofrece una oportunidad deaprendizaje de las experiencias pasadas de una manera

63


sistematizada. Sin embargo, la calidad de la informa-ción y su credibilidad dependerá de los métodos quese hayan utilizado. Las herramientas para la recogidade información deben estar acordes con las categoríasidentificadas como claves en el proyecto y con el obje-tivo último de dicha evaluación. Un informe de evalua-ción será poco creíble si utiliza una metodología queno haya sido previamente aceptada, dado que los re-sultados podrían ser meras percepciones subjetivas delequipo evaluador (o de la persona que evalúa). El CADen su manual de recomendaciones (1995: 178) recogela importancia de definir una metodología previa a laejecución del proyecto desde la planificación, asícomo los objetivos que a la misma se le asignan.

—Por otra parte, la evaluación implica una medición.Pero no todo lo que es evaluable es medible cuantitati-vamente. Es posible saber en detalle cuáles han sido losgastos en relación a las actividades, las cantidades derecursos utilizados: salarios, materiales, etc., mediantela comprobación de indicadores de carácter cuantitati-vo. La evaluación de la realización de actividades, laparticipación de la gente en las mismas, o los produc-tos o servicios generados, son realidades metodológica-mente convertibles a datos cuantificables: grado de im-plicación, número de asistentes a tal reunión, n.º deacres cultivados, niños y niñas escolarizados en un de-terminado periodo, etc. Pero no todos los resultados ocambios son medibles de ese modo: actitudes, compor-tamientos, motivaciones, relaciones sociales, relacio-nes de género, etc. Por ello, las personas que realicenlas evaluaciones deberán tener especial cuidado enconcentrar esfuerzos para tenerlos en cuenta, dado quelos factores más cualitativos son extremadamente im-portantes para determinar si el proyecto ha tenido éxitoo no. En ese sentido, la metodología recomendabledesde nuestro unto de vista será aquella que combine(siempre en relación al objetivo último de la evalua-ción) la utilización de indicadores cuantitativos y cuali-tativos, así como técnicas de recopilación de informa-ción formales e informales.

3. Por último, nos referimos a algunas al tipo de evalua-ción que se adopte según el agente evaluador que vaya arealizarla:

—En el caso de que sea una persona externa al proyectoy al medio en el que se desarrolla (persona experta

64


extranjera) la que realiza la evaluación, nos podemosencontrar ciertas dificultades. Por un lado, las deriva-das de las diferencias culturales entre la persona eva-luadora (agencia donante, gobierno, etc.) y los gruposlocales, que ven a la persona que evalúa como al-guien extraño frente al que no se sabe muy bien cómoactuar. Además, en ocasiones la información no secomparte con la ONG local, la cual no se atreve aofrecer sus propias conclusiones al temer que puedanofender a la agencia donante o comprometer la finan-ciación futura.

—Cuando se realizan evaluaciones internas (con otrasmuchas ventajas) puede resultar complejo llegar acuestionar ciertas acciones y actividades internas y, enconsecuencia, lograr ser imparcial. Por otro lado, unadificultad que se encuentran las contrapartes a la horade poner en marcha evaluaciones, es el desconoci-miento de los protocolos, modelos y formatos queusan los donantes.

—Las evaluaciones mixtas suelen ser las más comunesen los proyectos de cooperación, incluyen un repre-sentante de la agencia donante y del organismo queha identificado e implementado el proyecto. Comodificultad principal se pone de manifiesto el acuerdoprevio sobre cuáles son los términos de referenciaque guiarán la evaluación, el objetivo de las misma,el método, etc., y esto no es siempre sencillo de re-solver. Además, la influencia de la persona expertaexterna, suele ser fuerte y acaba orientando los crite-rios.

—Las evaluaciones participativas incluyen a hombres ymujeres que han desarrollado el proyecto, entidadessocias locales, y las personas beneficiarias. Una verda-dera evaluación participativa tiene en cuenta a todaslas personas integrantes del proyecto en la toma de de-cisiones y en el control del mismo. Algunos riesgospueden venir de lo que supone éxito o fracaso paracada una de las partes, o la dificultad para llegar aacuerdos sobre la modalidad de evaluación que se vaa realizar, las técnicas a utilizar, etc. La búsqueda delconsenso requiere, en la mayor parte de los casos, unagran disponibilidad al diálogo por todas las partes, asícomo de tiempo disponible.

65


Cuadro 17. Algunos problemas a enfrentar a la hora de evaluarproyectos de carácter social

Mario Espinoza, ha clasificado los posibles problemas demanera amplia, estableciendo cuatro categorías:

1. Problemas institucionales: en los organismos ejecutoresdel proyecto. Existe en ocasiones una gran resistencia alcambio, lo que genera en ocasiones que se desactivenlos procesos evaluativos no introduciendo las medidascorrectoras para cambiar ciertas circunstancias.

2. Problemas de relaciones personales: tales como las dife-rencias de personalidad, o de desempeño de papeles quegeneran conflictos de intereses y pueden alterar el cursodel proyecto y de las evaluaciones.

3. Problemas técnicos: para poder evaluar es preciso que sehayan establecido el marco de referencia para poder es-tablecer comparaciones. La debilidad técnica con que seejecute el proceso de diagnóstico para la definición deun proyecto, tiene una decisiva incidencia en la calidaddel proyecto. Si el diagnóstico no es adecuado la evalua-ción partirá de premisas erróneas, ya que se medirá unasituación real con un marco de referencia equivocado.Otros problemas técnicos que habrá que hacer frente se-rán posibles desajustes entre las necesidades de la eva-luación y el modelo que se emplee, o la insuficiencia delequipo evaluador, etc.

4. Problemas operativos: En esta categoría se sitúan los pro-blemas que aparecen durante la fase de ejecución de laevaluación y, más concretamente, en la recolección deinformación y su difusión. Por ejemplo, un mal uso delos datos y filtraciones que provocan rumores en la co-munidad y en ocasiones generan inestabilidad y pertur-bación, o inoportunidad en las rendiciones de informesdonde en ocasiones las evaluaciones son entregadas unavez se han tomado las decisiones a las que afecta.

Fuente: ESPINOZA, Mario (1983): Evaluación de proyectos sociales. Edito-rial Humanitas, Buenos Aries, pp. 173-190.

66


2La evaluación ‘ex post’ en la práctica:

… ¿Y esto cómo se hace?


A lo largo de esta segunda parte, nos referimos a la puestaen marcha de una evaluación ex post en la práctica. Muchasson las preguntas que debemos hacernos al enfrentarnos auna evaluación. ¿Cuándo evaluamos? ¿Quién la realiza ypara quién? ¿Qué modelo de evaluación utilizamos? ¿Cuántopodemos gastarnos y en cuánto tiempo tiene que estar termi-nada? ¿Qué herramientas de investigación son las más perti-nentes para recoger la información de nuestro proyecto? Estaspreguntas y algunas otras, son preguntas típicas a las que de-bemos dar respuesta en forma de términos de referencia, undocumento donde se establece el diseño o los puntos de par-tida para la evaluación.

La evaluación hay que planificarla y la planificación de laevaluación responderá, en principio, a las inquietudes delas entidades socias del proyecto, bien en el Norte como enel Sur. Una vez que se plantea la evaluación, la tarea deconsensuar los agentes evaluativos, el modelo a utilizar ylas herramientas de investigación, requiere de ciertos deba-tes y diálogos. No todas las visiones derivan en una mismaforma de investigar y cada modalidad da origen a diversasformas de evaluación.

En esta amplia segunda parte, se abordan las diferentesmodalidades de evaluación desde el punto de vista de losagentes (evaluaciones externas, internas, participativas), mo-delos de evaluación de la cooperación internacional (marcológico, evaluación socioeconómica, modelos participativosy la sistematización de experiencias), así como herramientasde recogida de información primaria y secundaria, cualitati-va y cuantitativa durante el trabajo de campo de la evalua-

69


ción. Finalmente se hace referencia al análisis de los datospara la elaboración de resultados.

Estas son algunas de las alternativas que debemos cono-cer, de cara a elegir las más adecuada para nuestro pro-yecto o programa. Finalmente se presenta una propuestade modelo integrador para la evaluación, que puede sertenida en cuenta como otra alternativa adicional.

2.1. LA EVALUACIÓN HAY QUE PLANIFICARLA

2.1.1. La decisión de evaluar… ¿Esperamos al final?

Cuando nos encontramos ante un proyecto, bien a lahora de la formulación, su desarrollo, incluso, en su fina-lización, nos puede surgir la inquietud de realizar unaevaluación ex post. Lo cierto es que lo ideal sería plante-arse la evaluación al inicio, e incluirla como parte inte-grante de la planificación, pero tal y como hemos vistoanteriormente, existen distintos tipos de evaluación quepueden responder a intereses diversos, y la decisión dellevarlas a cabo puede ser tomada en cualquier momento.Independientemente de cuando se decida, sí es indispen-sable que la evaluación esté pensada y planificada. Laplanificación del proyecto debe contemplar, al menos, al-gunas cuestiones en torno al seguimiento, los agentes delmismo, el modelo a adoptar y la forma en que se recogerála información.

Comencemos por resolver la primera cuestión: cuándodecidimos hacer una evaluación ex post. Ante esta inquie-tud vamos a situarnos ante tres escenarios posibles:

a) La entidad ejecutora tiene asumida una buena cultu-ra evaluativa y realiza internamente evaluaciones in-termedias (seguimiento) y posteriores (ex post) desdesu propia metodología. En este caso es probable quela propuesta de realizar una evaluación posterior notome de sorpresa a nuestros socios locales si la plan-teamos desde el inicio en la planificación, e inclusonos sorprendan y sea la organización la que nos loproponga. Por tanto, es al inicio del proyecto, cuan-do se establece la necesidad de realizar una evalua-ción posterior a dicha intervención, además de unseguimiento permanente. En este caso (que sería elideal) podemos asumir que la organización contra-parte será la encargada de realizar el seguimiento y

70


remite los informes a la entidad del Norte para sussugerencias y posterior envío al donante. Por lo tan-to, si al inicio se acordó realizar una evaluación pos-terior con los criterios de la agencia donante, perocon los aportes de todas las entidades y grupos aso-ciados (donantes, ONGD, contraparte, grupos de lapoblación beneficiaria, entidades locales, etc.); esprobable que su planificación exhaustiva puedacompletarse al final del proyecto de forma consen-suada.

b) Un segundo escenario pudiera ser el más común ennuestro sector. Existe una conciencia generalizada enlas organizaciones (Norte y Sur) sobre la importanciade realizar evaluaciones, pero a su vez, un desconoci-miento de cómo se pone en marcha, o cuáles son lasherramientas necesarias en términos de las agenciasdonantes. El proyecto o programa establece la obliga-ción de realizar de informes de seguimiento a donan-tes que normalmente se inician en las organizacioneslocales y que se retocan y enmarcan en la metodolo-gía del donante en el Norte, pero no planifica ni sepresupuesta una evaluación ex post. En caso de queel proyecto ha tenido grandes dificultades, o por elcontrario, ha resultado exitoso y se desea compartir laexperiencia y los resultados de la misma, entonces seplantea la realización de una evaluación ex post unavez que la intervención ha terminado. En ocasiones larealiza personal técnico de la ONGD en el Norte, yen otras, (la mayoría) se subcontrata una consultoríaexterna para su realización. En este caso, la decisiónde realizar una evaluación ex post es al final del pro-yecto.

c) Y una tercera posibilidad, es aquella en la que lainiciativa de realizar evaluaciones ex post la tomacualquiera de las entidades o grupos socios del pro-yecto (la población, los gobiernos locales, la contra-parte, la ONGD o el mismo donante) pero no res-ponde a la búsqueda de respuestas o valoracionessobre una intervención en particular (de uno o de3 años), sino que desea analizar los cambios profun-dos (de índole cultural, económica, política, de unconflicto, de la juventud, de las relaciones de género,de los derechos humanos, etc.) que han tenido lugaren un periodo más amplio (de cinco a diez años). Setrata de evaluaciones ex post de corte transversal ode impacto y no buscan evaluar proyectos (que se-

71


guramente ya han sido evaluados desde el segui-miento y el informe final de proyecto), sino compa-rar e indagar sobre los efectos de una determinadasituación y la intervención en una zona, de cara aextraer aprendizajes de corte general en una temáti-ca, para aportar generalizaciones a la sociedad, o alsector de la cooperación. También pueden respon-der a una evaluación planteada nivel institucionalque permita revisarse tanto interiormente comoexteriormente, para definir un cambio de estrategiade organización local, o del mismo donante en elpaís. La decisión de evaluar en este caso no está li-gada al proyecto y su ciclo de gestión, si no másbien al la gestión organizacional de las entidadessocias.

Una vez decidido evaluar, el siguiente tema se refiere ala planificación de la evaluación. Cuando se decide poneren marcha una evaluación, existen ciertas preguntas que de-ben ser respondidas. ¿Por qué se realiza? ¿Quién va a po-nerla en marcha y a quién le interesan sus resultados? ¿Des-de qué modelo la aplicamos y con qué herramientas?¿Cómo se recoge la información y con qué medios? ¿Cuántova a costar?

Estas y otras preguntas deben ser respondidas de formainicial cuando planificamos la evaluación Así, la evaluaciónex post deberá responder a ciertas fases desde que se tomala decisión de evaluar hasta que se entrega la evaluación yse socializan los resultados entre las entidades interesadas(clientes). Dichas fases pasan por la planificación de sus tér-minos de referencia, la recogida de información como tra-bajo de campo, el análisis y procesamiento de la informa-ción, y la preparación del informe final y su devoluciónsocial (Gráfico 7).

Veamos a continuación cómo dar respuesta a dichaspreguntas en relación con las fases necesarias a la hora deevaluar.

72


Gráfico 7. Los momentos clave en la evaluación de proyectos dedesarrollo


DECISIÓN DEEVALUAR

Planificación de la evaluaciónLos términos de referencia (ToR)

Recogida de información(trabajo de campo)

INFORMESocialización

73


2.1.2. Los Términos de Referencia de una evaluación (ToR)

Una vez que nos hemos decidido a realizar una evalua-ción, es el momento de diseñarla, de prepararla. Para ello,debemos dar respuesta a las preguntas que nos hacíamosanteriormente y otras más. Se trata de planificar el estudioevaluativo, estableciendo los términos de referencia (Termsof Reference-ToR).

Cuadro 18. Los Términos de Referencia de una evaluación ‘ex post’ (ToR)

La preparación de los términos de referencia es de vitalimportancia para los resultados posteriores de la evaluación.Por ello, es importante partir del objetivo de la evaluación yconcentrarse en los aspectos necesarios para ponerla enmarcha, dando respuesta a los mismos. La Agencia Noruegade Desarrollo (NORAD) propone construir los ToR en tornoa cuatro momentos: decisión de evaluar, preparación de lostérminos de referencia: objeto, ámbito, momentos, etc., se-

PREGUNTASTÉRMINOS DE REFERENCIA

Cuál es el objeto de realizar la evaluación ANTECEDENTES

Qué personas, entes u organismos están CLIENTESinteresados en realizarla

Quién la llevará a cabo EQUIPO EVALUATIVO

Desde dónde se realiza la evaluación PERSPECTIVA-MODELO

Cómo se consigue la información y con qué METODOLOGÍA

instrumentos

Qué va a ser evaluado ACCIONES, PROYECTOS PROGRAMAS

Cuándo, en qué momento CRONOGRAMA

Cuánto, análisis de recursos PRESUPUESTO Y y costes LOGÍSTICA


74


lección del equipo evaluador y trabajo preparatorio y deplanificación (plan de trabajo para la evaluación).

Cabe, entonces, preguntarse ¿por qué se necesita un planevaluativo?, ¿qué significa realizar un plan de evaluación?M.T. Feuerstein señala que planificar es un método organi-zativo por el cual se pretenden alcanzar unos objetivos enun momento determinado (Cuadro 19).

Cuadro 19. La planificación de la evaluación

El CAD propone el establecimiento de un plan generalpara la evaluación de sus actividades de ayuda al desarro-llo, fijando un orden de prioridades y estableciendo un ca-lendario de actuación. Veamos algunas pistas sobre cadauno de los elementos de los ToR:

1. Uno de los primeros aspectos a definir en la prepara-ción de la evaluación son los antecedentes de la mis-ma. Se trata de responder a las preguntas ¿Por qué rea-lizamos una evaluación? ¿Para qué nos servirá? Paradar respuesta a estas inquietudes es necesario teneren cuenta los antecedentes del proyecto, su contexto,su razón de ser, objetivos, desarrollo, etc. Será nece-saria una reunión con las personas implicadas en elproyecto para determinar entre todas los principiosque guiarán la evaluación, su fin último, las perso-nas que formarán parte del equipo evaluativo, etc.Algunos autores recomiendan asegurar la presenciade todas las personas interesadas en dicha reunión

La planificación de la evaluación es una ayuda para:

—Seleccionar las prioridades y objetivos de la evaluación.

—Indicar el tipo de métodos que se necesita.

—Decidir qué se necesita hacer en detalle.

—Decidir el rol de cada persona que tomará parte en laevaluación.

—Indicar cuanto tiempo llevará la realización de la evalua-ción y cuanto costará.

—Incrementar habilidades en planificación y evaluación.

Fuente: FEUERSTEIN, Marie-Therese (1986): Partners in evaluation: Evaluatingdevelopment and community programmes with participants.Mc. Millan, Hong Kong, p. 20.

75


para lograr acuerdos en los principales objetivos dela misma (Rubin, 1995). Seguramente habrá objetivosobvios que se aprobarán sin dificultad, pero puedehaber otros que no tanto, dados los distintos interesesde los miembros del grupo.

2. En línea con lo anterior, es necesario definir los clien-tes de la evaluación, aquellas personas o entidades in-teresadas en que la evaluación se realice. En este pun-to las variaciones pueden ser muchas según se hayaido desarrollando el proyecto a lo largo de su ciclo devida. Si éste ha sido concebido desde la comunidad,seguramente será ella la que solicite los resultados dela evaluación, así como otros grupos que hayan parti-cipado (entidades gubernamentales o no gubernamen-tales. La determinación de las personas interesadas(clientes) determinará, sin duda, el tipo de evaluacióna realizar y los componentes de la misma.

Cuadro 20. Objetivos que orientan la evaluación

3. Ligado a esta decisión también debemos establecercon claridad, que personas van a estar a cargo de laevaluación en cuanto a su puesta en marcha, ejecu-ción y presentación de resultados. Es decir, cuáles sonlos agentes evaluativos. En este caso, también es ne-cesario tomar una decisión institucional e intra-institu-ciones socias, para que la decisión sea consensuada.Podrá darse el caso que la evaluación se delegue a

1. Continuar o finalizar el proyecto que se está evaluando.

2. Mejorar sus prácticas o procedimientos de cara al futuro.

3. Añadir o desechar técnicas en relación con las que se estánempleando.

4. Modificar estrategias.

5. Establecer proyectos semejantes en realidades similares.

6. Asignar recursos escasos entre actividades que compiten en-tre si.

7. Aceptar un enfoque o teoría sobre el proyecto en ejecución.

Basado en SIMAS (1998): Como aplicar el enfoque de género en los pro-gramas de desarrollo rural. Una recopilación bibliográfica. SIMAS.Grupo interinstitucional género y agricultura. PROMIPAC, Managua.

76


una institución externa al proyecto o la organización;que personal de la organización la lleve a cabo, o quese establezca alguna modalidad participativa, confor-mando un equipo de trabajo (equipo de evaluación).

4. En coherencia con los objetivos de la evaluación debeelegirse un modelo de evaluación. Las personas res-ponsables del proyecto, o el mismo equipo evaluador(en el caso de que lo hubiera), deberán consensuar laperspectiva o modelo evaluativo que va a guiar la in-vestigación. Sobre este punto ampliaremos más ade-lante algunas perspectivas, pero la recomendaciónmás general, suele ser utilizar el mismo modelo imple-mentado durante la ejecución del proyecto y su segui-miento, e incluso, desde su planificación. En el casode la cooperación al desarrollo europea, la mayoría delas evaluaciones que se realizan desde los países do-nantes, o a iniciativa de ellos, siguen las pautas delmodelo del Enfoque del Marco Lógico (EML) que atra-viesa todo el ciclo de vida del proyecto.

5. Realizar evaluaciones implica disponer de informa-ción en torno a diversos aspectos del programa o pro-yecto finalizado. Es necesario concretar qué informa-ción se requiere y qué variables serán analizadas y aque nivel. Los juicios que se emitan sobre la bondadde una intervención se basarán en qué variables ha-yamos decidido observar y con qué procedimientos.La tarea de seleccionar la mejor información debe es-tar guiada por tres cuestiones prácticas: 1) Si existenalgunos datos relevantes ya recogidos, 2) Si existenfuentes de información fidedignas y 3) Si están dispo-nibles. Por ello es necesario tener claro qué es lo quese va a evaluar y a que fuentes se va a recurrir paraobtener dicha información. En el caso de evaluar des-de la metodología del EML, el punto de partida parael análisis puede ser las variables de la matriz de pla-nificación, es decir, los resultados y objetivos de lamisma.

6. Una vez establecido las variables objeto de análisis,es necesario desarrollar la metodología que va a guiarel proceso de evaluación durante el trabajo de cam-po. Hay que determinar cómo se conseguirá la infor-mación necesaria y que métodos, técnicas e instru-mentos de medición serán utilizados. Los términos dereferencia deben prestar especial atención a los instru-mentos que serán utilizados para la recolección de la

77


Cuadro 21. Niveles de evaluación e informaciones interesantes a observar

información, pues de ellos (su fiabilidad, validez y ri-gurosidad en la aplicación) depende en gran medidala veracidad de la información obtenida. La selecciónde los métodos y, en general, de la metodología aaplicar, dependerá de varios factores: de la concep-ción que se asuma del desarrollo, de la concepciónde evaluación del desarrollo social, de los agentesque la vayan a aplicar, de los y las beneficiarios de lamisma, de los conocimientos que de los métodos ten-gan unas y otros, y de la disponibilidad financiera yde recursos humanos para ponerla en práctica.

7. Una vez establecidos todos los aspectos anteriores seprocede a establecer el cronograma. Se trata de orga-nizar las acciones a realizar para obtener la informa-ción necesaria con base en una temporalidad concre-ta. El cronograma se establece de forma provisional

Algunas entidades internacionales como la W.K. KelloggFoundation señalan que se puede evaluar a tres niveles:

1. Evaluación de un proyecto: referida a una intervenciónde corto plazo y a nivel local.

2. Evaluación de un cluster de proyectos: evaluación trans-versal a través dede un grupo de proyectos de un sector olínea temática.

3. Evaluación de programas y políticas: evaluación de líneasprogramáticas y políticas de una entidad.

Fuente: W.K. KELLOGG FOUNDATION (1998): Evaluation Handbook. WKKF,Michigan.

El tipo de información a obtener en cualquier evaluaciónpuede ser sistematizada en cuatro categorías:

1. Sobre el programa y sus componentes.

2. Sobre efectos y objetivos del programa.

3. Condiciones/variables antecedentes: contextos, clientes, etc.

4. Condiciones/variables intervinientes: variables que surgendel contexto durante el funcionamiento del programa yque pueden afectarse, relacionadas con el personal, otrosprogramas, etc.

Fuente: Basado en ALVIRA, F. (1991): Metodología de la evaluación deprogramas. Cuadernos Metodológicos del CIS N.º 2. Madrid.

78


en los ToR haciendo referencia a la fase de prepara-ción, el trabajo de campo, el análisis de la informa-ción y cuando está prevista la entrega del informe finaly su socialización. El cronograma se utiliza para laplanificación de las actividades del día a día, y mues-tra qué hay que hacer, por quién y cuándo.

Cuadro 22. El cronograma

8. Por último, una vez definidas las actividades de laevaluación, es necesario estimar los costos y algunosaspectos técnicos, lo que se concreta en la logística yel presupuesto. Hay que tener en cuenta todos aque-llos elementos que requieran establecer una logísticadurante el trabajo de campo: solicitud de permisos,contratos, espacio para trabajar y realizar entrevistasindividuales y grupales, disponibilidad de acceso a lascomunicaciones (teléfono, fax, Internet), medios parael control de la información (video, cámaras, etc.), ve-hículo o forma de transporte, materiales, equipos in-formáticos, etc. Una vez detallados los elementos ne-cesarios, podrán costearse los recursos señalados(salarios, viajes, equipos, materiales, etc.).

En conclusión, preparar una evaluación en términos in-vestigativos, requiere definir su objeto de realización, los

Es recomendable usar un póster, pizarra o mural para quelas personas que están implicadas en la evaluación tengan pre-sente el plan de actividades y sus tiempos.

PLAN DE EVALUACIÓN Proyecto: Periodo:Responsable:

DÍA Lunes Martes Miércoles Jueves Viernes Sábado Domingo

Actividad

Actividad

Actividad

Actividad


79


clientes interesados en ella, los agentes que la llevarán acabo, el modelo desde donde se parte, la metodología quese utilizará para la recogida de información, las variables oáreas a investigar, los recursos necesarios para ponerla enmarcha, y el presupuesto según los costes establecidos. Estoque parece relativamente sencillo a primera vista, puede ge-nerar en la práctica algunos debates sobre algunas cuestio-nes. Por ejemplo establecer el objeto de una evaluación esuna tarea ligada a lo ocurrido en el proyecto, o a una de-manda específica de cierto agente de la intervención y tieneuna vinculación directa con la decisión de evaluar. Algo pa-recido ocurre en el caso de los clientes o personas interesa-das, que, en alguna medida, son las que han participado enel proyecto y su seguimiento. En el caso del presupuesto y laadquisición o contratación de ciertos recursos y su valor,tendrá que ver también con todo lo anteriormente señalado.

Pero existen tres cuestiones de las planteadas en los térmi-nos de referencia que, si bien tienen una vinculación con elproyecto y su desarrollo, requieren de un posicionamientoinstitucional explícito y, por lo tanto, de un consenso. Es de-cir, decisiones sobre quien realiza la evaluación, desde quemodelo se lleva a cabo, y que herramientas se utilizan, pue-de dar lugar a debate y, por lo tanto, requieren que les pres-temos mayor atención. Por ello dedicamos algunos aparta-dos de este manual para ver las opciones posibles a la horade elegir los agentes evaluativos, los modelos evaluativos ylas herramientas metodológicas para una evaluación ex post.

2.2. LOS AGENTES DE EVALUACIÓN. ¿QUIÉN REALIZALAS EVALUACIONES?

2.2.1. Los agentes de la evaluación: avanzando hacia la participación

La primera pregunta que surge una vez que se ha tomadola decisión de evaluar es quién la llevará a cabo. Este puntoes tan importante que ha dado lugar a una tipología de eva-luación según agente. En ese sentido, se reconocen cuatrotipos de evaluación:

—Evaluación externa.

—Evaluación interna.

—Evaluación mixta.

—Evaluación participativa.

80


Veamos en qué consisten y en que contexto suelen lle-varse a cabo cada una de estas modalidades.

a) La evaluación externa o realizada por agentes externos

Es una evaluación principalmente solicitada por algu-nos organismos donantes. Se realiza con el concursode personal técnico o experto procedente de otro me-dio, o que no está involucrado en la implementacióny ejecución del proyecto. Estas personas normalmentese seleccionan por el organismo donante, bien seauna ONGD, una agencia o un gobierno.Los agentes externos son regularmente personas exper-tas procedentes de universidades, consultorías, organi-zaciones de investigación, etc., y su principal caracterís-tica es que no tienen una vinculación directa con elproyecto, y no están subordinados a nadie de la organi-zación local (Patton, 1997). Con esto se pretende garan-tizar la deseada objetividad y visión crítica, que sirvatanto a la organización que ejecuta el proyecto, como alas autoridades políticas u organismos donantes parapoder tomar decisiones oportunas. Esta modalidad deevaluación es apropiada cuando se va a observar cues-tiones de responsabilidad, cuando existe la necesidadde una experticia particular o de cierta experiencia queuna persona externa puede tener en un área determina-da, o cuando no se dispone de personal local capaci-tado en las herramientas exigidas por los donantes.

b) La evaluación interna, autoevaluación, o realizadapor agentes internos

Es aquella que se realiza desde la organización localencargada del proyecto, con la finalidad principal deconocer los problemas o avances en sus actividades eintroducir los ajustes necesarios de corte organizacio-nal. En el caso del seguimiento es muy típico que laorganización contraparte realice evaluaciones de pro-ceso de manera interna, las cuales alimentan los infor-mes a los donantes. Esta evaluación, en el caso de serex post, es realizada por personas del propio progra-ma (que lo han ejecutado o no) y que lo conocenbien, saben cuáles son los objetivos, problemas, forta-lezas y debilidades del mismo, pues seguramente hansido también las responsables de realizar el segui-miento durante la ejecución.Estrella y Gaventa (1998) diferencian entre evaluacióninterna y autoevaluación. En el primer caso, la evalua-ción es realizada (o coordinada) por una persona de

81


la organización responsable no vinculada directamen-te con el proyecto (puede ser la persona responsabledel seguimiento y la evaluación de la organización).Esta modalidad de evaluación ex post interna la utili-zan algunas organizaciones locales, independiente-mente de las exigencias de los donantes, bajos suspropias metodologías.En el segundo caso, una autoevaluación, es aquella querealiza periódicamente el equipo de trabajo responsablede la ejecución del proyecto en terreno, que evalúa demanera regular el avance del mismo (seguimiento) y sufinalización como parte de la gestión de toda la inter-vención. Esta modalidad es menos usual en el caso deevaluaciones posteriores, dado que una vez que finalizael proyecto (e incluso tiempo después) el grupo de tra-bajo puede haberse disuelto.

c) La evaluación mixta o realizada por agentes externose internos

Es aquella que en su diseño y aplicación participapersonal responsable del proyecto y agentes externosal mismo. Se trata de una combinación de las dos an-teriores. A veces se conforma un equipo mixto que in-tegra agentes externos e internos al proyecto con unadiferenciación de funciones, donde los agentes inter-nos se encargan de los aspectos locales y de la organi-zación, y los externos se dedican a los aspectos mástécnicos, incluso sirviendo de facilitadotes o formado-res en la construcción de capacidades internas y via-bilidad del proceso de seguimiento y evaluación. Estecaso pudiera darse en la práctica, cuando una ONGDy su contraparte en el Sur, tienen ya experiencia de tra-bajo compartido y aprovechan los elementos de ges-tión de la intervención para fortalecer sus conoci-mientos e intercambio de experiencias.Se trata de una modalidad más integrada y participati-va, donde se forma un equipo evaluador mixto queaprovecha las ventajas del trabajo conjunto, minimi-zando las desventajas de ambos tipos de evaluación.En ocasiones se convierte en una mera colaboraciónentre personal local y extranjero para llevar la investi-gación evaluativa a buen término.

d) La evaluación participativa o integrada por todos losagentes implicados

En esta modalidad, todas las partes implicadas en elproyecto y su gestión, participan en el diseño y de-

82


sarrollo de la evaluación. Agencias u organismos do-nantes, departamentos gubernamentales municipales,ONGD externas, ONG locales, y sobre todo, la po-blación beneficiaria o sus representantes. Esta modalidad está adquiriendo gran relevancia en laactualidad, dado que busca lograr mayores aceptacio-nes entre los distintos agentes involucrados que pro-ponen unos y critican otros, dadas sus ventajas o des-ventajas de cada uno por separado. Además, favorecela participación de la población beneficiaria lo quepuede ampliar su empoderamiento ante la gestión deproyectos locales. Lo ideal es contar con los gruposque han participado a lo largo de la intervención deuna u otra forma.

2.2.2. Ventajas y desventajas de cada modalidad

No todas las modalidades tienen las mismas implicacio-nes ni pueden llevarse a cabo en todos los contextos. Enocasiones tenemos que realizar una evaluación externa si esrequisito del donante, pero, en otras, teniendo la autonomíapara tomar la decisión, hay que ser conscientes de cual es lamodalidad más factible en cada contexto. Veamos a conti-nuación algunos elementos de comparación entre unas yotras.

1. Lo objetivo frente a lo subjetivo

Parece comúnmente aceptado, que cuando el agente esexterno al proyecto la objetividad de la evaluación está ga-rantizada. La persona (normalmente extranjera) encargadade realizar la evaluación no está vinculada al proyecto, porlo que tendrá una influencia menor del personal del progra-ma, las situaciones vividas o las problemáticas encontra-das. Pero también es cierto que los agentes externos que vi-sitan el proyecto en pocos días y desconocen las dinámicasinternas de la comunidad beneficiaria, se pierden muchosmatices de lo ocurrido en el proyecto que han podido con-dicionar los resultados del mismo.

En el caso de una evaluación interna (realizada por per-sonal de la organización contraparte) puede pensarse que alconocer tan bien el proyecto (al personal que trabajó con lagente, las dinámicas e historias particulares de las personasinvolucradas de la comunidad, etc.), que parece difícil quepueda realizarse un informe imparcial. Si se realizan evalua-

83


Cuadro 23. Ventajas e inconvenientes de las diferentes modalidadesde evaluación según los agentes que la realizan

Tipos de evaluación

según los agentes

Evaluaciónexterna

Evaluacióninterna

Evaluaciónmixta

Evaluaciónparticipativa o integrada

VENTAJAS

— Asegura cierta objetividad— No existe vinculación personal con el

proyecto— Utiliza tecnología sistematizada y es-

tandarizada— Maximiza la credibilidad social de la

evaluación— Es personal conocedor de los métodos

de evaluación— Suele tener experiencia acumulada de

otras evaluaciones (personal experto)

— Conoce el proyecto muy bien, tanto su ori-gen como su desarrollo e implementación

— Es parte de la estructura y organización— Conoce a la población, está familiarizado

con el programa, la gente y puede inter-pretar sus comportamientos y actitudes

— No genera conflicto a priori entre la po-blación beneficiaria, ni en la organiza-ción, con lo que sus recomendacionesson vividas con menos miedo

— Costes bajos

— Integra ambas perspectivas, maximizan-do sus ventajas y reduciendo inconve-nientes de cada una por separado

— Genera un equipo (mínimo 2) que debeponerse de acuerdo en qué evaluar,como hacerlo, cuando y con quién. Loscriterios de evaluación no vienen im-puestos

— Establece vínculos más estrechos entrela ONG local y el organismo donante

— La recolección, desarrollo e interpreta-ción de los datos se realiza de maneraconjunta

— Mayor participación de los grupos bene-ficiarios

— Creación de un equipo evaluador queintegra, como mínimo, donante, contra-parte y beneficiarios

— Mayor aceptación en la población— La población es sujeto activo de la eva-

luación y de la toma de decisiones sobrela orientación y sustentación del proyec-to en el futuro

— Dinámica de diálogo, debate, negocia-ción y compromiso

— Se genera conciencia de compromiso,participación y potencialidades en la po-blación

— Genera procesos de autoconciencia enla población de ser sujetos de su propioproceso de desarrollo

INCONVENIENTES

— Es personal ajeno al proyecto que no conocesu desarrollo y puede no entenderlo, o no co-noce la gente a la que beneficia

— La población beneficiaria es sujeto pasivo ymero proveedor de datos

— Genera desconfianza, reactividad y ansiedaden la población beneficiaria que desconocesus propósitos

— Genera inquietudes en las personas de la ONGlocal o del organismo que ejecuta el proyecto

— Poco tiempo disponible y altos costes

— Mayor dificultad en conseguir objetividad enlas valoraciones

— Posible desconocimiento de métodos y téc-nicas de evaluación y posible falta de expe-riencia de otras evaluaciones

— Riesgo de realizar evaluaciones como justifi-cación de lo realizado

— Se corre el riesgo de caer en una evaluaciónengañosa donde los objetivos se establecendesde el donante, estando ya tomadas las deci-siones sobre el futuro cercano

— Requiere mayor coste económico, material ytemporal

— El diálogo y la búsqueda de consenso es unproceso lento que no siempre consigue elacuerdo

— Los grupos locales son sujetos pasivos que sonrequeridos para la obtención de información

— Poca participación de la población benefi-ciaria con la consiguiente falta de implica-ción en la evaluación y en la toma de deci-siones futuras

— Aumenta el coste temporal de la evaluación,dado que debe tenerse en cuenta el ritmo detres actores distintos

— Posible aumento del coste de la evaluacióndado que aumenta el número de participan-tes en el equipo

— Los procesos de búsqueda de consenso soncomplejos y lentos

— Las contrapartes y la población beneficiariadesconocen los métodos y técnicas de eva-luación. Serán necesarios cursos de formación

— Potencial falta de interés y motivación de lapoblación beneficiaria en la realización de lasevaluaciones y posible cultura del silencio

— Es necesario afrontar el potencial conflictogenerado por las distintas motivaciones y losdistintos intereses que mueven a cada parte


84


ciones mixtas o participativas, las posibilidades de caer enlos extremos siempre son menores, al formarse un equipoque tendrá que negociar y debatir en torno a todos los pa-sos, decisiones y orientaciones de las evaluaciones. Así, seránecesario integrar tanto la perspectiva objetiva como subje-tiva de la realidad, de lo fácilmente observable y cuantifica-ble, pero también de los sentimientos y contextos que haninfluenciado esa realidad.

La realidad social del proyecto es una totalidad con di-mensiones objetivas y subjetivas, y la objetividad científicaexige que las dos sean tenidas en cuenta porque el compor-tamiento social explícito está cargado de valoraciones im-plícitas que lo condicionan y lo hacen posible.

2. El papel de la población beneficiaria

El papel que juega la población beneficiaria puede variarsegún que tipo de evaluación se lleve a cabo. Si se trata deuna evaluación externa, la gente juega un papel más pasivoy meramente proveedor de información. Su labor en la re-cogida, análisis y difusión de la información se limita a res-ponder las preguntas de la investigación y acudir a las entre-vistas programadas por el agente evaluador externo.

En el caso de la evaluación interna, la población benefi-ciara puede tener el mismo papel que en el caso anterior, ano ser que la entidad ejecutora del proyecto disponga deun sistema de seguimiento y evaluación participativo. Si esel caso, la persona encargada del seguimiento y la evalua-ción tiene una relación más estrecha con las personas bene-ficiadas por el proyecto, logrando así mayor participaciónen el proceso. En ocasiones los criterios para la recolecciónde datos, análisis y utilización de la información recibidapueden establecerse de forma conjunta entre la organiza-ción y las personas representantes de la población benefi-ciaria.

Si se trata de una evaluación mixta, las posibilidades sonmuchas, pero dependerá de los acuerdos adoptados entre laagencia donante y su contraparte sobre como se ha desarro-llado la gestión del proyecto, y en este caso, cómo se desearealizar la evaluación ex post.

En una evaluación participativa, la población beneficia-ria es parte integrante del equipo evaluador y toma parte ac-tiva de los distintos pasos que el proceso evaluativo requie-re. Así, todas las personas implicadas pueden tomar parte enlas decisiones relativas a cuándo y cómo evaluar, que herra-

85


mientas se usarán, y recogiendo y analizando los hechosocurridos y la información, preparando informes, decidien-do como usar los resultados y poniendo las recomendacio-nes en práctica (Feuerstein, 1986). En esta modalidad todaslas partes integrantes deberán ponerse de acuerdo, teniendoen cuenta los distintos intereses y las distintas expectativasque mueven a cada una de ellas.

2. La metodología utilizada

Los agentes evaluadores externos con una larga trayec-toria en evaluación, dominan las herramientas de investiga-ción evaluativa y suelen utilizar tecnología estandarizada yaprobada por las agencias donantes, básicamente cuanti-tativa y enfocada al marco lógico y la medición de indica-dores.

No ocurre lo mismo en los casos en que el agente eva-luador es interno, bien de la organización ejecutora, o bienuna persona líder de la población beneficiaria que tal vezno conoce los modelos y técnicas estandarizadas de evalua-ción propias de las agencias donantes. Si es cierto, por otrolado, que algunas contrapartes con modelos de gestión pro-pios y con una cultura de evaluación bastante enraizada,utilizan metodologías y herramientas locales.

En el caso de la evaluación mixta y la participativa, elequipo evaluador complementa los conocimientos y posi-ciones de cada una de las partes, generando un proceso decolaboración y trabajo conjunto. De este modo se aprove-chan los principales roles de cada agente si se logra el con-senso. Existen consultoras externas que durante el procesode evaluación proponen formar a las personas encargadas laejecución local en técnicas de evaluación estandarizadas,mientras que el personal local establece los nexos entre lapoblación objeto de evaluación y el equipo evaluador.

4. Los costes

Respecto a los costes que comporta la realización de laevaluación, hay señalar que a medida que se avanza en elgrado participación el coste es mayor, tanto en sentido eco-nómico como temporal. Solo en el caso de la evaluación in-terna podemos hablar de costes bajos, dado que se inserta enla dinámica organizacional de la entidad local. En el caso derealizar evaluaciones mixtas o integradas, cuantas más per-sonas formen el equipo el coste laboral será mayor al tenerque contratar a un mayor número de personas. Este coste

86


puede ser reducido si las personas que representan a la partelocal y a los grupos beneficiarios son las mismas que partici-paron en la identificación y seguimiento del proyecto.

En cuanto al coste temporal, hay que señalar que el tra-bajo en equipo siempre requiere de una mayor disponibili-dad de tiempo, pues los ritmos de trabajo de las distintaspartes son diferentes y se requiere tiempo para el conoci-miento, la formación, la negociación y la toma de decisio-nes. Todo ese proceso necesita de una temporalidad mayorque en modalidades más individuales, aunque reduce lasprobabilidades de conflictos o de desmotivación frente alproceso evaluativo.

5. La veracidad, fiabilidad y validez de lo observado

Cualquier agente que evalúa un proyecto, pretende con-seguir respuestas veraces y datos fiables que permitan tomardecisiones, a partir de una información recabada con rigu-rosidad y objetividad. Pero no todos los tipos de evaluaciónlogran los mismos resultados a priori. Por ejemplo, respectoa la veracidad de la información las diferencias son bastan-tes notables. Las personas que trabajan en evaluación sonconscientes de que los agentes externos son más suscepti-bles de ser engañados que cuando la realiza personal localo un equipo mixto. La razón es sencilla. En muchas ocasio-nes el agente externo es visto como una persona extranjera,y por ende, cercana a los donantes, lo que genera ansiedady recelos entre la población. Esta situación lleva a varias si-tuaciones, a que la gente mienta respecto a lo negativo, oexagere las bondades del proyecto para minimizar el riesgoa la desaparición de futuras ayudas o para dar una imagenno real hacia el exterior.

En el caso de una evaluación interna, la veracidad de lainformación puede verse alterada si al interior de la organi-zación existen conflictos de intereses y no está realmente in-teriorizado el valor de la evaluación como aprendizaje de lonegativo y lo positivo. Por ello, las evaluaciones internas co-rren el riesgo de ser falseadas cuando son realizadas poruna persona altamente implicada en el proyecto que puedeverse tentada a esconder ciertos resultados o impacto nega-tivo y resaltar sólo lo positivo. Estos problemas y otros, pue-den ser solventados con la creación de un equipo evaluadorque integre más de una perspectiva, bien en la modalidadmixta o en la participativa donde la población beneficiariaal sentirse implicada puede aportar mucha información a lainvestigación evaluativa y XXpoderarse en el proceso.

87


En cuanto a la fiabilidad, se cree de forma generalizadaque es el agente externo, en principio, el que tiene mayoresposibilidades de hacer una evaluación objetiva, y que cono-ce mejor los métodos y técnicas obtención de información.Por ello maximiza la objetividad al utilizar tecnología duraen cuanto a diseño e instrumentos, aumentado la credibili-dad social de la evaluación. Pero por esto no debe olvidarseque la tecnología es una herramienta metodológica muy va-liosa, siempre y cuando no se convierta en un fin en sí mis-ma. Las herramientas deben ser complementadas y consen-suadas con la población si queremos obtener datos realmentefiables y con carácter global. Las personas con cierta trayec-toria en evaluación recomiendan interpretar esa realidadcompleja desde un equipo amplio que genere equilibrio en-tre las técnicas, los métodos, y las referencias subjetivas, sen-saciones, emociones y sentimientos de la gente que ha sidoobjeto del proyecto.

Es importante también tener en cuenta el parámetro de lavalidez. Entre los investigadores e investigadoras sociales,la validez es considerada como instrumento de verificaciónde que la información recogida es significativa y correcta.La validez hace referencia a que el procedimiento utilizadomide lo que realmente pretende medir. Se pretende conocerla realidad lo más exactamente posible, su valor, su carácterpositivo, la capacidad que tiene esa información para mos-trarnos o representar la realidad a la que se refiere. Por ello,sea cual sea el agente evaluador, debe tener en cuenta lavalidez de lo que se va a conseguir en la evaluación. Esto,además, guarda una enorme relación con el objetivo últimode la evaluación y lo que se pretende con ella.

2.3. LOS MODELOS DE EVALUACIÓN

2.3.1. La tradición evaluativa: cuatro generaciones

A la hora de afrontar cualquier evaluación es hace nece-sario optar entre varios modelos posibles. Y lo cierto es quela gran variedad existente en la literatura puede confundir alas personas responsables de la evaluación a la hora de ele-gir el óptimo con base al tipo de proyecto implementado ysus propios objetivos. Por eso, es importante señalar que noexiste «el modelo» generalizable para todos los proyectos, sino que la disponibilidad de recursos humanos, técnicos yeconómicos, así como la metodología desarrollada a lo lar-go de la vida del proyecto, tanto en la planificación como

88


en el seguimiento, serán factores que determinen el modeloa elegir. Ahora bien, siendo muy amplio el abanico de mo-delos posibles para la evaluación de programas sociales,también es cierto, que en el campo de la cooperación al de-sarrollo se han utilizado algunos más que otros. A continua-ción se presenta un breve repaso por la literatura, para cen-trarnos más tarde en los tres modelos más utilizados ennuestro sector.

Los orígenes de lo que hoy conocemos por evaluaciónde programas se sitúan en la evaluación educativa y, másconcretamente, en la preocupación a finales de siglo XIX yprincipios del XX, por la medición científica de los rasgosy conductas humanas. Evaluación era sinónimo de la medi-ción de la posición de un sujeto dentro de un grupo me-diante un test de rendimiento sobre el alumnado, aunque nodel programa ofertado.

Fue a finales de los años 30 cuando se realizó un estudioen EE.UU. que abre un nuevo período a la teoría y prácticasevaluativas, al superar el concepto de evaluación como unmero proceso externo de calificación de habilidades apren-didas por los sujetos sometidos a un proceso instructivo.Según Tyler, precursor de la evaluación, el proyecto o inter-vención debía tener unos objetivos concretos, y la evalua-ción consistía en medir si se habían cumplido los objetivosy en qué medida. Se trata del modelo de evaluación por ob-jetivos. El proceso consiste en especificar los objetivos delproyecto y ordenarlos jerárquicamente. Posteriormente seseleccionan los instrumentos para medir el programa, reco-pilando la información suficiente para poder establecer unanálisis comparativo de lo logrado y de lo que se deberíahaber logrado. La influencia de este modelo sobre las prácti-cas evaluativas del momento fue muy fuerte, dado que eraun concepto lógico, aceptable científicamente, y fácil deaceptar en la práctica educativa. Aún así, no faltaron las crí-ticas en torno a la ausencia de un componente evaluativoque permitiese la emisión de juicios sobre el éxito del pro-grama, y la ausencia de criterios para juzgar la importanciade las diferencias encontradas entre los objetivos propuestosy los logrados.

En los años 60, y tras un período de búsqueda de modelosque superaran el anterior, y tratando de demostrar la eficaciade un programa, se proponen los modelos científicos basadosen la experimentación que establecen relaciones causales en-tre el rendimiento y el propio programa desde una lógica hi-potética deductiva (W.K Kellogg Foundation, 1998). El mode-

89


lo clásico experimental o experimento controlado utiliza ungrupo experimental y otro de control para comparar resulta-dos. Se procede de la siguiente forma: se eligen los gruposdentro de la comunidad donde se ha ejecutado un proyecto,calculando las diferencias entre el grupo experimental (queha recibido las acciones del proyecto, y otro de control elegi-do al azar (que no las ha recibido) determinando las diferen-cias entre ambos y, por lo tanto, atribuyendo el éxito o fraca-so de la intervención a dichas diferencias. Cuando no esposible aplicar el modelo experimental (algo que ocurre en lamayoría de proyectos sociales) se puede recurrir a los mode-los cuasi-experimentales que son más flexibles y prácticos.

Existen dos diseños centrales:

1. Las series temporales, que consisten en la realizaciónde mediciones al grupo del proyecto antes del progra-ma, y de mediciones continuadas después que hayaterminado.

2. El diseño del grupo de control equivalente, en el quese utilizan grupos de control con características seme-jantes, pero no elegidos al azar.

Frente a la caracterización objetivista y cientifista que adop-taban los modelos de evaluación hasta entonces, y la dificultadde desarrollar en la práctica social los experimentos propuestospor D. Campbell, se planteó la necesidad de incluir ciertos jui-cios valorativos como ejes centrales de la evaluación. R. Stakeen 1967 presenta un modelo que se acomode a las necesida-des de sus clientes, es decir, que se adecue a las necesidadesde quien encarga la evaluación. Recoge en su modelo elemen-tos descriptivos y valorativos, centrándose en tres momentosclave: el examen de la base del programa, la descripción deta-llada del mismo en cuanto a antecedentes, actividades y resul-tados, y por último, una valoración poniendo en relación losdatos descriptivos del programa, con otros programas y connormas de calidad.

En esa línea, comienza a proponerse la realización deevaluaciones centradas en la valoración, tomando como cri-terio las necesidades de las personas beneficiarias. Además,Scriven propone un modelo libre de objetivos (free-goalevaluation), donde se valoren los programas no sólo conbase a la consecución de objetivos, sino también con base aefectos no previstos. Para este autor, lo más importante esdeterminar qué consecuencias ha tenido la intervención yevaluarlo en función de las necesidades de la población be-neficiaria o involucrada.

90


Cuadro 24. Principales modelos de la tradición evaluativa

MODELO DEEVALUACIÓN

Por objetivos

Experimental ycuasi-

experimental

Centrada en el cliente

Centrada enlos usuarios/beneficiarios

Libre deobjetivos

Orientada a la toma dedecisiones-

Modelo CIPP

Orientada a la utilización

Negociaciónde implicados

Modeloconstructivista

OBJETIVO PRINCIPAL

Medición delcumplimiento de

los objetivos

Demostración de lazos causales

entre v.independiente yv. dependientes

Inclusión de juiciosvalorativos

Juicio del valordel proyecto

para lapoblación

beneficiaria

Tener base parala toma dedecisiones

Ofrecerinformación a los

interesados y responsablesdel proyecto

Negociarprocesos

METODOLOGÍA

— Ordenar objetivos je-rárquicamente

— Recopilar información— Comparar entre lo de-

seado y lo realizado

— Experimentos: grupoexperimento y grupode control

— Series temporales— Grupo de control equi-

valente

— Examen base del pro-yecto

— Descripción del pro-yecto

— Valoración del proyecto

— Medición del logro delobjetivo

— Medición de los efectos— Medición según las ne-

cesidades del benefi-ciario

— Información sobre ne-cesidades

— Información sobre pro-yecto

— Información sobre obje-tivo

— Información sobre re-sultados

(Análisis de contexto, in-puts, proceso y produc-tos: CIPP)

— Metodología flexible,participativa

— Combinación de méto-dos cualitativos y cuan-titativos

— Negociación— Análisis de actores y

sus subjetividades

REPRESENTANTES

R. TYLER

D. CAMPBELLJ. STANLEY

R. STAKE

SCRIVEN

STUFFLEABEAM

M. PATTON

GUBA Y LINCON

ÉPOCA

Años 30

1963

1967

1967

1967

1978

1982

Fuentes: ALVIRA MARTÍN, Francisco (1991): Metodología de la evaluación de programas. Cuadernos metodológi-cos n.º 2. C.I.S. Madrid.EVERITT, Angela y HARDIKER, Pauline (1995): Evaluating for good practice. Mac Millan.PATTON, Michel Q. (1997): Utilized- focused evaluation. The new century Text. Sage Publication, USA.GUBA, Egon G. y LINCON, Yvonne S. (1989): Fourth Generation Evaluation. Sage Publication, London.WEISS, Carol H. (1990): Investigación evaluativa. Métodos para determinar la eficencia de los progra-mas de acción. 2.ª Edición. Trillas. México.

91


El modelo CIPP propone orientar la evaluación hacia lasnecesidades de las personas que toman decisiones en la in-tervención, proporcionando información útil. Se necesita re-coger información para saber que necesidades existen, des-cribir el programa para dar respuesta a las mismas, decidirel grado de realización del plan de intervención propuesto yla descripción de sus modificaciones, así como los resulta-dos y consecuencias observadas de la intervención. Paraconseguir dicha información Stufflebeam plantea el modeloCIPP que agrupa cuatro momentos (o tipos de evaluación)que pretenden conseguir información en torno a esas nece-sidades existentes: el programa de intervención, su grado derealización y los resultados observados. Se trata de la eva-luación del contexto, los inputs, evaluación del proceso yevaluación del producto (CIPP).

Ya en la década de los 70 surgen los modelos conocidoscomo alternativos, pluralistas o interpretativos, que reivindi-can mayor flexibilidad y una mirada más cualitativa del pro-ceso evaluativo. Algunos ejemplos son el modelo orientadoa la utilización de M.Q. Patton, y el modelo de negociaciónentre los implicados de E. Guba e I. Lincon, que ponen el én-fasis en el entendimiento de lo que ocurre en la práctica, ysobre todo, en entender la evaluación como algo que sedebe negociar continuamente entre las personas involucra-das en el programa. Los agentes evaluadores deben prestaratención a los grupos involucrados y a sus subjetividades, yparticularmente, a reconocer que esos grupos tienen intere-ses diversos en la práctica. Es lo que ellos mismos han defini-do como «la cuarta generación en evaluación» (Cuadro 25).

La situación a finales de los ochenta y principios de losnoventa se caracterizó por la pluralidad de modelos que semanejaban en evaluación de programas. Las propuestas enlos modelos de evaluación a lo largo del siglo pasado se hancentrado en realizar incrementos paulatinos en el mejora-miento de la metodología, añadiendo nuevos conceptos yherramientas. Francisco Alvira ha resumido la evolución delos últimos cuarenta años como un enriquecimiento y com-plejización de los procedimientos evaluativos (Alvira, 1991).

En resumen, podemos observar que a lo largo del siglopasado se han desarrollado varios modelos y perspectivasde evaluación que, sobre todo, han ido completando losmodelos iniciales y más sencillos, por otros cada vez máscomplejos y participativos que permitan a las comunidadesbeneficiarias ser dueñas de la gestión de sus procesos de de-sarrollo.

92


Cuadro 25. Cuatro generaciones en evaluación de proyectos

Pero cabe preguntarnos ¿Qué ha ocurrido en los iniciosdel siglo XXI? ¿Se han propuesto nuevos modelos? ¿Qué mo-delos se usan para la evaluación ex post de programas yproyectos de la cooperación si ésta es una práctica relativa-mente reciente en este sector? Lo cierto es que los iniciosdel siglo XXI se han caracterizado por una continuidad en lautilización de varios modelos enriquecidos por el avance degeneraciones anteriores, y con énfasis en las experiencias dequien las realiza o las orientaciones disciplinarias de losagentes evaluadores. El presente siglo no se ha caracteriza-do tanto por un aumento de propuestas y modelos para eva-luar, sino por el incremento en la sensibilidad frente a laevaluación, la adopción de la evaluación como una acciónpermanente en los procesos de gestión social y del desarro-

Guba y Lincon agrupan los modelos de evaluación en cua-tro generaciones:

1. Primera generación: nace en 1900 y se denomina eva-luación orientada a la medición. Relacionada con la tra-dición educativa y la gestión científica en la industria ylos negocios. El rol del agente evaluador es técnico paraproporcionar instrumentos de medida.

2. Segunda generación: se orienta a la descripción del pro-grama. Enfatiza el logro de los objetivos y analiza las for-talezas y debilidades del programa para realizar revisio-nes. El agente evaluador es esencial para la descripciónaunque todavía son importantes sus funciones técnicas.

3. Tercera generación: el juicio es parte integral de la eva-luación. Este requiere que los objetivos se tomen comoobjeto de evaluación además de las metas y el propioprograma. El agente evaluador es considerado como juezy ayudante de los que toman las decisiones a establecerestándares para el juicio.

4. Cuarta generación: enfatiza la evaluación como un pro-ceso de negociación que incorpora varios implicados.Reconoce que las perspectivas de la gente y sus interesestoman mejor forma si se hace desde su sistema de valo-res. El agente evaluador tiene un rol facilitador en el pro-ceso negociador de las partes implicadas, que participanen el diseño, implementación e interpretación de la eva-luación.

Fuente: Traducido de GUBA, Egon y LINCON, Ivonne (1989): Fourth gene-ration evaluation. Sage publications, London.

93


llo, y como una obligación establecida por los propias agen-cias donantes desde un criterio de control y transparenciade los fondos públicos.

En el caso de la evaluación ex post de proyectos de coo-peración, entendida como una valoración posterior desdecriterios de gestión y de calidad de la gestión, tal y como lospropuso el CAD, data del año 1995. Pero también es ciertoque agencias y ONGD con trayectoria en la implementa-ción de proyectos, y con experiencia en el trabajo conjuntocon entidades locales comenzaron mucho antes a realizar eva-luaciones posteriores, aunque no siempre desde las mismasmetodologías. A nivel mundial, tres modelos son los másutilizados por agencias de desarrollo, ONGD y entidadesmultilaterales: el modelo de evaluación del marco lógico,los modelos de evaluación participativos y la evaluación so-cioeconómica de proyectos.

Veamos a continuación, en qué consisten dichos mode-los y su aplicación a la evaluación ex post.

2.3.2. El modelo de evaluación ‘ex post’ del enfoque del marco lógico (EML)

2.3.2.1. Historia y metodología del EML

El Enfoque del Marco Lógico (EML) o Logical FrameworkApproach (LFA) y el Método de Planificación Orientada porObjetivos o Ziel Orientierte Projekt Planung (ZOPP) sondos métodos ampliamente utilizados en Europa, y puestosen marcha por agencias donantes de ayuda al desarrolloante la necesidad de establecer pautas para la planificaciónde proyectos y mejorar su gestión, permitiendo el segui-miento y la evaluación de los mismos. En concreto, fueronLeon Rossenberg y Lawrence Posner de la firma consultoraPractical Concepts Inc., los que en 1969 bajo contrato conla Agencia para el Desarrollo Internacional de los EstadosUnidos (USAID), elaboraron el primer marco lógico tratan-do de reducir las deficiencias de los proyectos de coopera-ción a partir de una planificación específica y clara, que pu-siera las bases para la evaluación durante toda la vida delproyecto. Se trata de una manera de estructurar los principa-les elementos de un proyecto, subrayando los lazos lógicosentre los insumos previstos, las actividades planeadas y losresultados esperados.

Fue en los setenta cuando comenzó a extenderse entrelas agencias de cooperación internacional de otros países.

94


La Agencia de Desarrollo Internacional de Canadá (CIDA), laAdministración para el Desarrollo de Ultramar Inglesa (ODA),actualmente el Departamento de Desarrollo Internacional(DFID), la Agencia de Cooperación Internacional Japonesa(JICA), la Agencia para el Desarrollo Noruega (NORAD), en-tre otras, fueron incluyendo en sus procesos marcos lógicosadaptados a la manera de gestionar de cada país. Lo mismoha ocurrido lentamente en las agencias de las NacionesUnidas como el PNUD, UNICEF y más recientemente elACNUR. Otros, como el Banco Interamericano de Desarro-llo (BID), han integrado también en su gestión estas metodo-logías adaptando su nomenclatura.

En esta línea, la Agencia Alemana de Cooperación Técni-ca (GTZ), tras poner a prueba el EML en los setenta, desarro-lló a principios de los años ochenta una ampliación del mis-mo y en 1983 introdujo en sus acciones el método deplanificación ZOPP. Este modelo, basado en el norteameri-cano, trataba de estructurar la planificación del proyecto conbase en una serie de talleres (ZOPP 1, ZOPP 2, ZOPP 3...)a partir del trabajo en equipos interdisciplinarios e intercul-turales, donde participaban las organizaciones locales y losgrupos destinatarios. Si bien se introdujo provisionalmenteen 1983, cuatro años después ya se había incluido comonorma obligatoria y parte integral del ciclo de proyecto, yun poco más adelante pasó a ser el «sello de fábrica» de laGTZ en los países donde desarrollaba proyectos.

Aunque en la mayoría de los manuales consideran elZOPP como una variante del EML (Gosling y Edwards,1998), en Europa tiende a utilizarse el ZOPP como un mar-co lógico específico de la agencia alemana, que le ha hechoaportes al inicial, pero que se trabaja de manera integrada.Ciertamente son metodologías que tienden a converger yrealizarse préstamos terminológicos y de aplicación. Ade-más, en 1990, la Agencia Noruega de Cooperación Interna-cional (NORAD) publicó El Enfoque del Marco Lógico: Ma-nual para la planificación de proyectos mediante objetivos,donde advertía que partía de la integración de la metodolo-gía desarrollada por la USAID y la GTZ. La propia UniónEuropea lo asume en 1993 cuando la entonces ComisiónEuropea publica La Gestión del ciclo de un proyecto: Enfo-que Integrado y el Marco Lógico estableciendo como obli-gatorio la presentación de proyectos bajo este formato y au-nando ambas propuestas.

Si analizamos ambas perspectivas metodológicas, obser-vamos que cada una ha puesto en énfasis en una de las fa-

95


ses del actual enfoque. El ZOPP realiza un gran aporte alanálisis de situación y de problemas de la población benefi-ciaria para poder determinar cuáles serán las soluciones aplantear. El ZOPP aporta la idea de que la cooperación en-tre el personal del proyecto y las entidades contrapartes esmás fácil si se ponen previamente de acuerdo en los objeti-vos de la intervención. Su aporte a la metodología radica entodo el análisis previo realizado antes de iniciar un proyecto,tratando de consensuar los intereses diversos de los gruposinvolucrados. Para el trabajo en equipo pueden emplearsetécnicas de moderación, visualización y documentación detodas las fases para apoyar la comunicación y la toma dedecisiones.

Las características principales del ZOPP son:

1. Es un procedimiento de planificación por pasos suce-sivos (12 pasos).

2. Visualiza y documenta permanentemente los pasos deplanificación.

3. Se trabaja en equipo con la participación de gruposimportantes de interesados y beneficiarios.

4. Los trabajos de planificación se moderan por personasexternas al proyecto.

Por su parte, el aporte de la matriz de planificación, he-rramienta propia del marco lógico propuesto por EE.UU.,descansa en la lógica necesaria entre todos los elementos dela intervención, teniendo en cuenta el contexto exterior, yavanzando medios para el seguimiento y la evaluación (in-dicadores y fuentes de verificación). Así, las tres caracterís-ticas principales del EML son:

1. Es un enfoque que diseña el proyecto con una estruc-tura lógica.

2. Los objetivos deben ser definidos previamente con unmétodo apropiado.

3. Es un instrumento de planificación a partir del cual seelaboran otros instrumentos como el presupuesto, elreparto de responsabilidades, el calendario de ejecu-ción, y el plan de seguimiento y evaluación.

El EML unificado es una metodología que integra instru-mentos y métodos de análisis que permiten presentar deforma sistemática y lógica todos los elementos de un pro-yecto de manera participativa. Sus relaciones de causali-dad sirven para indicar si se han alcanzado los objetivos,

96


teniendo en cuenta unas hipótesis de partida de carácterexterno, que pueden influir en su consecución; y estable-ciendo de antemano los indicadores para el seguimiento yla evaluación. Estos modelos se pensaron inicialmentepara la planificación de proyectos y su seguimiento, peropermiten la incorporación de herramientas a la evaluaciónposterior, al fijar los objetivos del proyecto de manera es-pecífica, establecer los indicadores que permitirán la com-probación del alcance y las fuentes de verificación de losmismos.

El EML-ZOPP se estructura a través de dos grandes eta-pas: la etapa analítica, en la que se realizan análisis de ca-rácter participativos para diagnosticar la situación de unacomunidad, descubrir sus problemas y potenciales, y propo-ner estrategias de solución; y la construcción de la matriz deplanificación de proyecto - MPP, donde se detalla la planifi-cación de toda la intervención a través de una matriz decuatro por cuatro (Cuadro 26). Veamos a continuación enqué consisten estos análisis y cual es su relación con la eva-luación ex post.

Cuadro 26. Metodología del EML-ZOPP

1. El análisis de participación

Muchos proyectos de desarrollo han fracasado por la fal-ta de un conocimiento adecuado de situación real de la co-munidad con la que desean colaborar (falta de diagnósticosde calidad) y de los grupos sociales que conforman su en-torno cercano. En este punto del análisis es importante dejar

ETAPAS MOMENTOS

— Análisis de participación— Análisis de problemas

Etapa analítica — Análisis de objetivos— Análisis de alternativas-Selección

de estrategias

Etapa de construcción

— Lógica vertical: objetivo general,

de la MMP

objetivo específico, resultados yactividades

— Lógica horizontal: indicadores,fuentes y factores externos


97


participar a las personas que solicitan el apoyo, y permitirque sus opiniones sean relevantes. Es muy importante lograrun buen nivel de participación y de implicación de los dis-tintos agentes locales que apoyen la iniciativa del proyectoy puedan darle sostenibilidad después.

El análisis de participación o de involucrados busca iden-tificar los grupos organizados y analizar cuáles son sus ne-cesidades, intereses y posibles aportes a un potencial pro-yecto. Para esto, algunas agencias internacionales (como elDFID) han promovido el stakeholder analyisis o análisis deinvolucrados, herramienta que consiste en analizar los posi-bles grupos a participar según su relación de importancia einfluencia (Cuadro 27). Otra posibilidad es trabajar con basea una matriz de vulnerabilidad y capacidad que utiliza laCruz Roja Internacional. Se trata en todo caso, de caracteri-zar los grupos con los que podemos trabajar, según sus ca-pacidades y debilidades y según su importancia y posibleparticipación en el proyecto.

Algunos pasos útiles en esta fase son:

—Identificar todas las personas, grupos e institucionesafectadas por las situaciones de vulnerabilidad en lasque se pretende intervenir, y agruparlos por categorías.

—Examinar si las personas anotadas constituyen unida-des homogéneas o si existen grupos pequeños con in-tereses específicos.

—Analizar detalladamente cada grupo, sus intereses, ne-cesidades, fortalezas y debilidades así como sus rela-ciones, conflictos y estructuras de cooperación y de-pendencia.

—Discutir intereses, expectativas y puntos de vista a losque se va a dar prioridad cuando se analicen poste-riormente los problemas.

—Tomar decisiones en relación con el grupo al que seva a dar prioridad en la intervención (dividir a los in-volucrados en participantes y no participantes).

De este análisis surgirán nuestras posibles entidades opersonas socias de proyecto, así como aquellas que, por elcontrario, pueden ejercer una influencia negativa sobre lafutura intervención. La situación ideal, es que el trabajo par-ticipativo no se quede sólo al inicio de la gestión del pro-yecto, sino que las entidades involucradas puedan participara través de una unidad gestora o de seguimiento que atra-viese la planificación, la ejecución y la evaluación ex post.

98


Cuadro 27. Stakeholder analysis o análisis de involucrados

2. El análisis de problemas

En segundo lugar, las entidades agrupadas en una uni-dad de gestión, deben realizar una investigación exhaustivade la población a acompañar en forma de diagnóstico. Serecomienda realizar el análisis con representantes de todoslos grupos implicados mediante talleres participativos don-de se pueda valorar la vulnerabilidad y la capacidad de es-tos grupos como parte de un diagnóstico inicial para la fu-tura intervención. Son muy válidas en este momento lacombinación de estas técnicas con las herramientas parti-cipativas del Diagnóstico Rápido Participativo (DRP), decara a obtener un diagnóstico completo que pueda nutrir elanálisis de las problemáticas. En ese sentido, no debemosolvidar que la herramienta busca simplificar una realidadanalizada a través de un mapa conceptual o gráfico, cuyoobjetivo es hacer más sencillo el análisis y orientar la plani-ficación posterior.

Una vez finalizado el diagnóstico (investigación evalua-tiva ex ante), la herramienta del EML propone identificar laproblemática principal o de mayor alcance, entendidacomo el estado negativo de una comunidad o, al menos,como un estado insatisfactorio. Con este análisis se identifi-can los obstáculos reales y prioritarios para los grupos im-

Se trata de identificar los grupos de alta y baja importanciapara el proyecto, así como los grupos de alta y baja influencia parael mismo. La influencia se entiende como el poder que tieneese involucrado para lograr o impedir que se logren los objeti-vos; y la importancia es la que el donante o entidad otorga aese grupo como prioritario.

Alta importancia/ Alta importancia/ Baja Influencia Alta influencia

A B

C D

Baja Importancia/ Baja importancia/ Baja influencia Alta influencia

DFID (2002): Tools for Development. A handbook for those engaged indevelopment activities. Performance an Effectiveness Department.DFID, London.

99


plicados. Una vez identificada esa problemática central,debemos establecer las causas directas que motivan la exis-tencia de dicho problema en la comunidad. Posteriormen-te, a esas causas directas tenemos que buscarle unas sub-causas (las causas de las causas) para encontrar la raízúltima de dicha problemática a solucionar. La pregunta quenos puede guiar la construcción del árbol de problemas es¿por qué?

Existen diversas herramientas para hacer visibles lascausas y los efectos de una situación problemática sobreuna población, siendo la más conocida el árbol de pro-blemas (Cuadro 28) pero lo importante es que se integrentodas las áreas detectadas como problema para que el pa-norama sea lo más completo posible. La característicaprincipal de este esquema, con influencia de la gestión decalidad japonesa, es la red de relaciones de causalidadpresentando un esquema basado en relaciones causa-efecto.

Cuadro 28. El origen del árbol de problemas

El procedimiento de este análisis, normalmente adoptadoen la fase de identificación y formulación del proyecto, pue-de seguir los siguientes pasos:

El origen concreto del árbol de problemas, más acá de Aris-tóteles y las teorías de la causalidad, proviene de la planifica-ción empresarial japonesa. De hecho fue utilizado por primeravez en 1952 por le empresa Kawasaki para analizar los defectosen la calidad de la producción de sus plantas industriales. Elcreador de este modelo de interpretación fue un ingeniero in-dustrial llamado Kaoru Ishikawa. Este diagrama de causas yefectos, también llamado diagrama de «espina de pescado», de«árbol» o de «río», fue incluido en la terminología de los están-dares japoneses del control de calidad. La diferencia más evi-dente entre el diagrama de la «espina de pescado» y el árbol deproblemas es su orientación. Así, en el primero las causas se si-túan sobre un eje horizontal, mientras que en el árbol de pro-blemas, la colocación de los diferentes problemas es claramen-te vertical, de abajo hacia arriba.

Fuente: GÓMEZ GALÁN, M., SAINZ OLLERO, H. (2003): El ciclo del proyec-to de cooperación al desarrollo. La aplicación del marco lógico.Segunda Edición en España. Cideal. Fundación Cideal, Madrid,p. 143.

100


—Identificar todos los problemas existentes (en estadonegativo).

—Tratar de determinar el problema que parece más sig-nificativo y afecta en mayor medida a los grupos depotenciales beneficiarios. Éste será el problema focal ocentral.

—Una vez identificado el problema central, los demás seorganizan en un diagrama con forma de árbol comocausas y efectos de este problema central. Para ello, secolocan las causas esenciales y directas debajo delproblema central, y los efectos directos, encima del pro-blema central.

Finalmente, queda establecido un árbol de problemas deacuerdo con sus relaciones de causa-efecto. Se presenta undiagrama en forma de árbol, donde los efectos quedan en laparte superior del problema central, y las causas del mismo,en la inferior. El análisis concluye cuando el equipo de pla-nificación está convencido de las relaciones de causa-efectode la situación insatisfactoria que se está analizando. Esinteresante prestar atención especial a los efectos sobre gé-nero, la infancia y el medio ambiente.

3. El análisis de objetivos

Una vez terminado y consensuado el análisis de los pro-blemas, la siguiente etapa es la formulación de los objetivosdel proyecto. La metodología propuesta, busca transformaruna situación negativa o insatisfactoria, en una realidad po-sitiva. Para ello, el árbol de problemas se transformará en unárbol de objetivos, y los problemas formulados como condi-ción negativa, son reformulados ahora en forma positiva. Setrata de un cambio relativamente sencillo al trasladar unadinámica de causa-efecto en una relación medios-fin. Loque antes eran causas ahora son medios, y lo que era el pro-blema focal, se convierte en nuestro objetivo principal. Lospasos más comunes para la elaboración del árbol de objeti-vos son:

—Transcribir los estados negativos que refleja el árbol deproblemas en condiciones deseables positivas.

—El problema focal se convierte en el objetivo principaldel proyecto y las causas en medios.

—Revisar las relaciones medios-fin que resultan paraasegurarnos de la validez del árbol de objetivos plan-teado, verificando la lógica medios-fin.

101


Gráfico 8. Árbol de problemas

Gráfico 9. Árbol de objetivos

OBJETIVO DE L/P O GENERAL

Efecto 1 Efecto 2 Efecto 3

Objetivo de proyecto 1 Objetivo de proyecto 2

Resultado 1.1 Resultado 1.2 Resultado 2.1 Resultado 2.2 Resultado 2.3

Resultado 2.4

FINES

MEDIOS

PROBLEMA CENTRAL

Efecto 1 Efecto 2 Efecto 3

Causa 1 Causa 2

Subcausa 1.1 Subcausa 1.2 Subcausa 2.1 Subcausa 2.2 Subcausa 2.3

EFECTOS

CAUSAS

102


—Eliminar (tachar, o marcar en otro color) aquellos obje-tivos que son inalcanzables o de compleja solución.

—Agregar nuevos medios si son necesarios para lograr elobjetivo propuesto (en la mayoría de los análisis, laeducación no siempre aparece como un problema,pero en los árboles de objetivos es común recurrir a lacapacitación como un medio muy efectivo).

—Revisar finalmente si la lógica de medios fines es com-pleta y coherente.

La pregunta clave que podemos hacernos para verificarel proceso de medios y fines es ¿cómo?

4. Análisis de alternativas

Una vez que tenemos el panorama de posibles soluciones,se trata ahora de identificar las soluciones alternativas, poten-cialmente más factibles, valorándose las posibilidades de serllevadas a cabo adecuadamente en la práctica. Y cabe pre-guntarse… ¿por qué si hemos identificado una problemáticamuy amplia con varios ejes de problemas, ahora debemos se-leccionar entre los ejes de soluciones? La respuesta es muysencilla. Podemos optar por intervenir en forma de programaso en forma de proyectos. En el primer caso, para poder abor-dar la problemática global de la comunidad (que seguramen-te afecte a varias ramas de su vida: educación, salud, empleo,derechos humanos, etc.), y en el segundo, optamos por res-ponder en forma más específica mediante un proyecto a unade las áreas afectadas. Para la selección de la estrategia sepueden tener en cuenta algunos criterios en relación con loscostes, los beneficios que aportan a la población beneficiaria,la probabilidad de alcanzar los objetivos de manera más efi-caz, y sobre todo, la opción que permite mayor participacióne identificación con la gente. Además, es importante en estemomento cruzar los resultados de los análisis de viabilidad(factibilidad) técnica, financiera, institucional, ambiental, so-cial, etc. con las alternativas del proyecto, para tomar decisio-nes y definir las estrategias de intervención.

En ocasiones, la decisión tomada frente a la alternativano corresponde con criterios estrictamente técnicos, sinoque el componente político puede tener un peso importan-te. Por ejemplo, si una de las alternativas está incluida en elplan de desarrollo local municipal, puede que sea elegidapor los involucrados, o en el caso de que una de las líneasalternativas esté mas acorde con las líneas estratégicas delos donantes, o la misión de la entidad ejecutora, etc., pue-

103


den llevar a marcar las pautas sobre la opción a tomar. Entodo caso, la más acertada será aquella que tenga mayorconsenso entre las personas participantes.

El procedimiento consiste en:

—Identificar las ramas medios-fines del árbol de objetivos.

—Designar las alternativas con expresiones descriptivas.Por ejemplo: enfoque producción, enfoque ingresos,enfoque educativo, etc., o incluso numerarlas.

—Seleccionar las alternativas basadas en criterios de rea-lismo como las prioridades de desarrollo, las condicio-nes de la zona, la conveniencia para la población, ladisponibilidad de recursos financieros, la disponibili-dad del personal, etc., el tiempo que conlleva cadaejecución, la participación, etc., u otros criterios a es-tablecer por el equipo de trabajo.

5. La matriz de planificación

Una vez que hemos logrado decidir que alternativa (es-trategia) vamos a priorizar para nuestra intervención, es elmomento de detallar la planificación del proyecto mediantela construcción de la matriz de planificación.

Gráfico 10. La matriz de planificación de proyecto (MPP)

Fuente: COMISIÓN DE LAS COMUNIDADES EUROPEAS (1993): Gestión del ciclo deun proyecto. Enfoque integrado y marco Lógico. Unidad de evalua-ción. Serie métodos e instrumentos para la gestión del ciclo de unproyecto. N.º 1, Bruselas, p. 23.

Lógica deintervención

Indicadoresobjetivamente

verificables

Hipótesis /Supuestos

Fuentes deverificación

OBJETIVOGENERAL

OBJETIVO DEPROYECTO

RESULTADOS

ACTIVIDADES Insumos Costes

104


La matriz de planificación del proyecto (MPP) es un con-junto de conceptos que se describen de modo operativo enforma de matriz (cuadro de doble entrada), de tal forma quees posible verificar si la intervención ha sido instruida co-rrectamente. Permite presentar de manera sistemática y lógi-ca los objetivos, resultados y actividades de una interven-ción y sus relaciones causales (lógica vertical), detallandolos factores externos que pueden influir en el desarrollo deesa lógica, los indicadores y sus fuentes de verificación parapoder comprobar el cumplimiento de los objetivos y sus re-sultados (realizar el seguimiento y la evaluación).

La Comisión de las Comunidades Europeas señalaba enel año 1993:

Esta matriz concisa, fácilmente aplicable y utilizable en losinformes, disminuye la carga de trabajo de las partes que inter-vienen en las diversas fases de un proyecto. (…) Es un instru-mento que permite ver claramente cómo va a evolucionar la in-tervención, qué estrategia se va a seguir y qué medios se van autilizar. Durante el seguimiento y la evaluación, este mismomarco lógico sirve de punto de referencia para analizar los re-sultados y el impacto de la intervención.

Detengámonos ahora en cada uno de los elementos de lamatriz que serán indispensables para el seguimiento y laevaluación ex post:

LA LÓGICA DE INTERVENCIÓN4

Una vez escogida una estrategia para el proyecto, se ex-traen los principales elementos del árbol de objetivos y setransfieren a la primera columna vertical de la matriz delproyecto (MMP) en forma de intervención.

Los elementos de la lógica vertical son:

—El objetivo general: es el objetivo de nivel superior alque debe contribuir el proyecto a largo plazo. Puedenexistir otros proyectos que contribuyen al alcance deeste objetivo general.

105

4 Algunos organismos como el Banco Interamericano de Desarrollo (BID)utiliza una terminología distinta para referirse a esta lógica: Fin, propósito,componentes y actividades-tareas, en lugar de objetivo general, objetivoespecífico, resultados y actividades, respectivamente. Ver BID (1997): Eva-luación: una herramienta de gestión para mejorar el desempeño de los pro-yectos. Oficina de evaluación-EVO. www.iadb.org. Otras agencias, comola Agencia de Cooperación Técnica alemana, también utiliza otra termi-nología, al hablar de objetivo superior, objetivo de proyecto y Productos(www.gtz.de).


106

—El objetivo específico o de proyecto: establece el pro-pósito operativo del proyecto, la situación que se es-pera permanezca como consecuencia del logro de losresultados.

—Los resultados: son los productos de corto plazo que elproyecto puede garantizar como consecuencia de larealización de sus actividades.

—Las actividades: son acciones necesarias para transfor-mar los insumos dados en resultados planificados den-tro de un período especificado.

— Insumos o recursos: son las «materias primas» de unproyecto para producir los resultados propuestos (per-sonal, equipos, servicios, etc.)

—Costes: son la traducción de los insumos a su valormonetario. Los fondos que necesitamos para podercontratar unos recursos.

LA LÓGICA HORIZONTAL

Estos son los elementos que complementan la inter-vención a realizar. Si observamos la matriz de planifica-ción en su lógica vertical, encontramos elementos típicosde cualquier formulación de proyectos sociales (objeti-vos, resultados, actividades y presupuesto). La lógica ho-rizontal es la que establece las relaciones entre esa inter-vención y los elementos de seguimiento y evaluación, esdecir, los indicadores y fuentes (o medios) de verifica-ción. Esta lógica se complementa con el análisis de su-puestos y factores externos que pueden afectar el logrode esa lógica vertical, y a los que habrá que prestar aten-ción a lo largo de la implementación, y posteriormenteen la evaluación ex post. Veamos en qué consiste cadauno de ellos:

— Indicadores objetivamente verificables (IOV): paracada nivel de la lógica vertical debe establecerse unaunidad de medida de logro. Los indicadores permitena las personas gestoras del proyecto y al equipo eva-luador, observar los logros del proyecto y en qué me-dida se consiguen. Se trata de describir operativamen-te los objetivos y los resultados en términos de metasde calidad y cantidad.

—Las fuentes o medios de verificación: indican de dón-de se tomará la información necesaria para comprobarel cumplimiento de los indicadores. Las fuentes deben


proporcionar información referente al nivel de ejecu-ción de cada uno de los niveles de la lógica vertical.Pueden ser de dos tipos: primarias, si la información esgenerada por el mismo proyecto; y secundarias cuan-do las informaciones son generadas por otras instan-cias o procedimientos que aportan información rele-vante para la evaluación del proyecto.

—Los factores externos, hipótesis o supuestos: son con-diciones que existen en el medio (entendido comoentorno), pero que escapan al control directo de laintervención. Estos factores, ajenos al control del pro-yecto, pueden convertirse en factores de riesgo o deéxito para que la lógica de intervención se cumpla.Hay factores que afectan a las metas, a los resultadose, incluso, a las actividades. Es decir, habrá que iden-tificar que hipótesis deben darse en contexto del pro-yecto para que las actividades puedan convertirse enresultados, los resultados permitan alcanzar el objeti-vo del proyecto, y contribuir en alguna medida, alobjetivo general o de largo plazo. En el caso de queprevalezca una gran cantidad de factores externosnegativos o de riesgo en el proyecto, deberá replan-tearse la factibilidad de su ejecución. Si existen facto-res muy probables de ocurrir que ponen en alto gra-do de peligro la ejecución del proyecto (factoresletales), ésta será una señal sobre la necesidad de re-formulación.

Una vez realizada la matriz de planificación, debe ser laguía de toda la intervención del proyecto bien en su ejecu-ción, como en el seguimiento y la evaluación ex post. En elcaso de la evaluación posterior (fin de proyecto o ex post)debe analizarse la contribución del proyecto al logro delobjetivo general y el grado de realización del objetivo espe-cífico y de los resultados. Todo ello a través de los indicado-res para cada nivel.

2.3.2.2. Los indicadores: concepto y tipologías

La formulación de indicadores en la planificación de laintervención, así como su posterior revisión en la evalua-ción ex post, se ha vuelto uno de los ejes más típicos en lapráctica evaluativa. A pesar de su aceptación generalizadaen el mundo de la cooperación al desarrollo, sobre todocon la extensión del marco lógico y la matriz de planifica-ción, es importante rescatar que todavía para muchas enti-dades y personas vinculadas a proyectos, la formulación y

107


análisis de los indicadores sigue siendo un gran quebraderode cabeza.

A continuación, tratamos de mostrar la cara amable delos indicadores, presentando algunas definiciones de loque se entiende por indicador, así como los tipos de indi-cadores que podemos incorporar al proyecto y su evalua-ción.

Cuadro 29. Definiciones de indicador

Los indicadores se entienden como expresiones cuanti-tativas (y cualitativas) del comportamiento o desempeño delas variables de un proceso, una actividad o acción. Se esta-blece el nivel de referencia (o línea de base) y así podrá se-ñalarse la desviación o el acierto sobre el mismo. Los indi-cadores permiten valorar las modificaciones o variacionesde las características de la unidad de análisis establecida yen el caso de un proyecto de desarrollo, de sus actividades,resultados y objetivos. Los indicadores posibilitan la verifi-cación del logro de resultados y alcance de los objetivos ode otros efectos.

Se trata de una medida orientada que indica la direccióncorrecta-incorrecta sobre algún aspecto o variable que que-remos medir. El indicador define la norma de cumplimiento

Son descripciones operativas (cantidad, calidad, grupo be-neficiario, tiempo y espacio) de los objetivos y resultados de laintervención, que cubran lo esencial y que puedan medirse demanera fiable y a un costo razonable.

Fuente: COMISIÓN DE COMUNIDADES EUROPEAS (1993): El enfoque del mar-co lógico y el ciclo de vida integrado. CCE, Bruselas, p. 36.

Los indicadores son las señales que nos permiten saber si elobjetivo o resultado en cuestión, se ha alcanzado.

Fuente: MAE- SECIPI (2001): Metodología para la evaluación II. Coope-ración española. MAE- SECIPI, Madrid, p. 49.

Los indicadores son medidas (directas o indirectas) para ve-rificar en qué medida se logró el objetivo de desarrollo, y debendeterminarse las fuentes de verificación.

Fuente: NORAD (1994): El enfoque del marco lógico. Manual para laplanificación de proyectos orientada por objetivos. NORAD-IUDC, Madrid.

108


que hay que alcanzar a fin de lograr el objetivo que nos he-mos planteado. Para su correcta formulación deben señalarel cambio buscado por el proyecto y donde se recogerá lainformación para verificar dicho cambio (fuente de verifi-cación).

Algunos requisitos indispensables que deben tener los in-dicadores de evaluación son:

—ser relevantes y válidos (que midan lo que necesitamos),

—ser precisos en cuanto a tiempo, beneficiarios/as, can-tidad y calidad y lugar,

—ser verificables y comprobables,

—ser independientes para cada nivel de medición y fiables,

—y, ser factibles (posibilidad de ser alcanzados y medidos).

Pero las preguntas que solemos plantearnos al ponernosdelante del trabajo de evaluación es ¿cómo se formulan losindicadores? ¿Qué tipos de indicadores debo formular en unproyecto? Algunos autores plantean diversas clasificacionesde indicadores según su objeto, naturaleza u orientación enel ciclo del proyecto.

En primer lugar, una de las clasificaciones más importan-tes tiene que ver con el nivel de medición del indicador.Así, surgen dos tipos de indicadores los directos y los indi-rectos.

Cuando hablamos de un indicador directo, nos referi-mos a aquel indicador que mide por sí solo la variable ob-jeto de medición, es decir, si yo deseo saber el nivel de in-gresos de una familia: el indicador puede ser la renta quepercibe dicha familia mensualmente. Pero ocurre que enla mayoría de los proyectos sociales, en los que centra suatención la cooperación, se establecen variables muy am-plias y ambiguas a las que un único indicador no mide deforma completa. Por ejemplo, si hablamos de la fortalezainstitucional de una organización, o el grado de fortaleci-miento comunitario de un grupo local, ¿cuál es el indica-dor que nos mide esa realidad de manera directa? No exis-te. En ese caso, tenemos que realizar un procesosociológico basado en la operacionalización de variables,de cara a establecer indicadores indirectos.

109


Cuadro 30. Tipologías de indicadores

En el caso de las intervenciones de desarrollo basadasen marco lógico, se trata de desagregar los objetivos espe-cíficos, generales y los resultados en variables o categoríasque permitan su medición y análisis. Debe descomponersecada objetivo en variables componentes que representanese objetivo (tres o cuatro), y una vez pensadas dichas ca-tegorías, es más sencilla la formulación de indicadorespara cada una de ellas, y por tanto la formulación de indi-cadores indirectos que midan el logro del objetivo, así seade manera indirecta. Por ejemplo si un resultado es «se hafortalecido el grupo de mujeres de la comunidad x», algu-nas variables o categorías serán: las reuniones que hacen,su participación, la capacidad de interlocutar con las ins-tancias públicas, la solidaridad intra-grupo, los proyectosque han formulado, etc., y por tanto, algunos indicadoresindirectos serán, «el n.º de reuniones que han realizado endeterminado periodo», el «n.º de proyectos», «la calidadtécnica», «el grado de satisfacción expresada por la gen-te», etc.

Otra clasificación importante, es aquella que los dividesegún su naturaleza. Nos referimos a los indicadores objeti-vos y subjetivos, o indicadores cuantitativos y cualitativos(aquellos cuya fuente de verificación es cuantitativa o cua-

Clasificación

Según nivel de medición

Según su naturaleza

Según su orientación

Según dimensión de análisis

Tipos de indicadores

Indicadores directosIndicadores indirectos (proxys)

Indicadores cuantitativos u objetivosIndicadores cualitativos o subjetivos

Indicadores de procesoIndicadores de producto (output)Indicadores de resultados (outcome)Indicadores de Impacto (impact)

Indicadores socialesIndicadores técnicosIndicadores económicosIndicadores de impacto ambientalIndicadores de género…

Fuente: Elaboración propia a partir de la bibliografía.

110


litativa). A pesar de algunos autores siguen abogando por lainoperancia de los indicadores cualitativos, lo cierto es queson muy necesarios para medir aquellos cambios produci-dos en la población, y que no se pueden medir cuantitati-vamente, o numéricamente por cantidades. Un indicadorcuantitativo, tal y como lo propone el enfoque del marcológico, debe ser objetivo y definido en términos de canti-dad, tiempo y lugar. Además, se refiere a una realidad ob-servable como cosas cuantificables, es decir, aquello quepodemos numerar, contar o clasificar. Por ejemplo, si dese-amos medir el resultado de capacitación de unas personas,podemos establecer: «n.º de personas que aprueban el ta-ller» o establecer un porcentaje de logro en forma de meta:«El 80% de las personas inscritas logra finalizar con éxito lacapacitación en menos de 1 año», por ejemplo. En ese casoaccedemos a una medición en términos cuantificables yobjetivos.

Pero no siempre la realidad social es cuantificable nievaluable en términos numéricos cuantitativos, y, a pesarde la dificultad que entraña la formulación de los indica-dores cualitativos, éstos son muy importantes a la hora demedir cambios en actitudes y comportamientos (que endefinitiva es lo que buscamos con un proyecto), y que síson medibles, aunque no cuantificables. Para ello dispone-mos de fuentes de verificación cualitativa, por lo que sehabla de indicadores cualitativos. Por ejemplo si deseamosmedir los cambios que ha podido generar una interven-ción en la violencia doméstica o familiar, no es posibleque contemos el número de veces que una madre pega asus hijos, o el número de veces que el marido maltrata asu esposa. Ciertamente, hay ciertos comportamientos quesí existen y que no se pueden contar. Es cuestión de cam-biar nuestra lógica (en ocasiones mecanicista), que nos lle-va a pensar en actividades (y es deseable hacerlo hastacierto punto) para medir lo ofertado por el proyecto (% demujeres y hombres que acudieron a la capacitación sobreformación y cuidado de los menores en el hogar, porejemplo, como un indicador cuantitativo); para avanzarhacia una lógica de efectos y cambios (y a largo plazo, deimpacto) que nos lleve a formular también indicadores cua-litativos centrados en comportamientos y sentimientos. Porejemplo, «tras la formación hombres y mujeres reconocenque se han reducido los comportamientos agresivos haciasus hijos e hijas» o, «se observa que se han reducido loscomportamientos agresivos de los hombres hacia las muje-res del proyecto».

111


Otro ejemplo revelador (Nirenberg y otras, 2000:158-159)es el referido a la incorporación al mercado laboral de ungrupo de jóvenes. La medición cuantitativa, sobre el por-centaje de jóvenes que han accedido al empleo, resulta nosolo interesante, sino totalmente necesaria para poder valo-rar esa variable. Pero, ¿cómo respondemos cuantitativamen-te a las siguientes preguntas? ¿Cómo han accedido al em-pleo? ¿Por qué no han accedido las personas que no lo hanlogrado? ¿Cuáles son los factores que dificultan o favorecensu incorporación? Como vemos, estas respuestas son tam-bién necesarias para la valoración de dicha variable, y sóloes posible responderlas por medio de indicadores cualitati-vos, que conjuntamente, constituyen indicadores relevantespara la emisión de un juicio.

Sobre este tema se pronuncia el manual de Save the Chil-dren (1998: 76) señalando la importancia de la formulaciónde indicadores cualitativos que midan el cambio cualitativo,que por otro lado, es el más complejo de medir. Se trata decomplementar la medición de una realidad social complejaque es posible ordenar y contar (en alguna medida) pero quetambién se puede observar cambios no cuantificables rela-cionados con comportamientos. Sobre este punto, el manualmencionado establece algunas sugerencias útiles para laidentificación de los indicadores cualitativos:

—Como regla general, es más sencillo valorar el com-portamiento que los sentimientos, dado que el compor-tamiento puede ser observado. Por ejemplo, si un objeti-vo es aumentar la confianza de la gente en las reunioneso encuentros, algunos indicadores cualitativos ligadosal comportamiento pueden ser: la frecuencia con quela gente habla, si hablan claro, si exponen sus puntosde vista claramente, etc.

—Una vía para identificar indicadores cualitativos eshacerse la pregunta: si el proyecto fuera un completodesastre, ¿cómo lo sabría la gente? En ocasiones esmás fácil pensar en el fracaso que en el éxito, perolos indicadores deberían ser los mismos para amboscasos.

—La mejor forma de identificar indicadores cualitativos,es a través de la discusión y el cuestionamiento, sobre«qué quieres decir con este concepto». Es decir, desa-gregarlo en dimensiones o categorías (operacionali-zación) a través de lluvias de ideas o reuniones se pue-da apreciar que entiende la gente por dicho concepto,para poder medirlo.

112


Cuadro 31. Ejemplos de indicadores de evaluación

Otra clasificación interesante, es la que ordena los indi-cadores en tres grupos según orientación en la intervención:los indicadores de proceso, los indicadores de producto(output) los indicadores de resultados (outcome) y los indi-cadores de impacto (impact).

Los indicadores de proceso se orientan a la medición delos procesos que conforman la globalidad de la intervención(desde que se inicia, hasta que termina, todas las fases o áre-as sobre las que se estructura la intervención). Es decir,orientan la medición del proyecto o programa como unamirada hacia adentro. Tienen que ver más con la acción deseguimiento de actividades y busca valorar la toma de deci-

Los indicadores cuantitativos suelen ser porcentajes, ratiose índices compuestos.

Objetivo Variables o categorías Indicadores

Los indicadores cualitativos normalmente son percepcio-nes, observaciones y valoraciones del logro de una determina-da acción o comportamiento.

Objetivo Categorías Indicadores


La juventud mejorasu calidad de vida

—Mejora su edu-cación

—Acceso al mer-cado laboral

—Acceso a la salud—…

—Un 90% de los benefi-ciarios/as alcanza gra-duarse en 3 años y deéste grupo, el 60% sonmujeres

—De cada 3 mujeres gra-duadas, una al menos,accede en menos de 1 año al mercado laboral

—…

Desarrolloorganizacional a nivel comunitario

—Confianza—Participación—Toma de decisio-

nes participativa—Liderazgo de gé-

nero—etc.

—Las mujeres sobre tienenmayor capacidad de de-cisión al interior del gru-po

—Se observa mayor impli-cación de su miembrosen las tareas diarias

—Hombres y mujeres va-loran como positiva sucapacidad de interlocu-tor con instancias públi-cas tras la capacitación

113


siones en los equipos, las relaciones entre personal y pobla-ción beneficiaria, los procedimientos, el desarrollo de lasactividades, etc.

En cambio, los indicadores de producto, de resultado yde impacto, son indicadores que ponen la atención en loque el proyecto o programa produce hacia fuera, bien comobienes y servicios a disposición de la comunidad (produc-tos), bien como efectos sobre sus hábitos de vida y compor-tamiento (resultados e impacto). En primer lugar, el proyectoo programa produce una serie de bienes y servicios para lacomunidad que son necesarios valorar mediante los indica-dores de producto (output). Un hospital, una atención médi-ca, una venta, etc. Pero eso es diferente de los efectos quese van logrando con el desarrollo de esas actividades y susproductos (se trata de resultados, o efectos parciales en lagente y su entorno) y estos se miden con los indicadores deresultado (outcome). Estos a su vez, son los indicadores demedición de los resultados de la matriz de planificación ysu objetivo de proyecto que podrán ser medidos al final. Losindicadores de impacto, orientan su medición hacia aque-llos efectos (positivos y negativos, deseados y no deseados)que se han dado en la población beneficiaria directa e indi-recta. Es decir, los cambios reales producidos en la genteproducto de la intervención en el largo plazo, más allá desus objetivos.

Una última clasificación de indicadores que mencionába-mos anteriormente, es la referida a las áreas o dimensioneshacia las que se orienta la medición. En este caso podríamosampliar los distintos indicadores a todas las áreas de la vidasocial potencialmente afectadas por el proyecto: lo social, lotécnico, lo cultural, político, institucional, económico, am-biental, etc. Ejercicio muy útil por otro lado a la hora deconstruir indicadores de impacto para la evaluación ex post.

En la actualidad es comúnmente reconocido los efectosque una intervención (sea del tipo que sea) puede generar entodas las áreas mencionadas. Así, de cara a la evaluación expost y la medición del impacto, es importante desagregar di-chas áreas y construir indicadores para las mismas. No vamosa extendernos aquí sobre todas ellas, pero si es importantedestacar el ejercicio de algunas que ya han avanzado en laformulación de indicadores. Nos referimos a los indicadoresde impacto ambiental (efectos sobre el ser humano y el am-biente), indicadores económicos (indicadores de costos, indi-cadores de cumplimiento temporal, indicadores de cobertura,indicadores de eficiencia) y los indicadores de género.

114


Cuadro 32. Indicadores de género

Estos últimos gozan ya de cierto reconocimiento y legitimi-dad en la cooperación al desarrollo dado que la perspectivade género en el desarrollo reclama la igualdad de género nosólo como objetivo del desarrollo, sino como estrategia. Pare-ce ya demostrado que no se puede alcanzar niveles satisfacto-rios de eficacia, sostenibilidad e impacto positivo, sin tener encuenta las necesidades e intereses de género. En ese sentido laadopción del enfoque de género debe ser transversal a las in-tervenciones, y como tal afecta también al seguimiento y laevaluación ex post. Parece necesario incorporar indicadoresde impacto de género que incorporen elementos relativos alos efectos que la intervención ha generado en la línea de laintegración (mainstreaming) y el empoderamiento de las muje-res como estrategia política y social (MAE-SECIPI, 2001).

La lógica de la evaluación, entendida como una accióntransversal a todo el ciclo de gestión, nos sitúa en la nece-sidad de formular indicadores de todas las áreas menciona-das, en la medida de lo posible, es decir, indicadores directos,indirectos, cuantitativos y cualitativos, de proceso, produc-to, resultados e impacto y a su vez, cruzados por las dimen-siones o temáticas a resaltar: culturales, sociales, técnicos,ambientales, de género, etc.

En el caso de una evaluación ex post, la elección de losindicadores sobre los que poner el énfasis dependerá, engran medida, de los análisis previos realizados durante las

¿Qué es un indicador de género?

Los indicadores de género tienen la función de señalar en quémedida y de qué manera un proyecto ha logrado los objetivos y re-sultados previstos en cuanto a equidad/igualdad de género; señalanlos cambios en el tiempo en relación con los roles de mujeres yhombres, su condición y posición. Los indicadores ligados a lacondición (prácticos) serán aquellos que buscan medir la mejoraen las condiciones de vida de hombres y mujeres en una sociedad.Los indicadores ligados a la posición (estratégicos) buscan medir elacceso al poder de las mujeres, entendido como la mejora de lascondiciones necesarias para ser dueñas de su propio desarrollo.

Fuentes: AGENCIA CANADIENSE DE DESARROLLO INTERNACIONAL ACDI/Servi-cio Nacional de la Mujer de Chile SERNAM (1996): Manualpara proyectos de género. Guía para utilizar indicadores degénero. ACDI, Santiago de Chile. ACCI-PROEQUIDAD/GTZ (2000): Igualdad de Género en laCooperación para el Desarrollo. Recomendaciones de los do-nantes para los proyectos. GTZ/ACCI, Bogotá.

115


primeras etapas de la vida del proyecto. Es decir, si ha habi-do evaluación permanente, o si en la institución existe unsistema de evaluación integrado que afecta todas las áreas desu gestión estratégica (planes, líneas, áreas o procesos de re-cursos humanos, contables, logística, comunicación, proyec-tos, etc.) es probable que la evaluación ex post no deba cen-trarse tanto en indicadores de proceso, productos y deresultados, orientándose en mayor medida a la revisión delos indicadores de impacto (en las áreas mencionadas) y encriterios de gestión global, tal y como los propone la OCDE yla NORAD en la aplicación del modelo de marco lógico.

Veamos su metodología a continuación.

2.3.2.3. Los criterios de evaluación ‘ex post’ de la OCDE

La Agencia Noruega de Cooperación Internacional, propu-so un modelo evaluativo basado en el formato del EML. Estemodelo, asumido actualmente por la mayoría de agenciaseuropeas, propone realizar un análisis de la intervención a unnivel agregado, basándose en unos criterios o componentes deevaluación que pueden relacionarse con la jerarquía de objeti-vos de la matriz de planificación. Se trata de un modelo deevaluación centrado en tres dimensiones: la jerarquía de obje-tivos o lógica de intervención, el conjunto de componentes dela evaluación y los factores de desarrollo (NORAD, 1997).

Gráfico 11. La evaluación en el EML

Fuente: NORAD (1997): Evaluación de proyectos de ayuda al desarrrollo.Manual para evaluadores y gestores. IUDC-CEDEAL, Madrid, p. 31.

VIABILIDAD

PERTINENCIA

IMPACTO

EFICACIA

EFICIENCIA

INSUMOS PRODUCTOS OBJETIVOESPECÍFICO

OBJETIVOGENERAL

La sostenibilidad del proyecto a largo plazo

La dirección y utilidad del proyecto

Efectos del proyecto enel largo plazo

Logro de objetivos

Logro de resultados

Pol

ítica

s d

e ap

oyo

Asp

ecto

s in

stitu

cion

ales

Asp

ecto

s fin

anci

eros

Fact

ores

tecn

ológ

icos

Asp

ecto

s so

cioc

ultu

rale

sD

imen

sión

de

gén

ero

Med

io a

mb

ient

e

Jerarquía de objetivos Factores de desarrollo

116


En el nivel inferior del gráfico 11, podemos ver cómo elmodelo organiza la información del proyecto que se evalúaa partir de la lógica de la intervención, en términos de obje-tivos, resultados (o productos) e insumos (inputs). La evalua-ción de esta lógica se hace teniendo en cuenta unos factoresexternos locales que afectan al proyecto, y por lo tanto al éxi-to del mismo, y todo ello desde el análisis de unos criteriosevaluativos (componentes en términos de la NORAD) quepermiten la evaluación a un nivel agregado.

El CAD señalaba en su «Manual para una ayuda eficaz»(1995) que la evaluación tendrá que determinar la pertinenciade los objetivos y su grado de realización, la eficiencia encuanto al desarrollo, la eficacia, el impacto y la viabilidad. Esoscinco criterios, son los componente claves sobre los que cen-tramos nuestra atención a continuación: la eficacia, la eficien-cia, la pertinencia, el impacto, y la sostenibilidad.

Cuadro 33. Criterios clave en la evaluación ‘ex post’ de proyectosde desarrollo

CRITERIOSDE

EVALUACIÓN

Eficacia

Eficiencia

Pertinencia

Viabilidad/Sostenibilidad

Impacto

En qué medida se han alcan-zado los objetivos propuestos.

Qué resultados se han logra-do y con que medios. Gradode optimización del uso delos recursos.

La adecuación de los resulta-dos y los objetivos de la inter-vención al contexto en que serealiza y las necesidades.

Estimación de la capacidadde continuación de las accio-nes de manera autónoma.

Efectos positivos y negativos,esperados y no esperados, quela acción ha tenido sobre elmedio (económico, técnico, so-cial, cultural, político, ecológi-co, relaciones de género, etc.).

Fuente: Elaboración propia a partir de la bibliografía citada.NORAD (1997): Enfoque del marco lógico (EML): Manual para laplanificación de proyectos orientada mediante objetivos. IUDC-CEDEAL, Madrid. MAE-SECIPI (2001): Metodología de la evaluación de la coope-ración española II. MAE-SECIPI, Madrid.OAKLEY, Peter, y otros (1998): Outcomes and impact: Evaluatingchange in social development. INTRAC NGO Managementand Policy. Series n.º 6. INTRAC, Oxford.

117


Algunos de estos criterios son conocidos entre las perso-nas que se mueven en el mundo del management en gene-ral, público o privado, tercer sector, e incluso, se incorporanal día a día de la gestión de las agencias de cooperación. Detodas formas, en ocasiones son utilizados de forma indiscri-minada, prestándose a múltiples interpretaciones. Vamosahora a clarificar estos conceptos desde la concepción y elmodelo presentado por la NORAD.

1. La eficacia

La eficacia es una medida que relaciona el objetivo espe-cífico con los resultados del proyecto, centrando la atenciónen el grado de cumplimiento de ambos. A este nivel de aná-lisis la pregunta que debe hacerse es en qué medida los re-sultados logrados por el proyecto han contribuido al logrodel objetivo específico planteado, para una población bene-ficiaria definida, en una temporalidad y un contexto deter-minados. Para poder valorar la eficacia de un proyecto, esnecesario que los objetivos y los resultados estén bien defi-nidos, y que esté expresado con claridad quienes son laspersonas o grupos que se benefician.

Cuadro 34. Algunas experiencias para la consideración de la eficacia

El proyecto Improvement in local development en Pryazha te-nía por objetivo mejorar el desarrollo local del distrito. Se basabaen la creencia de que la mayoría de los pueblos rurales posee re-cursos suficientes para comenzar algún tipo de actividad económi-ca aunque sea a pequeña escala. Los ejes y objetivos principalesdel proyecto se orientaron a educación, acompañamiento profesio-nal, contactos entre ciudades hermanas y redes organizativas.

Al valorar la eficacia se determinó que el objetivo principal, me-jorar el desarrollo rural del distrito de Pryazha se ha cumplido. Losobjetivos operacionales se han cumplido con leves excepciones. Sehan conseguido logros importantes para la reactivación económicamediante la puesta en marcha de actividades económicas a peque-ña escala, principalmente en torno al turismo, lo que ha dado lugara un número importante de puestos de trabajos directos e indirec-tos. Un gran número de gente ha tomado parte en el proyecto ymuchas personas han generado nuevas fuentes de ingreso.

Fuente: GONZÁLEZ, Lara (2003): Estudio sobre experiencias internaciona-les de evaluación. Sector desarrollo rural integrado y fomentode las actividades agropecuarias. OPE-HEGOA, Bilbao. En re-ferencia a DIXELIUS y otros (2001): «Rural development and De-mocratisation in Russia and Estonia». SIDA-Department for Cen-tral and Eastern Europe. n.º 2000-004386.

118


Esto, que a primera vista parece sencillo, no siempre es fácilde determinar. En consecuencia, si el equipo evaluador se en-cuentra con un objetivo ambiguo o formulado de forma muygenérica, seguramente encontrará problemas para determinar sise alcanzó. Durante el seguimiento pudo ser reformulado si eramuy amplio, pero si este no es el caso, el equipo evaluador de-berá poner de manifiesto dichas debilidades y reformular losobjetivos sobre la base de la documentación existente, de for-ma que puedan ser operacionalizados y evaluados desde susindicadores. Dichas informaciones pueden encontrarse en do-cumentos tales como la formulación y planificación, los infor-mes de seguimiento y el informe de fin de proyecto.

Es importante, por último, prestar especial atención a lascausas que derivaron en una eficacia real y el grado de con-secución de la misma, analizando y poniendo de manifiestolos factores que han supuesto tal resultado.

2. La eficiencia

La eficiencia es una medida de la productividad del proce-so de ejecución de un proyecto o programa. Es decir, hastaqué punto los resultados cualitativos y cuantitativos que ha al-canzado el proyecto provienen de una buena utilización delos recursos (o insumos) ya sean materiales, naturales, técni-cos, económicos o humanos. Se trata de examinar si los resul-tados que el proyecto alcanzó (en el caso de evaluación expost) o está alcanzando (en el seguimiento) podrían haberselogrado haciendo una mejor utilización de los insumos quese han puesto en juego, o usando otros menos costosos yque hubiesen permitido alcanzar los mismos logros. Una va-loración de los medios utilizados requiere entenderlos en sen-tido amplio, considerando todo tipo de medios y su interven-ción en el proyecto: si se dio un buen uso a los bienesmateriales disponibles para la realización del proyecto; si setuvieron en cuenta los recursos humanos locales y en quémedida contribuyeron a la obtención de los resultados; y, porúltimo, cuáles son los costos económicos, técnicos y natura-les ocasionados, y si pudieron haber sido menores.

Para la medición de la eficiencia, es bastante común usarherramientas de análisis de la evaluación socioeconómicade proyectos, como el coste-beneficio, coste-eficacia y cos-te-utilidad, aunque su utilización es recomendable cuandose cuenta con personal especializado. Al comparar recursoscon resultados, es decir inputs con outputs, hay que traducira unidad monetaria los recursos invertidos y también los re-sultados (esto último algo más complejo en proyectos de

119


corte social). Además, habría que tener en cuenta otros cos-tes como los indirectos o los costes de oportunidad, y esta-blecer comparaciones con otras intervenciones para poderafirmar que tan eficiente ha sido la intervención.

Cuadro 35. Medir la eficiencia

3. La pertinencia

Tal y como señalábamos anteriormente, la pertinencia esde vital importancia desde las primeras fases de la identifi-cación y planificación para saber si el proyecto es útil y res-ponde a las necesidades existentes antes de la puesta enmarcha del proyecto. La pertinencia se preocupa de si la ra-zón de ser de un proyecto es acorde con las prioridades dela comunidad local y realmente se han respondido a las ne-

En una iniciativa conjunta de la Unión Europea (Stabex) y lacooperación española (AECI) en 1993, se inició la rehabilita-ción del sector del Cacao en Guinea Ecuatorial, dado que habíaconstituido la principal fuente de empleo y riqueza en la islaBioko. El objetivo general era mejorar la renta percibida por losagricultores y aumentar los ingresos por exportaciones paraGuinea y el objetivo específico, recuperar parte del potencialproductivo del sector del cacao. Cuando se realizó la evalua-ción (5 años más tarde) y se trató de medir la eficiencia del pro-grama de reactivación, se empleó los modelos de flujos de cajautilizados en el estudio de factibilidad, sustituyendo las estima-ciones por las cifras reales, obtenidas de una muestra de las li-quidaciones realizadas por Casa Mallo a parcelistas que traba-jaban para ellos. Tras el estudio de los informes de factibilidadrealizados en el 92 y en el 97, la evaluación dedujo que la al-ternativa de la operación asumida era la más eficiente desde elpunto de vista financiero y de gestión. Así, la estrategia asumidapor el proyecto de replantación selectiva de áreas degradadas yde calvas en explotaciones antiguas bien conservadas era máseficiente que otras opciones analizadas. Con respecto a los re-cursos movilizados por las intervenciones, una vez analizado lainformación, se pudo comprobar que las desviaciones entre lospresupuestado y lo ejecutado eran mínimas. Para ello fue rele-vante que la Oficina de Supervisión conservara la informaciónsobre las tareas realizadas, los pagos percibidos, y los abonosefectuados a los propietarios, volcando periódicamente los da-tos en documentos de seguimiento, donde se informarba sobreel progreso de actividades programadas sobre las previsiones.

Fuente: MAE-SECIPI (1999): «El sector del Cacao en Guinea Ecuatorial».Informe de evaluación 1/1998. MAE, Madrid.

120


cesidades percibidas por la comunidad. En la evaluación expost es muy útil preguntarse por la pertinencia de la inter-vención, dado que nuestras acciones pueden lograr objeti-vos y ser eficientes, pero ¿es la intervención la deseada porla gente? ¿Ha sido realmente necesaria?

Para dar respuesta a estas preguntas, será necesario teneren cuenta:

—Los problemas, necesidades y potencialidades dehombres y mujeres de la población beneficiaria.

—Las políticas de desarrollo nacionales, regionales y locales.—Otras acciones de índole parecida en la misma comu-

nidad, sector, etc.—La política de cooperación al desarrollo a nivel local.

Cuadro 36. Análisis de la pertinencia de un proyecto

Continuando con el ejemplo anterior, la evaluación realiza-da en la intervención de reactivación del sector del cacao en lapoblación rural de la isla de Bioko, consideró que la interven-ción había sido pertinente con las necesidades locales, desdeun punto de vista técnico, social y en relación con las políticasde las autoridades de Guinea Ecuatorial:

—Respecto a los factores técnicos, se utilizaron insumos tra-dicionales que aunque requerían de gran mano de obra yagua, eran conocidos por la comunidad local. Se utiliza-ron plantas de plátano y malanga lo cual aseguraba lasombra temporal en la replantación y permitió la obten-ción de alimentos en parcelas mientras crecía el árbol delcacao. A su vez, se creó un fondo rotatorio de insumospues la comunidad tenía acceso restringido al crédito.

—Con respecto a las cuestiones sociales, el estudio menciona-do, consideró que existía una gran población que se dedica-ba al sector del cacao, y que la replantación mejoraba losingresos de los trabajadores, mediante jornales, y de la pro-ducción en general favoreciendo a las grandes empresas.

—Con respecto a las prioridades del gobierno de GuineaEcuatorial, las intervenciones se encuadraron en el marcode la política económica del país, cuyo objetivo era fo-mentar las exportaciones y el equilibrio macroeconómico,así como la recuperación de cultivos tradicionales comoel cacao, en el marco del desarrollo agrícola.

A pesar de todo, la evaluación consideró que en el futuro, erapertinente favorecer pequeños y medianos empresarios, así comointegrar al Ministerio de Agricultura en la estrategia de intervención.

Fuente: MAE-SECIPI (1999): «El sector del Cacao en Guinea Ecuatorial».Informe de evaluación 1/1998. MAE, Madrid.

121


4. La sostenibilidad

La sostenibilidad, entendida también como viabilidad,durabilidad o sustentabilidad5, consiste en interrogarse so-bre las posibilidades de mantener ciertas acciones una vezeliminados los apoyos exteriores. Desde el principio delproyecto se puede hacer una estimación de la potencialcapacidad de la entidad contraparte, de los grupos socios,de la población beneficiaria, para continuar después demanera autónoma con las acciones puestas en marcha du-rante la intervención. Si los otros elementos se preocupandel proyecto y su desarrollo, el análisis de viabilidad o sos-tenibilidad tiene una perspectiva del proceso de desarrolloorientado en el largo plazo. Cabe preguntarse ¿qué validezha tenido un proyecto si una vez terminada la ayuda exte-rior no es capaz de mantenerse de manera autónoma? Así,la viabilidad dependerá en gran medida de si el impactopositivo justifica que se hayan realizado numerosas inver-siones y si la población beneficiaria valora el proyectocomo para comprometerse a dedicar sus escasos recursosa continuarlo.

Algunos factores claves que apuntan hacia la viabilidad/sos-tenibilidad de un proyecto (y sobre todo programa), son lostambién denominados factores de desarrollo y recomenda-dos por la OCDE (NORAD, 1997: 31):

—Factores políticos: situación política, políticas especí-ficas, compromisos o iniciativas que apoyan el pro-yecto.

—Factores organizativos-institucionales: capacidad deorganización y coordinación de las actividades, parti-cipación de la población beneficiaria, recursos huma-nos cualificados y motivados, implicación y desarrollode las instituciones regionales y locales, etc.

—Factores socio-culturales: organización económica, so-cial, política, creencias, potencialidades de la pobla-ción, relaciones de clase, líderes, etc.

—Factores de género: relaciones sociales entre hombresy mujeres, necesidades de género, capacidades y po-tencialidades de género, etc.

122

5 En inglés, normalmente el término utilizado es sustainability, pero tam-bién puede encontrarse como viability.


—Factores ecológico-ambientales: capacidad del medio,respeto al medio ambiente, cuidado de entornos vul-nerables, etc.

—Factores técnicos y tecnológicos: elección y adaptaciónde tecnología apropiada, capacidad de apropiación deuna técnica, viabilidad técnica de las acciones a reali-zar, compatibilidad cultural, etc.

—Factores económico-financieros: financiación adecua-da para el funcionamiento y el mantenimiento, recur-sos, mercado, etc.

Cuadro 37. La sostenibilidad de los proyectos en el largo plazo

5. El impacto

Realizar un análisis de impacto (en ocasiones llamadode efectividad) implica estudiar los efectos conseguidospor el proyecto más allá de los objetivos propuestos.

Tal y como indicó el informe de evaluación de un proyec-to de la Agencia Finlandesa de Cooperación Internacional(FINNIDA) sobre asignaturas prácticas en educación primariaen Zambia ejecutado entre 1974 y 1990, la sostenibilidad delproyecto era casi imposible. Algunos de los elementos anali-zados fueron: el soporte político al proyecto, la apropiaciónde tecnología y enseñanzas, la construcción de capacidad deautogestión e institucional, los aspectos socio-culturales y lasostenibilidad económica y financiera del proyecto una vezretirada la ayuda.

Tras la revisión de las evaluaciones periódicas realizadas yen la evaluación final realizada tres años mas tarde de finaliza-do el proyecto se observó que a pesar de las declaraciones ora-les de apoyo por parte del Gobierno, éste parecía favorecerotras opciones antes de continuar el proyecto, los objetivos delproyecto no habían sido comprendidos, no se había fortalecidola organización local, no se había tenido en cuenta las diferen-cias culturales a la hora de la programación de planes de estu-dio demasiado occidentalistas, se había ignorado a las mujeresy además no era viable económicamente. Todos estos indicado-res orientaban a avalar que el proyecto no era sostenible por lacomunidad en el largo plazo.

Fuente: CRACKNELL, and others (1994): 1993 ex post evaluation of theZambia- Finland practical subjects project for upper primacyschools in Zambia 1974-1990. FINNIDA, Helsinki.

123


Cuando dichos efectos son positivos se dice que el proyec-to es efectivo y que además, es eficaz, si el efecto princi-pal está ligado al objetivo propuesto en la planificación.La principal diferencia entre ambos conceptos es que elanálisis de impacto es más amplio que el anterior, dadoque incluye todos los efectos posibles, tanto positivos comonegativos, previstos o no previstos, locales, regionales onacionales.

El impacto es el criterio más amplio y difícil de medir delos componentes propuestos por el modelo de la NORAD.Es fundamental y clave en la evaluación ex post, hasta elpunto de hablar en ocasiones de evaluación de impacto6

como una investigación evaluativa en sí misma.

Hablar del impacto es referirse a los cambios importan-tes y de largo plazo introducidos por la intervención en lavida de la población beneficiaria. Son aquellos cambios enlas condiciones de vida y comportamientos de la pobla-ción beneficiaria; los efectos diferenciados de estos cam-bios entre hombres y mujeres; así como las influencias delas intervenciones en la situación socio-económica y polí-tica del entorno social de dicha población (población be-neficiaria indirecta). Se trata de un concepto amplio dadoque:

—no se limita a revisar el alcance de los efectos previs-tos (objetivos);

—no se circunscribe al análisis de los efectos deseados;

—no se reduce al estudio de dichos efectos sobre la po-blación identificada como beneficiaria.

Para realizar el análisis, se recomienda tomar como pun-to de partida el objetivo específico del proyecto en la formaque se definió y en el grado de eficacia alcanzado, paraposteriormente preguntarse qué otros efectos, bien positivoso negativos, esperados o imprevistos, han tenido lugar comoresultado del proceso de intervención. El impacto global delproyecto debe apreciarse pasado un tiempo de su finaliza-ción. En la evaluación ex post la valoración del impacto se

124

6 Desde nuestra perspectiva es más correcto hablar de la medición delimpacto en la evaluación ex post como un criterio a valorar, más que comouna nueva modalidad de evaluación. El impacto es el criterio más impor-tante ya que requiere ser analizado tiempo después de terminado el pro-yecto para valorar si los cambios en las condiciones de vida de hombres ymujeres y sus comportamientos han sido sustanciosos y sostenibles en eltiempo.


convierte en la acción evaluativa más importante. Es la últi-ma fase del proceso y requiere integrar todas las accionesevaluativas anteriores (ex ante, seguimiento, final) así comoel análisis de los otros componentes de la evaluación expost (eficacia, eficiencia, pertinencia y sostenibilidad delprograma, proyecto o intervención realizada).

Cuadro 38. Analizar el impacto

Las agencias de desarrollo y las ONGD han fortalecidosu área de seguimiento y evaluación incorporando la reali-zación de informes de seguimiento y evaluación final, valo-rando las actividades, resultados y esfuerzos, pero todavíaes poco probable encontrar evaluaciones que se enfoquenen los cambios reales resultantes en la población, tras unperiodo de tiempo de ser acompañada. A pesar de esto, al-gunas agencias ya propusieron en los años noventa el con-cepto de estudio de impacto (wider impact study) con énfa-

En el caso de la experiencia de evaluación del Programa aguapotable y saneamiento de la Costa Pacífica-Convenio ALA 92/39en Colombia, el análisis prestó especial atención al impacto delproyecto en la creación, administración y manejo de empresasde servicios públicos del agua y la promoción de la partici-pación de la comunidad respecto a la conciencia del recursodel agua, su conservación y racionalización del consumo. Paraello la evaluación se centró en el impacto de las estrategias di-señadas y de la percepción de la comunidad sobre la interven-ción, su papel en la gestión y su garantía de sostenibilidad basa-da en la cogestión y autogestión. Para el estudio del impacto sepuso en marcha toda una investigación evaluativa, donde se es-tudió una muestra de municipios y se articularon técnicas deobtención de datos cualitativos y cuantitativos. Se realizaron ta-lleres de planeación participativa de la evaluación, donde sedefinieron el qué, el como y el para qué de la evaluación, en-trevistas abiertas, talleres de discusión y revisión de indicadorescuantitativos y cualitativos.

Esta es una experiencia de realización de evaluación de im-pacto, que además ha sido publicada, lo que permite ir incor-porando elementos al aprendizaje de la evaluación como pro-ceso integrador y facilitador para la mejora de la calidad de lasintervenciones futuras.

Fuente: UNIVERSIDAD EXTERNADO DE COLOMBIA UEC-CICCI (1998): Evalua-ción de impacto en el área social. Programa de agua potable ysaneamiento Costa Pacífica. Convenio ALA 93/39, Santiago deCali.

125


sis en algunas áreas de análisis. Casley y Kumar señalabanalgunas áreas a tener en cuenta para la evaluación de efec-tos en proyectos de agricultura ejecutados por la USAID(Casley y Kumar, 1990):

—Cambios observados en los ingresos y los niveles devida como repercusión directa del proyecto, (consu-mos, nutrición, vivienda, educación, salud, servicioscomunitarios, etc.).

—Cambios en la participación y empoderamiento dehombres y mujeres (aportes, apoyos y toma de decisio-nes en los distintos momentos de la planificación, ejecu-ción y evaluación del proyecto; organizaciones comuni-tarias antes y después, estructura interna, capacidad deliderazgo, de interlocución, independencia de la ayu-da y sostenibilidad, etc.).

—Cambios respecto a la situación y funciones de las mu-jeres (repercusiones en la equidad de género, partici-pación, empoderamiento, roles, acceso al proyecto y ala toma de decisiones, etc.).

—Cambios en torno al medio ambiente (impacto en elecosistema, productividad de la tierra, acceso a recur-sos naturales, protección a minorías étnicas, enferme-dades relacionadas con el hábitat, etc.).

Tal y como nos muestra el modelo, tenemos que orien-tar la evaluación hacia ítems, o preguntas de investigaciónevaluativa que busquen responder a estos criterios. Algunascuestiones son más sencillas y reconocidas, y otras son ta-rea del equipo evaluador. Las agencias internacionales, hanhecho ya el esfuerzo de sistematizar todas esas preguntastípicas para la evaluación conformando las conocidaschecklist o lista de chequeo. Lo más sencillo en este casoes tener en cuenta las preguntas o ítems que considera rele-vantes el agente financiador de nuestra intervención, seaquien sea, para al menos incluir algunas en la evaluación.Pero dado que cada intervención es única y las caracterís-ticas de la población y el contexto donde se desarrolla sonsiempre distintas, es más interesante construir las preguntasen cada evaluación con el grupo o agente evaluativo res-pectivo.

Para la construcción de indicadores y de preguntas paracada uno de los criterios podemos orientarnos revisando lasevaluaciones realizadas y publicadas en Internet por algu-nas agencias internacionales, o incluso, algunos manuales o

126


guías que presentan para las ONGD o entidades ejecutoras.Un caso interesante es la propuesta de EuropeAid y en con-creto de la línea ECHO que estableció, mediante un manualpublicado en 1998, cuáles eran las prioridades para dichaagencia en intervenciones y acciones humanitarias, y cuálesson los ítems o preguntas que deben ser evaluados paracada uno de los cinco criterios establecidos por la NO-RAD7.

Para finalizar, y teniendo en cuenta el modelo presenta-do por NORAD, mencionamos también que además de loscinco criterios, se debe poner la atención en seis criterioso factores clave para el éxito del proyecto, muy ligados ala viabilidad y los factores externos del mismo (OCDE,1989):

1. Las medidas políticas y prioridades en el país receptor.

2. Los factores de carácter institucional (capacidad local,liderazgo, participación, etc.).

3. Factores económico-financieros.

4. Factores tecnológicos.

5. Factores socio-culturales y de género.

6. Factores ambientales y ecológicos.

La valoración de los cinco componentes clave propues-tos por la OCDE, ligados a la lógica de intervención y susindicadores, y en permanente referencia a los factores dedesarrollo, resume el modelo asumido como oficial por mu-chas agencias internacionales, y vinculado al enfoque delmarco lógico.

2.3.3. Los modelos de la tradición participativa o de autogestión

2.3.3.1. La tradición participativa en los proyectos de desarrollo

El concepto de evaluación participativa no es nuevo paranuestro sector, como tampoco lo es el de la participación.

127

7 ECHO-EUROPEAN COMMUNITY HUMANITARIAN OFFICE (1998): Manual forthe evaluation of humanitarian aid. Evaluation Unit-ECHO, Brussels. Puedeencontrarse junto a otros documentos sobre evaluaciones específicas enhttp://www.europa.eu.int/comm/echo


La participación es hoy indispensable para las intervencionessociales y de desarrollo, que al trasladarse al proceso degestión en general, afecta también la evaluación. La partici-pación ha sido definida como un proceso de comunicación yacción que permite a un grupo de personas interesadas en sudesarrollo, articular sus necesidades e intereses, y tener parteen su realización. Puede entenderse como la contribución vo-luntaria de las personas a un determinado proyecto o inter-vención, bien en forma de trabajo, dinero, etc. (entendidacomo un deber necesario para su autogestión). También debeentenderse desde la perspectiva de los derechos de tomarparte en la toma de decisiones en todas fases del proyecto:identificación-planificación, la ejecución y seguimiento, laevaluación, etc.

En la práctica, la participación no significa lo mismo paracualquier persona u organismo. De hecho, la reivindicaciónde la participación es relativamente reciente y no ha sidodefendida de igual forma a lo largo de la historia de la coo-peración. Incluso, al hablar de participación, su significadopuede variar en función de un continuum.

Cuadro 39. Participación, desde la colaboración hasta la emancipación

El significado de la participación en un proyecto puedeabarcar:

Fuente: Basado en GTZ (1992): Cuando la participación falta… Con-ceptos básicos, estrategias, estudios de caso, lo que debe ha-cerse y lo que debe evitarse en el desarrollo rural, Asia. GTZ,Eschborn, p. 5.

Desde la colaboración en la ejecución de proyectos

o programas …

—Colaborar en un proyectodefinido y planificado porotras personas

—Intervención activa en elproyecto para garantizar lasostenibilidad

—Consulta para conseguirinformación para el pro-yecto

…hasta los procesos para potenciarla capacidad política de quienes

no están aún en condiciones de articular sus intereses

—Facilitar la autogestión delproyecto: diagnóstico, pla-nificación, implementacióny evaluación propias

—Participación como capa-citación política y econó-mica

—Iniciativa para la creaciónde organización local, y for-talecimiento comunitario

128


En los años setenta comienzan a desarrollarse experien-cias de evaluación participativa8 en el campo del desarrollo,difundidas y publicadas en los ochenta cuando el conceptode evaluación participativa había entrado con fuerza engran cantidad de agencias donantes, tales como la FAO, laUSAID, DANIDA, y el entonces ODA (ahora DFID), la NO-RAD y SIDA, entre otras. En dicha década la participaciónpopular había sido gradualmente aceptada como requisitopara la planificación e implementación exitosa de proyectosde desarrollo, y en los noventa se había convertido en re-quisito indispensable.

Tal y como señala la propia Feuerstein, la evaluaciónparticipativa significa incluir a la gente en la toma de deci-siones en el proceso evaluativo, sobre en lo que debe ha-cerse y en qué manera, implicándoles en el seguimiento delprograma compartiendo informaciones y beneficios del pro-yecto. Eso supone usar las habilidades de la gente para eva-luar su propio avance, de tal modo que puedan aprendersobre su propio proceso, aprender nuevas técnicas de orga-nización y gestión y, en definitiva, aumentar el sentido deresponsabilidad sobre su desarrollo (1986).

Ciertamente, la evaluación participativa se ha utilizadopara diferentes propósitos y en diferentes sectores, pero taly como recogen Jhon Gaventa y Marisol Estrella en su revi-sión de la literatura sobre evaluación participativa (1998),la mayoría de las experiencias documentadas se dan ensectores agrícolas, medioambientales y sectores del desa-rrollo rural. En el siglo XXI, la expansión de dicha perspecti-va abarca a todos los sectores y áreas del desarrollo.

La evaluación participativa defiende la importancia deincluir a la población beneficiaria en la evaluación, ar-gumentando que mejora los procesos de desarrollo, incre-menta la autenticidad de los hallazgos, mejora la soste-nibilidad del proyecto al identificar las potencialidades ydebilidades de su gestión, incrementa la capacidad local enevaluación, y permite compartir experiencias a través de do-cumentación sistemática producida a partir de la partici-

129

8 Algunos escritos referencian los trabajos realizados por M.T Feuersteinen América Latina y Asia, con la ONG OXFAM y los realizados por JimRugh con la ONG World Neighbours; y publicados en los ochenta. VerFEUERSTEIN, M. T. (1986): Partners in evaluation. Evaluating developmentand community programmes with participants. Mac Millan, Hong Kong.Y RUGH, Jim (1986): Self-Evaluation. Ideas for participatory evaluation of ru-ral community development projects. A World Neighbours Publication,Oklahoma.


pación. La evaluación participativa se basa en cinco funcio-nes clave:

—La valoración del impacto.

—Planificación y gestión de proyectos.

—Fortalecimiento organizacional y aprendizaje institu-cional.

—Entendimiento y negociación de las perspectivas de laspartes implicadas.

—Responsabilidad pública.

Cuatro de estas características son recogidas por estosautores en torno a la evaluación participativa: participación,aprendizaje, negociación y flexibilidad (Cuadro 40).

Cuadro 40. Los cuatro principios de la evaluación participativa

Desde los años setenta hasta el día de hoy, los enfoquesparticipativos en la evaluación han encontrado una expan-sión creciente. Dos de las razones principales las recoge Ig-nacio Gallego (IUDC, 1999: 104): una de ellas, es la inclu-sión de la participación en la evaluación como prolongación

1. El principio de la participación: este modelo enfatiza la par-ticipación de las partes implicadas en los diferentes mo-mentos de la evaluación (decisión, ejecución y uso de resul-tados).

2. El principio de aprendizaje: es una evaluación orientada a lapráctica y al aprendizaje de la acción. Se trata de una expe-riencia educacional donde la gente se hace más conscientede sus posibilidades, su realidad social, sus visiones y pers-pectivas del desarrollo, etc.

3. El principio de negociación: se trata de un proceso socialpara la negociación entre las diferentes necesidades de lagente, sus expectativas y sus visiones del mundo.

4. El principio de la flexibilidad: los diseños evaluativos gozande flexibilidad para ser adaptados a cada realidad cambiantey las condiciones del contexto.

Fuente: ESTRELLA, M. GAVENTA, J. (1998): Who counts reality? participa-tory monitoring and evaluation: A literature review. WorkingPaper N.º 70. Institute of Development Studies (IDS), SussexUniversity, Brighton.

130


del modelo de desarrollo centrado en la gente, por el cual esnecesario adaptar los diseños y la gestión de los proyectos ala población a la que van dirigidos, y la otra, es la reacciónde las agencias donantes y otras instituciones ante la necesi-dad de garantizar la sostenibilidad de los proyectos una vezretirado el apoyo externo.

Este autor retoma en su artículo la definición del WorldWildlife Fund (WWF) sobre la evaluación participativa comoaquella que involucra al personal del proyecto en una eva-luación periódica que analiza la eficiencia y la relevanciadel mismo, así como su impacto en el contexto de los ob-jetivos establecidos. Para ello, se involucra directamente atodos los participantes en el proceso, en particular a losmiembros de la comunidad en la planificación y el desarro-llo de la evaluación, lo que ayuda a construir el consenso yla ayuda mutua.

Desde la importancia de la participación y del fortaleci-miento de las capacidades de las comunidades locales parasolucionar sus propios problemas de gestión, se fueron ges-tando herramientas y metodologías convergentes de variasdisciplinas y enfoques, que han confluido en el ParticipatoryRural Apraissal (PRA) o Diagnóstico Rural Participativo (DRP)difundido por Robert Chambers. Se trata de una gran familiade enfoques y metodologías que posibilitan analizar lascondiciones de vida de la comunidad, planificar una ac-ción, ejecutarla, monitorearla y evaluarla. Los modelos par-ticipativos, y sobre todo el DRP, se construyen sobre la basede la confluencia de muchas fuentes y tradiciones parti-cipativas del siglo XX.

Tal y como nos refleja el gráfico 12, cuatro son las prin-cipales influencias del DRP, desarrolladas en su mayoría enlos años setenta y ochenta, en torno a la investigación-ac-ción-participación (Participatory action research de PaoloFreire en 1972 y la participatory research de Fals Borda);los análisis agroecológicos (agro-ecosystems-analysis y fieldresearch on farming systems); la antropología aplicada (ap-plied antrophology); y el Diagnóstico Rural Rápido (RapidRural Apraissal).

1. La investigación/acción/participación (IAP)

Es la corriente que combina (con mayor o menor énfasisen cada elemento) la investigación, intervención y la partici-pación en el desarrollo. Son modelos que utilizan el dialogoy la investigación participativa para mejorar la capacidad

131


Gráfico 12. Principales corrientes que influyen en el PRA-DRP

Fuente: CHAMBERS, Robert (1997): Whose reality counts? Putting the firstlast. ITDG, London, p. 107.

y confianza de la comunidad, con el objeto de empoderar supropia actuación. Está inspirada en el trabajo de Paulo Freire,y en sus obras, en el marco de los programas de participaciónpopular de la FAO, y su aplicación en círculos de las cienciasSociales en América Latina a principios de los ochenta. Or-

132


lando Fals Borda trató de demostrar que la IAP es un procesode creación intelectual y práctica endógena de los pueblosdel Tercer Mundo desde los sesenta, donde gente pobre tomaparte en investigaciones sobre las capacidades de la comuni-dad. Los campos principales de aplicación han sido el de-sarrollo comunal, las organizaciones campesinas, educaciónde personas adultas, concienciación comunitaria y movi-mientos de base. Las principales técnicas que utiliza son la in-vestigación colectiva a través de reuniones, socio dramas, re-construcción histórica, etc. Se trata del «aprender haciendo».

2. La antropología aplicada y la apreciación etnográficarápida

En el marco del desarrollo de la antropología y, sobretodo, de la antropología social, surgen en el sector de laagricultura algunas orientaciones encaminadas a apreciar lariqueza y validez del conocimiento de la gente rural. Se tra-ta de distinguir lo ético (la apreciación externa) de lo émico(la valoración propia) (GTZ, 1994). En ese contexto, RobertRhoades aplicó los enfoques de la antropología social a pro-cedimientos de valoración rápida con el uso de conversa-ciones informales, observaciones, grupos focales, etc. La va-loración etnográfica rápida se utilizó en mayor medida en elámbito de la salud y la seguridad alimentaría.

3. Análisis agroecológico y la investigación de campo en granjas

Estos análisis tienen origen en los años ochenta en el nor-te de Pakistan de la mano de Conway y colaboradores, yposteriormente se extienden hacia el sur de Asia. Conwaydesarrolló este modelo en el marco del programa de la Ayu-da Rural Aga Khan (AKRSP) en pueblos del norte de Pakis-tan (Chambers, 1997). Desde un pensamiento ecológico ydibujando sistemas agrarios, analizando espacios, calenda-rios de estaciones, y diagramas de flujo; este análisis preten-de intervenir en ecosistemas agrarios a nivel comunitario. Estemodelo rápido y práctico contribuyó a la aparición del mo-delo de Diagnóstico Rural Rápido (DRR).

4. El Diagnóstico Rural Rápido (DRR)

La filosofía, enfoques y la familia de métodos conocidoscomo Diagnóstico Rural Rápido (DDR) comienzan a emer-ger en los años setenta. Su origen se centra en la confluen-cia de tres ejes principales. En primer lugar, por la insatis-

133


facción emergente del sesgo que introducían los profesio-nales urbanos al visitar zonas rurales, y al que se denomi-nó «turismo del desarrollo rural». En segundo lugar, por ladesilusión causada por el proceso de investigación porcuestionario y sus resultados. Y por último, por el avancede las metodologías más efectivas.

El DRR fue desarrollado por múltiples profesionales y ad-quirió relevancia en 1985 en la Conferencia KKU de Tailan-dia. Por otro lado, los talleres realizados en el Institute forDevelopment Studies (IDS) en Sussex (Inglaterra) a finales delos setenta, y los artículos de Robert Chambers en los ochen-ta sobre los fundamentos programáticos, contribuyeron a ladifusión y aceptación de este enfoque. La metodología poneel énfasis en la rapidez de la recogida de información para laevaluación (ex ante o ex post) que no dura más de un par desemanas. Algunas de las técnicas más utilizadas son la entre-vista a informantes clave, las entrevistas a grupos focales, lasentrevistas comunitarias, la observación directa estructurada,y los estudios informales (Kumar, 1993).

De la influencia de estas corrientes, su filosofía, y sobretodo, de sus herramientas, surge con fuerza la familia delDRP o PRA.

2.3.3.2. El Diagnóstico Rural Participativo (DRP)(Participatory Rural Appraisal-PRA)

En la mitad de los años ochenta el término partici-pación entra en el vocabulario del Rapid Rural Apraissal.La publicación de Michael Cernea «Putting the last first»en 1985 pone de manifiesto su experiencia de años ante-riores, y destaca la importancia de poner a la gente en elcentro del desarrollo. Comienza a conectare el conceptode participación y el RRA en las experiencias avanzadaspor las ONG durante los ochenta. La perspectiva se difundeampliamente en los noventa, y, en el siglo XXI se considera,por la mayoría de las agencias de desarrollo, como unaherramienta interesante pero complementaria al Marco Ló-gico.

El manual de evaluación de la ONG Save The Childrendefine el DRP como una forma particular de investigacióncualitativa, usada para mejorar el entendimiento de la si-tuación de una comunidad. Se trata de una filosofía de tra-bajo y al mismo tiempo una serie de métodos para realizarinvestigación participativa y cualitativa (Gosling y Edwards,1998: 144).

134


Cuadro 41. Principales contribuciones al Diagnóstico RuralParticipativo

La clave principal, en el caso de la evaluación bajo DRPes considerar la información, análisis y conclusiones de lamisma como propiedad de los hombres y mujeres de la co-munidad. Esto permite que analicen su propia situación, to-men sus decisiones, y en definitiva, que el proceso aportemayor poder de autogestión (empoderamiento).

ENFOQUE

Investigación-Acción-

Participación

Análisis Agroecológico

Antropología y Etnología Social

Diagnóstico Rural Rápido

PRINCIPALES APORTES AL DRP

—Se aprende haciendo—Los agentes externos tienen un papel

facilitador y catalizador—Las personas pobres deben ser empode-

radas—Las personas pobres pueden y deben

hacer su propia investigación, análisis,planificación y evaluación

—Conocimiento, profesionalismo y racio-nalidad de los/as pequeños/as grajeros/astécnicas de visualización y representa-ción

—Transectos (paseos sistemáticos y obser-vación)

—Mapeo—Diagramas de estaciones, de flujo, cau-

sales, de barras, de Venn—Valoración innovadora (puntuaciones y

rankings)

—Idea de que el aprendizaje debe ser flexi-ble

—Valor de las observaciones y apreciacio-nes de la población

—Importancia de las actitudes y compor-tamientos

—Diferenciación entre lo émico y lo ético—Riqueza y validez del conocimiento

técnico indígena

—Conexión con la población—Metodología flexible y rápida

Fuente: Basado en CHAMBERS, Robert (1997): Whose reality counts? Puttingthe first last. Intermediate Technology Publications. ITDG, London,pp. 104-112.

135


Cuadro 42. Principales diferencias entre el DRR y el DRP

La literatura sobre el tema rescata las principales caracte-rísticas del modelo (Gosling y Edwards, 1998):

—La triangulación: la información se recoge por diferen-tes medios (herramientas) para asegurar su objetividad,y mediante un grupo multidisciplinario que recoge lainformación, es decir, un grupo de personas que ma-neja herramientas, experiencias y puntos de vista dife-rentes.

—Informalidad y flexibilidad: los métodos de investiga-ción son semi estructurados y permiten ser readapta-dos a cada realidad.

—Con la comunidad: la mayoría de las actividades eva-luativas se realizan conjuntamente con los miembrosde la comunidad. Una de las principales diferenciasque señalábamos entre el DRP y el DRR era el énfasisen la participación y en el compartir datos, más que laobtención de los mismos. El DRP pretende animar y

Muchas de las personas que han puesto en práctica dichosmétodos, insisten en su distinción:

DRR DRP

Mayor desarrollo Tardíos 70 y 80 Tardíos 80 y 90

Principal novedad Universidades ONGs

Principales Universidades, ONGs,

usuarios/as Agencias organizaciones de campo

Innovación principal Metodología Actitudes

Rol de la persona Obtener «externa» información Facilitadora

Objetivos Recoger datos Empoderar

Actores principales Externos Comunidad local

Resultados de Planes, proyectos, Instituciones y acción largo plazo publicaciones local sostenible

Fuente: Traducido de CHAMBERS, Robert (1997): Whose reality counts?Putting the first last. Intermediate Technology Publications.London, p. 115.

136


permitir que las personas se reúnan, determinen suagenda de trabajo, recojan la información, la expre-sen, compartan y analicen, para después tomar deci-siones de cara al futuro.

—Evitando el sesgo y siendo críticos: El grupo decideque investigación recoge y hasta donde debe conti-nuar. También analiza sus propios sesgos de cara aprevenir que el DRP se vuelva demasiado subjetivo, oque se base en rumores. Se identifican fuentes de errory como se puede mejorar.

Esta metodología aplicada a la evaluación pretende po-ner el acento en:

—La capacidad de la población para evaluar su proyecto;

—el valor de la compenetración y el comportamiento fa-cilitador de los agentes externos;

—compartir la información mediante diagramas y técni-cas visuales;

—expresar y analizar la complejidad por ellos y ellasmismas.

El DRP puede ser planeado con base a las siguientes fases:

—Clarificar las metas y objetivos del estudio.

—Elegir los temas principales a evaluar.

—Elaborar una lista de subtemas o categorías, indicado-res y preguntas clave.

—Identificar las fuentes de información (de verificación)necesarias para cada tema.

—Seleccionar los instrumentos necesarios para recoger yanalizar la información.

—Diseñar los instrumentos.

Para todo esto, se realizan talleres grupales de diseño, se-guidos del trabajo de campo para conseguir información yanalizarla. Las principales herramientas de investigación tra-dicional cualitativa son: el análisis de fuentes secundarias,la observación directa y las entrevistas semi estructuradas9.

137

9 Sobre estas herramientas profundizaremos más adelante al ser utiliza-das de forma común en las evaluaciones sea cuál sea el modelo a seguir.


Cuadro 43. Técnicas utilizadas por el PRA-DRP

Además de las técnicas más conocidas de la investiga-ción social cualitativa, el DRP dispone de toda una caja deherramientas:

1. La visión de «Cediendo la batuta» y «Hazlo tu mis-mo»: Son dos expresiones que reflejan el rol de la per-sona facilitadora que promueve que sea la comunidadla protagonista, y que la comunidad aprenda «hacien-do» en su vida diaria. Se trata de usar dinámicas gru-pales con la iniciativa comunitaria.

2. Mapear y modelar: Realización de mapas de la zonapor la comunidad. Pueden realizarse mapas sociales,de recursos, o demográficos. Es una técnica muy utili-zada porque es muy gráfica y sencilla. Permite que per-sonas que no tienen facilidad para expresarse por escri-to (o que pueda parecerles aburrido) expresen sus ideasde manera gráfica (jóvenes o mujeres rurales, por ejem-

Algunas técnicas para la obtención de información:

Fuente: Traducido de CORNWALL, A. y otros (1993). Aknowledging pro-cess. Challenges for agricultural research and extension methodo-logy. Discussion Paper n.º 333. Institute of Development Studies,Brighton, p. 22.

ANÁLISIS VISUAL

—Mapas

—Análisis fotográfi-co de áreas

—Paseos grupales—Calendarios de es-

taciones—Perfil de activida-

des—Perfiles históricos

y análisis de ten-dencias

—Cronologías y lí-neas temporales

—Matriz de puntua-ciones y rankingde preferencias

—Diagrama de Venny trabajo en red

MÉTODOS DE INVESTIGACIÓN

—Entrevista semiestructurada

—Observación di-recta

—Grupos focales—Informantes clave

—Historias de vida

—Mapas sociales

DINÁMICAS DE GRUPOS

—Grupos contrac-tuales

—Sesiones de revi-sión

—Guías de entrevista—Redacción de in-

formes rápidos—Trabajo comparti-

do—Presen tac iones

compartidas

—Diarios y notas

138


Gráfico 13. Técnica de diagramas y mapeo

Fuente: KARATINA. Kenya. 1994. Diagrama de relaciones sobre los nu-trientes de una granja.

plo). En América Latina se usa mucho el «mapa parlan-te» como un collage donde pegar, montar, dibujar, etc.,el reflejo de una realidad, sus problemas o sus avances.

3. Calendarios estacionales: Se muestra cada estación y as-pectos relacionados como distribución de los días de llu-via, enfermedades, cosechas, semillas, etc. También seusan series temporales que permiten verificar los avancespor periodos de tiempos marcados por la comunidad.

4. Diagramas de Venn y Diagramas de flujo, de redes o desistema: El diagrama de Venn sirve para identificar indi-viduos e instituciones importantes al interior de una co-munidad o grupo y sus relaciones. También puede ana-lizar la naturaleza de dichas relaciones. Los diagramasde flujo, de redes o sistema son diagramas que ponen

139


el énfasis en la ilustración de las relaciones existentesentre situaciones, problemas, de relaciones (redes), oincluso, de las entradas y salidas (inputs-outputs) deuna cooperativa, granja o escuela.

5. Matrices de puntuación y clasificación: Son aquellasque permiten comparar una variable o situación de unelemento determinado. Por ejemplo elementos de ca-lidad o productividad de especies agrícolas. Tambiénpermiten clasificar y ordenar prioridades sobre unasproblemáticas, o logros de resultados frente a una in-tervención. Para esto también se usa los gráficos de«tarta» o de barras.

6. Ranking de riqueza o bienestar: Puede usarse paraclasificar hogares o categorías de bienestar en una co-munidad. La herramienta identifica diferentes nivelessociales de familias o personas dentro de la comuni

Gráfico 14. Técnica de clasificación y ranking

Matriz de puntuación y clasificación de vegetales por un grupo de mujeresjóvenes de Gambia.

Fuente: INSTITUTE FOR DEVELOPMENT STUDIES (IDS) (1996): PRA: Tools andtechniques pack. IDS, Brighton.

140


dad, ordenándolos por orden de importancia. Se selec-cionan ciertos indicadores para interpretar la riqueza.

7. Fichas de monitoreo o información: Fichas, cuadros onotas para la realización de planes, presupuesto, im-plementación, seguimiento y evaluación: La propiacomunidad prepara sus planes, para monitorearlos yevaluarlos por medio de cuadros temporales o matri-ces de doble entrada sencillas.

Gráfico 15. Ficha para el monitoreo de actividades

Ficha de monitoreo de un granjero de Indonesia para el seguimiento deuna plantación de pepino.

Fuente: GUIJT, Irene (1998): Participatory monitoring and impact assestmentof sustainable agriculture initatives. Discusion Paper. N.º 1. London.

Los autores y autoras que han favorecido la expansión deeste modelo se dispersan por todo el mundo, y cabe destacar aRobert Chambers, John Devavaram, Sheelu Francis, JamesMascarenhas, Irene Guijt, Richard Ford, Charity Kabutha, Bar-bara P. Thomas-Slater y Alice Cornwall.

El Institute for Development Studies (IDS)10 de la Univer-sidad de Sussex y el Internacional Institute for Enviromentand Development (IIED)11 de Londres han sido pioneros dela expansión en Europa de la filosofía del DRP, sus métodosy experiencias a lo largo del mundo.

141

10 www.ids.ac.uk/ids11 http://www.iied.org


2.3.3.3. La sistematización de experiencias

A principios de la década de los años ochenta surge confuerza una preocupación en el ámbito de la educación po-pular y en el ámbito social, sobre la necesidad de aprenderde la experiencia acumulada. La educación popular y el tra-bajo social criticaron la evaluación por centrarse únicamen-te en los resultados más cuantitativos de una intervención,surgiendo la inquietud de plantear formas nuevas de recu-perar y aprender de la experiencia social.

A lo largo de dichos años van surgiendo propuestas me-todológicas y guías para el diagnóstico participativo, la pla-nificación participativa, la evaluación iluminativa, y la siste-matización de experiencias (Francke y Morgan, 1995). Surgela sistematización como una herramienta diferente a la eva-luación y la investigación, aunque con fronteras poco clarastodavía entre estos procesos.

Diversos grupos e instituciones contribuyeron a con-ceptualizar esta nueva corriente. A inicios de los añosochenta el Centro de Cooperación Regional para la Educa-ción de Adultos en América Latina y el Caribe (CREFAL) yel Centro de Estudios del Tercer Mundo (CEESTEM) de Mé-xico conformaron equipos de trabajo con el propósito desistematizar experiencias de educación popular. Esta pri-mera aproximación pretendía establecer clasificaciones ytipologías para poder comparar las experiencias y encon-tró sus principales seguidores en Chile, donde el Centro deEstudios de la Educación (CIDE) y la Facultad Latinoameri-cana de Ciencias Sociales (FLACSO) aunaron sus esfuer-zos, en 1984, para realizar una sistematización de expe-riencias de educación popular, tomando como punto departida la metodología del CEESTEM. En esta fase se pusoel énfasis en la identificación y la caracterización de los ti-pos de procesos y de relaciones que se generan a partir dela intervención social. Sergio Martinic (miembro del equi-po) señalaba que, para organizar y comprender los proce-sos sociales que se despliegan a partir de intervencionesintencionadas, es útil reconstruir y explicitar las «hipótesisde acción» subyacentes. A partir de estas hipótesis, se pue-de reconceptualizar la experiencia que se va a sistemati-zar. La invitación a pensar los proyectos de desarrollocomo grandes «hipótesis de acción» ha alimentado tantolas propuestas para la sistematización como las reflexionese investigaciones sobre el carácter de nuestras intervencio-nes y sus límites. El concepto tiene un potencial que se si-gue explorando (Martinic, 1987).

142


Una segunda orientación sobre la sistematización, esaquella que la concibe como una forma de producción deconocimientos, basada en la recuperación y la comunica-ción de las experiencias. En este caso, se parte de que laspersonas que participaron en la intervención, son las más in-dicadas para realizarla. No se busca tanto una clasificación ocomparación, sino más bien una generación de conocimien-to a través del contraste de las experiencias sistematizadas.La Red ALFORJA en Costa Rica, el Centro Latinoamericanode Trabajo Social (CELATS), el Taller permanente de de Sis-tematización de Consejo de Educación de Adultos deAmérica Latina (CEAAL) y la ESCUELA para el Desarrollo dePerú, se orientaron por esta línea.

A pesar de los énfasis diferenciados de unas y otras pro-puestas, la sistematización en América Latina tiene un sus-trato epistemológico común: se concibe la práctica socialcomo fuente de conocimiento al poner ésta en relación dia-léctica con la teoría. También tienen en común el objetivode comprender las experiencias dadas en el campo de lo so-cial de cara a buscar un aprendizaje que pueda ser sociali-zado y transmitido a otras personas y realidades.

Algunas de las características más importantes sobre sis-tematización son:

a) Una sistematización es más que la descripción de unaexperiencia.

b) Es distinta de una evaluación y una investigacióndado que su objetivo es diferente.

c) La sistematización es un proceso que busca articularla práctica con la teoría y, por lo tanto, aporta simul-táneamente a mejorar la intervención y a criticar elconocimiento.

d) La sistematización se basa en un marco epistemológi-co común que es opuesto frontalmente al positivismoy que se enmarca en lo cualitativo de la realidad ba-sado en una epistemología dialéctica.

e) El aprendizaje que surge de la práctica sólo es posi-ble desde la reflexión analítica que compare lo quequeríamos lograr y el conocimiento que teníamos alinicio, con lo que ocurrió realmente que incluye loaprendido.

f) El aprendizaje de la experiencia debe ser comunicadoa otras personas para próximas intervenciones.

143


g) La sistematización produce conocimientos referidos auna experiencia particular, pero debe establecer cla-ves para la generalización teórica social.

h) Se trata de una corriente en construcción que buscacontribuir a mejorar las intervenciones que buscanaportar a un desarrollo más justo y equitativo de lassociedades.

Cuadro 44. Definición de sistematización

La sistematización es aquella interpretación crítica de una ovarias experiencias, que, a partir de su ordenamiento y recons-trucción, descubre o explicita la lógica del proceso vivido, losfactores que han intervenido en dicho proceso, cómo se han re-lacionado entre sí, y por qué lo han hecho de ese modo.

JARA H., Oscar (1994): Para sistematizar experiencias: una propuestateórica y práctica. Centro de Estudios y Publicaciones, ALFORJA,Costa Rica, p. 22.

Entendemos la sistematización como un proceso permanente,acumulativo, de creación de conocimientos a partir de nuestraexperiencia de intervención en una realidad social, como un pri-mer nivel de teorización sobre la práctica. En este sentido, la sis-tematización representa una articulación entre teoría y práctica.

CEAAL (1992): ¿Y cómo lo hace? Propuesta de un método de sistemati-zación. Taller Permanente de Sistematización CEEAL Perú, Lima.

Proponemos que la sistematización es un proceso metodoló-gico cuyo objeto es que el educador o promotor de un proyectorecupere su relación con la acción, organizando lo que sabe desu práctica para darla a conocer a otros. Este proceso supone queel sujeto piensa y actúa al mismo tiempo y que uno de los resul-tados de su práctica es incrementar lo que sabe de la misma.

MARTINIC, Sergio (1987): Elementos metodológicos para la sistematiza-ción de proyectos de educación popular. CIDE, Chile.

La sistematización es una modalidad de conocimiento decarácter colectivo, sobre prácticas de intervención y acción so-cial que a partir del reconocimiento e interpretación crítica delos sentidos y lógicas que la constituyen, busca potenciarlas ycontribuir a la conceptualización del campo temático en el quese inscriben.

TORRES, Alfonso (1999): La sistematización de experiencias educativas:Reflexiones sobre una práctica reciente. En Pedagogía y saberes. Uni-versidad Pedagógica Nacional N.º 13. Bogotá.

144


Tal y como ha planteado Oscar Jara en nuestro entorno12,la sistematización de experiencias parte de la reconstruc-ción de lo sucedido y de un ordenamiento de los elementossubjetivos y objetivos que han intervenido en el proceso,para tratar de comprenderlo, interpretarlo y aprender denuestra propia práctica. El dilema, tal y cómo él mismo loplantea, no se encuentra en la reconstrucción de lo que su-cede, sino en la interpretación crítica de lo sucedido.

Cuadro 45. Los principios de la sistematización

Los objetivos de una sistematización pueden ser varios,pero en general, se busca mejorar las prácticas futuras a travésdel aprendizaje, pudiendo ser compartidos con otras perso-

Los principios que enmarcan un proceso de sistematización son:

—La significación: es decir la sistematización se inicia conuna toma de conciencia, un interés por sistematizar de lamisma gente.

—La articulación: se requiere el uso de métodos que permi-tan ver la realidad de una manera articulada. Se trata deun conjunto de procesos.

—La globalidad: no se busca una visión interdisciplinariasino global.

—La historicidad: se debe preguntar cuáles son los antece-dentes y determinantes de la situación.

—La relatividad: no se pretender lograr postulados totalizan-tes por lo que se relativizan los resultados con los limitantesexistentes en cada caso.

—La pluralidad: se admiten las opiniones disidentes, alcan-zando niveles de debate y llegando a acuerdos sobre di-vergencias y convergencias.

Fuente: HERNÁNDEZ LANDA, Libertad (1998): Guía didáctica. Procesos desistematización. Fundación Latinoamericana de Consultores enMetodología Participativa (Fulco-México). PAMI-Programa deapoyo para la salud materno infantil y para la salud de otrosgrupos de riesgo en Guatemala. Ciudad de Guatemala.

145

12 JARA, H., Oscar (2002): El desafío político de aprender de nuestras prácti-cas. Ponencia presentada en el «Encuentro de la Red Internacional de Educaciónpara el Desarrollo y Educación Popular Polygone». Acto inaugural, Vitoria-Gas-teiz, 11 de noviembre de 2002. Puede consultarse www.wenpolygone.net y,Curso sobre Sistematización de Experiencias: Cómo aprender de nuestrasprácticas. Universidad de Deusto. Instituto de Derechos Humanos Pedro Arru-pe, Alboan y Hegoa. Bilbao, 24 y 25 de octubre de 2003.


nas y contribuyendo al enriquecimiento de la teoría. Parapoder llevar a cabo una sistematización de experiencias esimportante que se den ciertas condiciones. A nivel personal,que exista disposición de aprender, sensibilidad frente a larealidad y habilidad para analizar y sintetizar, y, por otrolado, que a nivel institucional exista el interés y la asigna-ción de recursos y tiempo para realizarse.

Cuadro 46. La matriz de ordenamiento y reconstrucción y la fichade recuperación de aprendizajes

Una vez tomada la decisión de sistematizar y de disponerde un equipo de trabajo apoyado por la institución interesa-da (normalmente se realiza en organizaciones locales) pue-den ser varios los enfoques o modalidades de sistematiza-ción según si se realiza al final de la intervención, durante la

La ficha de recuperación de aprendizajes recupera leccio-nes de momentos significativos para ir conformando un bandode información de aprendizajes que pueda usarse en la siste-matización:

Título de la ficha:Nombre de la persona que la elabora:Organismo /institución:Fecha:Lugar:

a) Contexto de la situaciónb) Relato de lo que ocurrióc) Aprendizajes

Palabras clave (descriptores)

La matriz de ordenamiento y reconstrucción permite teneruna síntesis visual de lo realizado en la experiencia ordenadacronológicamente.

Fecha Actividad Participantes Objetivo Método Resultados Contexto Observaciones

Fuente: Materiales entregados por Oscar Jara en el curso sobre Sistemati-zación de Experiencias: Cómo aprender de nuestras prácticas.Universidad de Deusto. Instituto de Derechos Humanos PedroArrupe, Alboan y Hegoa. Bilbao, 24 y 25 de octubre de 2003.

146


misma o en ambos casos (Cuadro 47). También son variaslas herramientas a utilizar, pero los diversos autores y autorasde los distintos enfoques, ponen el énfasis en las siguientes:

—Diarios de campo.

—Fichas de registro ordenado y ficha de recuperación deaprendizajes.

—Matriz de ordenamiento y reconstrucción.

—Grabaciones, filmaciones, fotografías.

—Cuadro de recuperación del proceso.

—Grupos de discusión.

Independientemente del esquema a seguir en la sistematiza-ción, hay ciertas premisas que son necesarias tener en cuenta:

1. No es posible sistematizar una experiencia que no seha dado. La sistematización se centra en el proceso ydesarrollo vivido por unas personas durante la ges-tión de un proyecto, programa o apoyo (su formula-ción, ejecución o evaluación).

2. No se puede sistematizar una experiencia que no seha vivido. Es decir, las personas que deben realizar lasistematización (así cuenten con una persona facilita-dora del proceso metodológico), deben ser las que vi-vieron la experiencia.

3. Es interesante contar con registros del proceso. Bien sila sistematización se va realizando durante la mismaexperiencia o al final, la sistematización debe planifi-carse previamente, estableciendo las personas vincula-das a la misma así como las herramientas necesarias.

4. Para el buen desarrollo de la sistematización debeclarificarse en su planificación cuáles son sus objeti-vos (para qué se hace), cual es el objeto de análisis(sobre qué áreas o ejes centrales vamos a poner laatención) y con qué herramientas.

5. La sistematización puede (y en nuestra opinión debe)complementarse con procesos evaluativos de los re-sultados e impacto generados por la intervención enla población y su entorno.

En los últimos tiempos, la sistematización ha cobradouna gran relevancia en el campo de las organizaciones so-ciales latinoamericanas, y poco a poco ha logrado filtrarseen algunas agencias internacionales que la complementancon la evaluación a modo de valoración permanente de losavances de sus organizaciones contrapartes.

147


Cuadro 47. Las diferentes propuestas de sistematización

Cómosistematizar

Propósitos que persigue

Concepto desistematización

Personasdestinatarias

CELATS (1985)

Trabajadores/as sociales

Método que integra teo-ría y práctica para pro-ducir conocimiento apartir de la experiencia.Forma de investigacióncuyo objeto de conoci-miento es una expe-riencia en la cual se haparticipado.

— Mejorar la prácticadel trabajador social.

— Aportar a experien-cias similares.

— Aportar a la produc-ción del conocimien-to científico desde loparticular y lo coti-diano.

1. Recuperación y or-denamiento de la ex-periencia.

2. Delimitación del ob-jeto y objetivos de lasistematización.

3. Recuperación de laexperiencia desde elobjeto.

4. Análisis: operacio-nalización de laspreguntas y recupe-ración de la infor-mación.

5. Síntesis: respuesta alas preguntas.

6. Exposición.

TALLER PERMANENTECEAAL-PERU (1988)

Promotores/as y educado-res/as populares

Proceso permanente, acu-mulativo de creación deconocimiento a partir de laexperiencia de interven-ción en la realidad.Primer nivel de teorizaciónsobre la práctica.

— Mejorar la intervencióndesde lo que ella mismaenseña.

— Enriquecer, confrontar,modificar el conocimien-to teórico existente paratransformar la realidad.

Dos niveles:

1.º Interpretación del pro-ceso como un todo.

1. Diseño del proyecto.2. Recuperación del pro-

ceso.3. Periodización del pro-

ceso-análisis4. Interpretación del pro-

ceso.5. Exposición.

2.º Profundizar el conoci-miento de algunas de lasdimensiones del proceso.

1. Delimitación del objetoy objetivos.

2. Diseño del proyecto.3. Reconstrucción de la

experiencia desde el ob-jeto.

4. Análisis: explicitaciónde hipótesis, periodiza-ción de la experiencia,formulación de pregun-tas a cada etapa y a todoel proceso.

5. Síntesis: respuesta a laspreguntas.

6. Exposición.

ESCUELA PARA EL DESARROLLO (1991)

Promotores/as

Reconstrucción y refle-xión analítica sobre unaexperiencia de promo-ción vivida, distinguien-do aciertos y errores.Contrastación y acumula-ción de sistematizacionespermite la elaboración depautas metodológicas deintervención.

— Obtener una visióncomún (en el equipo)sobre el proceso vi-vido.

— Transmitir y contras-tar experiencias, parair construyendo unateoría y metodologíade la promoción.

1. Delimitación de la ex-periencia a sistemati-zar (tiempo y espacio)y del objeto y objeti-vos.

2. Descripción de la ex-periencia a sistemati-zar.

3. Registro ordenado dela experiencia (cua-dro cronológico).

4. Periodización y tipifi-cación de etapas delproceso.

5. Análisis y conclusio-nes.

6. Redacción.

OSCAR JARA (ALFORJA) (1994)

Educadores/as populares ypromotores/as

Interpretación crítica de una ovarias experiencias que, a par-tir de su ordenamiento y re-construcción, descubre o ex-plicita la lógica del procesovivido, los factores que han in-tervenido en dicho proceso,cómo se han interrelacionadoentre sí y por qué lo han he-cho de ese modo.

— Tener una comprensiónmás profunda de las expe-riencias, con el fin de me-jorar la práctica.

— Compartir las enseñanzassurgidas de la experiencia.

— Aportar a la reflexión yconstrucción teórica.

1. El punto de partida:

— Haber participado en la ex-periencia.

— Tener registros de la expe-riencia.

2. Las preguntas iniciales:

— ¿Para qué queremos siste-matizar (objetivo)?

— ¿Qué experiencia/s quere-mos sistematizar?

— ¿Qué aspectos centrales deesas experiencias nos inte-resa sistematizar? (eje).

3. Recuperación del procesovivido:

— Reconstruir la historia.— Ordenar y clasificar la in-

formación.

4. La reflexión de fondo: ¿porqué pasó lo que pasó?

— Analizar, sintetizar e inter-pretar críticamente el pro-ceso.

5. Los puntos de llegada:

— Formular conclusiones.— Comunicar los aprendizajes.

Basado en FANCKE, M. y MORGAN, M. (1995): La sistematización: apuesta por la generación de conocimientos a partir de las experiencias de promo-ción. Escuela para el desarrollo materiales didácticos n.º 1. Puede consultarse en http://www.alforja.or.cr/sistem/biblio.html.

148


2.3.4. Los modelos de la economía: la evaluaciónsocioeconómica de proyectos

En el marco de la evaluación cuantitativa y, sobre todo,en el campo de la economía, existen varios modelos deevaluación (financieros, privados, sociales) y, en concreto,los denominados modelos de evaluación económica y so-cial de proyectos (o evaluación socioeconómica de pro-yectos).

Tal como se entiende la ciencia económica, ésta no selimita al análisis de ganancias financieras, sino que tam-bién incorpora elementos para la satisfacción de nece-sidades (Castro y Mokate, 1998). La evaluación económicay social se puede entender como el conjunto de herramien-tas que tiene la economía para analizar proyectos y políti-cas, con el propósito de destinar los recursos de tal maneraque sea más beneficiosa para la población. El problema dela utilización de los recursos escasos pone en evidencia lanecesidad de enfrentar dos grandes retos: el primero, lograrasignar dichos recursos de una manera eficiente (lograr bie-nestar al menor costo); y por otro lado, asignar los recursosde manera equitativa. La evaluación económica pretendemedir en forma exhaustiva el aporte neto de un proyecto albienestar, teniendo en cuenta los objetivos de eficiencia yequidad.

En el sector del desarrollo la aplicación de estas herra-mientas ha estado más bien ligada a los proyectos públicosde grandes infraestructuras buscando optimizar los recursosinvertidos. En Estados Unidos se expandieron con mayorfuerza a nivel público, instalándose en los departamentosgubernamentales de educación, sanidad o transporte. Esen los años setenta y ochenta cuando se difunde el uso dela herramienta del análisis coste beneficio en las organiza-ciones internacionales de desarrollo, como el Banco Mun-dial y otras instancias de Naciones Unidas (MAE - SECIPI,2001).

Lo cierto es que, a pesar de la gran utilidad que puedenmostrar estas herramientas para mejorar la eficiencia de losproyectos de intervención social, inicialmente no tuvieronuna gran acogida en el entorno de las ONG o de las entida-des locales, muy centradas en promover beneficios sociales.Incluso puede decirse, que el énfasis puesto por el conceptode desarrollo humano del Programa de Naciones Unidaspara el Desarrollo Humano (PNUD) a principios de los no-venta, centrado en las personas y sus oportunidades, así

149


como su oposición a los sistemas de medición basado sóloen indicadores económicos propuestos por el Banco Mun-dial; pudo frenar su expansión en el ámbito social y del de-sarrollo.

La expansión real de estas metodologías en el sector dela cooperación al desarrollo se ha dado a lo largo de agen-cias del sistema de Naciones Unidas, tales como el BancoMundial, el Banco Interamericano de Desarrollo (y otrosbancos regionales), la Comisión para América Latina y elCaribe (CEPAL) y, en concreto, el Instituto Latinoamericano ydel Caribe de Planificación Económica y Social (ILPES), don-de autores como Ernesto Cohen y Rolando Franco han lide-rado la literatura y la expansión de su aplicación a los pro-yectos sociales mediante cursos y asesorías por todo AméricaLatina.

En los últimos años se ha tomado conciencia de la nece-sidad de aplicar los conceptos teóricos convencionales delanálisis económico a la política social y, dentro de ella, ala prestación de servicios sociales y a los programas de ac-ción social en general. El objetivo: optimizar el uso de losrecursos que se utilizan en un proyecto, bien sean financie-ros, humanos, técnicos o materiales, algo que en ocasionesno se logra en las organizaciones que trabajan a favor deldesarrollo.

Hoy en día las ONG empiezan a dejar de lado las reti-cencias frente a las herramientas económicas, para tratarde medir la rentabilidad económica y social de las inver-siones realizadas en los programas y proyectos de desarro-llo, sea del campo que sea, bien por razones de responsa-bilidad social de las instituciones y organismos prestadoresde servicios, como por criterios de rentabilidad social quepermitan analizar cuál es la mejor alternativa para inter-venciones futuras.

Veamos a continuación, algunos de los modelos deevaluación de la rentabilidad económica de los progra-mas, y su posible aplicación al ámbito de proyectos socia-les y de desarrollo.

150


Cuadro 48. Modelos de la evaluación socioeconómica de proyectos

2.3.4.1. El Análisis Coste Beneficio (ACB)

Cualquier proyecto a realizar implica unos costos hastaque se obtengan beneficios. El planteamiento general deesta herramienta es comparar los costos (o valores de inver-sión) con los beneficios obtenidos por la intervención entérminos monetarios. Los beneficios son los resultados netos

Cuatro son los principales modelos evaluativos en economía:

Fuentes: 1. AGUILAR, M.J. y ANDER-EGG, E. (1994): Evaluación de servicios y programas sociales. Edi-torial Lumen, Buenos Aires.

2. BONNEFOY, J.C. (2003): Los indicadores de evaluación de desempeño. Una herramientapara la gestión por resultados en América Latina. Boletín n.º 13. ILPES, Chile.

3. CASTRO, R. y MOKATE, K. (1998): Evaluación económica y social de proyectos de in-versión. Universidad de los Andes. Facultad de Economía. CEDE - BID, Santa Fe deBogotá.

4. COHEN, E. y FRANCO, R. (1997): Evaluación de proyectos sociales. Cuarta Edición. Edito-rial Siglo XXI, México.

5. MUSTO, Stefan A. (1975): Análisis de eficiencia. Metodología de la evaluación de pro-yectos sociales de desarrollo. Editorial Tecnos, Madrid.

MODALIDAD

Análisis Costo-Beneficio

(ACB)

Análisis Costo-Eficacia

(efectividad)

(ACE)

Análisis Costo-Utilidad

(ACU)

Análisis Costo-Impacto

(ACI)

CONCEPTO

Estudiar larelación entre los beneficios del proyecto y su costo

Estudiar a quecosto se logró el objetivo y

si hubiera sidoposible lograrlo

a un coste menor

Estudiar la utilidad

del objetivo a un costo

determinado

Estudiar losefectos delobjetivo en el consumo

y el bienestar de la población

MEDIDA DE

COSTO

Unidadmonetaria

Unidadmonetaria

Unidadmonetaria

Unidadmonetaria

MEDIDA DE RESULTADO O EFECTO

Unidadmonetaria

Unidad deresultados

Unidadespercibidas por el individuo deforma subjetiva

Consumo debienes y servicios

(numerario:canasta de

bienes y serviciosque se adquierencon una unidad

monetaria)

INDICADORES

Valor presenteneto

Valor anualequivalente (VAE)

Ingresos – Costos Costos

VPNE: Valorpresente netoeconómicoTIRE: Tasa

interna de retornoeconómica(valoración con precioseconómicos,

no de mercado)

151


tangibles e intangibles de un programa o proyecto, y loscostos, aquellos recursos requeridos para la implementaciónde dicho proyecto (directos e indirectos). Solo si los benefi-cios pueden ser traducidos a unidades monetarias, es posi-ble realizar la técnica del análisis costo-beneficio (ACB). Enla evaluación final realizar dicha técnica apunta a valorarque tanto ha sido beneficioso el proyecto en términos eco-nómicos.

El ACB se basa en el principio de comparación de los be-neficios del proyecto con sus costos, y si los primeros sonmayores que los segundos el proyecto es rentable. Hastaaquí, la herramienta parece relativamente sencilla pues setrata de una simple comparación. Pero lo que ocurre real-mente es que los costos de un proyecto y sus beneficios nosiempre se producen al mismo tiempo, por lo que es nece-sario tomar en cuenta la dimensión temporal. Es probableque los costos del proyecto se extiendan durante varios añosantes de que comiencen a darse beneficios, por lo que sehace necesario traducir los costos de hoy y los beneficios fu-turos a la misma unidad de medida (Cohen y Franco, 1997).Esta operación se conoce como actualización a una tasa dedescuento.

Para poner en práctica esta herramienta hay que compa-rar los costes y los beneficios de un proyecto considerandotodos los ingresos y egresos del mismo, el valor relativo deldinero en el tiempo y la tasa de interés equivalente (cuandose comparan magnitudes monetarias en momentos distin-tos). Esto puede calcularse de varias formas, pero las másutilizadas son el valor actual neto (VAN), la tasa interna deretorno (TIR), y la relación costo-beneficio.

1. El Valor Actual Neto (VAN)

El valor actual neto hace comparables los desembolsosrealizados en distintos periodos de tiempo con los ingre-sos obtenidos en esos mismos periodos. Este cálculo esparticularmente útil ya que se puede homologar el valorde mil euros de hace tres años con el valor mil euros dehoy. El VAN mide en moneda de hoy cuanto mas rica esla persona que invierte si realiza el proyecto en vez decolocar su dinero en la actividad que le brinda la tasa dedescuento.

Un proyecto es rentable si el valor actual del flujo de in-gresos es mayor que el valor actual de flujo de egresos ocostos, utilizando la misma tasa de descuento. Si el VAN esmayor que cero, el proyecto es aceptable.

152


Cuadro 49. Cálculo del VAN

2. La Tasa Interna de Retorno (TIR)

Para el cálculo del VAN se utiliza una tasa de descuentoo tipo de interés. La tasa interna de retorno es la tasa de ac-tualización que vuelve igual a cero el valor actual neto delflujo de fondos. Mide la rentabilidad promedio anual quegeneral el capital invertido en el proyecto.

Cuadro 50. Cálculo y criterio de decisión de la TIR

Matemáticamente la TIR se expresa:

Un proyecto es rentable cuando la TIR es mayor al costo deoportunidad de capital.

Si la TIR > costo de oportunidad de capital entonces se puedeaprobar el proyecto.

Si la TIR = costo de oportunidad de capital, entonces la rentabi-lidad que ofrece el proyecto es igual a lo que me ofrece el ca-pital en la mejor alternativa, por lo que hacer el proyecto es in-diferente.

Si la TIR < costo de oportunidad de capital, entonces el proyec-to debería ser rechazado por no ser rentable.

Fuente: COHEN, E. y FRANCO, R. (1997): Evaluación de proyectos socia-les. Cuarta edición en español. Editorial siglo XXI, México.

VANFC

TIRIt

tt

n=

+=

=∑

( )–

10

00

Fórmula de la VAN:

Donde:

BNt’: Beneficios netos del periodo (t)I: Tasa de descuento (tasa de interés o costo de oportunidad)I0: Inversión en el periodo ceroN: Vida útil del proyecto

Fuente: CEMPRO (2001). Diseño de proyectos. Guía didáctica. CEMPRO,Perú. En: www.cempro.org.

VANBN

iIt

tt

n=

+=∑

( )–

100

153


3. La relación costo-beneficio (ACB)

Es el cociente de Valor Actual de los Beneficios (VAB) so-bre el Valor Actual de los Costos (VAC). Sirve para brindarinformación sobre la rentabilidad de un proyecto.

Relación beneficio/costo:

Si esta relación es mayor que 1, entonces el proyecto esrentable.

Como vemos, estos cálculos son interesantes para pro-yectos de tipo económico que pueden ser traducidos a uni-dad monetaria, pero su aplicación en el desarrollo social esalgo más compleja, dado que en proyectos de beneficio so-cial no todos lo beneficios son monetarios. Si puede reali-zarse, el modelo ofrece algunas ventajas:

—Permite analizar la rentabilidad de la inversión realiza-da por lo que es una acción de responsabilidad de laentidad ejecutora.

—Permite traducir el programa a unidades monetarias yestablecer juicios en torno a su rentabilidad socio-eco-nómica y la eficiencia.

—Cuando los insumos son limitados puede ser útil paracomparar diferentes estrategias (evaluación ex ante).

—Su utilización en la cooperación es recomendable enproyectos de tipo económico, como por ejemplo mi-croempresas.

La ubicación temporal de la evaluación en los proyectoseconómicos está fundamentalmente en la etapa ex ante, sir-viendo sus resultados para decidir sobre la ejecución o nodel proyecto. Cuando se trata de proyectos sociales, el ACBtambién se realiza ex post y sirve para determinar la utilidadde la continuación del proyecto o para, alternativamente,establecer la conveniencia de realizar otros del mismo tipo(Cohen y Franco, 1997:183).

2.3.4.2. El Análisis Coste Efectividad (ACE)

Tal y como señalan Cohen y Franco, tanto el ACB comoel ACE, sirven para la evaluación ex ante de proyectos ypara la evaluación ex post. En el caso del ACB tiene mayoraplicación en proyectos económicos, y el ACE presenta

VABVAC

154


mayores potencialidades para la evaluación de proyectossociales.

Cuando los beneficios de los proyectos no pueden serexpresados en términos de unidad de moneda, una técnicaadecuada puede ser el análisis de efectividad. Este modelocompara los costos del proyecto con la potencialidad de al-canzar más eficaz y eficientemente los objetivos propuestos(en la evaluación ex ante); y analizar la eficacia y la eficien-cia del proyecto (en la evaluación ex post). Se podría definircomo la habilidad de lograr ciertos objetivos a un coste ra-zonable.

El análisis ACE puede proveer información sobre los me-nores costos para alcanzar un objetivo y los datos sobre cos-tos y precios de lograr diferentes objetivos. El ACE ex posttiene una secuencia lógica (Musto, 1975), cuyas etapas fun-damentales son:

—Identificar con precisión los objetivos del proyecto.

—Traducir los objetivos en dimensiones operacionales eindicadores.

—Especificar las alternativas que serán evaluadas.

—Medir los recursos afectados en términos monetarios.

—Medir el grado de logro de los objetivos.

—Escoger la alternativa de menor costo (entre las que al-canzan el objetivo).

Para el cálculo de costos es necesario tener en cuenta loscostos directos e indirectos, y los costos de capital y operati-vos (los fijos y variables). A partir de los anteriores, puedencalcularse los costos medios y marginales, agregándose tam-bién los costos no monetarios.

Una vez realizado el análisis de costos, se organiza la in-formación en la matriz de costos (Cuadro 51). El análisis cos-to - efectividad permite comparar y ordenar de modo graduallos programas en términos de sus costos para alcanzar lasmetas dadas, o los diversos ingresos requeridos para cadagrado de consecución de las metas. Sin embargo, como losbeneficios no se convierten a un común denominador, no sepuede asegurar el valor o mérito de la intervención dada, nicomparar cuál de dos o más programas en diferentes áreasproduce mejores retornos. Sólo se puede comparar la efica-cia relativa de las metas del programa unas con respecto aotras, en que la eficacia es una función del costo mínimo(Rossi y Freeman, 1989).

155


Cuadro 51. Modalidades de ACE

Ejemplo: Cálculo del VAE

Paso 1. Cálculo del Valor Actual de los Costos (VAC)

VAC =

Paso 2. Cálculo del Factor de Recuperación de Capital (FR)

FRC =

Paso 3. Cálculo del Costo Anual Equivalente (CAE)

CAE = VAC × FRC

Paso 4. Cálculo del proxy de beneficios

Paso 5. Cálculo de la Ratio de Costo-Efectividad

RCE =

Fuente: CEMPRO (2001). Diseño de proyectos. Guía didáctica. CEMPRO,Perú. En: www.cempro.org.

CAEProxy de beneficios

r × (1 + r)n

(1 + r)n – 1

∑Ci

(1 + r)i

Método de costomínimo

Método de costo porunidad de persona

beneficiaria

Método Valor anualequivalente por

persona beneficiaria

Se trata de comparar alternativas deproyectos que, en principio, generenbeneficios iguales.

Comparar alternativas que difieren enel volumen de beneficios medido me-diante proxys.

Expresión de los costos mediante unacuota anual, cuyo valor actualizadoes igual al VAC del proyecto.

156


Cuadro 52. La matriz de costo-efectividad del ACE

2.3.4.3. El Análisis Coste Utilidad (ACU) y Coste Impacto (CI)

Estos análisis también utilizados en la evaluación econó-mica de proyectos pero no han tenido mucha trascendenciaen el ámbito del desarrollo social, y la literatura en torno alos mismos es escasa. A pesar de ello es interesante conoceren qué consisten.

La matriz de costo-efectividad considera los costos anuales,la efectividad en el logro de los objetivos y el peso relativoasignado a cada objetivo.

Es necesario calcular:

—El vector del proyecto a evaluar (coste de terreno, deconstrucción, equipamientos, mantenimiento…).

—El costo total anual (CTA).

—El costo por unidad de servicio o producto (CUS), (CUP).

—Efectividad en el logro de objetivos (OB).

—Peso relativo a cada objetivo (W).

—Relaciones costo/efectividad o costo/impacto.

Matriz:

COSTOS EFECTIVIDAD

Objetivos CTA CUP OB1 OB2 OB3 . . . Obm

O1 CTA1 CUP1 OB11 OB12 OB13 . . . OB1m

O2 CTA2 CUP2 OB21 OB22 OB23 . . . OB2m

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

On CTAn CUPn OBn1 OBn2 OBn3 . . . Obnm

Ponderación de objetivos

W1 W2 W3 . . . Wm

Adaptado de COHEN, E., y FRANCO, R. (1997): Evaluación de proyectossociales. Segunda edición en español. Editorial Siglo XXI, Madrid,pp. 238-244.

157


El Análisis Costo-Utilidad (ACU) compara y valora la re-lación existente entre costos (expresados en unidad mone-taria) y resultados, considerando el valor de los efectos enlos individuos a los que ha afectado, o que tienen un inte-rés legítimo en la evaluación del programa, expresado pormedio de medidas subjetivas, es decir, beneficios percibi-dos por el mismo individuo en términos de satisfacción. Laventaja de este análisis en la evaluación ex post es la infor-mación que se obtiene sobre el valor que la población be-neficiaria del proyecto le otorga a los efectos producidospor el mismo.

Metodológicamente este análisis pretende comparar cos-tos con percepción de los efectos del programa por parte delos individuos. En ese caso, se identifican los objetivos de laevaluación y los agentes interesados, se establecen las di-mensiones a valorar (atributos) y se da una valoración que acada uno de ellos, estableciendo escalas y comparando loscostos que deben estar claramente determinados.

El Análisis Costo-Impacto (ACI), en el más estricto senti-do económico, busca comparar los costos del proyecto conlos efectos que ha provocado en la pautas de consumo y debienestar de la población. Se entiende el impacto como elresultado de los efectos de un proyecto (Castro y Mokate,1998) la expresión de los resultados realmente producidos anivel de objetivos más amplios, de largo alcance. Esta de-finición provee una visión de la cadena que generan las in-tervenciones y acciones de un proyecto:

INVERSIÓN – ACCIÓN – PRODUCTOS – RESULTADOS – EFECTOS – IMPACTO

El análisis busca lograr el mayor impacto al mínimo cos-to. Para medir ese impacto es necesario basarse en el análi-sis del elemento que contribuye al bienestar económico: elconsumo de diferentes bienes, servicios y bienes meritorios,por parte de distintos individuos y grupos, en diferentes pe-ríodos de tiempo.

Para ello será necesario medir los impactos que afectande manera directa el nivel de consumo nacional o local(aumento de consumo y ahorro, por ejemplo), así como losque influyen indirectamente en el consumo (el uso de losrecursos).

A pesar de la dificultad de medición, este análisis es elmás completo, ya que incluye todos los efectos que se de-ben tener en cuenta (sobre el consumo directo e indirecto),aunque presenta problemas en la identificación de tales

158


efectos y en su valoración. Una forma de enfrentar este pro-blema es mediante la utilización de los denominados pre-cios de cuenta13.

La evaluación económica (eficiencia), desde el punto devista teórico, incluye todos los efectos, pero debido a la difi-cultad en la valoración (determinar el precio económico) sepuede recurrir a evaluaciones específicas (por ejemplo, elcomponente ambiental) por fuera del modelo general. Laevaluación social (para considerar la equidad) es subjetiva yrequiere de un organismo central que defina los parámetrosa utilizar de acuerdo con una política establecida en rela-ción con los aspectos distributivos. Además, este tipo deevaluación en la práctica no permite la medición de efectossobre otras variables no económicas (relaciones sociales, or-ganización, liderazgo, etc.).

En general, las modalidades económicas tienen ciertacomplejidad y requieren de personal especializado en eltema para realizar e interpretar los cálculos, que llevados ala evaluación posterior aportan elementos para futuras in-versiones.

2.4. LAS HERRAMIENTAS PARA LA RECOGIDA Y ANÁLISISDE INFORMACIÓN

2.4.1. La investigación evaluativa es un tipode investigación social

Una vez que se ha puesto en marcha el trabajo de eva-luación, y están definidos unos términos de referencia so-bre el modelo, los agentes y las demás cuestiones, es elmomento de recabar la información sobre los comporta-mientos, impresiones, sentimientos de la gente en torno alproyecto, así como las valoraciones de los logros, resulta-dos y objetivos del proyecto. El acopio de información pormétodos diversos es lo que caracteriza la ejecución de laevaluación.

Varios autores reconocen la relación tan cercana queexiste entre la evaluación y la investigación, e incluso, algu-nos señalan la evaluación como un tipo especial de investi-gación social, dado que:

159

13 Se entiende por precio de cuenta o precio económico, aquél precioque representa el verdadero valor de un insumo, factor, producto o recurso(el costo de oportunidad).


1. Evaluar un proyecto implica la utilización de herra-mientas y procedimientos de recogida de informaciónque previamente han sido definidos y caracterizadosdesde el marco de la investigación básica.

2. En la evaluación de un proyecto se hallan inmersasdiversidad de disciplinas, donde cada una aporta suscontenidos teóricos y metodológicos.

3. Los resultados de la evaluación (como ocurre en la in-vestigación aplicada) pueden tener efectos sociales in-mediatos que han de ser comunicados a personas quetoman decisiones.

En torno a este tema Alvira (1997) señala que si bien laevaluación y la investigación son procedimientos similares,existen algunas diferencias básicas:

1. La evaluación exige uno o varios criterios de valorque permitan evaluar el programa o intervención.

2. La evaluación exige una recogida de información de-terminada por esos juicios en función de su adecua-ción técnico-metodológica y su adecuación práctica.Es decir, se utilizan aquellas técnicas que son posiblesen la práctica de cada proyecto, las más adecuadassegún el presupuesto, tiempo disponible y conoci-mientos de las mismas.

3. Se utilizan técnicas, a su vez, que maximicen las posi-bilidades de uso de sus resultados.

Esta última diferencia es, tal vez, la más importante. Unaevaluación se realiza en un contexto concreto con expecta-tivas de ser utilizada por las personas implicadas, con el finde tomar posteriores decisiones en torno al proyecto yaprender sobre lo realizado. Esto requiere centrar el procesoevaluativo en la problemática definida como principal ypriorizar la utilización de metodologías que sean realizablesen la práctica, no demasiado costosas y que arrojen resulta-dos operativos, frente a técnicas muy sofisticadas con altosniveles de calidad y cientificidad, pero no aplicables en lapráctica del proyecto.

A pesar de que pueden no identificarse investigación yevaluación, es importante tener en cuenta que para ser unbuen agente evaluador hace falta ser un/a buen/a investiga-dor/a o, por lo menos, que en el equipo haya personas concualidades, conocimientos y habilidades sobre técnicas deobtención de información.

160


Cuadro 53. Diferencias entre evaluación e investigación

El acopio y análisis de la información son actividadesclaves en el proceso evaluativo, dado que es a partir de di-chos datos que se emiten los juicios sobre las intervencionesrealizadas. En este sentido, la recolección y almacenaje dela información en la evaluación puede ser descrita comouna sala de máquinas, que si no funciona adecuadamente,todo el sistema se daña. Por ello, en la medida de lo posible(recursos humanos, recursos económicos, habilidades, etc.),es importante dedicarle esfuerzo y tiempo a la producciónde información para la evaluación.

A continuación se presentan algunas recomendacionespara lograr una alta calidad de la misma:

1. Que la recogida de la información se oriente hacia elobjetivo principal de la evaluación.

2. Testar con antelación el método o técnica a utilizar(test piloto o pretest).

CRITERIO

Naturaleza

Finalidad

Contexto

Objeto

Método

Destinatarios

INVESTIGACIÓN

Indagación predomi-nantemente econó-mica.

Básica o aplicada.Contribución a la co-munidad científica.

No determinante, esun factor.

Evolución de un pro-blema objeto de es-tudio.

Selección, recopila-ción y análisis de in-formación.

Grupo, comunidaden general y comuni-dad científica.

EVALUACIÓN

Indagación práctica.

Siempre aplicada.Mejora de intervenciones,control y aprendizaje.

Determinante, la evalua-ción depende del contex-to en qué se realice.

Evolución de la interven-ción como objeto de es-tudio.

Agentes, modelo, criteriosrecopilación y análisis dela información, comuni-cación, etc.

Personas beneficiarias, do-nantes, entidad ejecutoradel proyecto.

Fuente: Elaboración propia a partir de BUSTELO, M.ª (1999): «Diferen-cias entre evaluación e investigación: una distinción necesariapara la identidad de la evaluación de programas» en Revista es-pañola de desarrollo y cooperación. N.º 4, pp. 9-29.

161


3. Combinar métodos que aseguren datos más objetivosy se complementen con otros más subjetivos (senti-mientos, actitudes, etc.).

4. Combinar técnicas individuales de obtención de datoscon técnicas grupales que permitan la confrontaciónde opiniones y el debate.

5. Comprobar si las hipótesis o afirmaciones realizadasse sustentan sobre una evidencia empírica.

6. Comprobar si la metodología empleada es citada, asícomo los márgenes de error, muestreo, en el caso deser cuantitativa, así como las categorías y controles ala persona investigadora, en el caso de ser cualitativa.

7. Verificar si la información tiene validez, es decir, si esrelevante para el tema en cuestión.

2.4.2. La recogida de información: el trabajo de campo

Cuando se diseña el trabajo de campo se establecen lostiempos, personas, herramientas e instrumentos que serán uti-lizados en el terreno. Lo ideal es preparar un diseño metodo-lógico inicial que puede ser discutido y revisado durante laevaluación según las necesidades o inquietudes que plantee.

El eje central del trabajo de campo reside en la recolec-ción de información de diversa naturaleza y fuentes. Vea-mos a continuación las más relevantes.

2.4.2.1. La recogida de información secundaria y primaria

La evaluación, en su misión de captar toda la informa-ción suficiente para poder emitir los juicios sobre el proyec-to, trata de maximizar las fuentes de información existentes,tanto primaria como secundaria. Es decir, utiliza datos queprovienen de la generación propia del estudio evaluativo(primarios), de los que hablaremos más adelante, comoaquellos que provienen de fuentes documentales ya exis-tentes (secundarios).

Parece claro que gran parte del trabajo de evaluación sebasa en recoger toda la información posible (siendo relevan-te) de diversas fuentes. Por tanto antes de diseñar herramien-tas nuevas, es interesante revisar toda la documentaciónexistente en el proyecto y su entorno (organización, entida-des socias, población, etc.) que pueda aportar datos relevan-tes sin necesidad de crearlos de nuevo. Es lo que se conocepor fuentes secundarias.

162


En términos de M.T Feurstein (1986: 45):

Evaluación no significa solamente recolectar nueva informa-ción, hechos o estadísticas. También significa hacer buen usode conocimientos y documentos existentes de varios tipos.

Estas fuentes documentales existentes previamente a laevaluación del proyecto, constituyen uno de los más valio-sos medios de apoyo a toda labor investigativa, pudiendoevitar en ocasiones la puesta en marcha de estudios de ma-yor alcance (y costo) si los documentos o conocimientosexistentes proporcionan suficiente información. Si duranteel desarrollo del proyecto se realizaron seguimientos perió-dicos, informes internos de seguimiento, actas de revisiones,etc., el equipo evaluador contará, además, con gran canti-dad de documentos que son sumamente pertinentes. Puedeser relevante consultar y analizar de manera crítica:14

1. Documentos del propio proyecto: el diagnóstico ini-cial, sus orígenes, objetivos a alcanzar, actividades arealizar, personal implicado, temporalidades etc.

2. Documentos y memorias históricas: estudios de la his-toria de la zona, comunidad e institución pueden ser-vir como elementos de comparación entre el punto departida y el final del proyecto.

3. Documentos de recopilación estadística: documentosoficiales o internos sobre datos poblacionales, censos,datos de empleo, etc. Pueden encontrarse en organis-mos provinciales, estatales, privados, incluso interna-cionales (UNESCO, CEPAL, ONU, BM, etc.).

4. Documentos de seguimiento: fichas de seguimiento,actas de reuniones y auto informes sobre la evolucióndel proyecto. Estos documentos son de vital importan-cia si se han realizado a lo largo del seguimiento delproyecto, pues indican redireccionamientos, cambios,impresiones dadas,etc.

5. Documentos personales: cartas informantes, diariosde campo, autobiografías, cuadernos de anotaciones,etc., que pueden aportar gran cantidad de informa-

163

14 Ezequiel Ander-Egg propone un examen crítico de las fuentes docu-mentales, dado que al ser datos recogidos por otros, la persona investigado-ra no tiene como comprobar su fiabilidad y validez, a no ser que los com-plemente con datos primarios obtenidos de su propia investigación, enTécnicas de Investigación Social. 19 edición. Editorial Humánitas. BuenosAires, 1984, pp. 220-222.


ción de índole subjetiva de extraordinaria importanciapara la evaluación.

6. Material cartográfico, iconográfico, fotográfico: mapasde la zona o la comunidad, planos, gráficos sobre ca-racterísticas geográficas, físicas, de bienestar y estilosde vida, estructuras sociales, fuentes, cambios, dibu-jos o grabados, arte, fotos, cine, cassetes, etc.

Cuadro 54. Revisión de documentos existentes

Antes de diseñar los métodos de recolección de informaciónpara cualquier valoración, monitoreo, revisión o ejercicio deevaluación, es importante antes de nada recoger y estudiar cual-quier documentación existente relevante. Esto podría incluir:

1. Documentación interna de la entidad:

—Documentos de planificación y propuestas del proyecto.

—Informes del proyecto.

—Documentos políticos y artículos estratégicos, artículosde investigación y discusión.

—Evaluaciones y revisiones previas (diagnósticos).

—Investigaciones y estudios especiales.

—Correspondencia relevante, encuentros, etc.

2. Documentación externa:

—Estadísticas relevantes e información antecedente.

—Informes de otras agencias implicadas en el trabajo.

—Políticas gubernamentales y documentos de planeación.

—Cualquier estudio o investigación externa que puedaser relevante.

3. Información del sistema de monitoreo:

—Información de indicadores de proceso sobre el modoen que se han realizado las cosas, resultados de las ac-tividades.

—Información sobre indicadores de impacto tomados deregistros, estudios, revisiones para valorar los cambiosrealizados en el tiempo.

—El modo en que la información de monitoreo es utiliza-da para la planificación y el desarrollo del trabajo puedemostrar que tal se ha manejado una parte del trabajo.

Fuente: GOSLING, L., EDWARDS, M. (1998): Toolkits: A practical guide to as-sestment, monitoring, review and evaluation. SAVE THE CHILDREN.Development manual 5. London, p. 55. (Traducción propia).

164


Una vez evaluadas las fuentes secundarias, el equipoevaluador debe referirse únicamente a la información queresponda a sus preguntas y objetivos de evaluación para noacabar ahogado en una mar de datos. La pregunta esencialdebe ser si la información disponible cubre o no (y en quégrado) nuestras preguntas de investigación.

Aquellas preguntas u objetivos de la evaluación queno son cubiertos con la información recopilada en elanálisis documental o secundario, puede (y normalmentese recomienda) ser completados por una investigación di-recta con la población implicada en el proyecto. Se tratade elaborar un estudio a partir de fuentes primarias, esdecir, datos generados por el propio equipo evaluadorcon el fin de recolectar más información que permita res-ponder a las categorías, indicadores o componentes deevaluación.

Cuadro 55. Algunas claves para elegir los instrumentos para la evaluación

En el transcurso del trabajo de campo se pueden utilizargran variedad de métodos e instrumentos. No existe unaúnica metodología válida, ni un solo instrumento o métodocalificados como el mejor, pues su implementación depen-de del contexto en que se aplique cada herramienta y delos objetivos que persiga la misma. Así que será el equipo

Algunos temas pueden ser tenidos en cuenta a la hora deelegir instrumentos de medición de resultados (productos yefectos):

1. Identificar quien va a administrar la herramienta.

2. Identificar quien la interpreta y saca las conclusiones.

3. Determinar cuando se van a aplicar las herramientas ycuestionarse si se interpone con otras actividades o tareasde la población involucrada.

4. Determinar si los datos a recoger están accesibles y noson confidenciales.

5. Verificar si los datos que se requieren ya existen previa-mente y si se han producido y sistematizado anteriormen-te a la evaluación.

Fuente: Basado en PROJECTSTAR (2004): Americorps program applicant.Performance measurement toolkit. Corporation for National andCommunity Service, USA. En www.projectstar.org.

165


de trabajo el que defina que herramientas se utilizan encada evaluación. En consecuencia, se recomienda analizary comparar diversas metodologías, técnicas e instrumentosdefiniendo, según el nivel de rigor y precisión, el grado deadecuación al objeto de estudio y la factibilidad para lle-varse a cabo.

2.4.2.2. La recogida de información cuantitativa y cualitativa

A pesar de que en este manual no es posible profundizaren las técnicas de investigación social a las que recurre laevaluación en el trabajo de campo, si queremos mencionarlas más relevantes. Las herramientas de investigación hansido clasificadas por la literatura sobre el tema en dos gran-des grupos.

En el caso de la evaluación, en la que los recursos técni-cos, humanos, económicos y temporales suelen ser escasos,las técnicas mas utilizadas son las semiestructuradas, queson más flexibles. La utilización de técnicas cerradas o es-tructuradas está recomendada cuando la evaluación se plan-tea, conociéndose de antemano que información se necesita,mientras que las técnicas más abiertas se recomiendan cuan-do hay que «descubrir aspectos no previstos o hay que ex-plorar la realidad a observar».

Sobre el uso de herramientas más estructuradas y cuanti-tativas o más abiertas o cualitativas el debate de la investiga-ción social, se traslada a la evaluación. Tal y como defiendenmuchos investigadores y algunas agencias internacionalesque desean cimentar las evaluaciones en datos estadísticos,deben usarse las primeras. Pero es el caso que las tradicionesinvestigativas de muchos países objeto de la cooperación sebasan en corrientes más flexibles y cualitativas (América Lati-na, Asia, etc.).

Desde nuestro punto de vista, el complemento de las di-versas corrientes metodológicas, así como el uso de las he-rramientas que estén en consenso entre los diversos agentesde la evaluación serán dos claves para una buena elecciónde las herramientas. Más adelante propondremos un mode-lo de evaluación, pero ahora presentamos algunas de las he-rramientas más utilizadas en evaluación de programas inde-pendientemente del carácter que se le otorgue. Dos son lasherramientas principales de la investigación, la entrevista yla observación. A pesar de existir diferentes modalidades delas mismas (más estructurada, cualitativa o cuantitativa, gru-

166


Cuadro 56. Clasificaciones de las técnicas de recogida de información para la evaluación

Éstas se han clasificado en torno a dos aspectos:

1. Según el carácter de los datos:

— métodos cuantitativos: buscan datos objetivos y objetiva-bles que puedan ser analizados en forma numérica y esta-dística, y son apropiados para proveer datos precisos, daruna visión global de la población y establecer diferenciasen las características de la misma,

— métodos cualitativos: los métodos cualitativos obtienendatos a través de una implicación más personal del agenteinvestigador en busca de las particularidades del fenóme-no, tratando de construir un cuadro en profundidad de larealidad y la población estudiada, cuales son sus relacio-nes, como se interpretan, etc.

2. Según la estructuración interna:

— métodos formales (estructurados): tienden a ser exigentesen términos de complejidad, fiabilidad, validez, tiempo yrecursos, donde el procedimiento a seguir se haya clara-mente estructurado y prefijado,

— métodos informales (no estructurados o semi estructura-dos): son más simples y baratos que no precisan de proce-dimientos tan precisos y estandarizados.

Fuentes: ALVIRA MARTÍN, Francisco (1997): Metodología de la evaluación deprogramas: Un enfoque práctico. Colección Política, Servicios yTrabajo Social. Editorial Lumen/Humanitas, Buenos Aires.ANDER-EGG, E. (1991): Técnicas de investigación social. Ateneo,México. BONILLA-CASTRO, E. y RODRÍGUEZ SEHK, P. (1995): La investigaciónen ciencias sociales. Más allá del dilema de los métodos. CEDE.Facultad de Economía - Universidad de los Andes, Bogotá.CASLEY, Dennis J. y KUMAR, Krishna (1990): Recopilación, análisis yuso de los datos de seguimiento y evaluación. Estudio del BancoMundial, Fondo Internacional de Desarrollo Agrario y la Organiza-ción de las Naciones Unidas para la Agricultura y la Alimentación.Ediciones Mundi - Prensa y Banco Mundial, Madrid.CEA D’ANCONA, María (1999). Metodología cuantitativa: estrategiasy técnicas en investigación social. Editorial Síntesis, Madrid.COOK, T. y REICHARDT, CH. (1986): Métodos cualitativos y cuanti-tativos en investigación evaluativa. Morate, España. FERNÁNDEZ-BALLESTEROS, Rocío (editora) (1995): Evaluación de pro-gramas. Una guía práctica en ámbitos sociales, educativos y de sa-lud. Editorial Síntesis, Madrid. RUIZ OLABUENAGA, Jose Ignacio (1999): Metodología de la investiga-ción cualitativa. Segunda Edición. Universidad de Deusto, Bilbao.SIERRA BRAVO, R. (1992): Técnicas de investigación social: Teoría yejercicios. Paraninfo, Madrid.TAYLOR, S.J. y BOGDAN, R. (1992): Introducción a los métodos cuali-tativos en investigación. Paidós, Barcelona.SCHONHUTH, Michael y KIEVELITZ, Uwe (1994): Diagnóstico RuralRápido, Diagnóstico Rural Participativo. Métodos participativos dediagnóstico y planificación en la cooperación al desarrollo. Unaintroducción comentada. GTZ. Eschborn, 1994.VALLES MARTÍNEZ, M.S. (1997): Técnicas Cualitativas de Investiga-ción social: reflexión metodológica y práctica profesional. Ed. Sín-tesis, Madrid.

167


Cuadro

57.

Técnic

as

cuanti

tati

vas

y c

ualita

tivas

de invest

igació

n. Pri

ncip

ale

s venta

jas

e inconvenie

nte

s de s

u u

tilizació

n e

n e

valu

ació

n

MED

ICIÓ

ND

IREC

TA

AU

TOR

REL

LEN

AD

O

ENTR

EVIS

TA

AB

IER

TA

(info

rman

tes

clav

e)

ENTR

EVIS

TA

D

E G

RU

PO

(tal

lere

s o g

rupos

de

dis

cusi

ón)

OB

SER

VA

CIÓ

ND

IREC

TA

(Vis

itas

de

cam

po)

Fuen

te: El

abora

ción p

ropia

a p

artir

de

la b

ibliogr

afía

citad

a en

el cu

adro

56.

ENC

UES

TA

OR

AL

TÉC

NIC

AS

Cuantitativas Cualitativas

ES A

DEC

UA

DA

SI.

..

—Se

nec

esita

info

rmac

ión p

reci

sa,

cuan

ti-ta

tiva

y ge

nera

lizab

le.

—So

lo s

e pu

ede

entr

evis

tar

una

mue

stra

de

la p

obla

ción

.—

Si s

e qu

iere

ver

ifica

r hi

póte

sis

prev

ias.

—Se

qui

ere

obte

ner

info

rmac

ión

cuan

tific

a-bl

e y

clas

ifica

ble.

—N

o se

pue

de a

cced

er c

on f

acili

dad

a la

spe

rson

as a

ent

revi

star

.—

Sabe

n le

er y

esc

ribi

r.—

Se n

eces

ita q

ue r

espo

nda

muc

ha g

ente

.—

Son

preg

unta

s br

eves

y s

enci

llas

de f

ácil

resp

uest

a.—

Se r

equi

ere

info

rmac

ión

de ín

dole

cua

nti-

tativ

a.

—Se

qui

ere

cons

egui

r in

form

ació

n ge

nera

l,de

scri

ptiv

a.—

Se p

rete

nde

com

pren

der

cier

tos

com

por-

tam

ient

os y

act

itude

s so

bre

dete

rmin

ados

tem

as.

—Se

quie

re i

nte

rpre

tar

dat

os

cuan

titat

ivos

exis

tent

es.

—Si

se

quie

re r

ecog

er d

atos

a n

ivel

gru

pal,

com

unita

rio,

etc

.—

Para

obt

ener

cie

rtos

dat

os y

con

tras

tarl

osen

gru

po.

—Pa

ra v

erifi

car

la v

erac

idad

de

dato

s ob

te-

nido

s a

nive

l ind

ivid

ual.

—Se

qui

ere

tene

r un

a vi

sión

más

pro

fund

ade

la r

ealid

ad a

est

udia

r.—

Si s

e qu

iere

est

udia

r en

pro

fund

idad

da-

tos

exis

tent

es p

or o

tros

mét

odos

.

VEN

TA

JAS

—Se

obtie

ne

gran

can

tidad

de

info

rmac

ión g

e-ner

aliz

able

.—

Se p

ued

en e

stan

dar

izar

dat

os

y an

aliz

arlo

ses

tadís

ticam

ente

.—

Si la

mues

tra

ha

sido b

ien d

iseñ

ada

y el

err

or

en l

a re

cole

cció

n d

e lo

s dat

os

es p

equeñ

o,

las

resp

ues

tas

son a

ltam

ente

fiab

les.

—G

ener

a in

form

ació

n c

onci

sa, c

onfia

ble

.—

Req

uie

re p

oco

s re

curs

os.

—Es

bar

ato.

—Se

lleg

a a

much

a ge

nte

.—

La g

ente

que

los

dis

trib

uye

no n

eces

ita m

u-

cha

pre

par

ació

n.

—La

s per

sonas

que

resp

onden

no t

ienen

lím

itede

tiem

po.

—Fá

cil c

odifi

caci

ón.

—O

btie

ne

much

a in

form

ació

n c

om

par

able

.

—Se

entr

evis

ta d

irec

tam

ente

a p

erso

nas

cla

veen

el p

roye

cto.

—El

mues

treo

es

mas

sen

cillo

y m

enos

cost

oso

.—

Se d

esar

rolla

en u

na

atm

ósf

era

cord

ial.

—N

úm

ero d

e per

sonas

entr

evis

tadas

es

men

or

per

o s

e obtie

ne

much

a in

form

ació

n.

—Si

se

sele

ccio

na

bie

n a

los

par

ticip

ante

s, s

epued

e obte

ner

much

a in

form

ació

n.

—B

ajo c

ost

e.—

Las

per

sonas

par

ticip

ante

s se

contr

asta

n.

—Es

una

efic

iente

rec

ogi

da

de

info

rmac

ión.

—M

étodo s

enci

llo.

—B

uen

o p

ara

adquir

ir d

atos

en p

rofu

ndid

ad y

par

a su

inte

rpre

taci

ón.

INC

ON

VEN

IEN

TES

—D

ebe

capac

itar

bie

n a

las

per

sonas

entr

evis

ta-

dora

s.—

Se n

eces

ita p

rete

st p

ara

pro

bar

la h

erra

mie

nta

.—

Rie

sgo d

e er

ror

en l

a se

lecc

ión m

ues

tral

de

lapobla

ción a

entr

evis

tar.

—C

ost

oso

en ti

empo y

din

ero.

—R

egis

tra

hec

hos,

no e

xplic

acio

nes

.—

Los

dat

os

esta

dís

ticos,

son d

atos

que

no p

er-

mite

n p

rofu

ndiz

ació

n.

—La

info

rmac

ión r

ecoge

dat

os,

per

o n

o e

l por-

qué

de

dic

has

res

pues

tas.

—D

ifíci

l co

mpro

bar

la

since

ridad

en l

as r

epues

-ta

s.—

A v

eces

res

po

nd

en s

in c

om

pre

nd

er l

as p

re-

gunta

s.—

En o

casi

ones

no r

esponden

indiv

idual

men

te.

—R

equie

re m

anej

o d

e en

trev

ista

.—

Nec

esita

post

erio

r a

nál

isis

en p

rofu

ndid

ad.

—La

s in

form

acio

nes

est

án c

arga

das

de

la s

ubje

-tiv

idad

de

las

per

sonas

entr

evis

tadas

.—

Alto

cost

e por

entr

evis

ta.

—La

s dis

cusi

ones

pued

en s

er d

esvi

adas

por

gru-

pos

de

poder

.—

Cie

rtos

tem

as c

ontr

ove

rtid

os

no a

par

ecen

a n

i-ve

l gru

pal

.—

Es d

ifíc

il a

segu

rar

la p

artici

pac

ión p

lena

del

grupo.

—C

onsu

me

much

o ti

empo.

—La

subje

tivid

ad d

e la

per

sona

obse

rvad

ora

de-

term

ina

la o

bse

rvac

ión.

—El

hec

ho

de

sab

erse

ob

serv

ado

s, a

lter

a lo

sco

mport

amie

nto

s.

168


pal o individual) los componentes centrales de las herra-mientas se pueden agrupar en estos dos macro instrumen-tos de investigación.

2.4.3. Dos instrumentos para la evaluación

2.4.3.1. La entrevista

La entrevista es uno de los medios más utilizados en lainvestigación social y en la evaluación. Una entrevista, engeneral, consiste en una conversación entre dos personas,por lo menos, en la cual una de ellas es la entrevistadora y,otra (u otras), la(s) entrevistada(s). Estas personas dialogancon arreglo a ciertos esquemas o pautas acerca de unacuestión determinada, teniendo un propósito profesional.Presupone, entonces la existencia de personas y la posibili-dad de interacción verbal dentro de un proceso de acciónrecíproca.

Como técnica de investigación, abarca desde la interro-gación estandarizada (cerrada-encuesta) hasta la conver-sación libre (abierta), pero en ambos casos se recurre auna guía o pauta para su desarrollo. En el caso de una en-cuesta se construye un formulario con preguntas y respues-tas cerradas, y en el caso de una entrevista abierta, se esta-blece una guía de temas o cuestiones que han de orientarla conversación. Teniendo en cuenta estos criterios, la en-trevista puede ser de diferentes modalidades según sucombinación.

Así, podemos hacer una entrevista oral y cerrada a unaspersonas seleccionadas en una muestra (encuesta o survey);o podemos hacer unas entrevistas orales guiadas (o semies-tructuradas) a personas clave del proyecto, pero sin un crite-rio estadístico, sino razonado. También podemos entrevis-tarnos con una sola persona cada vez, si consideramos quesu información personal es relevante, o podemos reunirnosen un taller grupal o un grupo de discusión para sacar con-clusiones como grupo, frente a ciertos temas.

Como vemos, disponemos de un abanico de posibilida-des interesante.

169


Cuadro 58. Modalidades de entrevista

De todas estas modalidades, dos combinaciones son lasmás utilizadas en evaluación de proyectos, aunque todaspueden darse en la práctica:

—La entrevista semiestructurada, oral, individual y foca-lizada: es la que se realiza a informantes clave del pro-yecto o personas líderes de la comunidad que puedenaportar información interesante para la evaluación.Esta modalidad parte de una guía o batería de pregun-tas que orientan la conversación en un ambiente dis-tendido pero no libre. Es una conversación guiada porla persona que entrevista buscando una informaciónen torno a un tema específico.

—La entrevista semiestructurada, oral y grupal (los talleresgrupales o grupos de discusión): son talleres con la propiacomunidad, la ONG o entidad que ejecutó el proyecto, oun grupo delimitado de personas implicado en el desa-rrollo de la intervención. Este tipo de conversatorio per-mite la discusión y el diálogo, lo cual enriquece sobre-manera la información obtenida en las fuentes primarias

Estandarización

CRITERIO

Medio

Numero depersonas a

quien se realiza

MODALIDAD

Estructurada(cerrada, formal)

No estructurada(abierta, informal)

Oral

Escrita(autorrellenado)

Individual (una persona

cada vez)

Grupal(varias personas

al mismo tiempo)

CARACTERÍSTICAS

—Realizada por un agente ex-terno

—Preguntas fijas—Baja espontaneidad pero alto

grado de comparación estadís-tica y cuantificación de datos

—Exploratoria—Preguntas abiertas, flexibilidad

—Conversación: preguntas y res-puestas mediante conversación

—Permite anotar comportamien-tos adicionales

—El cuestionario se rellena—Necesita indicaciones

—Entrevista a una persona—Opciones: focalizada, en pro-

fundidad, historia de vida

—Grupo de personas—Opciones: cuestionario escri-

to, discusiones de grupo, reu-niones comunitarias

Fuente: Elaboración propia a partir de la bibliografía citada en el cuadro 56.

170


y en las entrevistas individuales. Estos talleres cuentancon una persona que guía intencionadamente el debatesegún una serie de categorías o temas que interesa abor-dar. En algunos casos se complementa con una personaque asume el papel de observadora, que además, reco-ge los roles, actitudes y comportamientos de las perso-nas reunidas durante el taller.

Cuadro 59. Pautas claves para realizar una reunión comunitaria o taller

Algunos puntos a recordar:

1. Planear con antelación la reunión.

2. Realizar un calendario de actividades del taller.

3. Elegir un lugar apropiado y realizar la reserva.

4. Elegir un buen momento y avisar a la gente con antelación.

5. Informar a la gente del motivo de la reunión.

6. Colocar carteles, visitar casas y anunciar públicamente (ra-dio, teléfono o carta) ayuda a mantener a la gente informada.

7. Pensar en el tamaño del grupo.

8. Planear exactamente quien va a tener la responsabilidad dehacer que cosas.

9. Preparar el material que será distribuido.

10. Tener preparadas algunas preguntas para iniciar la discu-sión en el taller.

11. Si hay personas invitadas, planear viajes, alojamiento, pa-gos, etc.

12. Si el encuentro es amplio, implicar a personas voluntariaspara preparar todo.

13. Preparar la introducción al encuentro, explicando el motivodel taller y el plan de trabajo.

14. Preparar material de apoyo al encuentro, audiovisual, mate-rial fungible, etc.

15. Establecer un ambiente agradable y no forzado. Es buenodejar momentos para el descanso y refresco.

16. Tratar de ajustarse a los horarios establecidos.

17. Comenzar con temas no comprometedores y de fácil acuerdo.

18. Recoger anotaciones sobre lo trabajado y retroalimentar elproceso con dichas informaciones.

19. Tratar de terminar con carácter positivo.

20. …

Fuente: Basado en FEUERSTEIN, M.T (1986): Partners in evaluation:Evaluating development and community programmes withparticipants. Mac Millan, Hong Kong.

171


A la hora de preparar una entrevista, sea de la modalidadque sea, hace falta tener en cuenta dos aspectos muy impor-tantes: a quienes vamos a entrevistar y cómo preparar unbuen cuestionario o guión de la entrevista. Si vamos a reali-zar una encuesta cerrada a una gran población sobre untema muy concreto, no es deseable hacer entrevistas largasa un número muy grande de personas, por lo que se recurreal sistema de muestreo. Cuando se quiere hacer un estudioamplio o una encuesta generalizada a la población, se reco-mienda realizar un muestreo objetivo (con criterios de signi-ficatividad estadística y control del error). Es decir, de todala población universo que queremos entrevistar, escogemosuna muestra representativa. La muestra que el agente eva-luador va a estudiar tiene que ser representativa de la pobla-ción total, de tal modo que se pueda obtener la informaciónrequerida con un ahorro considerable de recursos humanos,económicos y de tiempo, sin que ello suponga un aleja-miento de la realidad estudiada. Dependiendo de lo que sepretenda estudiar y el objetivo de la evaluación, el muestreoa realizar será diferente15.

Cuando hacemos evaluaciones con métodos más flexi-bles o semiestructurados, es muy común seleccionar las per-sonas a entrevistar (sobre todo si se trata de informantes cla-ve) con base en un criterio de elección que tiene el agenteevaluador (cargo, clase pertenencia a cierto grupo, etc.),que se conoce normalmente entre los investigadores socia-les como muestreo razonado.

Antes de realizar una encuesta cerrada, es recomendablerealizar un test piloto (pretest) para probar si la herramientautilizada mide lo que se pretende, y si las preguntas estánsuficientemente claras. Además, suele ser recomendable ca-pacitar a un pequeño grupo de personas que realizarán lasencuestas o las entrevistas, en caso de ser distintas del equi-po evaluador.

En el caso de entrevistas abiertas o semiestructuradas, lasmás comunes en evaluación de proyectos, es necesario esta-blecer con claridad la información que se requiere, formular al-gunas preguntas guía a partir de los componentes o categoríasa analizar, y sobre todo, establecer los controles necesarios alequipo investigador, evitando el sesgo (notas, grabación).

172

15 Sobre técnicas de muestreo existe bastante literatura en el ámbito dela investigación social que puede ser consultada en el caso de poner enmarcha evaluaciones de grandes proyectos o con mucho volumen de po-blación beneficiaria. Alguna de ella está referenciada en el cuadro 56 y alfinal de este manual.


Cuadro 60. Recomendaciones para realizar una entrevista

—Antes de redactar el cuestionario o las líneas de preguntas queguiarán la entrevista, es necesario recordar al objetivo que sepersigue, revisar las hipótesis (si se formularon) e identificarlas variables principales que son imprescindibles sondear enel estudio.

—Una vez decidido lo que necesitamos encontrar, entonces seprocede a la redacción de las preguntas.

—No comenzar con preguntas complicadas o de identificaciónque hacen sentir a la persona entrevistada poco anónima.

—No hacer sentir a las personas entrevistadas que deben cono-cer las respuestas, ya que puede que no tengan respuesta aciertas preguntas.

—Se recomienda realizar preguntas sencillas, claras y cortas,con un lenguaje sencillo y adecuado a la población entrevis-tada, usando frases y expresiones comunes.

—Evitar palabras de doble sentido que puedan llevar a error yconfusión.

—Agrupar las preguntas en torno a temas diferenciados para nodar la sensación de interrogatorio; procurar hacer las pregun-tas atractivas.

—Evitar juicios previos sobre la persona entrevistada.

—Cuidar la presentación del encuestador; presentarse correcta-mente.

—Estar familiarizado con los fines de la entrevista.

—Encontrar un sistema natural de entrar en contacto con lagente; tener don de gente.

—Respecto a la toma de notas (si se trata de entrevista abierta),en las preguntas abiertas se ha de tomar las notas en primerapersona, tal y como lo dicen; no hay que mezclar las propiasimpresiones y las respuestas del entrevistado, no inventar unarespuesta que no ha sido dada, aunque se esté seguro de querespondería de esa manera.

—En las relaciones con la persona entrevistada, una regla de oroes la neutralidad absoluta del/de la entrevistador/a. No debemanifestarse ningún tipo de antipatía o simpatía ante lo quedice el/la entrevistado/a. Debe mostrarse un profundo respetohacia la gente. No hay que olvidar que nadie está obligado aresponder y a nadie le gusta que le interrumpan en su hogarpara que le hagan una serie de preguntas incómodas.

—Dar tiempo a la persona entrevistada para contestar tranqui-lamente y ofrecer la posibilidad de no contestar.

—…

Fuente: ELZO, Javier y GONZÁLEZ, Lara (1999): Técnicas de investigaciónsocial I. Apuntes 1999. Texto sin revisión editorial. Facultad deCC.PP. y Sociología. Universidad de Deusto, Bilbao.

173


2.4.3.2. La observación directa

Observar, significa el hecho de mirar algo. Algunas perso-nas la definen como una técnica de recopilación de datos yde captación de la realidad socio-cultural de una comunidado de un grupo social determinado. Desde el punto de vistade la investigación social, la observación es un procedimien-to de recopilación de datos e información que consiste enutilizar los sentidos para observar hechos, realidades socialesy la gente, en el contexto real en donde se desarrollan nor-malmente sus actividades (Ruiz Olabuenaga, 1999). Es elproceso de contemplar sistemática y detenidamente cómo sedesarrolla el proyecto, sin manipularlo ni modificarlo.

La observación aplicada a la evaluación tiende a ser unatécnica para complementar la recogida de información víaentrevista. La observación puede convertirse en una podero-sa herramienta de investigación para la evaluación, siemprey cuando se establezcan controles a quien observa para ga-rantizar la fiabilidad y validez.

Para cumplir con su función, se sugiere:

—Orientarla, enfocándola a un objetivo concreto de in-vestigación, formulado de antemano.

—Planificarla detallando los momentos importantes, losaspectos a observar, los lugares y las personas objetode estudio.

—Sometiéndola a controles de veracidad, objetividad,fiabilidad y precisión.

El método de la observación es muy útil en evaluación por-que ofrece la oportunidad de comprobar la validez y veraci-dad de afirmaciones encontradas en las entrevistas individua-les o grupales u obtenidas de otros métodos de investigación.La observación puede dar una visión global del desarrollo dela intervención y no sólo de sus resultados (Feuerstein, 1986).

Al igual que la entrevista, existen varias modalidades deobservación, que se clasifican de acuerdo a tres criterios: elmétodo utilizado, el papel que desempeña la persona quehace la observación y el número de personas que observan(Cuadro 61).

Las combinaciones más utilizadas en la evaluación deprogramas de desarrollo son las siguientes:

—La observación semiestructurada, no participante e indi-vidual: es la modalidad de observación que más utilizanlas personas que realizan evaluaciones externas cuando

174


Cuadro 61. Modalidades de observación directa

visitan unos días el proyecto. También se conocen comovisitas a terreno. Esta modalidad poco estructurada,permite a la persona observadora comprobar visual-mente algunos de los logros del proyecto. Normalmen-te consiste en pequeñas observaciones visuales, me-diante recorridos por la comunidad, localidad o zonaobjeto del proyecto (una escuela, hospital, taller, em-presa, cultivos, etc.).

Medio utilizado

CRITERIO

Papel de la persona

que observa

N.º de observadores/as

MODALIDAD

Estructurada(sistemática)

No estructurada(asistemática

o libre)

Participante

No participante

Individual

En equipo

CARACTERÍSTICAS

—Registro de acuerdo a proce-dimientos explícitos previa-mente definidos.

—Trata de medir forma, dura-ción y frecuencia de un de-terminado comportamiento.

—Anotar hechos sin guía pre-establecida.

—Método rápido de captaciónde información.

—Poco objetivo. Sensación dever más de lo que hay.

—La persona que observa formaparte de las circunstancias dela vida del grupo objeto de es-tudio (natural o ficticiamente).

—Contacto directo con la po-blación evaluada.

—En evaluación, normalmentela persona que observa esconocido/a.

—La persona que observa noforma parte del grupo obser-vado.

—Observa y toma nota sin in-tervenir en sus vidas.

—Observa una única persona.—Difícil control.

—Varias personas del equipoevaluador.

—Corrige las distorsiones deuna única persona.

—Pueden observar todas laspersonas lo mismo, o cadauna, un área de interés (rela-ciones, vivienda, etc.).

Fuente: Elaboración propia a partir de la bibliografía citada en el cuadro 56.

175


—La observación semiestructurada, participante y enequipo: es más propia de modelos evaluativos parti-cipativos o de autogestión, y permite la observaciónde los comportamientos de un grupo de personas im-plicadas en el proyecto, desde la población beneficia-ria hasta las personas de la entidad donante de algunasáreas consideradas como relevantes para la evalua-ción. En ese caso, el equipo evaluativo participa relati-vamente de la vida comunitaria durante un tiempo, yrealiza observaciones en torno a los cambios produci-dos por el proyecto en la comunidad. Es muy válidopara la observación de los efectos sobre las condicio-nes de vida y comportamientos del grupo objetivo (im-pacto). En esta modalidad el equipo evaluador formaparte del grupo observador durante un periodo o ta-ller, donde se analizan los comportamientos, respues-tas y actitudes ante el debate de un tema específico, oante el comportamiento cotidiano de las personas be-neficiarias.

Algunos autores han reconocido las ventajas de la obser-vación frente a la entrevista (y sus modalidades), al no infe-rir directamente en el desarrollo del fenómeno social. La ob-servación prima la naturalidad y la inmediatez, intentaevitar la distorsión artificial del experimento y lo entorpece-dor de la entrevista (Ruiz Olabuenaga, 1999: 127).

Otra ventaja de los métodos observacionales en la eva-luación es la facilidad de acceso a los emplazamientos y elhecho de que ciertos fenómenos no podrían observarse deotro modo (relaciones humanas, relaciones entre hombres ymujeres ante una determinada situación, etc.). Pero la ob-servación también tiene algunas desventajas en su utiliza-ción en la evaluación, pues algunos fenómenos no son di-rectamente observables y es necesaria una conversaciónpara poder profundizar en ellos. De hecho, la complemen-tación es el mejor criterio. ¿Podríamos hacer una valoraciónsólo visitando una familia o unos cultivos, o el funciona-miento de una microempresa? Preguntando e intercambian-do información (además de observando y visitando) pode-mos lograr mucha información relativa a los temas aanalizar establecidos en los términos de referencia de laevaluación.

La observación ha sido valorada por algunas agencias in-ternacionales como la NORAD, como una herramienta fun-damental para todo tipo de investigaciones. Los estudios delos fenómenos en su entorno natural hacen posible adquirir

176


conocimientos de manera sencilla y puede revelar condicio-nes o patrones de conducta que los informantes clave nohan descrito (1997: 114).

Para evitar los sesgos relativos a la persona observadora,es recomendable establecer controles de investigación, talescomo la incorporación de instrumentos de registro visual,como la cámara o el video, que permite contrastar la agudezavisual de la persona, con los registros de los equipos audiovi-suales. Además, el acompañamiento de registros o fichas ela-borados previamente (observación semi-estructurada) permitea la persona que observa tener una guía sobre las variables,temas o fenómenos hacia los que dirigir su atención.

2.4.4. El tratamiento y análisis de la información

Una vez obtenidos los datos suficientes para la evalua-ción, hay que proceder a su ordenamiento para poder anali-zarlos e interpretarlos. Esto requiere contar con una serie deherramientas que faciliten el análisis y permitan transformarnúmeros, datos, observaciones, comportamientos, expresio-nes y anotaciones, en información interpretable.

Esta no es siempre tarea fácil, pues determinar qué efec-tos ha tenido un proyecto sobre la población a partir deunos datos, requiere que los agentes evaluadores tengan ca-pacidad para interpretar información de carácter cualitativo,así como manejar ciertas técnicas estadísticas que permitanel análisis de los datos de carácter cuantitativo.

En primer lugar, es necesario ordenar y clasificar la in-formación por temas, categorías de análisis, y según su ca-rácter. Toda la lectura inicial de informes, archivos, etc., esbásicamente documental, por lo que se debe recurrir alanálisis documental en primer lugar. El ejercicio máspráctico en este caso, es utilizar fichas de vaciado de in-formación en torno a matrices documentales o elaborarredes temáticas o mapas mentales que permitan al equipoevaluador ordenar sus ideas y encontrar los vacíos de in-formación existentes, que serán cubiertos por la informa-ción primaria que hemos recabado con las herramientascualitativas (entrevista a informantes clave, talleres grupa-les, historias de vida, observaciones en terreno, etc.) y lasherramientas cuantitativas (encuestas, cuestionarios conescalas, etc.).

En el caso de la información cualitativa el análisis princi-pal es el análisis de contenido buscando analizar el mensaje

177


de la información recabada durante la realización de las en-trevistas u observaciones. Para ello se categoriza con base alos temas o subtemas priorizados por la evaluación, buscan-do dar respuesta a los criterios de eficacia, eficiencia, perti-nencia, sostenibilidad e impacto. Es común establecer ma-trices de interpretación donde se cruzan las categorías clavecon la información recogida en las entrevistas (individualesy grupales) y las observaciones.

Evaluaciones cualitativas con mayor nivel de sofisticaciónhan incorporado los programas informáticos de análisis e in-terpretación de datos típicos como el atlas.ti, textpack, qual-pro, ethnograph16, etc. El atlas.ti es obra principalmente deThomas Muhr, un informático y psiquiatra de Berlín. Elatlas.ti pertenece a la familia de los programas para investi-gación cualitativa o de análisis cualitativo de datos (en laque encontramos también a nud*ist, entre varias decenasmás). En los últimos años han empezado a ser utilizados endistintas disciplinas: sociología, antropología, psicología-pe-dagogía. Ofrecen un soporte al equipo investigador paraayudarle en las actividades de análisis e interpretación deltexto, seleccionando, codificando y anotando textos adicio-nales. No se trata únicamente de bases de datos o de siste-mas de gestión de bases de datos en los que pensamos endatos muy estructurados, con una serie de campos muy de-finidos, con elementos (registros) que repiten una distribu-ción y orden. Existen bases de datos documentales, que es-tán concebidas para organizar y recuperar datos que nonecesariamente siguen unas pautas muy rígidas y que pue-den estar compuestas de textos de longitud variable. Ejem-plos de ello son Micro-Isis (distribuido gratuitamente por laUNESCO) y Knosys, de la empresa española Micronet, quepermiten localizar y recuperar con bastante flexibilidad y ra-pidez los datos introducidos.

En el caso de atlas.ti, la localización y recuperación delos datos son el punto de partida, pero además, el progra-ma facilita herramientas para establecer relaciones entrevarios elementos de nuestros datos, para hacer explícitaslas interpretaciones del agente evaluador y para poder re-cuperar ciertas informaciones en cada momento para apo-yar tal o cual argumento o conclusión. Esto último puede

178

16 Para mayor información sobre la herramienta consultar www.atlas.ti.dey sobre su uso y funcionamiento se recomienda consultar la página http://usuarios.iponet.es/casinada/19atlas.htm. Sobre otros programas como el ethno-praph consultar www.qualisresearch.com.


ser de especial valor cuando llega el momento de redac-tar, de comunicar a otras personas los resultados de laevaluación.

El ethnograph trabajara recopilando y articulando informa-ción a través de categorías de análisis. Fue lanzado en 1985,y fue de los primeros programas para iniciar análisis de datoscualitativo asistido por ordenador. Desde entonces lo utilizananalistas cualitativos de los datos tales como científicos/as so-ciales, historiadores/as, críticos/as literarios/as, investigado-res/as de la salud, analistas del negocio y de mercado, investi-gadores/as legales, etc., y comienza a expandirse en laevaluación cualitativa. El programa permite manejar archi-vos, documentos y datos del proyecto si los mismos vienende la trascripción de una entrevista, de notas del campo, derespuestas ampliables del examen, o de otros documentos ba-sados en un texto.

Cuadro 62. Matriz de organización de datos cualitativos

La evaluación de impacto del programa agua potable y sa-neamiento costa pacífica en Colombia formuló esta matriz pararecoger la información cualitativa y poder analizarla. Esta ma-triz se orientaba a un análisis de contenido de respuestas clavesegún los indicadores definidos previamente, enmarcados den-tro de unas categorías descriptivas que representaban las cate-gorías de análisis a las cuales se orientaba la interpretación deresultados:

Interpretación de datos Categorías Categorías Indicadores cualitativosde análisis descriptivas Entrevistas individuales

Grupos focales

Percepción del recurso del agua

Percepción de la realización de la obra física

Participación comunitaria en relación al proyecto de acueducto

Organización social para la gestión del servicio

Fuente: UNIVERSIDAD EXTERNADO DE COLOMBIA (UEC)-CICCI (1998): Evaluación deimpacto en el área social. Programa de agua potable y saneamiento costapacífica. Convenio ALA 93/39, Colombia. Santiago de Cali, p. 29.

179


El análisis de información cualitativa se basa en tres pasosclave:

1. Reducción de la información con base a códigos (ca-tegorización).

2. Reconstrucción: identificación de relaciones entre uni-dades de significados (reformulación de categorías yformulación de categorías emergentes).

3. Comparación: inferir las comunalidades generales me-diante el contraste o la comparación.

En ocasiones no hace falta recurrir a herramientas tan es-pecializadas, pues hay personas que a partir de procesado-res de texto como Word o WordPerfect elaboran estrategiasque les permiten obtener resultados similares. En evaluacio-nes de carácter más pequeño y que combinan metodologíascualitativas y cuantitativas es más usual trabajar con el cru-ce de datos y variables a partir de matrices de doble entrada(cuadro 62).

El análisis de la información cuantitativa recogida duranteel trabajo de campo, ordena, clasifica y agrupa toda unamasa de datos individuales carentes de significado (Sierra Bra-vo, 1992). Por ello, la etapa de análisis agrupa los datos reco-gidos referentes a cada variable y su presentación y relacióncon otras variables, es decir, establece relaciones de datos ydescribe de forma comprensiva conjuntos de datos brutos,decidiendo si existen relaciones aparentes entre ellos. La for-ma más sencilla de ordenar y clasificar inicialmente la infor-mación es mediante tablas de cifras absolutas sobre una va-riable y su tabulación.

El análisis de datos cuantitativo se basa en las siguientestareas:

1. Tareas previas al tratamiento estadístico, tales como elcontrol de la información, la creación de bases o fiche-ros de datos (tablas),

2. y las tareas internas propias del análisis estadístico.

En el primer caso la información recabada con las encues-tas cerradas, autorrellenados o fichas cuantitativas deben sercodificadas para su posterior estandarización. Además, es ne-cesario preparar la base de datos (en filas y columnas) dondese pone en relación a las personas encuestadas con las pre-guntas o ítems y sus repuestas.

Pero, clasificar y ordenar los datos no es más que una fasepreparatoria de la labor de análisis, dado que los datos clasi-

180


ficados son abundantes y es necesaria una reducción de losmismos que facilite su interpretación.

Existen dos niveles de análisis cuantitativo:

—El análisis descriptivo (univariable y bivariable) de losdatos que establece una caracterización de los atribu-tos más importantes de la población estudiada.

—El análisis explicativo donde se establecen relacionesy asociaciones entre fenómenos de distinta naturale-za (variables dependientes con variables indepen-dientes).

Si hemos aplicado encuestas de gran magnitud, podre-mos realizar análisis estadísticos a través de programas es-pecíficos como el Statistic Package for Social Science(SPSS)17, tales como el estudio de frecuencia sobre una va-riable, porcentajes (análisis univariable), o comparacionesentre dos variables (bivariables) o entre varias (multivaria-ble). Los diferentes análisis a realizar dependen en gran me-dida de la naturaleza de las variables y de los intereses y ca-pacidades del equipo evaluador.

Si bien es bueno explotar al máximo los datos, unabuena descripción es un primer paso para su compresión.Un análisis exploratorio suele ser suficiente a través de lapresentación gráfica de los datos y la obtención de medi-das estadísticas de posición y dispersión. Y en ocasiones,y si la naturaleza de los datos lo permite, se realizan aná-lisis bivariables de correlación entre dos variables: unadependiente y otra independiente. Por ejemplo si determi-nada actuación o comportamiento en el proyecto depen-de del hecho de ser hombre o mujer.

Para la representación gráfica del análisis descriptivo seutilizan las siguientes herramientas:

—El histograma: distribución de una única variable nu-mérica (ej. n.º de mujeres).

—El diagrama de barras: gráfico en barra por valor abso-luto o porcentaje.

—Los ciclogramas o gráfico de sectores.

—Los gráficos de áreas o de líneas.

181

17 Para ampliar información sobre dicho programa estadístico consultarla página www.spss.com y www.ats.ucla.edu/stat/spss/


Cuadro 63. La naturaleza de las variables condiciona la elecciónde la herramienta de medición

La evaluación de resultados rara vez realiza inferenciasestadísticas de gran calado o de análisis multivariante (clus-ter, análisis factorial, etc.) pues requiere de cierta especiali-zación y manejo de las técnicas, aunque pueden ser utiliza-das si se dispone de datos con la naturaleza necesaria ypersonas expertas en el manejo de la herramienta. Lo im-portante es recoger, ordenar, clasificar y analizar los datoscon el mayor rigor metodológico posible para poder lograr

La información que aportan los datos viene dada por el nivelen que se miden las características a estudiar. Así, los diferentesniveles de medición caracterizan los datos y condicionan losmétodos empleados en el análisis.

Pueden distinguirse cuatro niveles de medición:

1. El nivel nominal: es la forma más primitiva de medir. Sebasa en la clasificación de objetos respecto a la posesiónde una determinada característica. Dichas característicasson mutuamente excluyentes.

Ejemplo: variable creencia religiosa. Categorías: católica,protestante, judío, etc.

2. El nivel ordinal: las categorías de una variable pueden serordenadas. Se puede determinar en que medida una cate-goría posee en mayor, igual o menor medida un atributo.Se puede medir el orden pero no cuánto mayor es unoque otro, con lo que no pueden hacerse operaciones deadición, sustracción, multiplicación o división.

Ejemplo: variable puesto de ocupación. Categorías: direc-tor, gerente, empleado, obrero, etc.

3. Nivel intervalar o de intervalo: este nivel permite estable-cer la separación entre dos categorías. Para ello se precisade una unidad de medida.

Ejemplo: variable longitud. Categorías: 1, 2, 3, 4… cms.

4. Nivel racional, de razón o de proporción: se trata del ni-vel intervalar pero estableciendo valor cero en la cuantifi-cación. A este nivel se permiten ejecutar operaciones ma-temáticas de suma, resta, multiplicación y división.

Ejemplo: variable temperatura. Categorías: –5º, 0º, 15º…

Fuente: Basado en MAINTZ, Renate (1996): Introducción a los métodosde la sociología. Sexta reimpresión. Alianza Editorial, Madrid.

182


entender y dar cuenta de los cambios que el proyecto haproducido en la comunidad.

En conclusión, el análisis avanzará hasta el nivel adecua-do a la naturaleza de los datos y el alcance de la evalua-ción. Es por ello que no se trata de aplicar complicadas téc-nicas estadísticas si no es necesario o como relevante paralos clientes de la evaluación, u otras personas involucradas.

Cuadro 64. Procedimientos estadísticos univariable, bivariable y multivariable

1. Parámetros de posición o detendencia central

2. Parámetros de dispersión (va-riación o dispersión de los da-tos)

3. Medidas de distribución (des-criben forma y asimetría de ladistribución)

— Media: la suma dividida entre el número decasos.

— Mediana: El percentil 50. El valor situadoen la mitad de la distribución.

— Moda: valor que ocurre con más frecuencia.

— Desviación estándar o típica: medida dedispersión de la media.

— La varianza: suma de los cuadrados de lasdesviaciones respecto a la media.

— El error típico de la media: cuanto varia elvalor de la media de una muestra a otra sison extraídas de la misma distribución.

— Asimetría.— Curtosis.

Análisis univariable

1. Cruces de variables (depen-diente e independiente)

2. Medidas de asociación

3. Correlación bivariable y corre-lación parcial

4. Análisis de regresión lineal

— Frecuencias.— Porcentajes.

— Para variables nominales (tablas de conti-gencia, Phi de Cramer, Lambda).

— Variables ordinales (ganmma, D de Sommer,Tau-b de Kendall).

— R de Pearson.— Rho de Spearman.— Tau-b de Kendall.

— Coeficientes de regresión.— Matriz de correlaciones.— Correlaciones particales.— R multiple R cuadrado.— Análisis de varianza.

Análisis bivariable

.../...

183


Métodosmultivariantescon variables

interdependientes(no dependientes)

Métodosmultivariantescon variablesdependientes

Variablesnominales

Variables de intervalo

o razón

UNAvariable

dependientenominal

UNAvariable

dependientede intervalo

o razón

VARIASvariables

nominales

VARIASvariables

de intervaloo razón

Variables de intervalo o razón


Variables nominales

Con variables de intervalo o razón


Variables nominales

— Análisis discrimi-nante.

— Análisis de regre-sión múltiple o aná-lisis de covarianza.

— Análisis de varian-za.

— Análisis discrimi-nante múltiple.

— Análisis de regre-sión multivariante.

— Análisis de correla-ciones canónicas.

— Análisis de varian-za multivariante.

— Analisis de correspondencias.— Escalogramas no métricos.— Analisis de Prefencias.— Análisis de estructuras latentes.

— Análisis de componentes principales.— Análisis factorial de correlaciones.— Análisis cluster.— Escalogramas multidimensionales métricos.

Análisis multivariable

Fuente: Elaboración propia a partir de la bibliografía citada.ÁLVAREZ CÁCERES, R. (1995): Estadística multivariante y no paramétricacon SPSS. Editorial Diaz de Santos SA, Madrid.CEA D’ANCONA, María. Metodología cuantitativa: estrategias y técnicas eninvestigación social. Editorial Síntesis. Madrid, 1996.MAINTZ, R. y otros (1996): Introducción a los métodos de la sociologíaempírica. Sexta reimpresión. Alianza Editorial, Madrid.SÁNCHEZ CARRIÓN, J,.J. (1995): Manual de análisis de datos. Alianza Uni-versitaria Textos, Madrid.SIERRA BRAVO, R. (1998): Técnicas de Investigación Social. Teoría y Ejer-cicios. Undécima edición revisada. Editorial Paraninfo, Madrid.VISAUTA VINACUA, B. (1997): Análisis estadístico con SPSS para Windows.Editorial Mc Graw Hill, Madrid.

.../...

184


2.5. HACIA UN MODELO INTEGRADOR EN AGENTES, MODELOS Y HERRAMIENTAS: ALGUNAS PROPUESTAS FLEXIBLES

2.5.1. No existe el modelo único

A lo largo de toda esta segunda parte hemos abordadotodos los elementos necesarios para poner en marcha unaevaluación. Desde que tomamos la decisión de evaluar, pa-sando por su diseño (ToR), su ejecución y recogida y análi-sis de información. De hecho, cuando planteamos los térmi-nos de referencia de una evaluación, hay ciertos elementosque requieren de cierto nivel de consenso entre los diferen-tes agentes involucrados, como son los agentes evaluativos,el modelo de evaluación y las herramientas de investigaciónevaluativa. Y son, precisamente, estos elementos en los quenos hemos detenido en profundidad, dado que, en la prácti-ca, son los que mayores debates ofrecen a la hora de poneren marcha una evaluación ex post. Cuando nos ponemosfrente a una evaluación, podemos encontrar el dilema decuál es el mejor modelo de evaluación, quien debe realizar-la y qué herramientas son más adecuadas.

Comenzando por el primer dilema, podemos señalar queen la actualidad todos los modelos de evaluación presenta-dos se usan en el sector de la cooperación internacional conmayor o menor consenso. A pesar de la gran expansión delmodelo del marco lógico aplicado a la evaluación de pro-yectos de la cooperación al desarrollo, los otros dos mode-los tienen cada vez mayor aceptación entre algunas agen-cias y consultoras que reconocen la debilidad del enfoquelógico utilizado de forma unilateral. No existe el modelo ge-neralizable para todas las evaluaciones de proyectos, accio-nes o programas, ni para todos los contextos, países ni po-blaciones de una misma zona. Se trata más bien de tomar ladecisión de implementar un modelo, u otro, dependiendode algunos factores ligados a la intervención (disponibilidadde recursos humanos, técnicos y económicos, métodos utili-zados en la formulación y desarrollo del proyecto, capaci-dades locales, exigencias de los donantes, etc.). A pesar deesto, es cierto que cada uno de los modelos de evaluaciónpresentados (marco lógico, participativo y económico) pre-sentan algunas dificultades que pueden subsanarse.

En el caso de los modelos económicos, utilizados gene-ralmente en macroproyectos del Banco Mundial, el BID y laCEPAL, la aplicación de lo que a nivel conceptual parececlaro, no lo es tanto a la hora de llevarlo a cabo en proyec-

185


tos sociales o de desarrollo social, sobre todo si son de pe-queña magnitud. Porque lo que puede ser una buena técni-ca de análisis para proyectos puramente económicos (pro-ductivos y de infraestructura), no lo es tanto para proyectosdonde los beneficios no pueden ser valorados en moneda(lo cual en el ámbito social es frecuente). Además, el Análi-sis Costo Beneficio no siempre es relevante para proyectosde desarrollo social donde, independientemente del costo,el logro de determinados objetivos es deseable y necesario.De otro lado, a nivel metodológico, es necesario que al-guien del equipo evaluador tenga experiencia en este tipode análisis, lo cual no siempre es fácil de encontrar en elámbito de las ONG.

Por otro lado, algunas críticas dirigidas a los modelosparticipativos o de autogestión son su gran flexibilidadinvestigativa y falta de rigor metodológico en la práctica, albasarse en herramientas que requieren de una interpreta-ción subjetiva. Además, no están exentas de algunos peli-gros en su aplicación práctica al otorgar demasiada im-portancia a los métodos (a la herramienta en sí misma),olvidando en ocasiones, que el rol de las personas facilita-doras es orientar y acompañar a la gente para que se adueñedel proceso evaluativo. En muchos casos se contrata a ex-pertos del Norte para ese análisis, cuando las personas me-jor capacitadas están, en ocasiones, en el Sur. A nivel meto-dológico la herramienta es válida para la participación de lapoblación, pero desde las agencias donantes se critica, dadoque no responde a los estándares formales de la coopera-ción internacional, al no permitir generalizaciones y cen-trarse en las especificidades de la comunidad del proyectoanalizado. Además, la subjetividad de las personas puedecruzar los resultados y dar una visión falsa de la realidad,sin que haya posibilidad de comprobar la fiabilidad y vali-dez de los datos no estandarizados.

Por último, el modelo de evaluación de marco lógico en-cierra ciertas debilidades que se trasladan desde la formula-ción. Lo que se pretende una herramienta participativa, enla práctica se convierte en planificación de personal expertoque trabaja desde el Norte. Lo mismo ocurre en la evalua-ción. La verificación de indicadores formulados externa-mente (y que en ocasiones no son válidos y consistentes) yla valoración de ciertos criterios evaluativos desde una vi-sión externa, supone en la mayoría de los casos, una ausen-cia de profundización en la realidad observada. Visitas cor-tas de apenas dos o tres días no arrojan informaciónsuficiente para comprender los comportamientos y actitudes

186


de una población, de cara a afirmar el impacto causado porel proyecto. Además, el papel de la gente en la evaluaciónse limita a dar información a los evaluadores/as externos/asque en la mayoría de los casos no devuelven a la gente susconclusiones.

Parece, entonces, que la aplicación de un modelo evalua-tivo en particular no logra responder a todas las inquietudesque nos planteamos ante una evaluación ex post. Deseamosconocer los productos de la intervención, sus resultados,efectos, logros, realización de objetivos, utilización de los in-sumos, inversiones económicas, que responda a las necesi-dades de la gente, que la gente se involucre, que participe ytome decisiones, que la gente se empodere en el procesoevaluativo, que responda a las necesidades estratégicas degénero, que responda a los estándares de las agencias do-nantes, etc.; pero ningún modelo por separado nos ofrece to-das esas posibilidades.

Así que la propuesta que hacemos en este manual es in-tegrar las diversas herramientas evaluativas de la coopera-ción internacional, e incluso de los distintos países dondeopera, de cara a dar respuesta a los intereses de todas lasinstancias involucradas (agentes locales, población benefi-ciaria, entidades ejecutoras, ONG internacionales, agenciasdonantes, etc.) con capacidad para medir el impacto de lasacciones en la población beneficiaria y apoderarse de sugestión. Es lo que hemos llamado: propuesta integradora enagentes, modelos y herramientas para la evaluación.

2.5.2. Hacia una propuesta de modelo integrador

Según una acepción que presenta el Diccionario de la Len-gua Española de la Real Academia Española un modelo esun esquema teórico, generalmente en forma matemática,de un sistema o una realidad compleja (por ejemplo, la evolu-ción económica de un país) que se elabora para facilitar sucomprensión y el estudio de su comportamiento. También esdefinido como una construcción (entendida como un procesoabierto y colectivo donde participan varios actores) basada enhipótesis teóricas sobre el funcionamiento de una realidadcompleja, para su mejor compresión y para provocar interven-ciones eficaces que produzcan transformaciones deseables.Constituye una abstracción, una representación que se constru-ye para comprender y explicar una realidad compleja. El mo-delo no es la realidad, pero facilita su compresión para poderoperar en ella (Nirenberg y otras, 2000: 134).

187


La concepción del modelo evaluativo, entonces, influyeen la forma de evaluar diferentes realidades o fenómenossociales, integrado por diferentes dimensiones que no tienenque aplicarse al mismo tiempo. En ese sentido, y bajo nues-tra propuesta, el modelo integrador para la evaluación en lacooperación internacional debe incorporar los siguientesatributos18:

1. Ser un modelo holístico que integre y comprenda losdiversos aspectos y peculiaridades de un proyectosocial y específicamente de la cooperación interna-cional (incorpora insumos, estructuras, procesos, re-sultados). Además, que mire la realidad desde unaperspectiva global que integre una mirada objetiva yuna subjetiva.

2. Ser un modelo dimensional que incluya elementosclaves identificados desde la perspectiva del desarro-llo humano y sostenible, es decir, que se oriente a laspotencialidades de hombres y mujeres como centrodel desarrollo presente y futuro, y que permita la me-dición del impacto cualitativo causado por los pro-yectos en las vidas de dichas personas. Que integrelas dimensiones clave de eficacia, eficiencia, perti-nencia, sostenibilidad e impacto.

3. Ser un modelo flexible. Dado que no existe «el mode-lo» de evaluación defendible para todos los proyectos oprogramas de cooperación internacional, o incluso, dedesarrollo, es importante defender un modelo que seaflexible en su fundamentación y aplicación. Se proponeun modelo que sea capaz de establecer ejes metodo-lógicos y procedimentales que puedan ser articuladossegún los intereses y capacidades de cada institucióno de los agentes involucrados en un proyecto.

4. Ser un modelo participativo que integre las propues-tas, pensamientos y subjetividades de todas las perso-nas involucradas en un proceso evaluativo, en la ges-tión de un proyecto o programa, y en la cooperación

188

18 Propuesta defendida como Tesis de la Maestría en Ciencias Socialescon énfasis en la Gerencia del Desarrollo social. Universidad de Antioquia.Medellín, Colombia, 2002.

GONZÁLEZ, Lara (2002): La Evaluación en los proyectos de cooperación aldesarrollo. Análisis crítico de las principales corrientes evaluativas desde laóptica del desarrollo humano sostenible. Lineamientos para un modeloevaluativo integrador. Universidad de Antioquia. Facultad de Ciencias So-ciales y Humanas, Medellín.


internacional en general. El diálogo entendido comobúsqueda de entendimiento y articulación de pro-puestas consensuadas asegura la calidad y la identifi-cación con el proceso evaluativo.

5. Ser un modelo integrador que busque responder alconocimiento del impacto real de las intervencionesen la población beneficiaria, fortaleciendo metodolo-gías puestas en marcha en cada organización que seancapaces de incorporar los avances de unos y otros agen-tes. Bien haciendo posible integrar unas corrientes conotras, bien combinando metodologías cuantitativas ycualitativas, así como haciendo que dialoguen los diver-sos agentes del desarrollo. Todo ello en el contexto delpaís donde se desarrolle, su cultura de la gestión y laevaluación, así como el tipo de proyecto de que se trate.

Tres ideas caracterizan este modelo integrador:

1. La conformación de un equipo de evaluación.

2. La articulación de modelos evaluativos.

3. La triangulación de métodos para la recolección de lainformación.

2.5.2.1. La conformación de un equipo de evaluación

La propuesta del modelo integrador para la evaluación,pasa por conformar equipos evaluativos siempre que seaposible. Es decir dentro de la tipología de evaluación quevimos anteriormente, tratar de maximizar las ventajas decada modalidad (evaluación interna y externa) y minimizarsus desventajas conformando equipos de trabajo para laevaluación ex post.

Siempre que sea posible, el equipo de trabajo deben for-marlo, al menos, tres personas. Un miembro de la organiza-ción ejecutora local que conozca bien el proyecto (ojaláresponsable del seguimiento del mismo) que posea toda ladocumentación de la intervención y que tenga contactoscon la población beneficiaria. Por otro lado, si se disponede recursos, se puede integrar a una consultora externa (na-cional o internacional) conocedora de herramientas cualifi-cadas y de los estándares de las agencias donantes y queaporte una visión objetiva y externa al proceso. Por último,puede participar en el diseño y ejecución de la investiga-ción evaluativa algún representante de la población benefi-ciaria, bien de la comunidad o de organizaciones comunita-rias ligadas a la misma.

189


Cuadro 65. Equipo de evaluación

Las cualidades de las personas miembros del equipoevaluador, en términos profesionales, humanos y de expe-riencia, son importantes para el éxito del estudio evaluati-vo, pero la calidad humano-personal es una característicaque no siempre se considera y también es muy importante.Cualidades como la capacidad de trabajar en equipo, co-municación, diálogo, entendimiento, compresión y empa-tía con otras personas, son vitales si se ha decidido traba-jar en conjunto y construir una evaluación ex post quepretenda ser holística e integral. Trabajar en equipo, nosignifica que todas las personas implicadas (stakeholders)reúnan las mismas características o que todas aporten losmismo, sino que el grupo debe ser producto de las siner-gias producidas por los conocimientos y experiencias de

El trabajo de evaluación requiere que el equipo reúna granparte de las características que a continuación se detallan:

—Conocimientos globales sobre desarrollo y, en concreto,desarrollo social y humano.

—Conocimientos básicos de formulación, gestión y segui-miento de proyectos de desarrollo.

—Conocimientos sobre métodos y técnicas básicas de in-vestigación y evaluación.

—Conocimientos sobre el área profesional en la que se cir-cunscribe el proyecto.

—Conocimiento del medio físico, social y humano donde secontextualiza el proyecto.

—Carácter multidisciplinar entre las personas que confor-man el equipo, así como equilibrio de género.

—Personal con capacidades de comunicación, diálogo, ne-gociación y trabajo en equipo.

—Contacto cercano con el medio social y humano donde sedesarrolla el proyecto.

—Experiencia acumulada de otros seguimientos y evalua-ciones.

—…

Fuente: Basado en NORAD (1997): Evaluación de proyectos de ayudaal desarrollo. Manual para evaluadores y gestores. Instituto dedesarrollo y cooperación IUDC. Universidad Complutense deMadrid. CEDEAL, Madrid.

190


cada miembro. Tal vez el agente externo conoce las técni-cas evaluativas internacional y los estándares de la coope-ración, y tenga mayor experiencia en la realización deevaluaciones, pero las personas encargadas de la ejecu-ción del proyecto son las que lo conocen bien y se en-cuentran cercanas a su medio. Además, normalmente enel equipo técnico local hay profesionales del área del pro-yecto (agricultura, medicina, educación, etc.) y conocen elidioma, la cultura local, etc. Por último, las representantesde la población beneficiaria son las que mejor conocen laproblemática específica de la comunidad, así como suspropias potencialidades.

El éxito o fracaso del equipo de trabajo descansa en lashabilidades que tenga el mismo para superar los diversosintereses en la evaluación. Para trabajar en equipo es nece-sario desarrollar herramientas de diálogo y superación deconflictos, por muy básicos que sean. El concepto de eva-luación basada en las personas implicadas (stakeholdersevaluation) se basa en un diálogo continuo y negociaciónentre personas (Estrella y Gaventa, 1998). El conflicto de in-tereses y las relaciones desiguales de poder de los gruposimplicados pueden hacer difícil el diálogo y el acuerdo,pero también es importante tener en cuenta que la partici-pación de todas las partes, si se afrontan las dificultades ysuperan los conflictos, garantiza una evaluación productivay orientada a la toma de decisiones futuras, que seguramen-te serán implementadas.

2.5.2.2. La articulación flexible de los modelos evaluativos

La articulación flexible se basa en la combinación demodelos de evaluación según el contexto y el desarrollodel proyecto. Es decir, que haya una adecuación a las me-todologías que se usan a nivel local tratando de respetarlas herramientas de recogida de información de la institu-ción, si las tiene. En todo caso, si el proyecto fue formula-do desde el enfoque del marco lógico (como es la tónicahabitual en proyectos de la ayuda oficial al desarrollo), lapropuesta se orienta a la combinación de la metodologíade evaluación del marco lógico (indicadores, criterios dedesarrollo, factores de desarrollo y lógica de intervención)con las herramientas económicas aplicadas a proyectossociales (ACE) y las herramientas participativas y de auto-gestión.

Esto, que a primera vista puede parecer una combinaciónimpracticable y ecléctica es posible en la realidad de mu-

191


chos proyectos de cooperación cofinanciados por diversasentidades (internacionales y locales) que combinan diversasperspectivas de análisis. Algunas experiencias de combina-ción entre EML y DRP aplicado a la gestión han sido puestasen marcha por algunas agencias locales contrapartes de laGTZ en Colombia y otros países de América Latina, al igualque la CEPAL y otras agencias de Naciones Unidas (BID en-tre otras) ha desarrollado evaluaciones de corte económico-financiero combinado con marco lógico.

Lo que se pretende es aprovechar las potencialidadesde cada perspectiva, las cuales, articuladas de forma flexi-ble, permiten minimizar las debilidades propias de la apli-cación de cada modelo por separado. Por un lado, la utili-zación del marco lógico asegura de algún modo, que seplanteen las preguntas fundamentales para la evaluación(criterios de pertinencia, eficacia, eficiencia, sostenibilidade impacto, indicadores de resultados y objetivos y factoresde desarrollo) y brinda gran cantidad de información entorno a ellos. Por otro lado, el trabajo de evaluación desdetalleres participativos, donde las entidades interesadas for-man parte de la discusión y el debate, permite intercam-biar información e ideas que llevan a tomar decisionesmás consensuadas (participación-pertinencia). Los resulta-dos del proceso evaluativo, si son con metodología marcológico y participativa, serán mas ricos en perspectivas e in-formación pues se posibilita tener una mejor comprensiónde la comunidad, sus capacidades y debilidades al tomar-se en cuenta sus opiniones, percepciones y sentimientos.La comunidad entiende el proyecto desde sus inicios ypuede influir en él.

En tercer lugar, ciertos criterios no son evaluables desdela herramienta de evaluación del marco lógico. Por ejem-plo, el análisis de eficiencia requiere evaluar la ejecucióndesde un punto de vista económico-financiero, algo que noincluye el marco lógico. Para esta fase, se puede incorporar,en la medida de lo posible, análisis económico-financierosque permitan examinar la rentabilidad de la inversión reali-zada, traduciendo el programa a unidades monetarias o be-neficios sociales, con el fin de juzgar su eficiencia. Esteanálisis es especialmente recomendable para proyectos detipo económico y productivo (micro empresas, cooperati-vas o empresas familiares, por ejemplo que tienen que ha-cer una relación entre la inversión y los productos recogi-dos).

192


Cuadro 66. Pistas para combinar de forma flexible el modelo de evaluación del marco lógico con otros modelos

2.5.2.3. La triangulación de métodos mediante combinaciónde técnicas cuantitativas y cualitativas de obtenciónde información

Ya hemos visto anteriormente que, aun siendo diferentes,todo el proceso evaluativo guarda grandes similitudes con elde la investigación social. En cualquier caso, la utilización deherramientas e instrumentos de recogida y análisis de la in-formación provenientes de la investigación social es clara.También hemos visto que se puede abordar la evaluación

1. No considerar el enfoque del marco lógico como un fin en símismo y como algo impuesto desde el exterior, sino másbien como una propuesta que puede ayudar a estructurar laevaluación.

2. Poner énfasis en lo participativo, favoreciendo el encuentroy el diálogo con todas las partes implicadas.

3. Capacitar de forma básica al equipo evaluador sobre la me-todología a utilizar para que se maneje con soltura y flexibi-lidad.

4. Incluir en la matriz de planificación indicadores cualitativosy de impacto que permitan observar los efectos reales en loshábitos y condiciones de vida de las personas beneficiadaspor el proyecto y lo mismo con las fuentes de verificación.

5. Conceder importancia al análisis de los supuestos o factoresexternos que permitan estar alerta y poner medidas para lareformulación, teniendo así mayores garantías en el éxito delproyecto.

6. Incluir metodologías de la economía para la medición de laeficiencia y evaluación financiera del proyecto.

7. Combinar herramientas participativas en la evaluación quepermitan verificar el alcance de los indicadores cualitativosy medir componentes como la eficacia, la sostenibilidad y elimpacto, con carácter eminentemente cualitativo.

8. Organizar el equipo de evaluación según sus capacidades ypotencialidades, de tal forma que el uso de los instrumentossea utilizado según este criterio.

Fuente: GONZÁLEZ, Lara (2000): La evaluación ex-post o de impacto. Unreto para la gestión de proyectos de cooperación internacionalal desarrollo. Cuadernos de trabajo de Hegoa. N.º 29. Bilbao.Septiembre, 2000.

193


desde herramientas de investigación de carácter cuantitativoo cualitativo.

Pero todavía hoy, se mantiene un viejo debate acerca dela conveniencia de realizar el análisis del proyecto (o realidada observar) por medio de métodos cuantitativos que favore-cen la utilización de recursos tecnológicos e investigadoresno implicados personalmente y tratando la realidad como he-chos objetivables; o mediante métodos cualitativos que obtie-nen datos a través de la implicación personal de la personainvestigadora en busca de las particularidades del fenómeno.

En ese sentido, el debate se traslada a la evaluación, don-de la metodología de evaluación desarrollada por ciertosdonantes está basada en técnicas y aspectos cuantitativosdel desarrollo social, mientras que los ejecutores directos deproyectos sociales en países en vías de desarrollo tienenmayor tradición en el uso de herramientas participativas queponen el énfasis en los aspectos cualitativos.

Desde nuestra propuesta, ambas metodologías no tienenporque entenderse como fenómenos excluyentes, sino quepueden ser combinadas en el proceso evaluativo. Es por elloque se tiende a hablar de la aproximación metodológica dedoble propósito (double-purpose methodology) que combi-na los objetivos cualitativos y cuantitativos del desarrollo.Dado que la evaluación del proyecto recoge información dela manera más completa posible, se podrá optar por llegar almáximo número de personas implicadas, buscando la gene-ralidad y la posibilidad de significación estadística de los re-sultados (mediante técnicas cuantitativas); profundizar en laopinión de representantes de esos grupos implicados bus-cando subjetividad en sus opiniones (con técnicas cualitati-vas, como los grupos de discusión), o combinar ambas me-todologías para completar las ausencias de una y de otra.

Si partimos de la pluralidad de la realidad, y de su difi-cultad, a priori, para ser estudiada, necesitamos un modeloepistemológico, teórico y empírico que recoja toda esa va-riedad y pluralidad. En este sentido, frente a la tradicionaldisputa entre las orientaciones metodológicas cuantitativa ycualitativa, que responde a una lógica binaria, excluyente ysimplista (o lo uno o lo otro) que no permite la comprensiónde la complejidad social; optamos por la triangulación.

Nos unimos a la línea de autores como Eduardo Bericat,que afirma que es necesario deconstruir la divisoria cuanti-tativo-cualitativo para observar de nuevo la realidad y tenercomo punto de partida una estrategia, que él denomina es-

194


trategia del compromiso (1998: 14), proponiendo «hacer louno y hacer lo otro», y orientar así el conocimiento socialhacia una lógica de integración en el plano metateórico yen el empírico. Dicha lógica reconoce los méritos de cadamétodo en su respectivo ámbito, y cree posible y fructíferasu combinación complementaria para el estudio de muchosfenómenos sociales.

Por ello, nuestra propuesta es no perpetuar la general dispu-ta epistemológica sobre la imposibilidad de encuentro entre elparadigma positivista o el hermenéutico sobre la observaciónde la realidad, que son los que dan vida a la utilización de lametodología cuantitativa y cualitativa; y recurrir, más bien, a la ló-gica «en uso» que propone Elsy Bonilla (1997), donde en lapráctica investigativa pueden combinarse efectivamente técni-cas evaluativas de corte cuantitativo y cualitativo.

Es lo que se conoce como la triangulación metodológica(Cea’ Dancona, 1999).

Cuadro 67. Tipos de triangulación según Denzin

La triangulación aplicada a la evaluación supone lacombinación de todas estas posibilidades (Cuadro 67):herramientas diversas de índole cualitativa (triangulaciónintra-método), o la posibilidad de combinar herramientasde obtención de informaciones cuantitativas y cualitativas(entre métodos).

La triangulación puede ser de cuatro tipos:

—La triangulación de datos: utilización de varias fuentes deinformación sobre un mismo objeto.

—La triangulación de investigadores: la utilización de equi-pos interdisciplinarios con investigadores de diversas áreasde conocimiento.

—La triangulación teórica: utilización de varias hipótesis yde varias perspectivas y paradigmas de análisis.

—La triangulación metodológica intra-método: combinan-do diversas técnicas de obtención de información dentrode una misma corriente metodológica. Y la triangulaciónentre-métodos: combinando técnicas de la metodologíacuantitativa y cualitativa.

Fuente: DENZIN, N, K. (1978): The research act: A theoretical introduction tosociological methods. 2.ª Edición. Mac Graw Hill. New York, 1978.

195


Cuadro 68. Recomendaciones finales

Para la realización de evaluaciones ex post y la valoración delimpacto se recomienda seguir los siguientes pasos:

1. Establecer y planificar el seguimiento y la evaluación expost desde la planificación del proyecto, tanto para esa pri-mera fase del proyecto como para la ejecución.

2. Realizar un análisis en profundidad de los agentes intervi-nientes en el proyecto (instancias internacionales, naciona-les, locales y representantes de la población beneficiaria), ladisponibilidad para su participación, y los roles y funcionesde cada uno durante la preparación, la implementación y laevaluación del proyecto.

3. Capacitar a los agentes intervinientes sobre la metodologíaescogida para la gestión del proyecto y para la evaluación,prestando especial atención al impacto y a los cambios po-sibles generados.

4. Definir las personas encargadas de realizar el seguimiento, conmiras constantes sobre los efectos generados a lo largo delproyecto, y las que conformarán el equipo evaluativo ex post.

5. Establecer los canales de información necesarios para la retro-alimentación y toma de decisiones a lo largo del proyecto alinterior de la organización ejecutora, la organización ejecuto-ra y la población beneficiaria; y la organización ejecutora ylas otras entidades implicadas (donantes, colaboradoras, etc.).

6. Sistematizar los informes de seguimiento y el informe final,y socializarlos para la toma de decisiones.

7. Fijar fechas pertinentes para la realización de la evaluaciónex post y la configuración del equipo evaluativo (ojalá confuerte participación de la población beneficiaria y con re-presentantes de la organización contraparte y donantecomo meros facilitadores).

8. Analizar la eficacia, pertinencia, eficiencia y sostenibilidad,con el fin de evaluar los resultados esperados del proyecto ysu funcionamiento en sí, en aras de incorporar lo aprendidoen la toma de decisiones futuras.

9. Analizar el impacto del proyecto en la vida de la poblaciónbeneficiaria y en su comportamiento, así como los principa-les cambios observados en el entorno, mediante indicadorescualitativos y herramientas semiestructuradas.

10. Sistematizar e incorporar dichos análisis en la evaluación expost y emitir un informe evaluativo.

Fuente: GONZÁLEZ, Lara (2002): La Evaluación en los proyectos de coopera-ción al desarrollo. Análisis crítico de las principales corrientes eva-luativas desde la óptica del desarrollo humano sostenible. Linea-mientos para un modelo evaluativo integrador. Tesis de Maestría.Universidad de Antioquia. Facultad de Ciencias Sociales y Huma-nas, Medellín, pp. 408-409.

196


La evaluación de programas, en cuanto disciplina aplica-da de las ciencias sociales, exige una formación metodoló-gica plural del equipo evaluador que permita afrontar unasy otras técnicas. La ventaja del equipo evaluador será deter-minar cuáles son las herramientas más pertinentes para losobjetivos y el tipo de actividades realizadas. Así, la tipologíade proyecto, la caracterización de la población beneficiaria,la experiencia de la institución local ejecutora y la agenciadonante tendrán que establecer cuáles son sus prioridadesde análisis (y por ende las variables a valorar) y establecerlas técnicas de recolección de información más ajustadas asus necesidades.

197


3La presentación de los resultados

y los informes de evaluación


En esta tercera y última parte se hace referencia al informede evaluación como medio de comunicación de los resulta-dos del trabajo realizado. La evaluación no finaliza realmentehasta que se elabora el documento base para la discusión yretroalimentación con los grupos involucrados.

A pesar de la importancia de esta fase de la evaluación,no debe confundirse la elaboración de informes de segui-miento y evaluación con la evaluación en sí misma. Comohemos visto en los capítulos anteriores, la evaluación re-quiere ser planeada y diseñada en términos de una investi-gación aplicada, donde se produce información para valorarla intervención en términos de logros.

El informe de evaluación debe ser un documento relati-vamente sencillo que permita a los grupos involucrados enel proyecto y la sociedad en general, acceder a los resulta-dos de la investigación. Actualmente Internet permite unaamplia difusión de los informes de evaluación en el sectorde la cooperación al desarrollo, lo cual avanza en las posi-bilidades de aprender de los avances y errores de otras en-tidades.

Las páginas web de las sociedades de evaluación, las ofi-cinas de planificación de las agencias internacionales y lasredes de evaluación, son de casi de obligatoria consultapara estar al tanto de los avances metodológicos y temáticosfruto de experiencias e investigaciones realizadas.

Este capítulo tiene dos objetivos, establecer algunas ideassobre la elaboración de los informes, y hacer referencia alos formatos de informes que utilizan algunas agencias cer-canas a la cooperación vasca. Así mismo se incluye un lista-do de direcciones web según agentes de cooperación multi-lateral, bilateral y horizontal.

201


3.1. EL INFORME DE EVALUACIÓN

3.1.1. El informe de evaluación como presentación de resultados y lecciones aprendidas

La presentación, discusión y retroalimentación de los re-sultados de la evaluación es una de las fases más importantesde todo el proceso evaluativo. Una vez realizada la investi-gación evaluativa y analizada la información, es necesarioorganizarla en forma de un documento que permita presen-tar los resultados y las ideas principales, de tal modo quepuedan discutirse y retroalimentar la toma de decisiones enel futuro.

Pudiera decirse que la tarea de la evaluación no quedacompleta hasta que no se ha redactado el informe de evalua-ción. En ocasiones, en muchas entidades, se piensa que la rea-lización de los informes de seguimiento y evaluación equivalea realizar seguimiento y evaluación de proyectos y programas.De hecho las entidades que disponen de personal dedicado alseguimiento y la evaluación, muchas veces su actividad secentra en la realización de estos informes y esto no es correc-to. Seguimiento no es igual a informes de seguimiento, lo mis-mo que evaluación no es igual a informes de evaluación.

La realización de la evaluación, tal y como hemos visto alo largo de este manual requiere la preparación de todo unproceso investigativo (ojalá participativo) que finalmente de-riva en un informe o presentación de resultados, que ha te-nido todo un proceso de elaboración desde la organizaciónlocal hasta la internacional. Quizás el punto más importantea tener en cuenta en la redacción de un informe es su fun-ción comunicativa. Presentamos información de forma quelas entidades involucradas (locales, donantes, socias) puedadisponer de ideas suficientes para aprender de lo realizadoy tomar decisiones frente al futuro.

Poner el énfasis de la comunicación en la gente interesa-da (clientes) requiere que se tenga la idea clara sobre el tipopersonas lectoras a quien va dirigido el informe. Cualquieraque sea el auditorio, deben ser consideradas dos ampliascuestiones en la preparación del informe. ¿Qué es lo quedeterminado sector del público quiere o necesita saber acer-ca del estudio? ¿Cómo puede ser presentada esta informa-ción de la mejor forma posible?

Existen formas diversas de presentar los mismos datossegún quién use la información. Por ejemplo, los resultados

202


pueden ser presentados por el personal de la ONG local, laONG internacional, la agencia donante o los propios gru-pos beneficiarios. Parece claro que las maneras de presen-tar de unos y otros serán diferentes (uno más formales queotros y respondiendo seguramente a diferentes intereses).Por ese motivo, es importante que al inicio de la evalua-ción (al realizar los términos de referencia) se hayan con-cretado quienes son los clientes principales y quienes sonlos responsables de presentar el informe: si la evaluación lasolicitó la agencia donante del proyecto, con qué propósi-to, si se realiza con fines de medir el impacto y sacaraprendizaje del proyecto, o se pretenden tomar decisionesen torno a la continuación o finalización del mismo. Encualquier caso, es recomendable que al comienzo de la re-colección de la información estén claros sus objetivos decara a orientar el proceso y la presentación de sus principa-les hallazgos.

Cuadro 69. Algunas recomendaciones en la preparación del informe evaluativo

1. Realizar un informe no demasiado extenso (40-60 páginas).

2. La redacción debe ser sencilla, compresible y evitando pala-bras técnicas y frases demasiado largas.

3. Esquematizar ideas principales, subrayados, cuadros de tex-tos, gráficas, tablas, etc.

4. Poner de manifiesto los métodos utilizados, tanto en la reco-lección de la información como en su análisis.

5. Si está disponible utilizar ordenador y sus posibilidades(Word para la redacción, Excel para datos contables y Gra-phics para realizar cuadros, tablas y gráficos).

6. Presentar el informe a tiempo real, no demorarse mucho tiem-po para que los datos sean recientes.

7. Si existen formatos propios de las agencias donantes utilizar-los como base para la presentación.


203


Cuadro 70. Informe de una evaluación ‘ex post’

PARTES

1. PORTADA

2. ÍNDICE DE CONTENIDOS

3. RESUMEN EJECUTIVO

4. INTRODUCCIÓN

5. RESULTADOS

6. CONCLUSIONES Y RECOMENDACIONES

7. BIBLIOGRAFÍA

8. ANEXOS

CONTENIDO

— Título del proyecto— Localización del proyecto— Nombres del equipo evaluador— Nombre de la ONG, agencias, organismos

vinculados al proyecto— Fechas del proyecto— Fechas de la evaluación— Fecha del informe evaluativo

— Contenido del informe— Numeración del contenido

— Resumen del informe, incluye objetivos deevaluación, métodos utilizados, resultados,recomendaciones y conclusiones generales

— No más de 5-10 páginas

— Antecedentes del proyecto (orígenes, gru-pos implicados, historia, etc.)

— Términos de referencia de la evaluación:objetivos, equipo evaluador, metodología,cronograma, presupuesto, etc.

— Problemas encontrados

— Análisis y presentación de resultados— Componentes de evaluación (áreas evalua-

das)— Complementos, gráficas, tablas, etc.— Criterios de evaluación: eficacia, eficiencia,

pertinencia, viabilidad e impacto

— Principales conclusiones del análisis (lec-ciones aprendidas)

— Recomendaciones para el futuro— Listado de decisiones que se necesita tomar

— Fuentes y documentación consultada sobreel proyecto o programa

— Libros consultados

— Personas entrevistadas— Datos del trabajo de campo— Check lists— Cuestionarios— Datos estadísticos— etc.


204


Algunos manuales de evaluación recomiendan que laredacción del informe comience tan pronto como sea po-sible durante el trabajo de campo (NORAD, 1997; Rubin,1995). La presentación de los datos en el informe puedeser una combinación de tablas, gráficos, datos numéricos ysu comentario literario. Algunos tipos de gráficos, diagra-mas y pictogramas pueden encontrarse en los anexos delinforme.

En ocasiones, son las propias agencias de financiaciónlas que exigen que el informe evaluativo tenga una determi-nada estructura organizativa y de presentación. En tal caso,la evaluación y su informe deberán realizarse acorde condicho formulario. Pero, en otros casos, es el propio equipoevaluativo el que elabora el informe con base en los crite-rios propios de evaluación. En cualquiera de los casos, uninforme de evaluación ex post se compone de las siguientespreguntas (incluidas en el Cuadro 70).

3.1.2. Algunos informes de agencias internacionales

Es común que las agencias internacionales que partici-pan en la cooperación al desarrollo, dispongan de sus pro-pios formatos para la gestión de los mismos (formulación,contrato, solicitud de modificaciones, etc.). En la misma lí-nea, cada vez con más frecuencia elaboran formatos para lapresentación de informes de seguimiento, finales o de eva-luación ex post. Estos últimos gozan de mayor apertura quelos anteriores, dado que en la mayoría de los casos se sub-contratan consultoras externas para su elaboración. Las em-presas consultoras disponen de ciertos esquemas de trabajomás global, que presentan a las organizaciones que solicitanun trabajo de evaluación. Por ello, es difícil encontrar for-matos cerrados sobre el tema. A pesar de eso, y siguiendo elesquema anterior (Cuadro 70), seis son los ejes principalesde un informe de evaluación ex post:

—Datos sobre el proyecto evaluado.

—Términos de Referencia planteados en su diseño.

—Análisis de los resultados de la evaluación (eficacia,eficiencia, pertinencia, sostenibilidad e impacto).

—Lecciones aprendidas.

—Recomendaciones para el futuro.

—Bibliografía (documentación secundaria) y anexos.

205


Por otro lado, los esquemas principales de los informesde fin de proyecto, o informes finales (que suelen ser exigi-dos por los donantes) se detienen en elementos más concre-tos de la intervención:

—Datos sobre el proyecto.

—Seguimiento técnico (indicadores de logro de resulta-dos y objetivos).

—Seguimiento financiero (traslado de fondos, justifica-ción, facturas).

—Valoraciones de fin de proyecto (transferencia a la po-blación).

Veamos a continuación algunos formatos para informesde seguimiento y finales de agencias cercanas a la coopera-ción vasca gubernamental y no gubernamental (C.A.P.V, Es-tado español y Europa), para observar sus diferencias y plan-teamientos.

3.1.2.1. Informes de seguimiento/evaluación del GobiernoVasco para proyectos con cargo al FOCAD

En el caso del informe de seguimiento de proyectos y pro-gramas con cargo al FOCAD, podemos observar que se tratade un único formato para todas las líneas de financiación deesta agencia local. Los informes de proyectos, como los pro-gramas de cooperación se presentan con el mismo formato,que además, es el mismo para seguimiento (evaluación du-rante) que para la evaluación final de proyecto.

El informe se divide en cuatro partes:

— Información general sobre el proyecto: datos de la en-tidad solicitante (ONG del Norte), datos de la entidadlocal (ONG del Sur) y datos generales sobre el proyec-to evaluado (resumen, presupuesto, etc.)

—Seguimiento técnico: consiste en la presentación delos logros del proyecto en cuanto a su desarrollo engeneral, como en desglose de sus indicadores de lamatriz de planificación con base a los resultados yobjetivos, y el logro de las actividades. También se in-cluye una revisión de las modificaciones o cambiosdurante la ejecución (actividades, presupuesto, crono-grama).

—Seguimiento financiero: Se solicita el resumen cambia-rio de los fondos transferidos por subvención, la rela-

206


ción de gastos imputados a la subvención del GV porperiodo y global, el resumen del estado de la subven-ción del GV, la relación de gasto imputados al proyec-to, el registro de facturas imputadas al GV, y el registrode facturas imputadas a otros donantes

—Valoración global de la intervención: eficacia (logrode objetivos, resultados, etc.), viabilidad e impacto.Efectos medioambientales, de género, etc.

Los documentos, bien sean de seguimiento (relativos alperiodo que corresponda) o bien sean de evaluación finaldeben estar firmados para tener validez.

207


209


210


211


212


213


214


215


216


217


218


219


220


221


3.1.2.2. Informe de evaluación de la Agencia Española de Cooperación Internacional (AECI)

El informe que presentamos a continuación, es el que serequiere para la finalización de un proyecto subvencionadoa las ONGD. Para otras líneas de la cooperación españolase usan otros, pero los ejes son comunes.

Este informe otorga gran importancia al avance y desglo-se de presupuesto, y su relación con los resultados de lo-gro. Este informe conlleva un desarrollo pormenorizado decada acción y su gasto, por lo que requiere de un esfuerzocontable.

El informe final consta de 7 apartados:

—Datos generales: datos de la ONG, socios, códigos, etc.

—Descripción resumida del proyecto: descripción delcontexto y la problemática inicial y la lógica de inter-vención.

— Informe de ejecución: actividades, resultados e indica-dores y desarrollo del cronograma.

—Memoria económica del proyecto: presupuesto por finan-ciadotes, cambios de divisas, relación de gastos del pro-yecto, estado de tesorería del proyecto y listado de com-probantes justificativos.

—Valoración de la ejecución, desviaciones y recomen-daciones: en este caso se hace una valoración técnicadel proyecto, una valoración global y se incluyen los5 criterios de evaluación de la OCDE.

—Entrega final del proyecto: como ha finalizado el pro-yecto, la receptividad de los socios locales y la pobla-ción, y la visibilidad.

—Fecha, autor y firma.

—Relación de anexos.

222


223


224


225


226


227


228


229


230


231


232


233


3.1.2.3. Informe de evaluación final de una intervenciónhumanitaria europea (ECHO)

La agencia de Cooperación de la Unión Europea (Euro-peaid), no tiene, hasta la fecha, un formato oficial para el se-guimiento y la evaluación de proyectos financiados bajos suslíneas principales (B7-6000-ONG, B7-6002-descentralizada,B7-6200-medio ambiente y bosques tropicales, B7-70-DDHHy democracia, etc.). A pesar de ello, Europeaid en su manualsobre evaluación (2001) establece algunas pautas o ítems quedeben ser respondidos por las consultoras externas y sugieretener en cuenta el formato estándar del CAD para los resúme-nes de evaluación (Cuadro 71 y Cuadro 72).

No ocurre lo mismo con la Oficina de Ayuda Humanita-ria (ECHO) de Europeaid que sí dispone de formatos paralos informes parciales (mensuales y trimestrales), y de finalesde una intervención humanitaria.

Los formatos son relativamente sencillos y no incluyenun formato financiero. El mismo presupuesto y su formatooriginal se utiliza como informe de ejecución final.

El esquema de un informe final de presentación a ECHOse basa en los siguientes puntos:

— Información general: datos de inicio, periodo, etc.

—Descripción de la operación: población beneficiaria ytipo de intervención.

—Descripción de la implementación de la operación:objetivos, resultados, actividades desde la valoraciónde los indicadores, y dificultades encontradas.

—Detalle de la operación: monitoreo, evaluación, audi-toría, estudios de factibilidad, visibilidad u otros docu-mentos existentes.

—Aspectos financieros: desarrollo del presupuesto y co-financiación si la hubiera.

—Conclusiones.

234


235


236


237


238


239


240


Cuadro 71. Pautas para la elaboración de un informe de evaluación de EuropeAid

Las principales secciones de un informe de evaluación deintervenciones de Europeaid son:

1. Resumen ejecutivo: un resumen de no más de 5 páginasque rescate los elementos principales de la evaluación,sus objetivos, resultados y que indique las principalesconclusiones ligadas a las lecciones aprendidas y las re-comendaciones.

2. Texto principal: Debe comenzar con una introducciónque describa el proyecto o programa evaluado y despuésmostrar los objetivos de la evaluación. El eje central debegirar en torno a los cinco criterios de la OCDE y asumi-dos por Europeaid, eficacia, eficiencia, pertinencia, soste-nibilidad e impacto comentando las preguntas clave rela-tivas a cada criterio.

3. Conclusiones y recomendaciones: Lo ideal es dedicar unapartado importante para las lecciones aprendidas y lasrecomendaciones. Europeaid recomienda formular una re-comendación para cada lección aprendida y en la líneade los cinco criterios anteriormente analizados. El valorúltimo de una evaluación reside en la calidad y credibili-dad de las recomendaciones. Estas deben ser realistas,operativas y prácticas según el contexto de cada proyecto.

4. Anexos: los informes suelen incluir algunos anexos:

—Términos de referencia.

—El nombre de las personas evaluadoras y su compañía(CV resumido incluido).

—Metodología de la investigación (fases, herramientas,etc.).

—Matrices de marco lógico (originales y mejoradas).

—Mapas del área (si es pertinente).

—Lista de personas consultadas.

—Literatura consultada.

—Otros anexos técnicos.

—Hoja resumen de la evaluación en términos del CAD(Cuadro 72).

Fuente: Traducción libre de COMMISSION OF THE EUROPEAN COMMUNITIES

(2001): Evaluation in the European Commission. A guide toevaluation procedures and structures currently operational inthe Commission`s external cooperation programmes. GeneralAffairs. Evaluation. EuropeAid Co-operation Office, Brussels,pp. 16-17.

241


Cuadro 72. Formato estándar del CAD para los resúmenes de informes de evaluación

Fuente: COMMISSION OF THE EUROPEAN COMMUNITIES (2001): Evaluationin the European Commission. A guide to evaluation procedu-res and structures currently operational in the Commission`sexternal cooperation programmes. General Affairs. Evalua-tion. EuropeAid Co-operation Office, Brussels, p. 20.

242


3.2. LA SOCIALIZACIÓN DE RESULTADOS Y LA TOMA DE DECISIONES

3.2.1. La retroalimentación y toma de decisiones

Algunas experiencias europeas en evaluación señalan laimportancia del debate y contraste de los resultados de laevaluación con las partes implicadas, de tal modo que ten-gan la posibilidad de hacer comentarios en un tiempo limita-do antes del cierre del informe de evaluación. Normalmente,estas consultas se concentran en las conclusiones y reco-mendaciones de la evaluación, y pueden realizarse organi-zando un seminario taller en los que participen el equipoevaluativo y representantes de las partes implicadas (gruposbeneficiarios, organismos locales, agencias, departamentosgubernamentales afectados, etc.).

Las principales conclusiones del encuentro pueden serrecogidas por el equipo evaluador e integradas en el infor-me. En ocasiones, el miedo al conflicto de intereses o visio-nes opuestas conlleva a que no se realicen estas rondas deconsultas, pero es preferible anotar dichas discrepancias enel informe (si las hubiera) que una ausencia de comunica-ción y debate de los resultados. Además, si se pretende re-troalimentar el proceso y tomar decisiones en torno al pro-yecto, es importante hacer partícipes de los resultados de laevaluación a todas las partes implicadas.

Otra manera de compartir los resultados a nivel más am-plio es distribuir entre otras ONG, agencias, etc. el resumenejecutivo para que las enseñanzas aprendidas puedan ha-cerse extensibles a otras experiencias. Algunos organismos,como la Agencia Española de Cooperación Internacional(AECI), realizan pequeñas publicaciones para ser distribui-das. Otras formas de comunicación de muchas agencias in-ternacionales son la realización de informes anuales que re-cojan las enseñanzas de varios proyectos y la integración delas conclusiones en bases de información. En los últimosaños han cobrado mucha importancia las redes de evalua-ción y los grupos de discusión por Internet.

Una vez asimilados los resultados que la evaluación haarrojado, es importante decidir cómo van a utilizarse los re-sultados y cómo van a ponerse en marcha las recomenda-ciones. El trabajo de evaluación ha supuesto, en la mayoríade los casos, un esfuerzo importante en términos econó-micos, temporales y humanos, y lo más importante es su uti-lización. Por ello, hace falta dedicar un último esfuerzo en

243


retroalimentar las lecciones aprendidas para futuras interven-ciones, o para tomar decisiones sobre si continuar con unafase II del proyecto, replicarlo en otra parte, o finalizarlo.

Cuadro 73. Difusión de las lecciones aprendidas

Así lo pone de manifiesto el CAD, cuando señala que:

Los resultados deben ser comunicados de manera sistemática,condición indispensable para mejorar la planificación y la reali-zación de las actividades de la ayuda al desarrollo. (...) La retroac-ción es un componente esencial del proceso de evaluación, yaque crea una conexión entre las actividades pasadas y futuras.Para asegurar que los resultados de las evaluaciones sean explota-dos en el desarrollo de las grandes líneas de acción y programasfuturos, es absolutamente necesario establecer mecanismos de re-troacción en los que intervengan todas las partes interesadas. Estoincluye medidas tales como la constitución de seminarios y talle-res, la creación de sistemas automatizados, la adopción de proce-dimientos para la elaboración de informes y las acciones de segui-miento. Los medios informales pueden consistir en establecerunas redes y unas líneas de comunicación internas para la difu-sión de las ideas y de la información. Para ser efectivos, los meca-nismos de retroacción deben estar dotados de los medios huma-nos y financieros necesarios y recibir el apoyo de la alta direccióny de otros actores implicados (OCDE-CAD, 1995: 187).

La evaluación es un trabajo complejo que requiere ho-nestidad en la interpretación de los resultados para poderlo

1. RESUMENES/SUMARIOS: descripción del proyecto o activi-dad, con conclusiones y recomendaciones.

2. BIBLIOGRAFÍAS: inventarios anuales de fuentes, bibliogra-fías breves o directorios de informes de evaluación.

3. INFORMES ANUALES: resumen de las actividades anualessubrayando la experiencia adquirida.

4. INFORMES TEMÁTICOS: presentación de temas o sectores,con ejemplos de evaluaciones y estudios específicos.

5. SEMINARIOS: presentación y discusión de resultados; tam-bién posiblemente planificación del trabajo de evaluación.

6. SISTEMAS AUTOMATIZADOS: resumen de la experiencia yrecomendaciones mediante búsqueda directa del sector,tema, etc.

Fuente: IUDC-NORAD (1997): Evaluación de proyectos de ayuda al desa-rrollo. Manual para evaluadores y gestores. IUDC/CEDEAL/NORAD,Madrid, p. 121.

244


utilizar de manera óptima. Esto no es siempre fácil. Una vezpresentado el informe y difundir sus resultados, se puedendar varios escenarios:

—El informe se socializa al interior de la organización conel objeto de tomar en cuenta las lecciones aprendidas eincorporar los aprendizajes a la gestión organizacional.

—El informe se socializa con las entidades socias a nivellocal de modo que se establecen correctivos para otrasintervenciones similares.

—El informe y sus resultados se socializan a nivel interna-cional difundiéndolos desde la entidad donante por me-dio de publicaciones, Internet o encuentros sectoriales.

El objetivo de las recomendaciones de la evaluación esque transciendan al mayor número de personas interesadasposibles, buscando minimizar los errores del sector de tra-bajo y difundiendo los efectos positivos de una manera de-terminada de actuar. Es lo que algunos autores han llamadoscaling up19. Tratar de llevar a escala (tanto en ampliaciónde cobertura como réplica en otras localidades, o comoincidencia en políticas públicas) los efectos de proyectosque han sido exitosos en un sector y aplicarlos a otras áreasy países adecuándose a cada contexto.

El fin último de una evaluación ex post no busca tantovalorar el desarrollo de las actividades o enjuiciar el detallede la intervención, sino establecer los niveles de eficacia delmismo, y sobre todo, de impacto a nivel societal (social,económico, político, cultural, etc.) y la capacidad de la po-blación de mantener esos beneficios una vez que la ayudaexterna se retira (sostenibilidad).

3.2.2. Evaluación en Internet y Redes de evaluación

La difusión de la evaluación en sentido tradicional haquedado atrás con el siglo XX. En la actualidad, son muchaslas agencias de desarrollo, y las organizaciones interna-cionales, en general, que cuelgan de Internet sus informesde evaluación, debates sobre el tema, guías o recomenda-ciones de un sector o país.

245

19 Concepto desarrollado en GOLOMBEK, S.B. (2001): Llevar a escala. En-foques y Estrategias para ampliar el impacto de programas de participacióny empleo juvenil. Taller Regional Red Internacional Youth Foundation.Marzo 10-14 de 2001. Medellín, Colombia.


A continuación, se incluye una lista actualizada de direc-ciones web de entidades que publican con cierta periodici-dad informes o documentos relevantes sobre Evaluación20.

Cuadro 74. Lista de direcciones web según agentes de cooperación

Organización para la Cooperación y el Desarrollo económico- OCDE

http://www.oecd.org/home/

Independent Evaluation Office (IEO)- Fondo Monetario Internacional (FMI).

www.imf.org/external/no/ieo/index.html

Oficina de Evaluación del Banco asiático de Desarrollo http://peo.asiandeubank.org

Operations evaluation Department - Grupo Banco Mundial www.worldbank.org/oed

Departamento de operaciones de evaluación http://www.worldbank.org/html.oed/index.htm)

African Development Bank (BADF) www.afdb.org

Operations Evaluation an Audit Office (AEO) of Islamic Development Bank- IDB

http://www.isdb.org/english_docs/idb_home/OEO1_1.htm

European Bank for Reconstruction and Development www.ebrd.com/opera/

The European Investment Bank http://www.eib.org/about/struct/services/ev_info.htm)

Oficina de Evaluación del Banco Interamericano de Desarrollo (BID)

www.iabd.org/cont/evo/evo_esp.htm

Organization of American States (OAS) www.oas.org

Naciones Unidas – UN office of Internal Oversight services (OIOS)

http://www.un.org/Depts/oios/report&pub.htm

Organización de NNNUU para la alimentación y la agricultura- FAO

www.fao.org

Plan de Acción y Participación Popular en el Desarrollo Rural

http://www.fao.org/sd/Ppdirect/Ppre0003.htm

Seguimiento y Evaluación de proyectos participativos de nutrición

http://www.fao.org/docrep/v1490e/v1490e05.htm

Oficina de Evaluación y Estudios de FIDA (Fondo Internacional de Desarrollo Agrícola):

www.ifad.org/ifadeval/

Oficina de Evaluación del PNUD www.undp.org/eo/

UNEP www.unep.org

Oficina de Programación y Evaluación de la UNESCO www.unesco.org/bpe/bpe_en/index.htm

AGENCIAS DE COOPERACIÓN MULTILATERAL

(Agencias financieras y no financieras de Naciones Unidas)

246

20 Fuente: GONZÁLEZ, Lara (2003): Estudio sobre Experiencias Interna-cionales de Evaluación. Sector Desarrollo Rural Integrado y Fomento de lasActividades agropecuarias. OPE y HEGOA, Bilbao.


Research and Evaluation: Division of Evaluation, Policy and Planning (EPP)-UNICEF

www.unicef.org/reseval

UNHCR’s Evaluation and Policy Analysis Unit (EPAU): www.unhcr.org http://www.unhcr.ch/evaluate/main.htm

Unidad de Evaluación de Evaluación de la OIT: y Base de datos sobre evaluaciones-PROGEVAL

http://ilo.org/public/english/bureau/program/eval

The UNFPA Office of Oversight and Evaluation ht htp://www.unfpa.org/publications/evaluation/index.htm

AGENCIAS DE COOPERACIÓN BILATERAL

(Agencias internacionales de países miembros del grupo de evaluación del comité de ayuda al desarrollo)

Comisión Europeawww.europa.eu.int/comm/europeaid/evaluation

Oficina de Humanitaria de la Comunidad Europea (ECHO)

Alemania (BMZ y GTZ)www.gtz.de/home/englishwww.http://www.bmz.de

Agencia Suiza para el Desarrollo y la Cooperación www.sdc-gov.ch

Departamento para la Cooperación Internacional al Desarrollo de Finlandia (FINNIDA)

http://global.finland.fi./english/facts/evaluation/index.html

Agencia Francesa de Desarrollo: Apartado de evaluación: http://www.afd.fr/procedures/evaluation_retrospective_1.cfm

Agencia Canadiense de Desarrollo Internacional (CIDA) www.ACDI-cida.gc.ca

Dinamarca (DANIDA) Unidad de Evaluación www.um.dk/danida

Australia- (AUSAID) www.ausaid.gov.au/publications/evaluation

Unidad de evaluación y auditoria del Área de Cooperación www. irlgov.ieInternacional del Departamento de Asuntos ExterioresIrlanda http://foreignaffairs.gov.ie/default.htm

Evaluación de proyectos en la Agencia de Cooperación Japonesa (JICA)

www. jica.go.jp

El Departamento de Evaluación de Políticas y Operaciones www.euforic.org/iob/en/index.html

de los Países Bajos (IOB) http://www.bz.minbuza.nl/

Luxemburgo http://www.lux-development.lu/e/home.htm

Cooperación Belga para el Desarrollo-DGCD http://www.dgdc.be/

Noruega (NORAD www. odin.dep.no/ud(ODIN) http://www.norad.no/default.asp?V_DOC_ID=244

Departamento de Evaluación y Auditoria Interna (UTV) de www.ud.se/english/index.htm Suecia (SIDA) www.sida.se/evaluations

Evaluación de proyectos en Reino Unido (DFID) www.dfid.gov.ik./public

Agencia Internacional de los Estados Unidos para el Desarrollo (USAID)

(www.info.usaid.gov),

CDIE http://www.dec.org/usaid_eval/)

España (AECI)www.mae.eswww.aeci.es

Instituto Portugués de Desarrollo ( IPAD) http://www.ipad.mne.gov.pt/

Cooperación Italiana http://www.esteri.it/eng/foreignpol/coop/index.htm

Nueva Zelanda (NZAID) http://www.nzaid.govt.nz/

247


IUED- Instituto Universitario de Estudios sobre Desarrollo en Suiza www.unige.ch/iued/biblio).

Comité de Enlace de las ONGD ante la UE- www.oneworld.org/liaison

Network Women in Development Europe- WIDE (www.eurosur.org/wide)

Agricultural Research for Development in Switzerland www.sfiar.infoagrar.ch

International Agricultural Centre (IAC)- http://IAC.Wageningen-ur.n

EUFORIC- Plataforma de Debate e información sobre Cooperación Internacional Europea

www.euforic.org

Instituto de Estudios para el Desarrollo- IDS www.ids.ac.uk

REDIAL- Red Europea de Información y Documentación sobre América Latina

http://www.red-redial.org

European Asociation of Development Research and Training Institutes EADI www.eadi.org

ELDIS www.eldis.orghttp://nt1.ids.ac.uk/eldis

World watch www.nodo50.org/worldwatch

The Ecologist www.ecologist.com

Evaluation: The International Journal of Theory, Research http://www.sagepub.co.uk/frame.html,

and Practice http://www.sagepub.co.uk/journals/details/jc0137.html

Appropriate Rural Technology Institute (ARTI) www.reserchinformation.co.uk

The Centre for Program evaluation http://www.edfac.unimelb.edu.au./cpe/cpe.html)

INTERACTION www.interaction.org.evaluation/tips.html

International Development Research Centre- IDRC www.idr.ca/evaluation

Instituto Interamericano de Cooperación y Agricultura-IICA http://www.iica.ac.cr

American Evaluation Assotiation – AEA www.eval.org

Applied Survey Research www.appliedsurveyresearch.org/evaluations.htm

Evaluation Associates Ltd - www.evaluation.co.uk/evaluation/ how to evaluate.html

The joint Committee on Standards for Educational Evaluation www.vmich.edu/evalctc/jc

Bill Trochim’s Center for Social Research Methods- http://trochim.human.cornell.edu/

University of Wisconsin Program Development and Evaluation

www.uwex.edu/ces/pdande/Evaluation/evaluat.htm

Manavodaya Institute of Participatory Development www.u-fondet.no/engelsk/org/mana.html

International Institute for Sustainable Development-IISD www.iisd1.iisd.ca

Overseas Development Institute- ODI www.oneworld.org/odi

Research Institute of Development and Assistance-RIDA http://www.jbic.go.jp/english/research/index.html

The evaluator’s Institute http://www.evaluatorinstitute.com

AGENCIAS DE COOPERACIÓN HORIZONTAL

(Universidades, institutos, foros, redes, ONG, revistas internacionales, ligados al desarrollo y/o la evaluación)

248


Programa Latinoamericano de Apoyo a la Sistematización de la Red ALFORJA

www.alforja.or.cr/sistem

ALNAP- Evaluating reports database www.alnap.org/database.html

MANDE http://www.mande.co.uk/reports.htm

PREVAL (Sociedad de América Latina y el Caribe) http:// www.fidamerica. cl/ preval.html

RIADEL / Red de Investigación y Acción en Desarrollo Local www. riadel.cl

The international Institute for Enviroment and Development-IIED

www.earthprint.com

RURAL- ICT-DEV: Lista de discusión sobre desarrollo rural tecnologías de información y comunicación

http://tdg.uoguelph.ca/res

THINK TANK on evaluation cooperation. www.oneworld.thinktank/index.html

Canadian Evaluation Society www.evaluationcanada.ca/

The European Evaluation Society- EES www.europeanevaluation.org/

Evaluation Cooperation Group – ECG http://www.ecgnet.org/

Asociación Francesa de Evaluación http://www.sfe.asso.fr/

German Evaluation Society- www.degeval.de

Malaysian Evaluation Society (Persatuan Penilaian Malaysia) http://www.angelfire.com/ab/mes/

Sri Lanka Evaluation Association http://www.nsf.ac.lk/slea/

The UK Evaluation Society http://www.evaluation.org.uk/

The International Development Research Centre- IDRC www.idrc.ca/index_e.html

Latin American Network Information Center (LANIC) www.info.lanic.utexas.edu/

Sociedad europea de evaluación www.europeanevaluation.org

Sociedad italiana de evaluación www.valutazione.it

249


Bibliografía citada


AGENCIA COLOMBIANA DE COOPERACIÓN INTERNACIONAL-ACCI y AGENCIA

TÉCNICA DE COOPERACIÓN ALEMANA-GTZ (2000): Igualdad de géne-ro en la cooperación para el desarrollo. Recomendaciones de losdonantes para los proyectos. ACCI-Proequidad/GTZ, Bogotá.

AGENCIA CANADIENSE DE DESARROLLO INTERNACIONAL-ACDI/Servicionacional de la mujer de Chile-SERNAM (1996): Manual paraproyectos de género. Guía para utilizar indicadores de género.ACDI, Santiago de Chile.

AGENCIA NORUEGA DE DESARROLLO-NORAD (1994): EML: El enfoque delmarco lógico. Manual para la planificación de proyectos orientadamediante objetivos. Instituto de desarrollo y cooperación IUDC.Universidad Complutense de Madrid. CEDEAL, Madrid.— (1997): Evaluación de proyectos de ayuda al desarrollo. Ma-

nual para evaluadores y gestores. Instituto de desarrollo ycooperación IUDC. Universidad Complutense de Madrid.CEDEAL, Madrid.

— (2000): Handbook in gender and empowerment assessment.Women and men. Norway. RKG AS, Oslo.

AGUILAR, M.J. y ANDER-EGG, E. (1994): Evaluación de servicios yprogramas sociales. Editorial Lumen, Buenos Aires.

ÁLVAREZ CÁCERES, R. (1995): Estadística multivariante y no paramé-trica con SPSS. Editorial Diaz de Santos SA, Madrid.

ALVIRA, F. (1991): Metodología de la evaluación de programas.Cuadernos metodológicos del CIS N.º 2. Madrid.— (1997): Metodología de la evaluación de programas: Un en-

foque práctico. Colección política, servicios y trabajo social.Editorial Lumen/Humanitas, Buenos Aires.

ANDER-EGG, E. (1991): Técnicas de investigación social. Ateneo,México.

BANCO INTERAMERICANO DE DESARROLLO BID (1997): Evaluación, unaherramienta de gestión para mejorar el desempeño de los pro-yectos. Oficina de evaluación-EVO. En: www.iadb.org.

BEAUDOUX, Etienne y otros (1992): Guía metodológica de apoyo aproyectos y acciones para el desarrollo. De la identificación ala evaluación. IEPALA, Madrid.

253


BONILLA-CASTRO, E. y RODRÍGUEZ SEHK, P. (1995): La investigación enciencias sociales. Más allá del dilema de los métodos. CEDE. Fa-cultad de Economía-Universidad de los Andes, Bogotá.

BONNEFOY, J.C. (2003): Los indicadores de evaluación de desempe-ño. Una herramienta para la gestión por resultados en AméricaLatina. Boletín n.º 13. ILPES, Chile.

BUSTELO, M.ª (1999): «Diferencias entre evaluación e investigación:una distinción necesaria para la identidad de la evaluación deprogramas» en Revista española de desarrollo y cooperación.N.º 4. IUDC, Madrid.

CAD-OCDE (1995): Manual de la ayuda al desarrollo. Principiosdel CAD para una ayuda eficaz. OCDE-Mundi Prensa,Madrid.

CASLEY, Dennis J. y KUMAR, Krishna (1990a): Seguimiento y evalua-ción de proyectos en agricultura. Estudio del Banco Mundial,Fondo Internacional de Desarrollo Agrario y la Organizaciónde las Naciones Unidas para la Agricultura y la Alimentación.Ediciones Mundi-Prensa y Banco Mundial, Madrid.— (1990b): Recopilación, análisis y uso de los datos de segui-

miento y evaluación. Estudio del Banco Mundial, Fondo In-ternacional de Desarrollo Agrario y la Organización de lasNaciones Unidas para la Agricultura y la Alimentación. Edi-ciones Mundi-Prensa y Banco Mundial, Madrid.

CASTRO, R. y MOKATE, K. (1998): Evaluación económica y social de pro-yectos de inversión. Universidad de los Andes. Facultad de Econo-mía. CEDE-BID, Sta Fe de Bogotá.

CEA D’ANCONA, María (1999): Metodología cuantitativa: estrategiasy técnicas en investigación social. Editorial Síntesis, Madrid.

CEAAL (1992): ¿Y cómo lo hace? Propuesta de un método de siste-matización. Taller permanente de sistematización CEEAL Perú,Lima.

CEMPRO (2001): Diseño de proyectos. Guía didáctica. Perú. Enwww.cempro.org.

CERDA GUTIÉRREZ, H. (1994): La investigación total. La unidad meto-dológica en la investigación científica. Ed. Magisterio, Santa Fede Bogotá.— (2000): La evaluación como experiencia total. Logros-objeti-

vos-procesos competencias y desempeño. Ed. Magisterio,Santa Fe de Bogotá.

CHAMBERS, Rober (1997): Whose reality counts? Putting the first last.Intermediate Technology Publications, London.

COHEN, Ernesto y FRANCO, Rolando (1997): Evaluación de proyec-tos sociales. Cuarta edición en español. Editorial Siglo Veintiu-no, México.

COMISIÓN DE LAS COMUNIDADES EUROPEAS-CCE (1993): Gestión del ci-clo de un proyecto. Enfoque integrado y marco lógico. Seriemétodos e instrumentos para la gestión del ciclo de un proyec-to n.º 1, Bruselas.

COMMISSION OF THE EUROPEAN COMMUNITIES (2001): Evaluation in theEuropean Commission. A guide to evaluation procedures andstructures currently operational in the Commission’s externalco-operation programmes. General Affairs. Evaluation. EuropeAidCo-operation Office, Brussels.

254


COOK, T. y REICHARDT, CH. (1986): Métodos cualitativos y cuanti-tativos en investigación evaluativa. Morate, España.

CORNWALL, A., y otros (1993): Aknowledging process. Challenges foragricultural research and extension methodology. Discussionpaper n.º 333. Institute of Development Studies, Brighton.

CRACKNELL, and others (1994): 1993 ex post evaluation of the Zam-bia-Finland practical subjects project for upper primacy schoolsin Zambia 1974-1990. FINNIDA, Helsinki.

CRUZ ROJA ESPAÑOLA (1997): Cooperación internacional. Delegadosde proyectos de cooperación internacional. Manual delalumno. Formación especializada para el voluntariado de laCRE. Madrid.

DE ASIS, A. y otros (2003): Manual de ayuda para la gestión de enti-dades no lucrativas. Fundación Luis Vives, Madrid.

DEPARTMENT FOR INTERNATIONAL DEVELOPMENT-DFID (2002): Tools fordevelopment. A handbook for those engaged in developmentactivities. Performance and effectiveness department. DFID,London.

DENZIN, N, K. (1978): The research act: A theoretical introduction tosociological methods. 2.ª Edición. Mac Graw Hill, New York.

DIXELIUS y otros (2001): Rural development and democratisation inRussia and Estonia. SIDA - Department for Central and EasternEurope n.º 2000- 004386.

EADE, D. and WILIAMS, S. (1995): The Oxfam handbook of develop-ment and relief. Volume I. An Oxfam Publication, London.

ESTRELLA, M. y GAVENTA, J. (1998): Who counts reality? Participatorymonitoring and evaluation: A literature review. Working PaperN.º 70. Institute of Development Studies-IDS, Sussex University,Brighton.

ESPINOZA, Mario (1983): Evaluación de proyectos sociales. EditorialHumanitas, Buenos Aries.

EUROPEAN COMISSION (2001): Manual proyect cycle management.Evaluation unit of Europeaid Co-operation Office, Brussels.

EUROPEAN COMMUNITY HUMANITARIAN OFFICE-ECHO (1998): Manual forevaluation of humanitarian aid. Evaluation Unit. ECHO, Brussels.

EVERITT, Angela y HARDIKER, Pauline (1995): Evaluating for goodpractice. Mac Millan.

FERNÁNDEZ-BALLESTEROS, Rocío (editora) (1995): Evaluación de pro-gramas. Una guía práctica en ámbitos sociales, educativos y desalud. Editorial Síntesis, Madrid.

FETTERMAN, David M. y otros (Editors) (1995): Empowerment eva-luation. Knowledge and tools for self- assessment and accoun-tability. Sage Publications, California.

FEUERSTEIN, M. T. (1986): Partners in evaluation. Evaluating deve-lopment and community programmes with participants. MacMillan, Hong Kong.

FRANCKE, M. y MORGAN, M. (1995): La sistematización: apuesta porla generación de conocimientos a partir de las experiencias depromoción. Escuela para el desarrollo materiales didácticos n.º 1.En http://www.alforja.or.cr/sistem/biblio.html.

GOLOMBEK, S.B. (2001): Llevar a escala. Enfoques y estrategias paraampliar el impacto de programas de participación y empleo ju-

255


venil. Taller regional Red internacional Youth Foundation. Mar-zo 10-14 de 2001. Medellín, Colombia.

GOMEZ GALÁN, M. y SAINZ OLLERO, H. (2003): El ciclo del proyectode cooperación al desarrollo. La aplicación del marco lógico.2.ª edición. CIDEAL-Fundación Cideal, Madrid.

GOBIERNO VASCO (2003): Jornadas de seguimiento técnico y finan-ciero. Departamento de Vivienda y Asuntos Sociales. Vicecon-sejería de Asuntos Sociales. Dirección de Cooperación al De-sarrollo. Palacio Euskalduna, Bilbao.

GONZÁLEZ, Lara (2000): La evaluación ex post o de impacto. Un retopara la gestión de proyectos de cooperación internacional al desa-rrollo. Cuadernos de trabajo de Hegoa. N.º 29. Bilbao, Septiembre.— (2002): La Evaluación en los proyectos de cooperación al

desarrollo. Análisis crítico de las principales corrientes eva-luativas desde la óptica del desarrollo humano sostenible.Lineamientos para un modelo evaluativo integrador. Tesis demaestría en ciencias sociales con énfasis en gerencia del de-sarrollo social. Facultad de Ciencias Sociales y Humanas.Universidad de Antioquia, Medellín.

— (2002): «El enfoque del marco lógico (EML) y el método deplanificación orientada por objetivos (ZOPP): Metodologíapara la gestión de proyectos desde la cooperación interna-cional al desarrollo» en revista Tecnología Administrativa,vol. XV, n.º 35, Universidad de Antioquia, Medellín.

— (2003): Estudio sobre experiencias internacionales de eva-luación. Sector desarrollo rural integrado y proyectos de fo-mento de las actividades agropecuarias. OPE-CooperaciónEspañola y equipo de asesoría de HEGOA. Universidad delPaís Vasco, Bilbao.

GOSLING, L. y EDWARDS, M. (1998): Toolkits. A practical guide toassesment, monitoring, review and evaluation. Developmentmanual N.º 5. Save the Children, London.

GTZ (1992): Cuando la participación falta… Conceptos básicos,estrategias, estudios de caso, lo que debe hacerse y lo que debeevitarse en el desarrollo rural, Asia. GTZ, Eschborn.

GUBA, Egon G. y LINCON, Yvonne S. (1989): Fourth generation eva-luation. Sage Publication, London.

GUIJT, Irene (1998): Participatory monitoring and impact assesment ofsustainable agriculture initatives. Discusion paper N.º 1 London.

HERMINE, S. y GOBEL, M. (1998): Planificación de proyectos orienta-da a objetivos (ZOPP). Orientaciones para la planificación deproyectos y programas nuevos y en curso. GTZ, Eschborn.

HERNÁNDEZ LANDA, Libertad (1998): Guía didáctica. Procesos de sis-tematización. Fundación Latinoamericana de consultores enmetodología participativa (Fulco - México). PAMI-Programa deapoyo para la salud materno infantil y para la salud de otrosgrupos de riesgo en Guatemala, Ciudad de Guatemala.

ILPES (1998): Guía para la identificación, preparación y evaluaciónde programas sociales. Dirección de proyectos y programaciónde inversiones ILPES, Santiago de Chile.

INSTITUTE FOR DEVELOPMENT STUDIES (IDS) (1996): PRA: Tools andtechniques pack. IDS, Brighton.

256


INSTITUTO UNIVERSITARIO DE DESARROLLO Y COOPERACIÓN-IUDC: Laevaluación de la ayuda al desarrollo. Revista española de desa-rrollo y cooperación. Número extraordinario. N.º 4. Madrid.Primavera-Verano 1999.

JARA H. Oscar (1998): Para sistematizar experiencias: Una propues-ta teórica y práctica. 3.ª edición. Centro de Estudios y Publica-ciones ALFORJA, San José de Costa Rica.— (2002): «El desafío político de aprender de nuestras prácti-

cas». Ponencia presentada en el encuentro de la red interna-cional de educación para el desarrollo y educación popularPolygone. Acto inaugural, Vitoria-Gasteiz, 11 de noviembrede 2002. En www.wenpolygone.net.

— (2003): Curso sobre sistematización de experiencias: Cómoaprender de nuestras prácticas. Universidad de Deusto. Insti-tuto de Derechos Humanos Pedro Arrupe, Alboan y Hegoa.Bilbao, 24 y 25 de Octubre de 2003.

KLINGER, Erich y STEIGERWARLD, Volver (1998): El seguimiento en losproyectos de cooperación técnica. GTZ, Eschborn.

KUMAR, Krishna (editor) (1993): Rapid appraisal methods. The In-ternational Bank for Reconstruction and Development. TheWorld Bank, Washington.

MAINTZ, Renate (1996): Introducción a los métodos de la sociología.Sexta reimpresión. Alianza Editorial, Madrid.

MARTINIC, Sergio (1987): Elementos metodológicos para la sistema-tización de proyectos de educación popular. CIDE, Chile.

MINISTERIO DE ASUNTOS EXTERIORES. SECRETARÍA DE ESTADO PARA LA COOPE-RACIÓN INTERNACIONAL Y PARA IBEROAMÉRICA —MAE-SECIPI— (1998):Metodología de la gestión de proyectos de la cooperación espa-ñola. AECI, Madrid.— (1998): Metodología de evaluación de la cooperación espa-

ñola. MAE-SECIPI, Madrid.— (1999): «El sector del cacao en Guinea Ecuatorial». Informe

de evaluación 1/1998. MAE, Madrid.— (2001): Metodología de evaluación de la cooperación españo-

la II. MAE-SECIPI, Madrid.MINISTERIO DE ECONOMÍA Y FINANZAS (2002): Manual para la evalua-

ción ex post de proyectos de riego pequeños y medianos. Di-rección de programación multianual del sector público. Minis-terio de Economía y Finanzas, Perú.

MOSER, C. (1993): Gender planning and development. Theory,practice and traning. Routledge, London.

MOSER, C. (1995): Planificación de género y desarrollo. Teoría, prác-tica y capacitación. Entre mujeres. Flora Tristán Ediciones, Lima.

MUSTO, Stefan A. (1975): Análisis de eficiencia. Metodología de laevaluación de proyectos sociales de desarrollo. Editorial Tec-nos, Madrid.

NIRENBERG, Olga y otras (2000): Evaluar para la transformación. In-novaciones en la evaluación de programas y proyectos socia-les. Editorial Paidós, Buenos Aires.

OAKLEY, Peter, PRATT, Brian, CLAYTON, Andrew (1998): Outcomes andimpact: Evaluating change in social development. INTRAC NGOmanagement and policy. Series n.º 6. INTRAC, Oxford.

257


OAKLEY, Peter (2001): Evaluating empowerment reviewing de con-cept and practice. INTRAC, Oxford.

PATTON, Michael Q. (1990): Practical evaluation. Sage Publications.U.S.A.— (1997): Utilization - focused evaluation. The new century text.

Sage Publications, U.S.A. QUINTERO URIBE, Victor M. (1995): Evaluación de proyectos socia-

les. Construcción de indicadores. Fundación Para La EducaciónSuperior (FES), Cali.

ROSSI, Peter H and FREEMAN, Haward E. (1989): Evaluación. Un enfo-que sistemático para programas sociales. Editorial Trillas. Méxi-co, 1989.

ROSSI, Peter H.; FREEMAN, Howard E. y LIPSEY, Mark W. (1998): Eva-luation. A systematic approach. Sage Publications Sixth edition,California.

RUBIN, F. (1995): A basic guide to evaluation for development wor-kers. OXFAM, Oxford.

RUIZ OLABUENAGA, J.I. (1999): La investigación cualitativa. Segundaedición. Universidad de Deusto, Bilbao.

RUGH, Jim (1986): Self-evaluation. Ideas for participatory evalua-tion of rural community development projects. A World Neigh-bours Publication, Oklahoma.

SÁNCHEZ CARRIÓN, J,.J. (1995): Manual de análisis de datos. AlianzaUniversitaria Textos, Madrid.

SCHONHUTH, Michael y KIEVELITZ, Uwe (1994): Diagnóstico rural rá-pido, diagnóstico rural participativo. Métodos participativos dediagnóstico y planificación en la cooperación al desarrollo.Una introducción comentada. GTZ, Eschborn.

SIERRA BRAVO, R. (1992): Técnicas de investigación social: Teoría yejercicios. Paraninfo, Madrid.

SIMAS (1998): Como aplicar el enfoque de género en los progra-mas de desarrollo rural. Una recopilación bibliográfica. SIMAS.Grupo interinstitucional género y agricultura. PROMIPAC, Ma-nagua.

TAYLOR, S. J. y BOGDAN, R. (1992): Introducción a los métodos cua-litativos en investigación. Paidós, Barcelona.

TORRES, Alfonso (1999): La sistematización de experiencias educati-vas: Reflexiones sobre una práctica reciente. En Pedagogía y sa-beres. Universidad Pedagógica Nacional N.º 13. Bogotá.

UNIVERSIDAD EXTERNADO DE COLOMBIA UEC-CICCI (1998): Evaluaciónde impacto en el área social. Programa de agua potable y sanea-miento Costa Pacífica. Convenio ALA 93/39, Santiago de Cali.

VALLES MARTÍNEZ, M. S. (1997): Técnicas cualitativas de investigaciónsocial: reflexión metodológica y práctica profesional. Ed. Síntesis,Madrid.

VISAUTA VINACUA, B. (1997): Análisis estadístico con SPSS para Win-dows. Editorial Mc Graw Hill, Madrid.

WEISS, Carol H. (1990): Investigación evaluativa. Métodos para de-terminar la eficencia de los programas de acción. 2.º Edición.Trillas. México 1990.

W.K. KELLOGS FOUNDATION (1998): Evaluation handbook. Philo-sophy and expectations. W.K. Kelloggs Foundation, Michigan.

258


Bibliografía comentada


AGENCIA COLOMBIANA DE COOPERACIÓN INTERNACIONAL-ACCI y AGEN-CIA TÉCNICA DE COOPERACIÓN ALEMANA-GTZ (2000): Igualdad degénero en la cooperación para el desarrollo. Recomendacionesde los donantes para los proyectos. ACCI-Proequidad/GTZ, Bo-gotá.

Manual relativamente reciente sobre la incorporación de laperspectiva de género en el ciclo de vida de los proyectos de desa-rrollo. Además, incorpora elementos de la desigualdad de géneroen diversos ámbitos como el sector agropecuario, el medio am-biente, la macroeconomia, el trabajo, la salud, la educación y laciencia, la justicia y la infraestructura que deben ser revisados parala evaluación.

AGENCIA CANADIENSE DE DESARROLLO INTERNACIONAL ACDI/ServicioNacional de la Mujer de Chile SERNAM (1996): Manual paraproyectos de género. Guía para utilizar indicadores de género.ACDI, Santiago de Chile.

Interesante manual que incorpora la formulación de indicado-res de género en la intervención de proyectos de desarrollo y espe-cíficamente de género. Interesante para incorporar la perspectivade género a la gestión de proyectos y a la evaluación.

AGENCIA NORUEGA DE DESARROLLO-NORAD (1997): Evaluación deproyectos de ayuda al desarrollo. Manual para evaluadores ygestores. Instituto de desarrollo y cooperación IUDC. Universi-dad Complutense de Madrid. CEDEAL, Madrid.

Manual dirigido a personas relacionadas directamente con elmundo de la evaluación de proyectos de la cooperación al desa-rrollo. Es un libro práctico y de fácil lectura, pero requiere estar fa-miliarizado con la el marco lógico y su aplicación. Proporciona in-formación clave para llevar a cabo una evaluación desde unaperspectiva práctica del enfoque del marco lógico.

261


AGENCIA NORUEGA DE DESARROLLO NORAD (2000): Handbook ingender and empowerment assessment. Women and Men. Nor-way. RKG AS, Oslo.

Manual sencillo y práctico sobre evaluación de género aplica-do a los distintos momentos del ciclo del proyecto o programas.Incorpora también un capítulo sobre género y evaluación del em-poderamiento muy interesante pues incorpora la matriz de valo-ración para el impacto de género en hombres y mujeres. De fácillectura.

BEAUDOUX, Etienne y otros (1992): Guía metodológica de apoyo aproyectos y acciones para el desarrollo. De la identificación ala evaluación. IEPALA, Madrid.

Guía sencilla y práctica sobre gestión de proyectos muy útilpara grupos o personas que se inician en el tema y trabajo en te-rreno. La evaluación aparece como parte integrante de la gestióndel proyecto, donde la identificación, programación, el segui-miento y la evaluación son etapas de un proceso circular. Acom-paña las explicaciones con ejemplos y gráficos que facilitan lacompresión.

CASLEY, Dennis J., KUMAR, Krishna (1990): Seguimiento y evalua-ción de proyectos en agricultura y Recopilación, Análisis y usode los datos de seguimiento y evaluación Banco Mundial, Fon-do Internacional de Desarrollo Agrario y la Organización de lasNaciones Unidas para la Agricultura y la Alimentación. Edicio-nes Mundi-Prensa, Madrid.

Guía metodológica para la evaluación y seguimiento de pro-yectos en el área del desarrollo agrario. A pesar de estar centradoen proyecto de agricultura, realiza un repaso a las principales téc-nicas de obtención y análisis de información que son válidas paracualquier evaluación.

CEA D’ANCONA, María (1999). Metodología cuantitativa: estrategiasy técnicas en investigación social. Editorial Síntesis, Madrid.

Manual de investigación cuantitativa que ofrece un repaso pordichas herramientas de la investigación social que son aplicables ala evaluación. Se recomienda su lectura si se decide poner en mar-cha encuestas de gran magnitud u otras herramientas de caráctercuantitativo. Interesante el apartado dedicado a la triangulación.Pone muchos ejemplos.

CHAMBERS, Rober (1997): Whose reality counts? Putting the first last.Intermediate Technology Publications, London.

Lectura clave para el aprendizaje de nuevos enfoques y méto-dos en el marco de la autogestión y el desarrollo participativo. Pre-senta una revisión general sobre la concepción del desarrollo queconcierne a sus profesionales, investigadores, ejecutores de políti-cas y todas aquellas organizaciones. Son interesantes el capítulosexto y séptimo para empaparse de la concepción de gestión parti-cipativa y sus principales metodologías.

262


COHEN, Ernesto, FRANCO, Rolando (1997): Evaluación de proyectossociales. Cuarta edición en español. Editorial Siglo Veintiuno,México.

Manual de obligada lectura si se quieren realizar análisis decoste efectividad, utilidad o impacto. El libro rescata las metodolo-gías propias de la economía y propone su aplicación a proyectossociales. Interesante pero algo técnico para no economistas.

COMISIÓN DE LAS COMUNIDADES EUROPEAS-CCE (1993): Gestión del ci-clo de un proyecto. Enfoque integrado y marco lógico. Seriemétodos e instrumentos para la gestión del ciclo de un proyec-to n.º 1, Bruselas.

EUROPEAN COMISSION (2001): Manual proyect cycle management.Evaluation unit of Europeaid Co-operation Office, Brussels.

Cuadernillo de lectura fácil y sencilla en su edición del 93. Ne-cesario estudiarlo con detenimiento, si el objetivo es aprender elmanejo del marco lógico desde la perspectiva del enfoque integra-do. No se enfoca directamente a la evaluación, pero ubica en elcontexto para poder llevarla a cabo desde dicho enfoque. Incluyeejemplos prácticos para su mejor comprensión. En su segunda edi-ción por internet, se incorporan ejemplos más complejos y actuali-zados.

COMMISSION OF THE EUROPEAN COMMUNITIES (2001): Evaluation in theEuropean Commission. A guide to evaluation procedures andstructures currently operational in the Commission’s externalco-operation programmes. General Affairs. Evaluation. Europe-Aid Co operation Office, Brussels.

Manual breve de la agencia de cooperación de la Unión Eu-ropea que establece lineamientos y pautas para la elaboraciónde evaluación ex post de carácter externo. Ofrece esquemaspara la presentación de los términos de referencia de una eva-luación y la presentación de resultados. Interesante lectura paralas consultoras.

DE ASIS, A. y otros (2003): Manual e Ayuda para la gestión de enti-dades no lucrativas. Fundación Luis Vives, Madrid.

Manual de reciente publicación, y fruto de un trabajo de inves-tigación sobre entidades sin ánimo de lucro. Aporta elementos in-teresantes sobre la gestión organizacional y la evaluación comoelemento central de las organizaciones sociales.Incorpora ejem-plos reales de entidades españolas.

DEPARTMENT FOR INTERNATIONAL DEVELOPMENT-DFID (2002): Toolsfor Development. A handbook for those engaged in develop-ment activities. Performance an effectiveness department.DFID, London.

Manual de herramientas de la DFID de Inglaterra. Incorpora he-rramientas participativas para la gestión y formulación de proyec-tos que han trascendido a otras agencias europeas como el Stake-holders analysis. No está traducido a castellano.

263


EUROPEAN COMMUNITY HUMANITARIAN OFFICE-ECHO (1998): Manualfor evaluation of humanitarian aid. Evaluation Unit. ECHO,Brussels.

Manual de ECHO para establecer los mecanismos de evalua-ción del marco lógico y difundidos por la OCDE aplicados a inter-venciones de ayuda humanitaria. Incorpora preguntas para los 5criterios de evaluación según los estándares ECHO. Interesantepara las organizaciones especializadas en acciones humanitarias.

ESTRELLA, M., GAVENTA, J. (1998): Who Counts Reality? Participatorymonitoring and evaluation: A literature review. Working PaperN.º 70. Institute of Development Studies. (IDS), Sussex Univer-sity, Brighton.

Publicación de necesaria lectura para las entidades interesadasen conocer a fondo la literatura sobre evaluación participativa ysobre experiencias en monitoreo y evaluación participativa utiliza-da en diferentes contextos y con diferentes participantes: ONG,donantes, institutos de investigación, etc. Se realiza un repaso porla historia de la gestión participativa, sus ejes principales y su me-todología en la evaluación de proyectos. El Institute for Develop-ment Studies es pionero en este tipo de publicaciones. Merece lapena.

FEUERSTEIN, M. T. (1986): Partners in evaluation. Evaluating deve-lopment and community programmes with participants. MacMillan, Hong Kong.

Manual clásico sobre evaluación participativa. Parte de la ex-periencia adquirida por la autora en proyectos de desarrollo enAsia y América. Presenta un capítulo sobre la planificación y orga-nización de la evaluación, y varios en torno a la ejecución de laevaluación y las herramientas principales de recolección de datos,así como las herramientas para su posterior presentación y debate.Muy pedagógico y práctico, acompañándose de innumerablesejemplos y gráficos. Recomendado.

GOMEZ GALÁN, M. y H. SAINZ OLLERO (2003): El ciclo del proyectode cooperación al desarrollo. La aplicación del marco lógico.2.ª edición. CIDEAL- Fundación Cideal, Madrid.

Reciente de edición del ya clásico manual español de gestiónde proyectos desde el marco lógico. La redacción clara y peda-gógica lo convierte en un manual de obligado acompañamientopara la formación y la consultoría.

GOSLING, L., EDWARDS, M. (1998): Toolkits. A practical guide toassesment, monitoring, review and evaluation. DevelopmentManual N.º 5. Save the Children, London.

Guía práctica y sencilla que repasa los conceptos de monito-reo y evaluación desde una perspectiva práctica. Diseñada parapersonas que trabajan directamente en proyectos de desarrollo ynecesitan de herramientas participativas sencillas y fácilmenteaplicables.

264


HERMINE, S., GOBEL, M. (1998): Planificación de proyectos orienta-da a objetivos (ZOPP). Orientaciones para la planificación deproyectos y programas nuevos y en curso. GTZ, Eschborn.

KLINGER, Erich; STEIGERWARLD, Volver (1998): El seguimiento en losproyectos de cooperación técnica. GTZ, Eschborn.

Dos cuadernillos de fácil manejo y editados por la Agencia Ale-mana de Cooperación Técnica. Son dos versiones sobre el métodode planificación por objetivos de la GTZ y algunas pautas para elseguimiento de proyectos de desarrollo. Es sencillo e incorpora lasexperiencias de la GTZ en cooperación, así como algunos aprendi-zajes de la puesta en práctica del ZOPP.

JARA H. Oscar (1998): Para Sistematizar experiencias: Una propues-ta teórica y práctica. 3.ª edición. Centro de Estudios y Publica-ciones ALFORJA, San José de Costa Rica.

Manual básico para comprender la sistematización de expe-riencias desde una propuesta teórica y su aplicación en la práctica.Incluye el proceso de 5 momentos de la sistematización y ejem-plos prácticos publicados por la Red Alforja. Tiene gran aceptaciónen toda América latina y comienza a expandirse en Europa.

MINISTERIO DE ASUNTOS EXTERIORES. SECRETARÍA DE ESTADO PARA LA COOPE-RACIÓN INTERNACIONAL Y PARA IBEROAMÉRICA (2002): Metodología deevaluación de la cooperacióne española II. MAE-SECIPI, Madrid.

MINISTERIO DE ASUNTOS EXTERIORES. SECRETARÍA DE ESTADO PARA LA COOPE-RACIÓN INTERNACIONAL Y PARA IBEROAMÉRICA (1998): Metodología deevaluación de la cooperación española. MAE-SECIPI, Madrid.

Propuesta de metodología de la evaluación de la cooperaciónoficial española. Parte del marco lógico y realiza una propuesta porla cual debieran regirse los proyectos financiados por la Agencia Es-pañola de Cooperación Internacional. Se apoya en soportes docu-mentales y formatos de la gestión de proyectos de la cooperación es-pañola. La segunda versión aporta elementos prácticos sobre laaplicación de la evaluación a los proyectos de ayuda humanitaria,proyectos de microdrédito y del Fondo de Ayuda al desarrollo.

NIRENBERG, Olga y otras (2000): Evaluar para la transformación. Inno-vaciones en la evaluación de programas y proyectos sociales.Editorial Paidós, Buenos Aires.

Publicación latinoamericana que realiza un recorrido por lostemas elementales de la evaluación. Incorpora su visión integrado-ra de la evaluación para programas sociales en América latina,buscando la transformación social. Muy interesante.

OAKLEY, Peter, PRATT, Brian, CLAYTON, Andrew (1998): Outcomes andImpact: Evaluating Change in Social Development. INTRACNGO Management and Policy. Series n.º 6. INTRAC, Oxford.

OAKLEY, Peter (2001): Evaluating Empowerment Reviewing de con-cept and practice. INTRAC, Oxford.

Publicación del Tercer Congreso Internacional en Evaluación deldesarrollo Social por parte del INTRAC en Inglaterra, donde partici-

265


pan representantes de ONG del Norte y del Sur, académicos e inves-tigadores interesados en la evaluación. Esta es la tercera publicaciónen esta línea. Se centra en la medición del impacto como un pasomás allá que el mero logro de resultados. La publicación del 2001,reúne diversas ponencias y experiencias de evaluación de agenciascomo DFID, SIDA, Action Aid, entre otras, en el 4.ª Congreso Inter-nacional sobre Evaluación del Desarrollo Social en Oxford.

PATTON, Michael Q. (1997): Utilization - focused Evaluation. Thenew century text». Sage Publications, U.S.A.

Este amplio volumen (tercera edición) es una de las más com-pletas ediciones por Sage publications, pionera en Estados Unidos.Michael Patton muestra una gran revisión de la tradición evaluati-va, teórica y práctica. Plantea ampliamente la evaluación comoproceso necesariamente útil para los que lo realizan. Presenta in-numerables ejemplos para la comprensión y es un clásico de laevaluación de programas.

RUIZ OLABUENAGA, J.I. (1999): La investigación cualitativa. SegundaEdición. Universidad de Deusto, Bilbao.

Manual de investigación cualitativa muy útil para profundizaren las herramientas de investigación sociológica de la entrevista yla observación. Ofrece instrumentos interesantes para prepararbien dichas herramientas para la evaluación.

SCHONHUTH, Michael y KIEVELITZ, Uwe (1994): Diagnóstico RuralRápido, Diagnóstico Rural Participativo. Métodos participativosde diagnóstico y planificación en la cooperación al desarrollo.Una introducción comentada. GTZ, Eschborn.

La Agencia Alemana de Cooperación técnica (GTZ) presenta enesta publicación una introducción general acerca del contenido,los campos de aplicación y la historia de los métodos participati-vos DRP y DRR. Posteriormente se centra en su posible aplicacióna las actividades realizadas desde la propia Agencia. Es interesanterevisarlo, dado que contiene una bibliografía recomendada, asícomo países y personas con experiencia en estos métodos.

W.K. KELLOGS FOUNDATION (1998): Evaluation Handbook. Philo-sophy and expectations. W.K. Kelloggs Foundation, Michigan.

Manual de la Fundación Kellogs que hace una apuesta por elmodelo lógico de evaluación que relaciona actividades con pro-ductos, efectos, resultados e impacto. Dinámico y con innumera-bles ejemplos de sus experiencias en proyectos.

266


GAIETAKO SAILA ETXEBIZITZA ETA GIZARTE …

Documents

Transcript of GAIETAKO SAILA ETXEBIZITZA ETA GIZARTE …