Evaluación del impacto de la cooperación

internacional para el desarrollo e investigación

en salud en Bolivia

Evaluación de Impacto

• Tiene como objeto determinar si la cooperación produjo los efectos deseados en las personas, hogares e instituciones y si esos efectos son atribuibles a la cooperación

• También permite examinar consecuencias no previstas en los beneficiarios, ya sean positivas o negativas

Evaluación de Impacto

Aún se conoce poco sobre el impacto de esta cooperación. ¿La cooperación está produciendo los beneficios previstos? ¿Se están empleando los recursos en forma eficiente? ¿Cómo afectó el proyecto a los beneficiarios? ¿Algún mejoramiento fue el resultado directo de la intervención o se habría producido de todas formas? ¿Se podría modificar el diseño de las intervenciones para mejorar sus repercusiones? ¿Se justificaban los costos?

Evaluación de Impacto

• Las evaluaciones de impacto se centran en examinar la causalidad. Dada la complejidad y el costo de realizar una evaluación del impacto, se deben examinar sus costos y beneficios.

• En la práctica común se aplican otros métodos, como el control de indicadores de resultado clave o una evaluación del proceso.

• Dada la multiplicidad de los tipos de intervención, preguntas de la evaluación, disponibilidad de datos, restricciones de tiempo y circunstancias del país, cada estudio de evaluación de impacto será diferente y requerirá cierta combinación de las metodologías adecuadas, tanto cuantitativas como cualitativas.

Evaluación de Impacto

Existen varias ventajas en usar enfoques integrados. La integración de las evaluaciones cuantitativas y cualitativas con frecuencia puede ser el mejor vehículo para satisfacer las necesidades de una evaluación. Al combinar los dos enfoques, los métodos cualitativos se pueden usar para informar las preguntas clave sobre la evaluación del impacto, se pueden incorporar controles de coherencia con la ayuda de procedimientos de triangulación, se pueden obtener diferentes perspectivas.

Análisis de costos-beneficios o eficacia en función de los costos

• Aunque este tipo de análisis no se relaciona estrictamente con la medición de los efectos, permite medir la eficiencia comparando intervenciones alternativas sobre la base del costo de producir un resultado determinado.

• Con el análisis de costos-beneficios se intenta medir, en términos monetarios, la eficiencia económica de los costos de un programa versus sus beneficios. Para muchas intervenciones, especialmente en los sectores sociales, no es posible medir todos los beneficios en términos monetarios.

Aprovechamiento de las fuentes de datos existentes

• Las fuentes de datos existentes, como una encuesta domiciliaria nacional, censo, registros administrativos de un programa o sector, datos municipales, pueden aportar valiosa información a los esfuerzos de evaluación.

• Aprovechar las fuentes existentes reduce la necesidad de recurrir a una costosa recopilación de datos para el exclusivo propósito de una evaluación,

Principios de la cooperación para el desarrollo

•Equidad•Compromiso con los mas pobres•Calidad y calidez en la prestación de los servicios•Cooperación técnica entre países•Cooperación interinstitucional: intersectorial•Desarrollo de alianzas estratégicas•Democratización del conocimiento•Abordaje de la salud y no solo de la enfermedad•Compartir experiencias exitosas

Objetivos de Desarrollo del Milenio

• Firmado por 189 países del mundo.

• Son 8 objetivos 18 metas y 48 indicadores.

OMS. Aplicación de la Declaración del Milenio de las Naciones Unidas, Informe del Secretario General,

documento A/57/270 (31 de julio de 2002). La salud contribuye a 9 metas y 18 indicadores

La Salud en los Objetivos de Desarrollo del Milenio

Objetivos / Metas Indicadores

Objetivo 1. Erradicar la pobreza extrema y el hambreMeta 2. Reducir a la mitad, entre 1990 y 2015, el porcentaje de personas que padezcan hambre

4. Prevalencia de bajo peso en los niños menores de 5 años.

5. Porcentaje de la población por debajo del nivel mínimo de consumo de energía alimentaria

Objetivo 2. Lograr la enseñanza primaria universal

Objetivo 3. Promover la igualdad entre los sexos y la autonomía de la mujer

Objetivo 4. Reducir la mortalidad infantilMeta 5. Reducir en dos terceras partes, entre 1990 y 2015, la mortalidad de los niños menores de 5 años

13. Tasa de mortalidad de los niños menores de 5 años

14. Tasa de mortalidad infantil

15. Porcentaje de niños de 1 año vacunados de sarampión

Objetivo 5. Mejorar la salud maternaMeta 6. Reducir, entre 1990 y 2015, la mortalidad materna en tres cuartas partes

16. Tasa de mortalidad materna

17. Porcentaje de partos con asistencia de personal sanitario especializadoJL

B

Objetivo 6. Combatir el VIH/SIDA, el paludismo y otras enfermedadesMeta 7. Haber detenido y comenzado a reducir, para el año 2015, la propagación del VIH/SIDA

18. Tasa de morbilidad del VIH entre las mujeres embarazadas de edades comprendidas entre los 15 y los 24 años

19. Tasa de uso de anticonceptivos

20. Número de niños huérfanos por causa del VIH/SIDA

Meta 8. Haber detenido y comenzado a reducir, para el año 2015, la incidencia del paludismo y otras enfermedades importantes

21. Indices de morbilidad y mortalidad palúdicas

22. Proporción de la población de zonas de riesgo palúdico que aplica medidas eficaces de prevención y tratamiento del paludismo

23. Tasas de morbilidad y mortalidad asociadas a tuberculosis

24. Proporción de casos de tuberculosis detectados y curados con tratamiento breve bajo observación directa (TODS)

La Salud en los Objetivos de Desarrollo del Milenio

JLB

Objetivo 7. Garantizar la sostenibilidad del medio ambiente

Meta 9. Incorporar los principios del desarrollo sostenible en las políticas y los programas nacionales e invertir la pérdida de recursos del medio ambiente

Meta 10. Reducir a la mitad, para el año 2015, el porcentaje de personas que carezcan de acceso sostenible a agua potable

Meta 11. Haber alcanzado para el año 2020 un significativo mejoramiento de las condiciones de vida de por lo menos 100 millones de personas que viven en barriadas marginales

Objetivo 8. Fomentar una Asociación Mundial para el Desarrollo

Meta 13. Atender las necesidades especiales de los países menos adelantados

Meta 17. En cooperación con las compañías farmacéuticas, proveer medicamentos esenciales a precios accesibles en los países en vías de desarrollo

La Salud en los Objetivos de Desarrollo del Milenio

JLB

Metodología de Evaluación de la Cooperación Española

• La evaluación constituye una herramienta para dar respuesta a preguntas concretas sobre un programa, un proyecto, un conjunto de actuaciones o una política determinada.

• Las preguntas, que pueden provenir de la propia comunidad beneficiaria, de los gestores del proyecto o programa o de las autoridades políticas, se suelen plantear alrededor de los llamados criterios de evaluación (pertinencia, eficacia, eficiencia, impacto y viabilidad) .

Pertinencia

La pertinencia es la adecuación de los resultados y los objetivos de la intervención al contexto en el que se realiza. Para su análisis será preciso considerar: i) los problemas y las necesidades de la población beneficiaria; ii) las políticas de desarrollo nacionales, regionales o locales en el sector sobre el que se interviene; iii) la existencia de otras actuaciones sinérgicas, complementarias o competitivas, de la cooperación oficial, de la cooperación descentralizada o de otros donantes bilaterales o multilaterales; iv) la política (objetivos y prioridades) de la Cooperación Española; y v) las capacidades técnicas y financieras con las que cuenta el donante y los ejecutores.

Eficacia

• Se debe señalar si se han alcanzado el objetivo específico de la intervención y los resultados previstos, sin considerar los costes en los que se incurre para obtenerlos. Esto exige la definición clara y precisa de estos elementos, así como de los beneficiarios directos e indirectos sobre los que se quiere influir y los tiempos previstos.

Eficiencia

• Es una medida del logro de los resultados en relación con los recursos que se consumen; esto es, la búsqueda de una combinación óptima de recursos financieros, materiales, técnicos y humanos para maximizar los resultados. La evaluación de la eficiencia compara, por lo tanto, recursos.

• Las herramientas más utilizadas para medir la eficiencia de una intervención son el análisis coste-beneficio (ACB), el análisis coste-efectividad (ACE) y el análisis coste-utilidad (ACU)

Impacto

• Consiste en el análisis de todo posible efecto o consecuencia de una intervención a nivel local, regional o nacional. Es un concepto mucho más amplio que el de eficacia, ya que: i) no se limita al estudio del alcance de los efectos previstos; ii) no se circunscribe al análisis de los efectos deseados; iii) no se reduce al estudio de dichos efectos sobre la población identificada como beneficiaria.

• Se trata de identificar efectos netos. Es decir, de comprobar la relación de causalidad entre la intervención y el impacto una vez que se dejan de lado las consecuencias provocadas por otras acciones, ya sean intrínsecas a la población analizada o provocadas por una política ajena a la intervención que se evalúa.

Viabilidad

• El grado en el que los efectos positivos derivados de la intervención continúan una vez se ha retirado la ayuda externa. Este criterio parte de la idea de que es conveniente que los beneficiarios o las instituciones contraparte se hagan cargo de continuar cumpliendo con los objetivos de la actuación. La viabilidad sólo puede ser verificada con posterioridad a la finalización de la intervención.

Viabilidad

• El estudio de la viabilidad considera todos los elementos de la lógica de la intervención: se analiza la generación de los recursos necesarios para continuar ejecutando actividades que permitan la obtención de resultados, con el fin de asegurar el objetivo específico del proyecto, contribuyendo, en definitiva, a la consecución del objetivo global de desarrollo.

• En general, la viabilidad será función de múltiples condiciones: se trata de siete factores de desarrollo: socio-culturales, de género, relacionados con las políticas de apoyo, institucionales, económicofinancieros, tecnológicos y medioambientales.

EVALUACION La Subdirección General de Planificación y Evaluación de Políticas de Desarrollo es responsable, según la Ley de Cooperación (Capítulo III, Artículo 19, punto 4), de la Evaluación de las acciones de la Cooperación Española. Está encargada de crear un sistema de evaluación que permita que los distintos actores de la Cooperación Española actúen sobre la base de las orientaciones del Comité de Ayuda al Desarrollo (CAD) para una ayuda eficaz.

MetodologíaMetodología de la Evaluación de la Cooperación Española (en formato pdf)

Metodología de la Evaluación de la Cooperación Española II (en formato pdf)

www.aeci.esSubdirección Planificación y Evaluación

Evaluaciones RealizadasHasta el momento, se han publicado las siguientes evaluaciones:1.  El sector del cacao en Guinea Ecuatorial2.  Fortalecimiento municipal en Flores, Guatemala3.  Las Escuelas-Taller en Iberoamérica4.  El Fondo de Ayuda al Equipamiento en Iberoamérica5.  El Programa de Cooperación Hispano-Peruano (1996-98)6.  El Programa de erradicación del trabajo infantil en Iberoamérica7.  El Programa de Cooperación Interuniversitaria en Iberoamérica8.  El Programa de Subvenciones y Ayudas a ONGD en Haití, República Dominicana y

Filipinas9.  El Programa de Alfabetización y Educación Básica de Adultos (PAEBA)10. El Programa “Spanish Assistance for Integrated Livelihood (SAIL)” en la Isla de

Camiguin, Filipinas11. El Programa de Desarrollo Rural Integral (DRI) Cotacachi en Ecuador12. El Proyecto de Reforma Judicial en la República de Bolivia13. El Programa de Cooperación Hispano Peruano 1999-200014. El programa de patrimonio cultural de la cooperación española15. El programa de Cooperación Hispano-Boliviano

ESTUDIO SOBRE EVALUACIONES DEINTERVENCIONES EN EL SECTOR SALUD

Realizado por CIDOBLa Fundación CIDOB es un centro de investigación, docencia, documentación y divulgación sobre las relaciones internacionales y el desarrolloque se encuentra en Barcelona.

Febrero de 2003

• Se han revisado 101 evaluaciones65 de agencias bilaterales 36 de agencias multilaterales

www.aeci.esSubdirección Planificación y Evaluación

SOBRE LAS RECOMENDACIONES• A continuación se reflejan las principales recomendaciones aparecidas

en las evaluaciones, agrupadas por similitud o nivel de referencia (de salud en general, de proyectos, de sector). Ordenados de mayor a menor según el grado de aparición, que viene indicado por el número entre paréntesis.

• (27) Mejorar el funcionamiento interno de los proyectos, en especial intensificar la supervisión y los mecanismos de vigilancia y control de ejecución, así como las capacidades del personal.

• (22) Mayor participación comunitaria, y de los actores involucrados, en especial de las comunidades beneficiarias.

• (21) Mayor participación de otros gestores del sistema salud como ONG y sector privado.

• (19) Mayor coordinación y comunicación con contraparte y otros agentes y actores involucrados, así como externos al proyecto (con otros donantes, con las autoridades gubernamentales, con otros proyectos coincidentes en la zona o en el sector).

SOBRE LAS RECOMENDACIONES

• (18) Deben asegurarse mecanismos de producción y distribución para evitar cortes de suministro de material básico sanitario o nutricional.

• (17) Analizar y promover las capacidades de la contraparte para evitar subestimaciones o sobreestimaciones.

• (16) Implicación de las estructuras y sistemas sanitarios (a distintos niveles: centrales y descentralizados).

• (16) Debe establecerse un sistema de formación continuada para asegurar la calidad de los servicios.

• (16) Analizar la replicación de proyectos piloto que hayan sido un éxito,

• (14) Debe atenderse suficientemente la motivación del personal comunitario, bien sea financiera, moral o material

• (14) Poner énfasis en el fortalecimiento o creación de los sistemas de información sanitaria, y su gestión.

•

SOBRE LAS RECOMENDACIONES

• (14) Establecer objetivos claros y concisos, así como indicadores de impacto y medidas de verificación. Establecer objetivos realistas.

• (13) Sistematizar la incorporación de la perspectiva de género. • (13) El servicio de salud debe reorientarse para realizar más

labores preventivas y de promoción de la salud, así como de IEC y no solamente curativas.

• (12) Reforzar los procesos de descentralización, y paralelamente los sistemas de gestión. Mayor atención al nivel periférico de salud,

• (10) Desarrollar mecanismos para reducir costes del programa y racionalizar la distribución de centros y personal, así como las actividades de personal, formación y la compra de equipamiento

Gracias!!!