Metodología de Evaluación y Seguimiento de las Intervenciones Estructurales de la Política Regional de la Unión Europea

Rubén Garrido Yserte

Juan R. Cuadrado Roura

Universidad de Alcalá

Instituto Universitario de Análisis Económico y Social - SERVILAB

¿Qué es evaluar?

• VALORAR la calidad de las intervenciones públicas. POR

TANTO NO ES FISCALIZACIÓN

•Resultados netos obtenidos (impactos)

•Desviaciones registradas sobre los objetivos previstos

(eficacia)

•Coste relativo de la eficacia (eficiencia)

¿Qué beneficios?

•Claridad en la administración de recursos

•Aumento de la “cultura” democrática Anglosajona

versus latina

•Ha sido una de las aportaciones importantes de la PRC

La evaluación: aspectos esenciales

Tipos de evaluación:La UE ha optado por un primer criterio ‘temporal’:La UE ha optado por un primer criterio ‘temporal’:

1) 1) Ex ante (previa):Ex ante (previa): sobre la selección de estrategia, objetivos sobre la selección de estrategia, objetivos (cuantificación), instrumentos, costes del programa. Fuerte contenido (cuantificación), instrumentos, costes del programa. Fuerte contenido prospectivoprospectivo

2) 2) On going (seguimiento):On going (seguimiento): a mitad del período (3 a., con posible a mitad del período (3 a., con posible ‘puesta al día’ en el 4º año). Atención al nivel de ejecución, grado de ‘puesta al día’ en el 4º año). Atención al nivel de ejecución, grado de cumplimiento objetivos, detección de errores en la programación. cumplimiento objetivos, detección de errores en la programación. Finalidades: a) corregir desviaciones o errores con tiempo suficiente… Finalidades: a) corregir desviaciones o errores con tiempo suficiente… todavía, y b) recoger información para la evaluación ex post.todavía, y b) recoger información para la evaluación ex post.

3) 3) Ex post (a posteriori).Ex post (a posteriori). Valoración final de los resultados (año Valoración final de los resultados (año siguiente al Programa), impacto, eficacia, eficiencia. Fuerte contenido siguiente al Programa), impacto, eficacia, eficiencia. Fuerte contenido retrospectivo.retrospectivo.

Enfoques básicos: Enfoques básicos: macro (modelos de impacto)macro (modelos de impacto)micro (estudio de casosseleccionados)micro (estudio de casosseleccionados)

La evaluación: aspectos esenciales

D IA G NÓ S T ICO O B JE T IV O S IN D IC A D O R E S D E C O NT E X T O

E V A L U A C IÓ N E X -A N T E(P RE V IA )

IN D ICA D O R E S DE S E G U IM IE N T O IN D ICA D O R E S DE R E S U L T A D O S IN D ICA D O R E S DE IM P A C T O

R E P R O G R A M A C IÓ N R E S E R V A E F IC A C IA

E V A LU A C IÓ N IN T E R M E D IA(O N G O IN G )

IN D ICA D O R E S DE S E G U IM IE N T O IN D ICA D O R E S DE R E S U L T A D O S IN D ICA D O R E S DE IM P A C T O

E V O LU C IÓ N C O N T R IB UC IÓ N D E LA P O LÍT IC A E S T R U C T U R A L

P O T E N CIA LID A D E SA F O M E N T A R

D E B IL ID A D E SA R E S O LV E R

F A S E D E P RO G R A M A CIÓ N P O S T E R IO R

C U A NT IF ICA C IÓ N D E O B JE T IV O S IN D IC A D O R E S D E C O NT E X T O

E V A L U A C IÓ N E X -P O S T(F INA L)

Evaluación previa:

• Asegurar la evaluabilidad de la programación.

• Asegurar la integración de los principios horizontales.

• Se apoya en el Programa:pertinencia y previsiones.

Evaluación intermedia:

• Se apoya en el seguimiento (realizaciones).

• Previene desviaciones del Programa y ayuda a su corrección.

Evaluación posterior:

• Se apoya en la ejecución definitiva (financiera y física).

• Atiende a la estimación del impacto.

Fases de la Evaluación

Evaluación por etapasCuatro etapas con objetivos diferenciados:

Análisis de la puesta en marcha del programa Valoración de la calidad del diagnóstico y de la programación.

Técnicas: entrevistas con planificadores; análisis de los programas: estrategia, diagnóstico, justificación de las intervenciones; objetivos, etc.

Análisis de los resultados p/.beneficiarios. Técnicas: análisis de expedientes administrativos; encuestas a beneficiarios; estudios

especiales (coste-beneficio…). Es importante diferenciar entre indicadores físicos (ej. km. autovía construídos); indicadores de resultados (ej. ahorro de tiempo viajes); e indicadores de impacto (ej. mejora accesibilidad del territorio)

Análisis eficacia y eficiencia de las intervenciones: Comparación entre objetivos previstos y resultados; análisis del coste de los resultados (resultados : recursos). Restricción: existencia de información admtva. O de recursos para suplirla.

Análisis del impacto socioeconómico intervención:

Impacto macro del total intervenciones. Técnicas muy variadas: TI-O, modelos econométricos, análisis factorial,… Restricción: información disponible

Conclusión: tarea compleja, costosa en tiempo, pero IMPRESCINDIBLE.

Metodología: Documentos de trabajo

Documentos elaborados por la Comisión para guiar el proceso de programación y evaluación de los programas cofinanciados con Fondos Europeos

http://europa.eu.int/comm/regional_policy/sources/docgener/evaluation/evaluation_en.htm

La Evaluación Previa

La evaluación previa de las intervenciones de los Fondos Estructurales (documento de trabajo 2).

Comisión Europea. Dirección General REGIO

• Objetivo de la evaluación previa en el contexto de las políticas estructurales.

• Componentes clave de la evaluación previa.

• Aspectos prácticos de la evaluación previa.

• Anexo I: Modelización macroeconómica de los impactos de los principales planes del Objetivo nº 1 en el contexto de la evaluación previa.

• Anexo II: Recursos humanos.

• Anexo III: Estudio de impacto ambiental.

• Anexo IV: Estudio del fomento de la igualdad de oportunidades para hombres y mujeres.

• Anexo V: Estudio de los grandes proyectos.

• Anexo VI: Documentos.

Los Indicadores

Indicadores de Seguimiento y Evaluación: orientaciones metodológicas (documento de trabajo 3).

Comisión Europea. Dirección General XVI.

• Disposiciones reglamentarias y marco de programación.

• Programación de las intervenciones de los Fondos Estructurales e indicadores de programa, eficacia, eficiencia y rendimiento.

• Elaboración de los sistemas de indicadores.

• Aplicación de los indicadores de seguimiento.

• Indicadores clave, indicadores de rendimiento y lista de indicadores.

• Resolución de los problemas derivados de la utilización de indicadores.

• Anexos: Ámbitos de intervención e indicadores de seguimiento y evaluación.

Recursos

Objectivosespecíficos

Objetivosglobales

Actividades del programa (medidas, etc.)

Realizaciones (bienes y servicios producidos por el

programa)

Resultados (efectos directos e

inmediatos)

Impactos (efectos a largo plazo)

Objetivos operativos

Objetivosdel programa

La Lógica de las Intervenciones

Algunos conceptos claves de la evaluación

•Pertinencia: ¿en qué medida los objetivos del programa son pertinentes en relación con la evolución de las necesidades y las prioridades a escala nacional y comunitaria?.

•Eficiencia: ¿cómo se transformaron los recursos en realizaciones y resultados?.

•Eficacia: ¿cuál ha sido la contribución del programa a la consecución de los objetivos globales y específicos?.

•Utilidad: ¿qué impacto ha tenido el programa en la satisfacción de las necesidades de los grupos o poblaciones a los que se dirigía?.

•Durabilidad: ¿en qué medida se espera que los cambios o beneficios del programa se mantengan una vez finalizado el mismo?.

¿Qué solicita la Comisión en materia de evaluación?

• Análisis de los resultados de la evaluación anterior (si la hay)

• Análisis dirigido a establecer si la evaluación previa sigue siendo válida en lo que se refiere a las ventajas, desventajas y potencial del Estado, región o sector beneficiarios

• Confirmación de la pertinencia y coherencia de la estrategia• Cuantificación de los objetivos, realizaciones, resultados e

impactos• Evaluación de la eficacia y de la eficiencia hasta el

momento, así como de los efectos socioeconómicos previstos, con vistas a una evaluación de la política y a la asignación de los recursos financieros

• Calidad de la ejecución y de los sistemas de seguimiento• La reserva de eficacia• Valor añadido comunitario

¿Cómo dar respuesta al marco conceptual elaborado por la Comisión?

• Abordar el conjunto de obligaciones con una respuesta Integral y Continua: Sistemas de Seguimiento y Evaluación Continuos

• DESARROLLAR SISTEMAS DE SEGUIMIENTO CONTINUO

¿Cuáles son los objetivos principales del Sistema de Seguimiento Continuo?

Proporcionar información sobre los resultados financieros y físicos de las intervenciones en curso

Mejorar la eficacia y eficiencia en la programación y gestión de las intervenciones

Mejorar la calidad de los informes exigidos por la Comisión

Facilitar el trabajo de los Coordinadores, Gestores y Evaluadores

En definitiva, ser una herramienta de conocimiento y gestión política integrada en las tareas diarias de la Administración

Esquema de distribución de las tareas básicas de seguimiento y de evaluación

UNIDAD DE GESTIÓN

INDICADORES DE LAS ACTUACIONES

sobre todo de ejecución financiera, realizaciones y

resultados

UNIDAD COORDINADORA

INDICADORES DEL CONTEXTO

SOCIOECONÓMICO Y AMBIENTAL

SISTEMA DE SEGUIMIENTO

CONTINUO

EQUIPOS DE INVESTIGACIÓN Y

EVALUACIÓNINDICADORES DE

IMPACTOANÁLSIS DE

PERTINECIA Y COHERENCIA

INFORMESEVALUACIÓN

R. DE EFICACIA

¿Cuáles son los inputs necesarios para el seguimiento continuo y la evaluación?

• Definir el organigrama de la Administración• Definir las acciones (CPO)• Definir los indicadores de seguimiento (realización y

resultado)• Definir los indicadores de evaluación (impacto)• Definir los indicadores del contexto• Definir los indicadores específicos (Medio Ambiente,

Igualdad de Oportunidades)• Resultado del análisis DAFO (PO –CPO)• Árbol de Objetivos• Vincular la asignación presupuestaria

Outputs esperados del seguimiento continuo y de la evaluación

• Seguimiento de recursos financieros

• Seguimiento de las realizaciones

• Respeto otras políticas comunitarias

• Sinergias con otras políticas regionales nacionales

• Participación en los objetivos estratégicos

• Análisis de la Pertinencia con el diagnóstico

• Análisis de Coherencia de la Estrategia (Sinergias)

• Valoración de la cuantificación de objetivos

• Valoración de la Eficacia y la Eficiencia

• Criterios de selección de acciones

• Calidad de la ejecución y de los sistemas de seguimiento

• La Reserva de Eficacia• Estimación de impactos

Seguimiento Evaluación

Plan de Desarrollo Regional

Marco Comunitario de Apoyo

Programas Operativos

Complemento de Programa

Ejes

Medidas

Documento Único de Programación

Complemento de Programa

Ejes

Medidas