LA IMPORTANCIA DE LA EVALUACIÓN DE PROGRAMAS SOCIALES:

MIDIENDO RESULTADOS

Septiembre 2008

Gonzalo Hernández Licona

¿Por qué evaluamos?

Necesitamos contar con evidencia sobre lo que sí funciona y cómo mejorarlo

Se tienen presupuestos limitadosMejorar la implementación (gestión, diseño, operación) del programa o políticaMejorar la presupuestación de la Política SocialTransparencia y rendición de cuentas

CONEVALMedición de Pobreza Nacional, Estatal y MunicipalEvaluación de Política y Programas de Desarrollo Social, más allá de la SedesolAprobar indicadores de programas de desarrollo social

El CONEVAL tiene independencia técnica y de gestiónEn el Órgano de Gobierno tienen mayoría 6 académicos investigadores, elegidos democráticamente

3

Marco Normativo

CONEVAL (2005-2006)

Ley de Presupuesto y Responsabilidad Hacendaria. SHCP (2006-7)

SFP

PEF 2007. Cámara de Diputados

Lineamientos de Evaluación y Monitoreo (Marzo 2007)

Sistema de Evaluación del Desempeño (2007)

Lineamientos de EvaluaciLineamientos de Evaluacióón y n y MonitoreoMonitoreo

Objetivos estratégicos:Instituciones

Matriz de Marco Lógico:Programas

Resultados

Seguimiento de Recomendaciones

Evaluación de Consistencia yResultados

Evaluación deImpacto

Evaluación de Políticas

Evaluación de Procesos

Programa Annual de Evaluación

Planeación e Indicadores Evaluación

Alineación de Programas

Objetivo de esta Administración: Planear, administrar, evaluar, presupuestar para obtener resultados

Los indicadores más relevantes hoy en día son:El presupuesto asignado a cada programa

El % del presupuesto ejercido cada año

El número de becas/cursos de capacitación/litros de

leche/pasaportes entregados/juntas realizadas, etc.

Pero falta medir RESULTADOS:¿Aumentó el ingreso/la ocupación de quien recibió el microcrédito?¿Los desempleados que recibieron capacitación aprendieron y encontraron trabajo?¿El campo es hoy más competitivo, a partir del financiamiento público?¿Disminuyó la delincuencia por el programa de seguridad?

Consejo Nacional de Evaluación de la Política de Desarrollo Social 7

Es importante poder medir esos Resultados

Porcentaje de capacitados que obtienen un mejor trabajo

Porcentaje de beneficiarios capacitados que efectivamente adquieren los conocimientos técnicos adecuados

Número de cursos y talleres realizadosNúmero de becas repartidasMonto total de las becas repartidasPorcentaje de desempleados capacitados

% del presupuesto ejercidoCosto promedio x actividadCosto promedio de distribución de la beca

Componentes

Actividades

Propósito

Fin

Implementación

Resultados

Consejo Nacional de Evaluación de la Política de Desarrollo Social 8

SED. Información sistemática, veraz, transparente, sobre el desempeño global del programa

I

II

I

I

EE

I

I

Consejo Nacional de Evaluación de la Política de Desarrollo Social 9

SED. Medición inter-temporal de indicadores

Porcentaje de Presupuesto ejercido

0

20

40

60

80

100

1er trimestre 2o trimestre 3er trimestre 4to trimestre

2008Programa de Becas Educación Media

Superior

Consejo Nacional de Evaluación de la Política de Desarrollo Social 10

SED. Medición inter-temporal de indicadores

Número de becas entregadas

0

50,000

100,000

150,000

200,000

250,000

1er trimestre 2o trimestre 3er trimestre 4to trimestre2008

Meta

Programa de Becas Educación Media Superior

Consejo Nacional de Evaluación de la Política de Desarrollo Social 11

SED. Medición inter-temporal de indicadores

Indicador de Cobertura

0

10

20

30

40

50

60

70

80

90

10020

06

2008

2010

2012

2014

2016

2018

2020

2022

2024

Programa de Becas Educación Media Superior

Consejo Nacional de Evaluación de la Política de Desarrollo Social 12

SED. Medición inter-temporal de indicadores

Tasa de deserción Escolar EMS

0

10

20

30

40

50

60

70

80

90

10020

06

2008

2010

2012

2014

2016

2018

2020

2022

2024

Programa de Becas Educación Media Superior

Consejo Nacional de Evaluación de la Política de Desarrollo Social 13

SED. Menú de información valiosa

I

II

I

I

EE

I

I

Reporte Resumen(EED)

Presupuesto basado en resultados

No es:

Un presupuesto que se asigna por inerciaUn presupuesto que se incrementa siempre en cada programaUn presupuesto que se asigna si el año anterior se ejerció el 100% de lo que le dio al programa

Sí es:Un presupuesto que se asigna dependiendo de los problemas nacionales en los que se debe incidir.

Ej. Infraestructura en Comunicaciones y Transportes; bajo crecimiento económico en promedio; creación de empleo formal; aumentar la productividad de la mano de obra; mejorar la calidad de los servicios educativos y de salud; mejorar la nutrición (desnutrición y obesidad); salud universal, seguridad social universal; 45% en pobreza: reducir la pobreza de manera sistemática y acelerada; reducir sustancialmente la mortalidad materna e infantil; dispersión de programas

Un presupuesto que COMPLEMENTA las acciones y políticas que se deben realizar.

Ej Obesidad

Sí es:Un presupuesto que busca otorgar recursos a los programas que MUESTRAN resultados finales.

EJ. Liconsa; Piso Firme; Conafe; Estancias InfantilesEXIGIR que se midan RESULTADOS FINALES (35%)

Ej. Alta Competencia, Enciclomedia, Opciones Productivas,

Un presupuesto que busca MEJORAR el desempeño de programas presupuestales, a partir de las evaluaciones, para buscar RESULTADOS.

Ej. Oportunidades urbano, liconsa rural, opciones productivas.

Evaluación de Consistencia y Resultados

Evaluación de Consistencia y Resultados. ¿Quées?Objetivo: Evaluar hasta qué punto los programas sociales

tienen una clara consistencia interna y una orientación hacia resultados, basados en la documentación y procesos de los propios programas. Es un diagnóstico sobre la capacidad institucional, organizacional y de gestión de los programas para la búsqueda de resultados.Es un instrumento homogéneo, cuantificable, para poder comparar el desempeño entre programas.La evaluación se llevó a cabo entre 2007 y 2008 para 119 programas (Sedesol, Sagarpa, IMSS, SEP, SS, Economía, STPS, R Agraria, ..) Esta evaluación es la línea de base para analizar con quétipo de programas cuenta el nuevo Gobierno para lograr sus metas.

Evaluación de Consistencia y Resultados. CaracterísticasLa evaluación se compone de 100 preguntas en los temas

de: Diseño, Planeación Estratégica, Operación, Población Objetivo y Cobertura, Percepción de los Beneficiarios y Resultados Finales.Las evaluaciones fueron elaboradas por entidades externas (universidades, centros de investigación, expertos)En la evaluación se pidió tener un resumen ejecutivo y un documento de Fortalezas, Retos y Recomendaciones.Las evaluaciones se entregaron a la Cámara en Marzo 2008.Actualmente los programas están analizando las recomendaciones pertinentes y factibles de la Evaluación de Consistencia y Resultados, y están haciendo un Plan de Trabajo para mejorar el desempeño de los programas.

Este Plan de Trabajo será público

Hallazgos generales:

Operación adecuada

Retos en: Medir Resultados FinalesTener mejor planeación estratégica

Consejo Nacional de Evaluación de la Política de Desarrollo Social 21

Hallazgos generales:Definición de la Población Objetivo y Estrategia de Cobertura

24 % de los programas cuantifica su población objetivo y potencial23 % cuenta con una estrategia de cobertura a corto, mediano y largo plazo

Cumplimiento con normatividad84 % de los programas cumplen con la normatividad establecida para la entrega de apoyos89 % tienen evidencia documental de que cumple con los procesos de ejecución establecidos

Información sobre el progreso en el cumplimiento de objetivos

36 % de los programas han medido resultados finales42 % de los programas recolectan información veraz y oportuna sobre los indicadores que miden sus objetivosConsejo Nacional de Evaluación de la Política de Desarrollo Social 22