Matriz de Indicadores Evaluación de Resultados

Plan y Presupuesto

Matriz de Indicadores Matriz de Indicadores EvaluaciEvaluacióón de Resultadosn de Resultados

Plan y PresupuestoPlan y Presupuesto

Eduardo AldunateExpertoÁrea de Políticas Presupuestarias y Gestión Pública ILPES, CEPALeduardo.aldunate@cepal.org

Aporte de la MI a la fase de Preinversión

• Contribuye a un mejor diseño del programa o proyecto.

• Obliga a pensar y definir como se evaluará el programa o proyecto.

• Obliga a establecer metas claras.• Obliga a identificar y analizar los riesgos que

enfrenta el programa o proyecto.• Resume en un formato estandar las principales

características del programa o proyecto.

Preinversión

Aporte de la MI a la fase de Inversión

• Resume las principales actividades a desarrollar y productos a entregar.

• Aporta indicadores que permiten un monitoreo y control gerencial.

• Establece como se hará el seguimiento.• Ayuda a la gerencia a estar pendiente de

los riesgos.

Inversión

Fin

Propósito

Componente

Actividad

Aporte de la MI a la fase de Operación

• Resume los principales aspectos del diseño del programa necesarios para evaluarlo (objetivos, metas).

• Indica como evaluar resultados e impactos.

• Ayuda a la gerencia a estar pendiente de los riesgos.

Operación

Fin

Propósito

Componente

Actividad

Evaluación de Gestión y Resultados

Objetivos de la Ejecución Objetivos de la Operación

Fin

Propósito

Componente

Actividad

Fin

Propósito

Componente

Actividad

Evaluación de lagestión del programa

Evaluación deresultados e impactos

Programa: Ejecución-Operación

Fin

Propósito

Componente

Actividad

Mediano o largo plazo Impactos

Corto o mediano plazo Resultados

Corto plazo

Corto plazo

Monitoreo y evaluación

• Recopilar datos para el cálculo de los indicadores.

• Validar los datos.• Calcular los indicadores.• Interpretar la información.• Preparar recomendaciones.

Recopilación de datos

• Fuentes de informaciónTest de 10 preguntas sobre las materias tratadas en la capacitación.

• Método de recopilaciónSelección de muestra aleatoria de 45 personas capacitadas, encuesta en persona.

• Responsable de la recopilaciónJuanita Pérez

• Frecuencia de recopilaciónPor una vez, a los tres meses de concluido el último evento de capacitación.

• Método de análisisCada respuesta correcta da un punto, aprobación con siete puntos. Se calcularáporcentaje de aprobación, media y desviación estandar.

• Modo de distribuciónCorreo electrónico

• UsuariosUnidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos.

Detalle para medios de verificación

Validación de los datos

• Identificar “outliers”– Comparar con datos históricos– Comparar con otros datos del período

• Verificar validez de datos “disparados”• Corregir errores• Eliminar aquellos datos en que no existe justificación

para la desviacón.

Cálculo de los indicadores

• Utilizar una misma moneda para indicadores relacionados con costos.

• Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo).

• Considerar el costo total, no sólo el directo.

• Comparar con situación sin programa.

Poner cuidado en:

Con versus sin Programa

Impacto?

Impactoreal

Linea base Actual

Interpretando la información

• Comparar valor del indicador con la meta.• Analizar evolución histórica del indicador.

• Identificar causas de las desviaciones

Cómo Mejorar la Calidad de la Información para M&E

• Usar varios indicadores para cada objetivo.• Combinar métodos cuantitativos y

cualitativos.• Promover la participación de los

involucrados.• Capacitación a los recopiladores de

información.

Evaluación

• Evaluación de la MI– Lógica vertical (estructura del programa)– Lógica horizontal

• Evaluación de resultados– Eficacia - Calidad– Eficiencia - Economía

Lógica Vertical: Objetivos

• ¿El problema o necesidad prioritaria al que va dirigido el programa está correctamente identificado y claramente definido?

• ¿Existe un diagnóstico actualizado y adecuado, elaborado por el programa, la dependencia o entidad, sobre la problemática detectada que sustente la razón de ser del programa?

• ¿El Fin y el Propósito del programa están claramente definidos?

• ¿El Fin y el Propósito corresponden a la solución del problema?

Lógica Vertical: Objetivos

• ¿El programa cuenta con evidencia de estudios o investigaciones nacionales y/o internacionales que muestren que el tipo de servicios o productos que brinda el programa son adecuados para la consecución del Propósito y Fin que persigue el programa?

• Con base en los objetivos estratégicos de la dependencia y/o entidad que coordina el programa, ¿a qué objetivo u objetivos estratégicos estávinculado o contribuye el programa?

• Con base en lo anterior, analizar y evaluar si existe una relación lógica del programa con los objetivos del Plan Estadual de Desarrollo.

Lógica Vertical: Objetivos• ¿Las Actividades del programa son suficientes y

necesarias para producir cada uno de los Componentes?

• ¿Los Componentes son necesarios y suficientes para el logro del Propósito?

• ¿Es claro y lógico que el logro del Propósito contribuye al logro del Fin?

• Considerando el análisis y la evaluación realizados en este punto, ¿la lógica vertical de la matriz de indicadores del programa es clara y se valida en su totalidad? Es decir, ¿la lógica interna del programa es clara? Si no es así, proponer los cambios que deberían hacerse en el diseño del programa y en su lógica interna.

Lógica vertical: Supuestos

• ¿Son necesario y válidos los supuestos del programa tal como figuran en la matriz de indicadores?

• ¿Están bien redactados?• ¿Faltan supuestos importantes?

Lógica horizontal

• En términos de diseño, ¿existen indicadores para medir el desempeño del programa a nivel de Fin, Propósito, Componentes y Actividades e insumos?

• ¿Todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables?

• ¿Los indicadores incluidos en la matriz de indicadores tienen identificada su línea de base y temporalidad en la medición?

• ¿Están bien definidas las formulas de cálculo de los indicadores?

• ¿Se han establecido metas razonables y asociadas a plazos para los indicadores?

Lógica horizontal

• ¿El programa ha identificado los medios de verificación para obtener cada uno de los indicadores?

• Para aquellos medios de verificación que corresponda (por ejemplo encuestas), ¿el programa ha identificado el tamaño de muestra óptimo necesario para la medición del indicador, especificando sus características estadísticas como el nivel de significancia y el error máximo de estimación?

• ¿De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación?

Lógica horizontal

• ¿El programa recolecta regularmente información oportuna y veraz que le permita monitorear su desempeño?

Eficacia del ProgramaLa eficacia se relaciona con el logro del propósito y el fin después de terminado el proyecto o al cabo de algún tiempo de operación del programa. Se ocupa del grado hasta el cual:

• El programa produjo los componentes en la cantidad y con la calidad previstos.

• Los componentes han sido los adecuados para atender la necesidad y conducen al logro del propósito.

• El logro del propósito ha contribuido al fin.

Area de análisis de la Eficacia

Fin

Propósito

Componente

Actividad

Preguntas sobre Eficacia

• ¿Presentar el avance de los indicadores a nivel de Componente del programa, ¿este avance es el adecuado para el logro del propósito?

• ¿Se identifica algún componente o actividad que no es producido en la actualidad y que podría mejorar la eficacia del programa?

• ¿Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por otros más eficaces?

• ¿Existen indicadores de eficacia en la operación del programa? Presentar un listado de estos indicadores.

Preguntas sobre Calidad

• ¿ Los bienes y servicios se entregaron oportunamente?

• ¿Las características del bien o el servicio entregado son las especificadas?

• ¿Los beneficiarios del programa están satisfechos con la oportunidad y calidad del bien o servicio recibido?

• ¿Existió continuidad en la prestación del servicio?

Eficiencia del ProgramaLa eficiencia hace referencia a la manera como se realizaron las actividades para la entrega de los componentes y se entregaron los componentes para el logro del propósito . Verifica el grado en que:

• Los insumos se proveyeron de manera organizada, oportuna y al mínimo costo posible.

• Las actividades se ejecutaron al menor costo en los plazos establecidos.

• Los productos (componentes) se obtuvieron al menor costo.• Los costos administrativos fueron lo mas bajo posible.

Area de análisis de la eficiencia

Fin

Propósito

Componente

Actividad

Preguntas sobre Eficiencia

• ¿El programa ha identificado y cuantificado costos de operación y costos unitarios dependiendo del Propósito y de sus Componentes? Si fuera el caso, presentar dichos costos.

• ¿El programa tiene procedimientos para medir costo-efectividad en su ejecución?

• ¿Se identifica algún componente, actividad o proceso que no se esté llevando a cabo en la actualidad y que podría mejorar la eficiencia del programa?

• ¿Se identifican Componentes, Actividades o Procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por mecanismos de menor costo?

• ¿Existen indicadores de eficiencia en la operación del programa? Presentar un listado de estos indicadores.

Economía del ProgramaLa economía se refiere a la capacidad de la gerencia del

programa para administrar adecuadamente los recursos financieros. Analiza cómo:

• Se utilizó el presupuesto asignado.• Se captaron recursos adicionales a los presupuestarios.• Se recuperaron recursos en caso existir créditos.

Area de análisis de la Economía

Fin

Propósito

Componente

Actividad

Preguntas sobre Economía

• Cuantificar el presupuesto ejercido al término del presente ejercicio fiscal en relación al presupuesto asignado. ¿Cuáles son las razones de la situación que se observa?

• ¿Cuál es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) en relación al presupuesto ejercido?

• En función de los objetivos del programa, ¿se han aplicado instrumentos de recuperación de costos (gasto que le genera al Estado la producción/entrega de servicios del programa)?

• ¿Existe evidencia de que el programa utiliza prácticas de administración financiera que proporcionen información oportuna y confiable para la toma de decisiones de los responsables de la administración política y administrativa?

• ¿Existe una integración entre los distintos sistemas de información que conforman la administración financiera?

Impactos del Programa

• Dos tipos de impactos:– Efecto en el desarrollo (Fin)– Influencia en otros ámbitos

• Impactos planificados e imprevistos

Fin

Propósito

Componente

Actividad

Area de análisis de los Impactos

Continuidad de la Justificación

• ¿Continúa el programa siendo compatible con las prioridades de desarrollo del país o del estado?

• ¿Se alcanzarán(on) los objetivos a nivel de Propósito y Fin una vez generados los componentes del programa?

Area de análisis de la Justificación

Fin

Propósito

Componente

Actividad

Dos preguntas fundamentales:

Preparando recomendaciones

• Las recomendaciones deben estar fundamentadas en el análisis.

• Proponer acciones para materializar las recomendaciones.

• Analizar beneficios y costos de implementar las recomendaciones.

• Proponer una estrategia de implantación y seguimiento.

• Ser claro, preciso y conciso en la redacción.

Relación MI - Plan - Presupuesto

MML y presupuesto de proyectos

• A nivel de actividades se detalla el costo estimado de cada actividad.

• El costo de un componente se puede obtener sumando el costo de sus actividades

• El costo del proyecto es la suma del costo de los componentes

• Durante la ejecución se comparan costos incurridos con presupuestados

Costo de un proyecto y MML

}

}Fin

Costo A1Costo A2Costo A3

Costo B1Costo B2

Propósito

Componente A

Componente B

Actividad A1Actividad A2Actividad A3

Actividad B1Actividad B2

Σ

Σ

Σ

Indicadores relacionados con los costos

• Indicadores de eficiencia– Costo por unidad de bien o servicio provisto

(Componente)– Porcentaje de costos de administración– Costos por “unidad de resultado” (Propósito)

• Indicadores de economía– Porcentaje de ejecución del presupuesto

(Propósito o Componente)

Problemas en programas

• El costo total del programa no se conoce con certeza.– El financiamiento puede provenir de varias

fuentes o ítem presupuestarios.– No se identifican costos de oportunidad de

bienes propios.– No se estiman costos de administración– No se consideran costos de entidades

colaboradoras• Consecuencia: Indicadores mentirosos

Costo de un programa y MML

}

}Fin

Costo A1Costo A2Costo A3

Costo B1Costo B2

Propósito

Componente A

Componente B

Actividad A1Actividad A2Actividad A3

Actividad B1Actividad B2

Σ

Σ

+ costos de administración del componente+ costos de otras entidades participantes en el componente+ costos de oportunidad de recursos empleados

+ costos de administración del programa+ costos de oportunidad de recursos utilizados en la administración

Propósito

Compo-nentes

Activi-dades

Fin

Plan y Matriz de Indicadores

• La lógica vertical exige una relación clara y verificable (indicadores) entre los distintos niveles de objetivos.

Matriz de Indicadores

Objetivos: Fin

Fin

Propósito

Compo-nentes

Activi-dades

Objetivo estratégico al que contribuye el programa¿ Objetivo del PND?¿Objetivo sectorial?

¿ Objetivo estratégico institucional?

Depende!

Otorgamiento de becas - CONACYT

Ramo:

Unidad Responsable:

Clasificación de Grupos y Modalidades de los Programas Presupuestarios:

Denominación del Programa Presupuestario:

Nombre de la Matriz:

Eje de Política Pública:

Objetivo Nacional:

Grupo Tema:

Tema:

Objetivo de Eje de Política Pública:

Estrategia del Objetivo de Eje de Política Pública :

Tipo de Programa:

Programa:

Objetivo del Programa:

Objetivo Estratégico del Programa Sectorial:

Objetivo Estratégico de la Dependencia ó Entidad:

Sin Información

Profundizar y facilitar los procesos de investigación científica, adopción e innovación tecnológica para incrementar la productividad de la economía nacional.

Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad del país, el bienestar de la población y difundir sus result

Da

A

Estrategia 5.3 Disminuir los costos para la apertura y operación de los negocios a través de la mejora regulatoria.

Estrategia 5.4 Fomentar condiciones de competencia económica y libre concurrencia; así como combatir a los monopolios.

Estrategia 5.5 Profundizar y facilitar los procesos de investigación científica; adopción e innovación tecnológica para incrementar la productividad de la econo

Estrategia 5.6 Aprovechar el entorno internacionalpara potenciar el desarrollo de la economía mexicana.

Sin Información

Sin Información

Tener una economía competitiva que ofrezca bienes y servicios de calidad a precios accesibles, mediante el aumento de la productividad, la competencia ecopara el desarrollo de las empresas, especialmente las micro, pequeñas y medianas.

Productividad y Competitividad

Promoción de la Productividad y la Competencia

Objetivo 5. Potenciar la productividad y competitividad de la economía mexicana para lograr un crecimiento económico sostenido y acelerar la creación de eEstrategia 5.1 Integrar una agenda nacional para la competitividad que involucre a los tres Poderes de la Unión; los tres órdenes de gobierno y al sector privanecesarias y traducirlas en resultados tangibles a corto y mediano plazo.

Estrategia 5.2 Diseñar agendas sectoriales para la competitividad de sectores económicos de alto valor agregado y contenido tecnológico; y de sectores prec

Otorgamiento de becas

Economía Competitiva y Generadora de Empleos

Consejo Nacional de Ciencia y Tecnología

Centro de Investigación en Geografía y Geomática, "Ing. Jorge L. Tamayo", A.C.

U Otros programas de subsidios

001 Otorgamiento de becas

Propósito: Facilitar al capital humano el acceso a oportunidades de formación de alto nivel, orientada a la

investigación científica, desarrollo tecnológico e innovación.

Componente: Generar conocimiento científico, desarrollo tecnológico e innovación para mejorar la competitividad

del país, el bienestar de la población y difundir sus resultados

Actividad: Becas otorgadas

Fin: Contribuir al incrementode la competitividad del país

Otorgamiento de becas - CONACYT

Fin

ObjetivosLógica vertical del programa

No debe ocurrir:

• Forzar a que en todos lo programas el FIN corresponda a un objetivo del Plan Nacional de Desarrollo.

• En grandes programas (Oportunidades) puede ser.

• En los pequeños el salto es muy grande. Deja de existir la lógica vertical entre Propósito y Fin.

PropósitoCompo-nentesActivi-dades

Programa Oportunidades

SEDESOL

SEP SS

Por que no?

MI y Presupuesto

Propósito

Compo-nentes

Activi-dades

Fin

ObjetivosLógica vertical del programa

Tampoco debe darse:

• Programas con Propósitos múltiples.

• No permiten responsabilización por los resultados.

Fin

Propósito

Para terminar .....

FIN

FI N

Supongo!

NF

F

NI