Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación,...
-
Upload
eulalio-ponce-de-leon -
Category
Documents
-
view
220 -
download
0
Transcript of Investigación orientada a las políticas sociales: monitoreo y evaluación Curso de Evaluación,...
Investigación orientada a las políticas sociales:
monitoreo y evaluación
Curso de Evaluación, Monitoreo y Seguimiento
Segunda parte
La lógica de una política ...
RECURSOS
RESULTADOS
CONTEXTO
PROCESOS Y PRODUCTOS
Indicadores: mirada desde la gerencia para cobertura, calidad y resultados
INDICADORES DE RESULTADO
INDICADORES DE CALIDAD
INDICADORES AFINADOS DE COBERTURA
INDICADORES DE COBERTURA
Mortalidad infantil, Aprendizaje, Prevalencia de enfermedad x
Recursos materiales, humanos. Protocolos de
atención, tiempo de espera, ausentismo, monto de prestación
Frecuencia de asistencia, acceso, prestaciones por
persona, etc
Tasa bruta y neta de escolaridad, Tasa de cobertura formal de salud, Tasa de vacunación, Tasa de cobertura en seguridad social
Las cuatro funciones y formas básicas de la evaluación...
Evaluación de necesidad y situación (needs assesment, state assesment and diagnosis)
Evaluación de implementación y productos (implementation analysis, output and process evaluation)
Evaluación de desempeño continuo y contra valores meta (performance evaluation)
Evaluación de impacto (impact evaluation)
Desarrollo de la evaluabilidad
Propósito: asegurar que el diseño de la iniciativa o la Propósito: asegurar que el diseño de la iniciativa o la organización que se evaluará esté diseñado de manera que organización que se evaluará esté diseñado de manera que efectivamente podrá ser monitoreada y evaluada de manera efectivamente podrá ser monitoreada y evaluada de manera
relevante.relevante.
Requiere: Requiere: - especificación del valor buscado y de los objetivos asociados- verificabilidad de los objetivos- viabilidad de los objetivos- definición de indicadores o informaciones relevantes- línea de base o referentes para diversos indicadores e informaciones- especificación de procesos previstos para el uso de la información generada (****)
Evaluación de necesidad y situación (needs assesment, state assesment and diagnosis)
Formación de agenda Identificación de problemas Especificación de problemas y su
medición Identificación de correlaciones que
sugieren causalidad Diagnóstico sectorial o generales, desde
la política o desde los beneficiarios
Evaluación de implementación y productos (implementation analysis,
output and process evaluation)
Recursos disponibles Acciones realizadas Procesos desarrollados Productos generados Productos entregados Participación de beneficiarios Análisis de implementación
Evaluación de desempeño continuo y contra valores meta (performance
evaluation)
Comparación contra período anterior Comparación contra metas Comparación contra y entre unidades
o areas Evaluación contra parámetros
generalizados, normativos o acumulados por experiencia.
Actividades: monitoreo y evaluación de desempeño
Requiere:Requiere:-seguimiento de procesos internos y externos a la organización- orientación al servicio de los ciudadanos-usuarios- seguimiento de entrega y calidad de productos y servicios- consultas a la satisfacción de los clientes y ciudadanos- especificación de valores meta para ciertos indicadores- mecanismos y estrategias para asegurar que la información afecte los procesos y los actores relevantes (****)
Propósito: realizar un seguimiento de los diversos procesos, Propósito: realizar un seguimiento de los diversos procesos, productos y resultados y utilizar la información generada para productos y resultados y utilizar la información generada para
guiar el desempeño de los diversos actores.guiar el desempeño de los diversos actores.
- - Aceptación creciente de auto-evaluación y co-Aceptación creciente de auto-evaluación y co-evaluación.evaluación.- Evaluaciones participativas:- Evaluaciones participativas:
involucrados y participantes fuera de la involucrados y participantes fuera de la organización ejecutoraorganización ejecutorainvolucrados dentro de la organización involucrados dentro de la organización ejecutoraejecutora
Actividades: monitoreo y evaluación de desempeño
¿Quiénes monitorean y evaluan?¿Quiénes monitorean y evaluan?¿Uno puede ser juez y parte?¿Uno puede ser juez y parte?
CONTEXTOS
RESULTADOSPROCESOS Y PRODUCTOS
RECURSOS
DESIGUALDAD
DESIGUALDAD DISTRIBUTIVA
EFICIENCIA
INTERNA
EFICACIA, IMPACTO, MECANISMOS CAUSALES
COSTO-IMPACTO
ESPECIFIC
ACIÓN
AMBIENTE
AMBIENTEAMBIENTE
AMBIENTE
Evaluación de impacto (impact evaluation)
Cambios en unidades por efecto primario de producto o servicio: EFECTO
PRODUCTOS Y SERVICIOS GENERADOS
Cambio social en mi variable y unidades objetivo: IMPACTOS
ACTIVIDADES E INVERSIONES
VALOR SOCIAL (Transformación deseada y otras externalidades positivas)
LA LÓGICA DE UNA INTERVENCIÓN
LA LÓGICA DE UN SISTEMA DE EVALUACIÓN
TRANSFORMACIÓN DESEADA
Evaluar actividades
Evaluar productos
Evaluar Efectos
Evaluar impactos
Posibles quiebres en la cadena causal...
ACCIONES X
ACCIONES PRODUCTOS X
ACCIONES PRODUCTOS EFECTOS X
EL PROBLEMA DEL CONTEXTO...
CONTEXTO
INTRAMURAL EXTRAMURAL
ACCIONES PRODUCTO EFECTOS (propósitos)
IMPACTOS (fines)
Otras intervenciones y dinamicas
1. Se podría analizar el logro (o no) de TODOS los cambios esperados, o sea, todos los elementos del marco conceptual.
¿Hasta dónde evaluar?¿Hasta cuál eslabón de la cadena?
2. Se podría evaluar hasta el eslabón que corresponde a un cambio que se podría justificar por si solo. En si, sería un cambio que la sociedad buscaría, aunque no se produjeran ningunos efectos adicionales.
3. Se podría evaluar hasta asegurar que se produzca aquel cambio que provoca otros cambios (otros eslabones de la cadena) en forma ¨automática¨.
TresTres consideracionesconsideraciones
Que modelos de análisisModelo experimental y no experimental de
evaluación
Modelos experimentales y cuasiexperimentales
Manipulación de la realidad Medición en dos tiempos o más Grupo de control y grupo de
tratamiento Notación O X O
O O* Usos: Evaluación de Impacto
Modelo de analisis causal no experimental
Control ex-post Manipulación de variables Medición en uno o más
tiempos (series históricas) Notación: x
y Necesidad, Performance,
Impacto
• Modelos descriptivos: Definición de realidad, selección de indicadores, mediciones sistemáticas, muestreo y censos, aperturas descriptivas, medidas de tendencia central y distribuciones de frecuencias, series históricas
• Usos: Necesidad, monitoreo y performance.
Las cuatro formas de la validez
Validez estadística (puedo establecer co-variación)
Validez del constructo (representa mi indicador el concepto relevante)
Validez interna (es mi programa o política la responsable de los cambios en mis unidades en los indicadores selecionados)
Validez externa (puedo considerar mis conclusiones válidas más allá de mis casos considerados)
Los riesgos de la validez interna
Imputar el cambio a mi intervención cuando en realidad se debió a otros factores.
Maduración Historia Selectividad Regresión a la media Instrumentación Testing
Modelo simple y sus riesgos de validez interna
% de niños que no asisten a la escuela entre 9 y 12 años
T1 T2
• Maduración
• Historia
• Instrumentación
• Regresión a la media
int
Modelo con grupo de control sin aleatorización y sus riesgos de validez
interna
% de niños que no asisten a la escuela entre 9 y 12 años
T1 T2
• Maduración selectivo
• Historia selectiva
int
Modelo con grupo de control sin aleatorización, con series históricas y sus
riesgos de validez interna
% de niños que no asisten a la escuela entre 9 y 12 años
T1 T2T T T Int
MODELO DE REGRESIÓN DISCONTINUA
% de niños que no asisten a la escuela entre 9 y 12 años
Renta media municipal
Punto de elegibilidad