Pagos por desempeño a los Gobiernos Subnacionales para ... · Administración por Resultados...
32
1 Pagos por desempeño a los Gobiernos Subnacionales para mejorar la salud infantil: Evidencia de una evaluación de impacto a los Convenios de Apoyo Presupuestario en Perú Abstrract Este estudio evalúa el impacto de un esquema de pago por desempeño a través de Convenios de Apoyo Presupuestario (CAP), entre el Gobierno Nacional de Perú con instancias subnacionales, para mejorar el estado nutricional infantil. Estos convenios se suscribieron con las regiones con mayores tasas de desnutrición crónica infantil, con el fin de transferirles recursos adicionales condicionados al cumplimiento de compromisos de gestión y metas en servicios de salud. A partir de los datos de la Encuesta Demográfica y de Salud Familiar de 2008 a 2014, se estima el impacto de dicho esquema de incentivos sobre indicadores de cobertura de servicios de cuidado infantil (vacunación, controles de crecimiento y desarrollo infantil, suplemento de hierro) y del estado nutricional del niño (desnutrición, anemia, diarrea, infecciones respiratorias), mediante la metodología de diferencias en diferencias combinada con técnicas de emparejamiento para la selección de los grupos de tratamiento y control bajo tres escenarios distintos, con el fin de probar la robustez de los resultados obtenidos. El documento, además, profundiza en las posibles causas de los resultados encontrados y brinda recomendaciones para mejorar el diseño de intervenciones que utilizan un mecanismo de incentivos similar.
Transcript of Pagos por desempeño a los Gobiernos Subnacionales para ... · Administración por Resultados...
1
Pagos por desempeño a los Gobiernos Subnacionales para mejorar la salud infantil:
Evidencia de una evaluación de impacto a los Convenios de Apoyo Presupuestario en
Perú
Abstrract
Este estudio evalúa el impacto de un esquema de pago por desempeño a través de Convenios
de Apoyo Presupuestario (CAP), entre el Gobierno Nacional de Perú con instancias
subnacionales, para mejorar el estado nutricional infantil. Estos convenios se suscribieron con
las regiones con mayores tasas de desnutrición crónica infantil, con el fin de transferirles
recursos adicionales condicionados al cumplimiento de compromisos de gestión y metas en
servicios de salud.
A partir de los datos de la Encuesta Demográfica y de Salud Familiar de 2008 a 2014, se
estima el impacto de dicho esquema de incentivos sobre indicadores de cobertura de servicios
de cuidado infantil (vacunación, controles de crecimiento y desarrollo infantil, suplemento de
hierro) y del estado nutricional del niño (desnutrición, anemia, diarrea, infecciones
respiratorias), mediante la metodología de diferencias en diferencias combinada con técnicas
de emparejamiento para la selección de los grupos de tratamiento y control bajo tres
escenarios distintos, con el fin de probar la robustez de los resultados obtenidos. El
documento, además, profundiza en las posibles causas de los resultados encontrados y brinda
recomendaciones para mejorar el diseño de intervenciones que utilizan un mecanismo de
incentivos similar.
2
Introducción y contexto
El uso de mecanismos de incentivos y esquemas de pago por desempeño puede mejorar el
funcionamiento de las organizaciones por diferentes canales. Es decir, estos esquemas pueden
matar dos pájaros de un tiro: atraer mejores trabajadores y alinear sus incentivos con los del
principal, atenuando el problema de riesgo moral. Primero, un contrato que ata parte del salario
al cumplimiento de ciertos objetivos puede desalentar a quienes tienen menor desempeño.
Segundo, los pagos por desempeño pueden incentivar el esfuerzo siempre que los
trabajadores perciban una conexión entre esfuerzo y resultados (CAF, 2015)
La literatura que justifica el uso de este tipo de mecanismos se sustenta en el problema de
asimetría de información en las relaciones laborales o contractuales, pues las acciones del
trabajador (agente) no son observables por el empleador (principal), lo que da lugar a una
situación conocida como riesgo moral, pues el trabajador tendría incentivos para no realizar el
esfuerzo suficiente requerido por el empleador para lograr sus objetivos, pues lo obietvos del
trabajador no son, necesarimanete los mismos que los de la institución.
De esta manera, los acuerdos que pagan por resultados están diseñados para que en una
relación principal-agente se alineen los objetivos de ambos. El dilema del principal se resuelve
diseñando un contrato que incentive al agente a comportarse en la forma que el principal desea
(Eldridge y Palmer, 2008). Los incentivos hacen que la remuneración de los empleados varíe
según su desempeño, modificando el comportamiento de los trabajadores. Entre otras,
Mackinon (2000) identifica alguna de las siguientes ventajas: incrementan la productividad,
calidad y ganancias, clarifica los objetivos e involucra más a los trabajadores con las metas de
la organización y permiten identificar áreas de bajo desempeño. Sin embargo, algunos
sostienen que los incentivos también podrían desvirtuar la naturaleza de actividades asociadas
con motivaciones intrínsecas, y en consecuencia, reducir el esfuerzo (ver Besley y Ghatak,
2005 y Bénabou y Tirole, 2006 en citado por CAF(2015).
Los incentivos comenzaron a aplicarse con relativo éxito y de manera extensa en el sector
privado para maximizar beneficios (véase Laeser Zear , 2000) Sin embargo, su aplicación al
contexto del sector público resulta más complicada. Las dificultades de su extrapolación al
sector público están relacionados con los múltiples objetivos de las entidades públicas, los que
a su vez son difíciles de medir, a diferencia del sector privado donde estan asociados al
aumento de las ventas o beneficios, sumado a que las entidades públicas no generan
ganancias y no quiebran, ademas de que operan en un contexto político y una estructura
jerárquica donde varias unidades de línea hacen del principal (Huaita y Espinoza, 2013). Ello
dificulta indentificar una medida de desempeño directamente vinculada al esfuerzo.
De acuerdo al informe de CAF (2015), uno de los riesgos más estudiados de su aplicación al
sector público se origina en la naturaleza “multitareas” de muchas ocupaciones (Holmstrom y
Milgrom, 1991). Si la evaluación de resultados se vincula sólo a algunas tareas, quizás por
dificultades de medición, el trabajador puede desviar esfuerzos a estas tareas en detrimento de
otras. Asimismo, un inadecuado diseño del esquema puede incentivar a los trabajadores a
llevar a cabo algunas prácticas no deseadas, atentando incluso contra los objetivos globales de
la organización. Otro riesgo deriva de la existencia de múltiples principales (Bernheim y
Whinston, 1986). Como la burocracia es una cadena de relaciones agente-principal, el
burócrata de primera línea puede percibir diferentes estímulos de diferentes principales, desde
su jefe inmediato hasta el ciudadano, pasando por jefes superiores, no siempre en la misma
dirección. Hay otros riesgos derivados de su implementación, que implica que debe ser justa,
trasparente e imparcial y generar esfuerzo. Para eso, se necesita contar con mecanismos de
monitoreo y medición de resultados, los cuales en sí mismos tienen complicaciones.
3
A pesar de estos desafíos, los mecanismos de incentivos y esquemas de pago por desempeño,
han sido empleados por varios Gobiernos en diversos sectores, como educación1 y salud
2. En
particular, su aplicación a los sistemas de salud comenzó en los noventas en los países de
ingreso alto y, durante los últimos diez años, se ha extendido a los países de ingreso medio y
bajo (Miller y Singer, 2013). Meesen, Kashala y Musango (2007) argumentan que la
configuración de contratos determinan el desempeño del sistema y que el pobre desempeño de
los sistemas de salud de países de ingresos medios y bajos se debe a acuerdos institucionales
inadecuados
El Gobierno de Perú, a través de diferentes ministerios y sectores, ha venido empleando
paulatinamente los incentivos como un instrumento que contribuya a una gestión por
resultados. Por ejemplo, desde el Ministerio de Economia se han impulsado los convenios de
Administración por Resultados (CAR), los Convenios de Apoyo Presupuestarios (CAP), el
Programa de Incentivos Municipales (PI), los Bonos por Desempeño al Ministerio del Interior,
Ministerio de Justicia y Fiscalia Pública. Por su parte, el Ministerio de Desarrollo e Inclusión a
través del Fondo de Estímuloa al Desempeño (FED) busca alcanzar mejoras en logros en
desarrollo infantil temprano; mientras que el Minsiterio de Educación, a través de el Bono
Escuela, Bono Universidades, etc ha comenzado a emplear bonos adionales a las
remuneraciones de los docentes y directores en función a mejoras en los logros de
aprendizaje de los estudiantes.
Una de las primeras experiencias de este tipo, emprendida en 2009 por el Ministerio de
Economía y Finanzas de Perú, en el marco de la implementación de la Reforma del
presupuesto orientado a Resultados, fueron los Convenios de Apoyo Presupuestarios entre el
Gobierno Nacional con las diferentes Gobiernos Subnacionales, para el cumplimiento de metas
relativo a la política nacional de salud para mejorar el estado nuticional de los niños menores
de 5 años.
La política nacional para mejorar el estado nutricional del niño, en el marco del Presupuesto por
Resultados, denominada Programa Articulado Nutricional (PAN), se configura través de una
plataforma de servicios y productos que se proveen en los establecimintos de salud a nivel
nacional para reducir la desnutrición crónica infantil (DCI). Entre estos servicios, el PAN prioriza
la aplicación de vacunas, las atenciones periódicas de control para monitorear el crecimiento y
desarrollo de los niños, la entrega de suplementos de hierro y micronutriente a las gestantes y
niños. El presupuesto de dicha polítca alcanzaba los S/2000 millones en 2014.
Los Convenios de Apoyo Presupuestario (CAP) constituyeron un mecanismo de incentivo
económico para impulsar el logro de resultados de la política nacional para mejorar el estado
nutricional del niño. Los CAP fueron convenios individuales de apoyo preseupuestarios
suscritos entre el MEF y los GR de Apurímca, Ayacucho y Huancavelica en junio de 2010
financiados en el marco de un Apoyo Presupuestario entre el Gobierno de Peru y la Unión
Europea denominado EURO-PAN cuyo objetivo fundamental fue contribuir, técnica y
financieramente, a los esfuerzos en reducir la DCI en niños menores de cinco años en zonas
prioritarias del país3
1 Behrman et al. (2012), Glewwe et al. (2010), Lavy (2009), McEwan y Santibañez (2005), Muralidharan y
Sundararaman (2011), Rau y Contreras (2011) 2 Banerjee, Deaton y Duflo (2004), Gertler y Vermeersch (2012), Basinga et al. (2010), Miller y Singer (2013)
3 Convenio Nº DCI_ACA/2009/021-564, Convenio Marco de Financiación entre la Unión Europea y la República de Perú
4
A través de los CAP se realizaron desembolsos periódicos de recursos adicionales4 al
presupuesto institucional de dichos GR, condicionados al cumplimiento de metas en los
indicadores de cobertura en los servicios y productos priroizados de la política nacional de
nutrición y salud infantil en cada región, así com al cumplimiento de compromisos de gestión
por los establecimientos de salud encargados de proveer dichos productos que mejoren la
oferta de dichos servios. Los GR elegidos fueron Apurímac, Ayacucho y Huancavelica, donde
las tasas de DCI eran las más altas a nivel nacional (34,3%, 36,8% y 52,2% en el año 2008,
respectivamente
El objetivo de los mencionados convenios fue contribuir al uso eficiente de los recursos e
insumos para una adecuada provisión de los bienes y servicios públicos y, de esta manera, al
logro de los resultados contemplados en la política nacional de salud infantil5. Los canales a
través del cual dichos convenios contribuirían al logro de los resultados sobre el estado
nutricional del niño, se sustentaba en el mayor esfuerzo de las entidades prestadoras para
ampliar la cobertura de los productos y servicios ofrecidos en la política de salud y mejora de
los procesos operativos críticos para la provisión de dichos servicios en las entidades
prestadoras de salud. Los CAP priorizaron los siguientes servicios: niños con vacunas
completas, niños con sus controles de crecimiento y desarrollo completos para su edad, niños
con suplemento de hierro y vitamina y gestante con suplemento de hierro y ácido fólico, por ser
los que tienen mayor evidencia acerca de su efectividad6.
En este contexto, el presente estudio tiene como objetivo estimar el impacto promedio
atribuible a la implementación de los convenios de apoyo presupuestario suscritos entre el MEF
y los GR de Ayacucho, Huancavelica y Apurímac sobre la cobertura de de los servicios de
salud y el estado nutricional de los niños de las regiones donde estuvo vigente dicho
mecanismo. Es decir, medir la eficacia del mecanismo subyacente a los CAP para potenciar
los resultados de política para mejorar salud infantil
Este objetivo resulta relevante para generar evidencia en el marco de los esfuerzos de
orientar la política pública hacia intervenciones efectivas y proporciona información útil
aplicable a mejoras en el diseño de dicho mecanismo en el sector público. Más aun, si
consideramos que la reducción de la DCI es un objetivo prioritario de política nacional, dadas
las consecuencias negativas que tiene sobre el desarrollo cognitivo, físico y futuras
oportunidades laborales de los niños, además de la reciente expansión en la implementación
de otros instrumentos que utilizan un esquema de incentivos de pago por desempeño, similar a
los CAP, para el mismo resultado y para otros objetivos de política nacional. Como parte del
análisis, se extraen algunas recomendaciones para mejorar la efectividad del mecanismo
evaluado.
Este estudio, además, contribuye a la literatura sobre la efectividad los esquemas de pago por
desempeño en salud aplicados por diversos gobiernos. En América Latina, se han
implementado esquemas similares en Argentina, México y Chile, y a nivel mundial, en Ruanda,
China e India, entre otros países, para mejorar la calidad y el acceso de los servicios de salud
materno infantil.
4 Proveniente de fondos de la Comisión Europea.
5 Artículo 4 de la Directiva para la formulación, suscripción, ejecución y seguimiento de Convenios de
Apoyo Presupuestario a los programas presupuestales en el marco del Presupuesto por Resultados y
Cláusula cuarta del Convenio de Apoyo Presupuestario a los Programas Presupuestarios Estratégicos
entre el Ministerio de Economía y Finanzas, a través de la Dirección General del Presupuesto Público, y
el Gobierno Regional de Apurímac
6 Véase Anexo 2 Contenidos mínimos del Programa Articulado Nutricional
5
La evidencia sobre los efectos de este tipo de mecanismos en esquemas de incentivos en
salud es mixta. Hasnain et al. (2012) revisan la literatura empírica sobre pagos por desempeño,
distinguiendo entre las ocupaciones que son de “relativamente fácil medición” y las que son de
“difícil medición”. Como ejemplo de ocupaciones de relativamente fácil medición citan el trabajo
de los docentes, los prestadores de servicios de salud y los funcionarios encargados de realizar
auditorías impositivas; mientras que en las ocupaciones de difícil medición señalan las
funciones gerenciales o administrativas. En general, encuentran que la efectividad de los
esquemas de pago por desempño depende, en primera instancia, de que se apliquen en un
contexto apropiado. Ellos sugieren que las características de la ocupación son críticas y que
tienen más probabilidad de éxito en sectores como la administración tributaria, la educación, y
la salud.
Miller y Singer (2013) a partir de una revisión de las experiencias en la aplicación de esquemas
de incentivos a los sistemas de salud en países en desarrollo encuentran que los resultados de
su aplicación no son generalizables a todos los casos ni esquemas de incentivos aplicados
pues el logro de resultados en cada caso depende, fundamentalmente, del tipo de metas, del
grado de control de los proveedores sobre el producto, de factores de demanda, del nivel de
esfuerzo y cumplimiento del protocolos del prestador de salud en la atención, de la imposición
de metas y condiciones que garanticen la calidad de los servicios, del porcentaje de los tramos
fijos y variables, del monto del premio para cada meta, del grado de cumplimiento, del nivel
organizacional sobre el que se aplica el incentivo (por ejemplo, GR o centros de salud), de las
condiciones sobre el uso de los recursos, etc.
Sin embargo, las evaluaciones realizadas a sistemas de pago por desempeño similares al
CAP, donde el gobierno nacional asignaba recursos a otros niveles organizacionales (como los
gobiernos subnacionale o establecimientos de salud) para mejorar la salud manterno infantil en
Argentina y Ruanda, a partir de enfoques cuasiexperimentales, han mostrado resultados
positivos en algunos indicadores de cobertura de servicios y de salud materno infantil. La
evaluación del Plan Nacer de Argentina (Gertler et al., 2014) encuentra impactos significativos
moderados en el número de visitas de control prenatal de las madres y en la calidad de
atención prenatal, medido por incremento en la proporción de madres que reciben vacunas de
tétano en las atenciones prenatales y una reducción de los partos por cesárea. Estas mejoras
en los indicadores de producto se reflejaron en los indicadores del estado de salud del niño,
donde la probabilidad de bajo peso al nacer se redujo en 19% y la mortalidad neonatal en 22%.
En Ruanda (Basinga et al. 2012) la evaluación de impacto, encontró impactos significativo
positivo moderados en la probabilidad de parto institucional y en la probabilidad de que el niño
menor de 24 meses complete sus visitas de control. Tambien enocntraron impactos modestos
sobre indicadores de calidad en la atención prenatal, medido por la probabilidad de recibir
tétano durante la atención prenatal y en el índice de calidad prenatal. Sin embargo, no
encontraron impactos significativos en el número de atenciones prenatales de las madres ni en
la proporción de niños con vacunas completas.
Por su parte, Basani et al (2016) realiza una revisión sistemática para reportar el impacto de
incentivos financieros dirigidas directamente a los hogares con niños menores de 5 años, tales
como, transferencias condicionadas, transferencias no condicionadas, microcrédito, esquemas
de bonos y eliminación de tarifas en los siguientes grupos de indicadores: prácticas de
lactancia materna, cobertura de vacunas, uso de servicios de salud (acude a centro de salud si
niño está enfermo, visitas a centro de salud por razones preventivas, para controles de
crecimiento) manejo de episodios de diarrea y adopción de prácticas preventivas (suplemento
de hierro, vitamina y micronutrientes). Encuentran un impacto moderado en prácticas de
lactancia, y un efecto modesto en vacunación y poca evidencia de calidad de los efectos de
6
transferencias condicionadas y reducción de tarifas en el uso de servicios de salud y en
adopción de prácticas preventivas.
El documento se organiza en seis secciones. A continuación, se describe el marco, diseño y
componentes de los CAP. La tercera sección describe los resultados de interés, las fuentes de
información empleadas y la estadística descriptiva. La estrategia de identificación del impacto
se encuentra en la cuarta parte del artículo. El acápite 5 discute los principales resultados.
Cierran el documento las conclusiones y recomendaciones.
2. Convenios de Apoyo Presupuestario al PAN suscritos entre el MEF y los Gobiernos
Regionales de Huancavelica, Ayacuho y Apurimac
2.1. Origen de los CAP
Los Convenios de Apoyo Presupuestarios suscritos entre el MEF con los Gobierno Regionales
de Ayacucho, Huancavelica y Apurimac en 2009, que denominaremos CAP, consituyeron un
mecanismo de incentivo económico creado con la finalidad de impulsar el logro de los
resultados establecidos en la política nacional para mejorar la desnutrición infantil, denominado
Programa Articulado Nutricional (PAN). En dichos convenios se establecen una serie de metas
asociadas a indicadores de cobertura y compromisos de gestión para los Gobiernos
Regionales (GR) que ejecutan intervenciones en los Programas Presupuestales (PP) Los
pliegos reciben transferencias presupuestales destinadas a financiar bienes y servicios, así
como bienes de capital, en función a su nivel de cumplimiento de las referidas metas
Los CAP se establecieron en el marco de un Apoyo Presupuestario al Gobierno de Perú con la
Unión Europea (UE). Los Apoyos Preuspuestarios (sectoriales) se configuraron como recursos
públicos provenientes de donaciones o préstamos al Tesoro Público para impulsar la
implementación de uno o más programas presupuestarios o políticas nacionales, previo al
cumplimiento de determinados compromisos orientados a aspectos macrofiscales y de política
publica.
En noviembre de 2009, el Gobierno de Perú y la Unión Europea firmaron el primer convenio de
Apoyo Preusupuestario para la ejecución del “Programa de Apoyo Presupuestario al Programa
Articulado Nutricional - PAN”, denominado EURO-PAN, cual priorizó a la políticia nacional para
mejorar la nutrición infantil del Presupuesto por Resultados, denominada PAN, a fin de acelerar
el proceso de reducción de la DCI” 7. La UE se comprometir a transferir recursos en el marco
de este convenio por un monto de 60.8 millones de euros en 48 meses de ejecución (2009 a
2013) a través de transferencias directas al presupuesto del Gobierno de Peru. Asimismo, se
decide apoyar preferentemente a los departamentos de Apurimac, Ayacucho y Huancavelica
donde se concentraban las mayores tasas de desnutrición en 2010.
Los desembolsos al Tesoro Público de dicho Apoyo Presupuestario durante la vigencia del
convenio, de acuerdo a un cronograma anual de desembolsos anuales se realizarían luego del
cuplimiento de condiciones generales y específicas que se establecieron en el convenio marco.
Las condiciones generales de dicho convenio establecen que el Peru debía cumplir con los
criterios de elegibilidad para recibir un apoyo presupuestario8, las cuales debían revisarse
7 Convenio N° DCI –ALA/2009/021-564 EURO-PAN” 8 Los desembolsos estaban sujetos a la presentación del Ministerio de Economía y la verificación de la Comisión
Europea de los siguientes 3 criterios de elegibilidad: i) Que existe o se está aplicando una política macroeconómica que tiene como objetivo la estabilidad, ii) que existe o se está aplicando una estrategia de lucha contra la pobreza bien definida y ii) que existe un programa adecuado y creible destinado a mejorar la Gestión de las Finanzas Públicas.
7
costantemente para la asignación de los fondos por parte de la CE durante durante el periodo
de implementación del EURO-PAN9.
Por su parte, a través de las condiciones específicas del Convenio, el Gobierno de Peru se
comprometía a alcanzar determinadas metas en indicadores de cobertura de cuatro
prestaciones de salud claves de la política nacional para reducir la DCI. El ámbito territorial en
el que se evaluaría el cumplimiento de las metas de las condiciones específicas sería los 54
distritos ubicados en el primer quintil de pobreza de las regiones beneficiarias, hasta cubrir el
20% de la pobreza total de cada región (véase cuadro 1 con la lista de distritos priorizados).
2.2. Diseño de los CAP
Para cumplir con las condiciones específicas del convenio, se suscribieron convenios
individuales de apoyo presupuestal entre el MEF y cada uno de los GR participantes
(Apurímac, Ayacucho y Huancavelica). De acuerdo a lo estipulado en los dichos convenios10
, el
objetivo de los CAP era “contribuir al uso eficiente de recursos para una adecuada provisión de
bienes y servicios públicos y, por consiguiente, al logro de resultados contemplados en el PAN”
en cada una de las tres regiones priorizadas, las mismas que reportaban las más altas tasas de
desnutrición crónica a nivel de todo el país en el año en que se firmaron los convenios (2009-
2010)11
. La duración de dichos convenios fue de cuatro años, contados a partir de la fecha de
suscripción de los convenios respectivos, en junio de 2010.
Para ello, el diseño de los CAP contempló un esquema de incentivos del tipo pago por
desempeño (conocido como pay for performance) para incentivar la mejora en la provisión los
de servicios de salud infantil, a través del cual el gobierno central asignaba trasferencias de
recursos adicionales, provenientes del EUROPAN, al presupuesto institucional de los GR
partipantes (y estos a sus unidades ejecutoras y puntos de atención), condicionado al
cumplimiento de metas sobre los indicadores de cobertura de los productos y servicios de
salud en la región y al cumplimiento de los compromisos de gestión en los procesos operativos
que soportan la provisión y oferta de los productos de dicho programa en los establecimientos
de salud. Por ejemplo, para el logro del producto de CRED “se requiere asegurar la
disponibilidad de personal de salud con las competencias necesarias en el establecimiento de
salud” (…) Asimismo, esta intervención tendría impacto en la mejora de la nutrición del menor
de 36 meses” (MEF, 2012)
Los CAP priorizaron cuatro servicios de salud del PAN: niños con sus vacunas básicas
completas, niños con controles de crecimiento y desarrollo (CRED) completo para su edad,
niños con suplemento de hierro y vitamina A y madre gestante con suplemento de hierro y
ácido fólico12
. De esta manera, los CAP se superponen a la plataforma de servicios y productos
que se brindan en los establecimientos de salud de todo el país para mejorar estado ntricional
del menor e intervienen sobre la estructura productiva de dichos servicios en los puntos de
atención, unidades ejecutoras, Direcciones Regionales de Salud de las regiones beneficiarias.
9 Ver los informes de verificación de cumplimiento de metas en:
http://www.mef.gob.pe/index.php?option=com_content&view=article&id=3453&Itemid=101937&lang=es 10
Cláusula cuarta del Convenio de Apoyo Presupuestario a los Programas Presupuestarios Estratégicos entre el Ministerio de Economía y el Gobierno Regional de Ayacucho (ídem para los GR de Huancavelica y Apurímac) 11
Los GR priorizados para la suscripción de los AP fueron aquellos con las mayores tasas de DCI en 2008 (34,3% en Ayacucho, 36,8% en Apurímac y 52,2% en Huancavelica, respectivamente), muy por encima del promedio nacional, el cual alcanzaba el 19%. 12
Según el diseño del PAN, tenían mayor evidencia acerca de su efectividad en la reducción de las
prevalencias de DCI y de anemia (Ver Anexo 2 Contenidos mínimos del Programa Presupuestal
Articulado Nutricional )
8
La lógica detrás de los CAP es que permitirían una mejor alineación de incentivos entre el
principal (gobierno central) y el agente (gobierno regional y establecimientos de salud), a través
de dos mecanismos: i) uno indirecto, llamado Tramo fijo, a través de un premio al GR por el
cumplimiento de mejoras de gestión de las unidades ejecutoras en los procesos operátivos
críticos que permitirían asegurar una mayor oferta de los servicios de salud priorizados en los
establecimientos de salud, y ii) otro directo, llamado tramo variable, a través del cual el GR
recibía un premio por el logro de metas relacionados a mejoras en la cobertura de los servicios
priorizados en cada región. El primer mecanismo es una condición para lograr el cumplimiento
del segundo. Ambos, deberían traducirse en un mayor esfuerzo de los agentes (Gobierno
Regional, unidades ejecutora y establecimietnos de salud) en el uso de los recursos y en la
gestión de los procesos críticos vinculados para incrementar la oferta y la cobertura y
atenciones de los servicios de salud en sus jurisdicciones. Consecuentemente, como resultado
del incremento de las coberturas, de dichos productos, se esperaría una mejora en los
resultados sobre el estado nutricional del niño en cada región13
.
El valor de la metas y compromisos de gestión establecidas para el tramo fijo y variable se
fijan para un horizonte cuatro años. Cada GR podría recibir desembolsos acumulados hasta un
máximo de S/ 50 millones en cuatro años, entre 2010 a 201314
según el nivel cumplimiento de
las metas y compromisos de gestión. Cada desembolso anual evaluaba el cumplimiento
respecto al año anterior15
. En el cuadro 2 del anexo se reportan los desembolsos máximos
anuales y el porcentaje de dichos montos correspondiente a cada uno de los tramos para cada
año en los CAP.
Las transferencias que corresponden al tramo fijo estuvieron sujetas al cumplimiento de los
compromisos de gestión. Esto se formularon a partir de las barreras en el flujo de la
información de la cadena de valor de los servicios priorizados (insumos, presupuesto y
demanda)16
. Así, cada uno de los compromisos estuvo referido a los siguientes procesos17
:
Programación operativa, Soporte logístico para la adquisición y distribución de los insumos,
Organización para la producción de los productos y entrega a los beneficiarios directos y
Supervisión, seguimiento y evaluación de los procesos. Para medir el desempeño de cada uno
de ellos, se definieron criterios de verificación con su correspondiente nivel de cumplimiento.
Se establecieron cuatro niveles de cumplimiento: nivel 0, nivel 1, nivel 2 y nivel 3. La exigencia
de cada nivel aumentaba en relación a la anterior y se añadían nuevos criterios18
. En los
cuadros 3A y 3B del anexo se reporta el listado completo de los criterios de verificación
establecidos para cada nivel de cumplimiento.
Es importante mencionar que se transfería el 100% del monto asignado al tramo fijo para el
año en cuestión si se cumplían todos los criterios de verificación correspondientes a cada nivel;
13
O al menos, en las 54 distritos priorizados por el Convenio Marco 14 Es importante precisar, también, que aunque la última transferencia del convenio se hizo en 2013,
sobre los cumplimientos de 2012; para el año fiscal 2014 los GR beneficiarios recibieron un crédito
suplementario equivalente al monto del último desembolso para el manteamiento de las metas alcanzadas
con los CAP. Asimismo, a diferencia de otros esquemas de transferencias condicionados, los CAP no
establecieron condiciones sobre el uso ni distribución de las transferencias recibidas. 15
Así, en la transferencia de 2010, se evalúo el cumplimiento del año 2009 y en la transferencia del
cuarto año, en 2013, se evaluó el cumplimiento del año 2012 16
Véase Reporte de la Sistematización del Progrma de Apoyo Presupuestario al Programa Articulado Nuticional – EUROPAN, ACE International Consultans (2016), mimeo 17
Dependiendo de la naturaleza y complejidad del proceso, estos se pueden dividir a su vez en
subprocesos, y a su vez, estos pueden ser clasificados en críticos y no críticos 18
EL nivel 0 incluía 7 criterios, los niveles 1 y 2 comprendieron 23 criterios cada uno y el nivel 3 incluía
27 criterios.
9
mientras que si hubiera o se mantuvieran observaciones (criterios no cumplidos), el
desembolso consistía en el 60% del monto asignado para dicho año, independientemente del
número de criterios cumplidos. Se otorgaba un plazo adicional para el leventamiento de
observaciones pendientes para realizar la transferncia completa. Cabe mencionar que el primer
desembolso estuvo enteramente destinado al tramo fijo, para garantizar el cumplimiento de los
requisitos mínimos para la adecuada provisión de recursos y las mejoras requeridas por la
línea de producción de los servicios. El último año se prioriza en cambio, el cumplimiento de las
metas del tramo variable (que representaba el 70% de ese año).
Por otro lado, las transferencias que correspondían al tramo variable se sustentaron en el
cumplimiento de metas establecidas sobre los siguientes cuatro indicadores de desempeño del
PAN, que miden las coberturas de los productos priorizados19
: i) Proporción de niños menores
de 36 meses con vacuna completa para su edad, ii) Proporción de niños menores de 36 meses
afiliados al Seguro Integral de Salud (SIS) con CRED completo para su edad, iii) Proporción de
niños menores de 24 meses afiliados al SIS con suplemento de hierro y iv) Proporción de
gestantes afiliadas al SIS con suplemento de hierro.
En el caso del tramo variable, el desembolso estuvo afecto al grado de avance de la meta de
cada uno de los indicadores evaluados. Así, se transfería el 100% del monto máximo para cada
indicador si el valor del indicador alcanzaba, por lo menos, el 90% de la meta, el 75% si se
alcanzaba entre el 75 y 90% de la meta y el 50% se alcanzaba entre el 50% y 75% de la
meta.20
. Si el valor del indicador era menor al 50% de la meta anual, no se realizaba
transferencias. Además, para la verificación del cumplimiento de las metas del tramo variable
se evaluaron sólo los 54 distritos ubicados en el primer quintil de pobreza según el mapa de
pobreza distrital, priorizados en el convenio marco (véase cuadro 1)21.
Sin embargo, las
acciones del GR para el logro de metas pudieron abarcar a toda la región debido a que no se
impusieron restricciones al respecto.
Los valores de las metas establecidas para los indicadores de cobertura del tramo variable
para cada año de vigencia del convenio se fijaron en cada uno de los convenios (y ajustados
en algunos casos, en sus respectivas adendas) bajo parámetros específicos según el contexto
de cada región, acorde con los valores registrados en sus respectivas líneas de base del año
2009. Se observa que los valores de la metas se incrementa cada año (siendo en algunos
indicadores, tasas más acentuadas que en otros). En los cuadros 4A, 4B y 4C del anexo se
reportan las metas anuales fijadas para cada indicador de desempeño, para cada uno de los
GR.
2.3 Nivel de cumplimiento de los CAP -
Los CAP realizaron cuatro desembolsos anuales a los GR, contados desde la suscripción de
los convenios. En junio de 2010 se realizó el primer desembolso sujeto exclusivamente al
19
Para mayores referencias sobre las definiciones operacionales, fórmula de cálculos, algoritmos, metas
establecidas para estos indicadores ver el Anexo I del Convenio N° DCI –ALA/2009/021-564 EURO-
PAN” y los Convenios de Apoyo Presupuestario a los Programas Presupuestarios Estratégicos entre el
Ministerio de Economía y Finanzas y los GR de los departamentos beneficiarios.
20 En el cálculo del desembolso correspondiente a este tramo, cada uno de los indicadores tenía el mismo
peso. 21
Esta identificación tuvo como marco de referencia el mapa de pobreza distrital 2007 (INEI). Así, se
contabilizaron 20 distritos ubicados en el departamento de Apurímac, 20 en el departamento de Ayacucho
y 14 en el departamento de Huancavelica.
10
cumplimiento de los criterios de verificación del primer nivel del tramo fijo22
. Los siguientes
desembolsos se realizaron entre 2011 a 2013 respectivamente, respecto al cumplimiento de
metas y compromisos de gestión del año inmediatamente anterior. La distribución de los
montos transferidos, según el grado de cumplimiento que alcanzó cada gobierno regional por
cada tramo durante estos años se muestra en cuadro 5.
El cuadro 5 muestra que el GR de Apurímac, durante los cuatro años, recibió transferencias por
S/. 31 millones, que equivale al 62% del monto máximo acumulado; mientras que los GR de
Ayacucho y Huancavelica recibieron transferencias equivalentes al 80% y 81% de los montos
máximos acumulados, que alcanzaron los S/. 40,1 y S/. 40,6 millones, respectivamente, lo que
muestra que el nivel de cumplimiento de los compromisos de gestión y metas de coberturas fue
significativamente menor en Apurímac, respecto a los otras dos regiones. En los tres casos, se
observa una tendencia creciente en los montos totales recibidos, los que debieran ser resultado
de los más altos niveles de cumplimiento de los compromisos de gestión y metas con el
transcurrir de la convneio.
Respecto al tramo fijo, se observa que durante el primer año, niguna región cumplió los 7
criterios de verificación, por lo que sólo recibiernon el 60% del monto asignado para dicho año.
En el segundo año, el nivel de cumplimiento fue bajo para las tres regiones, siendo más crítico
en el caso de Apurímac, que sólo cumplió 5 de los 23 criterios. Huancavelica cumplió ocho y
Ayacucho, 12. Independientemente del número de criterios cumplidos, todos recibieron una
transferencia equivalente al 60% de los montos máximos, lo que podría, contrariamente a lo
esperado, generar un desincentivo a cumplir todos. Durante el tercer y cuarto año, Ayacucho y
Huancavelica sí lograron cumplir con todos los criterios establecidos para dichos niveles, por lo
que recibieron las transferencias completas. Sin embargo, Apurímac no alcanzó a cumplir
todos los criterios correspondientes a dichos niveles.
Asimismo, los informes de verificación del tramo variable muestran un nivel de cumplimiento
mas alto que en el tramo fijo, pero que sigue el mismo patrón entre regiones. Tampoco se
observa una relación clara entre el cumplimiento en ambos tramos. Así, en el acumulado,
Apurímac recibió el 66% del monto correspondiente al tramo variable; mientras que Ayacucho y
Huancavelica alcanzaron el 95% cada uno. En el caso de Ayacucho se observa que las metas
establecidas para el 2010 fueron largamente alcanzadas e, incluso, sobrepasadas en algunos
casos; por ejemplo, niños con CRED completo, donde se logró el 146% de la meta. En 2011,
se alcanzó el 120% de la meta para el indicador de CRED y la meta de vacunas completas. Sin
embargo, se redujo la cobertura de gestantes con suplemento de hierro con relación a 2010,
alcanzando sólo el 70% de la meta. Durante el último se mantuvo la tendencia del CRED y se
recuperaron los indicadores de niños con hierro y gestantes con suplemento de hierro,
logrando un incremento de más de 20 puntos en el primer caso y de 30 puntos en el segundo
caso.
Huancavelica mostró un cumplimiento más errático, pues en el primer año, también se
sobrepasaron largamente las metas de todos los indicadores: 113% de la meta de cobertura de
vacunas, 148% de la meta de cobertura de niño con hierro y 112% de la meta cobertura de
hierro en gestantes. En el segundo año continuó dicha tendencia, alcanzando cumplimientos
de 171% en CRED y 133% en vacunas. Sin embargo, el porcentaje de niños con suplemento
de hierro cayó en 20 puntos respecto al año anterior y no logró alcanzar la meta. En 2012, al
22
El monto total del EURO-PAN, según lo estipulado en el Convenio Marco de Financiamiento fue de
60.8 millones de euros para los tramos fijos y variables. Sin embargo, para los CAP con los GR de
Apurímac, Ayacucho y Huancavelica se establecieron desembolsos máximos de hasta S/. 50 millones
para cada uno.
11
contrario, cayeron los valores de los indicadores de CRED y vacunas, siendo el caso más
crítico la cobertura de CRED que se redujo en 30 puntos respecto al año anterior. pero aun así,
alcanzó para cumplir la meta.
En el caso de Apurímac, durante el primer año se alcanzaron las metas de todos los
indicadores (con valores ligeramente mayores). En el segundo año, sin embargo, cayó de
manera significativa la cobertura de CRED y del suplemento de hierro a niños y gestantes,
reduciéndose en 30 puntos porcentuales en los dos últimos casos. En el tercer año, se
reajustaron a la baja las metas de CRED y niños con suplemento de hierro. En el tercer año,
los resultados alcanzados mostraron ligeros incrementos en las coberturas de vacunas y de
niños con suplemento hierro respecto al año anterior, sobrepasando la meta en el primer caso
y alcanzando 88% de la meta en el segundo caso.
El grado de cumplimiento de las metas del tramo variable, sugerirían que las metas propuesta,
sobre todo en Ayacucho y Huancavelica, podrían haber subestimaron la capacidad y nivel de
esfuerzo de las entidades prestadoreas de salud de los GR. Esto, a su vez, pudo generar un
menor nivel de esfuerzo en los años siguientes, que se reflejó en caídas en las coberturas sin
poner en riesgo el logro de las metas establecidas. Las unidades ejecutoras pudieron darse
cuenta que con un menor nivel de esfuerzo era suficiente para lograr las transferencias
máximas. Asimismo, se observa una falta de alineación en el logro de coberturas de CRED y
vacunas por un lado, y en las coberturas de niños y gestantes con suplementos de hierro, por
otro; que muestran comportamientos opuestos. Cuando se incrementan las coberturas de uno,
se reducen las de otros, lo que puede ocasionar un efecto ambiguo sobre los indicadores de
resultado sobre el estado nutricional del niño, medido por desnutrición y anemia. Además, se
observa mucha variabilidad en las coberturas de hierro, para niños y para gestantes. Los
movimientos de un año a otro son muy altos y no se mantienen las coberturas alcanzadas,
sugiriendo una falta de continuidad o sostenibilidad de las estrategias aplicadas por las
entidades prestadoras de salud de los GR.
Asimismo, con relación al uso de los montos transferidos, a diferencia de otros esquemas de
incentivos donde se fijan previamente las partidas para la ejecución de los recursos
adicionales, como bonos al personal, a los profesionales de salud, equipamiento, compra de
insumos u otros, la directiva que regula la suscripción, ejecución y seguimiento de los CAP23
no
establece requisitos sobre las genéricas de gasto de destino24
. Sin embargo, se verificó (véase
cuadro 6) que el 80% - 90% de las asignaciones presupuestarias realizadas dentro del marco
de los CAP a las regiones beneficiarias se ejecutaron entre 2010 a 2014 a la contratación de
personal. Entre el 10% y 20% se ha destinado a la adquisición de activos no financieros. El GR
de Ayacucho ha destinado entre 60% y 80% a bienes y servicios en el mismo periodo. Estos
datos mostrarían que se priorizaron los gastos corrientes sobre el equipamiento, lo que
apuntaría a la poca sostenibilidad de los impactos cuando se acaben los fondos para financiar
los gastos corrientes adicionales.
3. Metodología
3.1. Resultados de interés y fuentes de datos
23
Directiva N°002 -2014-EF/50.01 24
La DGPP comunica a la entidad pública el monto de los recursos de apoyo presupuestario que deben
ser transferidos al Pliego y Unidad Ejecutora, con el objeto de que esta pueda aprobar la resolución de
incorporación de dichos recursos en la fuente de financiamiento Donaciones y Transferencias. La
resolución que aprueba dicha ejecución de recursos debe adjuntar un anexo en que se consigne el
presupuesto desagregado por unidad ejecutora, de ser el caso, y hasta nivel de producto.
12
A través de los CAP, el gobierno central realiza transferencias de recursos adicionales a los GR
para la provisión de servicios de salud, en función del cumplimiento de metas y compromisos
explícitamente consensuados y formalizados en los convenios suscritos. Por un lado, establece
metas sobre el logro de indicadores de desempeño en las coberturas del productos y servicios
del PAN, orientados a reducir la DCI y la anemia (que es el incentivo directo para el incremento
de coberturas). Por otro lado, además, establece un incentivo para mejorar los procesos
operativos vinculados a la provisión y oferta de los servicios priorizados a partir del
establecimiento de compromisos de gestión sobre dichos procesos. Este canal, constituye un
incentivo indirecto, a través del cual, como parte de la mejora de los procesos de gestión, se
espera incrementar la oferta y cobertura de las prestaciones de salud. Por tanto, ambos
canales debieran generar un mayor esfuerzo de las entidades proveedoras de salud
involucradas para mejorar la disponibilidad de insumos y la provisión de las prestaciones de
salud orientados a mejorar el estado nutricional del niño.
Por ello, la cadena de resultados que relaciona la intervención con los resultados de interés, en
línea con Morra, Imas y Ray (2009), es que los CAP generan, a través de una configuración de
convenios y transferencias de recursos condicionadas a resultados, una correcta asignación de
incentivos que permite alinear los intereses entre el principal, que es la entidad del gobierno
nacional, con las unidades ejecutoras encargadas de proveer los productos del PAN de los
GR25
.
Por eso, es pertinente evaluar el impacto de los CAP sobre indicadores de cobertura de
productos (proporción de niños con vacunas y CRED, suplementos de hierro) y , sobre el
estado nutricional del niño (prevalencia de EDA, IRA, desnutrición y anemia) como resultados
finales o de largo plazo (véase cuadro 7 con el listado de indicadores y la definición de cada
uno)
Empleamos la información proporcionada por la Encuesta de Demografía y Salud Familiar
(ENDES) para varios años (2008 a 2014) para reportar los estimadores del efecto de los CAP
sobre los indicadores de interés, descritos en los párrafos anteriores. La unidad de análisis en
todos los casos son hogares, niños o madres, dependiendo del indicador. El tratamiento está
definido por una variable que indica si el hogar vive en una región CAP o en uno de los distritos
priorizados en las regiones CAP, segúna el modelo esocgido. Debido a que las encuestas son
corte transversal y no data de panel a nivel individual, la regresión incluye interacciones por
distrito.
Además, utilizamos información complementaria a nivel distrital y provincial, la cual permitirá
medir los indicadores de cobertura de productos y de resultado sobre el estado nutricional del
niño, sobre los que se evaluará el impacto de los CAP. Estas fuentes complementarias fueron:
Censo de Población y Vivienda (CPV) 2007 (INEI)
Mapas de pobreza provincial y distrital de los años 2007 y 2009 (INEI)
Mapas de desnutrición crónica provincial y distrital del año 2009 (INEI)
Gasto per cápita del gobierno regional y nacional según el Sistema Integrado de
Administración Financiera (SIAF) del Sector Público (MEF)
Información departamental del PBI y crecimiento económico a nivel regional (INEI)
El anexo 2 muestra la evolución de los indicadores evaluados para las regiones CAP. Se
observa que la evolución de la desnutrición de las regiones CAP durante el periodo 2007 a
25
Grant y Singer (2013)
13
2014 muestra una tendencia a la baja, similar al promedio nacional, pero más acentuado a
partir de 2012 en el caso de Huancavelica. En el caso de la anemia, salvo Ayacucho, la
tendencia al alza a partir de 2011 de las regiones CAP es similar a lo observado por el
promedio nacional; mientras que en la incidencia de EDA, la tendencia de las regiones CAP es
opuesta al promedio nacional. Si bien entre 2009 a 2011 cayó, a partir de dicho año hasta 2014
experimentaron un incremento. En los indicadores de cobertura, se observa que la proporción
de vacunas sigue la tendencia nacional: un incremento sostenido hasta 2012 y una caída a
partir de ese año. Asimismo, el incremento en la cobertura de vacunas de neumococo y
rotavirus fue mucho mas acentuada hasta 2011, y a partir de dicho año ha crecido a tasas mas
bajas. Las regiones CAP muestran mayor volatilidad en esos años y un repunte al final del
periodo. El incremento de cobertura de CRED se sostienen hasta 2011 y, a partir de ese año,
el promedio nacional se mantiene constante, al igual que en las regiones CAP, salvo Ayacucho
que muestra una caída a partir de 2012; mientras que en el caso de las coberturas de niño y
madres gestantes con suplementos de hierro, el comportamiento de las regiones CAP es
mucho mas volátil, con caídas pronunciadas durante el periodo que estuvieron vigente los CAP
4. Estrategia de identificación del impacto
El propósito de esta evaluación es medir el impacto atribuible a la implementación de los CAP
sobre las coberuras de las prestaciones de salud y, a través de ellos, en los resultados de
salud infantil en las 3 regiones beneficiarias de los CAP durante el periodo 2008 a 2014. Es
decir, esta evaluación examinará en qué medida los CAP constituyen un efecto potenciador,
contribuyen o coadyuvan a los resultados de la estrategia nacional para mejorar la salud infantil
de los niños menores de 5 años.
Así, las principales preguntas de investigación que guiaron el análisis en el presente estudio
son las siguientes: ¿Cuál es el impacto que la implementación de los CAP en las regiones de
Apurímac, Ayacucho y Huancavelica ha tenido sobre los siguientes resultados …?:
…la proporción de niños menores de tres años con vacunas básicas completas?
…la proporción de niños menores de dos años con vacunas de neumococo y
rotavirus completas?
…la proporción de niños menores de tres años con CRED completos?
…la proporción de niños entre seis y 36 meses con suplemento de hierro?
De manera complementaria, se evaluará también el efecto en los resultados finales, que miden
el estado nutricional del niño: propoción de niños con enfermedades diarreicas agudas,
proporción de niños con infecciones respiratorias, el Z score promedio de los niños, proporción
de niños con desnutrición y proporción de niños con anemia. Sin embargo, si no se encontraran
efectos significativos del CAP en las coberturas de servicios de salud, que es el mecanismo a
través del cual el CAP podría mejorar el estado nutricional del niño, tampoco se esperarían
resultados en estas variables finales.
El periodo de análisis de esta evaluación considera los años entre 2008 a 2014. Las
mediciones de línea de base corresponden a los años 2008 y 2009. Para analizar la evolución
y sostenibilidad de los efectos en el tiempo, evaluamos los posibles impactos durante los años
en que el mecanismo estuvo vigente (2010 a 2012) y cuando ya había finalizado (2013 y 2014).
La estrategia para estimar el impacto promedio atribuible a los CAP emplea la metodología de
diferencias en diferencias y triple diferencias combinada con técnicas de emparejamiento, a
partir de una muestra de hogares de los distritos en las regines donde se suscribieron los CAP,
así como de sus respectivos controles.
14
Definimos como grupo de tratamiento a los niños y sus respectivos hogares que residen en los
distritos (priorizados y no priorizados) de las regiones donde se suscribieron los CAP, que es la
variable que define el tratamiento y reportaremos el efecto promedio del tratamiento sobre los
tratados (ATT) de los CAP ( en adelante); que representa el incremento promedio en las
variables de resultado de los niños que residen en los distritos de las regiones donde se
suscribieron los CAP
[ ]
Donde D=1 si el hogar vive en un distrito donde se suscirbió el CAP y 0 en caso contario.
Noteses que [ ] representa el promedio de la variables de resutaldo de los niños de
los distritos beneficiairos de los CAP, si estas no lo hubieran sido, que es el escenario
contrafactual.
En los casos en los que se puede acceder a datos de al menos dos periodos y se cuente
con informacion de una muestra representativa de niños que residen en distritos fuera del
ámbito CAP (grupo de control), es posible identificar el a partir del método de dobles
diferencias. Dicho estimador toma como proxy del contrafactual a la variación entre el periodo
de línea de base y seguimiento en los resultados de los niños de los distritos donde no se
suscirbieron los CAP. Así, esta metodología estima el ATT como como la diferencia en la
evolución de los resultados de interés entre los niños que residen en los distritos beneficiarios
de los CAP y los niños que residen en los distritos fuera del ámbito de los CAP. Este
procedimiento (primera diferencia) permite controlar el sesgo por la presencia de diferencias no
observables entre los hogares de los distritos tratados y de los distritos de control, invariantes
en el tiempo y por shocks en el tiempo comunes a todos los distritos (segunda diferencia) es de
decir, descuenta la tendencia en las variables de resultado que se habrían producido en
ausencia del programa (Ravallion 2005). Es decir, tasa de pobreza, tasas de desnutrición,
características geográficas, nivel educativo e ingreso de los disritos, oferta y distancia a
servicios de salud,
Ello implicaría que dicho estimador logra controlar el sesgo ocasionado por la diferencias
en los distritos que se encuentran dentro y fuera del ámbito de los CAP que no habrían variado
durante el periodo analizado como características socioeconómicas distritales, distancia a los
centros de salud, calidad de atención y oferta en centros de salud, prácticas y costumbres del
hogar, compromiso político, capacidad y grado de institucionalidadde las autoridades locales,
acceso a servicios básicos, todas las cuales se correlacionan y podrían afectar los esultados
en las coberturas de servicios de salud y estado nutricional del menor, que se quieren medir en
la presente evalaución .
Sin embargo, para que el estimador de doble diferencias represente un estimador no
sesgado del , el supuesto crucial es que en ausencia de la intervención, la trayectoria en
la variable de resultado del periodo 0 al periodo 1 hubiera sido la misma tanto para el grupo
que recibió el tratamiento como para el que no lo recibió. En otras palabras, que la tasa de
crecimiento en las coberturas de servicios de salud y estado nutricional del niño hubieran sido
la mismas en ambos grupos aun si no se hubieran suscrito los CAP. A ello se le conoce como
el supuesto de tendencias comunes.
El supuesto de tendencias comunes no será razonable si las condiciones iniciales, antes
de la implementación de los CAP diferían entre los dos grupos, y estas a su vez, condicionaran
la trayectoria en las variables de resultado. Podría pensarse que este es el caso, puesto que la
selección de las regiones que suscribieron los CAP en la primera etapa consideraron a
aquellas con tasas de desnutrición y pobreza más altas a nivel nacional, lo que podría haber
determinado una trayectoria distinta en sus tasas de crecimiento en relación a la cobertura de
de sercicios de salud y estado nutricional del niñ, ampliando o reduciendo la brecha entre las
regiones que suscribieron los CAP y las regiones que no. Asimismo, la selección de los
distritos priorizados al interior de cada región, sobre las que se evaluó el cumplimiento de
metas, consideró a aquellas en los quintiles 1 y 2 de pobreza, es decir, las menos favorecidas,
lo cual pudo generar también una dinámica distinta a aquellas tasas más altas de crecimiento o
15
caída, comparada a los distritos en quintiles mas altos (Jallan y Ravallion, 1998). Es decir, aun
puede permanecer un sesgo en el estimador de doble diferencias porque el tratamiento
(suscribir el CAP) aun puede estar correlacionado con factores no observables que cambian el
tiempo. Asimismo, las regiones que suscribieron los CAP pudieron mostrar una coyuntura
política favorable y mayor voluntad de las autoridades regionales y ser priorizadas también por
otras estrategias para la lucha contra la desnutrición, que, apriorio, no sabemos si se mantuvo
constante o cambió durante el período analizado.
Si bien no es posible evaluar de manera directa la validez del supuesto de tendencias
comunes, en tanto es imposible observar que hubiera sucedido con los niños de las regiones y
distritos priorizados por los CAP si este no se hubiera implementado, realizamos los siguientes
análisis complementarios para evaluar la factibilidad de su cumplimiento
En primer lugar, acotamos la muestra de distritos que conforman la evaluación de tal forma
que aquellas que se encontaban en las regiones que suscribieron los CAP sean muy similares
en sus características observables iniciales en el periodo pre-tratamiento (línea de base y pre
línea de base) a aquellas que se encontraban fuera del ámbito de los CAP. Así, se realizó un
emparejamiento a través de la técnica estadística de propensity score matching (PSM) entre
los distritos beneficiarios y no beneficiarios del CAP para asegurar que la muestra esté
balanceada en una serie de características socioeconómicas distritales, en base a información
obtenida del CPV de 2007, mapas de pobreza y desnutrición de los años 2007 y 2009.
Consideramos las siguientes variables porcentaje de pobres en 2009, porcentaje de pobres
extremos en 2009, porcentaje de no pobres en 2009, DCI según OMS en 2007, DCI según
NCHS en 2007, población censada 2007 , ingreso promedio per cápita 2007 , porcentaje de
mujeres analfabetas 2007, distrito se encuentra en sierra, población rural censada, porcentaje
de hogares con acceso a agua en 2007.
La metodología PSM genera grupos de tratamiento y de control similares en aquellas
variables observables que condicionan la probabilidad de selección de las regiones y de los
distritos priorizados por los CAP. Ello hace que el supuesto de tendencias comunes sea más
creíble, en tanto se asuma que aquellos distritos que parten en condiciones similares respecto
a las variables que condicionan la probabilidad de participación como pobreza, desnutrición
previa, etc. deberían generar los mismos resultados futuros en las coberturas de servicios de
salud y estado nutricional de los niños en ausencia de la intervención.
La implementación de la metodología de PSM se llevó a cabo partiendo del marco de
distritos incluidos en las distintas rondas de ENDES (2008 a 2014). Se emplearon dos
escenarios que corresponden a diferentes marcos distritales para la selección de los distritos
que conformarían la muestra de evaluación (tratamiento y control) a partir del PSM. Bajo el
primer escenario se construyó un pseudo panel distrital con las Endes de los años 2008 - 2009
(ldb) y para los siguientes pares de años como mediciones de seguiminto: 2010 - 2011, 2011 -
2012, 2012-2013 y 2013 – 2014. Bajo el escenario 2, se elaboró un pool distrital para los
mismos periodos. Aunque el primer escenario proporcionaría una mejor comparabilidad en el
tiempo pues se trabajan con el mismo conjunto de distritos en el tiempo, el segundo al emplear
todas los distritos de las ENDES, proporciona un mayor número de observaciones y con ello,
una mayor precisión de los estimadores e incrementa la potencia de la muestra. Sin embargo,
aunque este duplica el número de observaciones que el primer escenario, en ambos casos se
contaría con suficientes observaciones para garantizar una potencia. La finalidad de contar
con más de un escenario de estimación para esta evaluación es la de probar la robustez de los
resultados obtenidos26
dado que cada escenario emplea muestras distintas de distritos y
hogares.
26
El propósito de ello es producir estimadores que se mantengan significativos y con el mismo signo en
diferentes escenarios.
16
En este marco hay dos potenciales grupos de tratamiento que empleamos de manera
complementaria para la interprestación de los efectos o ausencia de estos. En el primer caso,
el grupo de tratamiento estuvo determinado por los distritos de las regiones donde se
suscribieron los CAP y en el segudo caso, restingimos como tratados sólo a los 54 distritos de
dichas regiones que conformaban el quintil 1 y qintil 2 de pobreza que fueron priorizadas para
el cumplimiento de metas, es decir donde la intensidad del tratemiento fue mayor. En este
segundo caso, el número de observaciones fue mucho menor, por lo que la precisión de los
estimadores también disminuyó. Las estimaciones que corresponden cuando el tratamiento
consideró sólo a los distritos priorizados al interior de las reginones que suscribieron los CAP,
le llamamos escenario 3. En los escenarios 1 y 2 empleamos la primera definición del
tratamiento (que considera a todos los distritos de las regiones mucho suscribieron los CAP).
Por tanto, el escenario 3, aunque tenga un número de observacoines menor que los otros
casos, tendría la ventaja de una mayor precisión o intensidad en la identificación de los
beneficiarios, puesto que se consider los distritos donde se focalizaron las acciones y
compromisos como parte de los CAP27
. Sin embargo, este escenario sí puede comprometer la
potencia de la muestra para la identificación de impactos mínimos.
Por su parte, esta marco ofrece también dos potenciales grupos de control. El primero estaría
conformado por los distritos de las regiones que no suscribieron dichos convenios.28
El
segundo está constituido por los distritos no priorizados en las regiones donde sí se firmaron
dichos convenios. Este último sin embargo, puede estar contaminado o no ser un control puro
pues, aunque sospechamos que las acciones para el cumplimiento de las metas se
circunscribieron o intensificaron en las 54 distritos priorizados, las acciones podrían también
haber considerado a todos los establecimientos de salud de la región. Por ello, para la
estimación de doble diferencias usamos el primer grupo como control. Para la estimación del
triple diferencias empleamos ambos.
Una vez identificados los distritos de tratamiento y control a partir del PSM bajo cada escenrio
estimamos el impacto pormedio sobre los tratados (ATT) para cada indicador, mediante la
estimación de un modelo de regresión para los niños de los distritos de la muestra. Los
impactos son estimados para las dos definiciones del grupo de tratamiento y empleando
diferentes especificaciones29
, para analizar la robustez de los resultados obtenidos.
Adicionalmente, en la regresión de diferencias en diferencias incluimos covariables a nivel de
hogar para reducir el sesgo potencial : nivel educativo y edad de la madre, edad y sexo del
niño, numero de miembros del hogar, condición de ruralidad, si la madre vive y gasto per
capita de la provincia donde reside el niño, entre otras.
27
Dado que los GR podrían haber tenido el incentivo de implementar las mejoras provenientes de los AP
en los distritos priorizados con mayor esfuerzo se decidió probar los impactos sólo para este subconjunto
de distritos dentro de las regiones beneficiarias. Sin embargo, no se impuso ninguna restricción
geográfica a los GR en la ejecución de los fondos. 28
Se excluyeron como posibles regiones de la muestra de control a Amazonas, Huánuco y Cajamarca
porque durante el periodo de análisis (a partir del 2014) fueron beneficairos de un esquema de apoyo
presupuestario en una segunda etapa del EUROPAN. También se excluye Lima Metropolitana y distritos
de la costa que son predominantemente urbanos (más de 50% de su población es urbana). 28
Siguiendo los estudios o modelos de factores asociados a la DCI, sobre la base del modelo de Smith y
Haddad (2000), sujeto a la disponibilidad de datos a nivel distrital. Véase también Alcazar (2014), INEI
(2007), INEI (2009)
29 Ponderando por probabilidad de ser un distrito CAP, con covariables, con efectos fijos por distrito y
considerando efectos diferenciados por sexo, ámbito y gasto del PAN en la región.
17
Así, combinando el propensity score matching con doble diferencias es posible, además,
controlar por variables no observables invariantes en el tiempo, por observables que cambian
en el tiempo y por condiciones iniciales que pueden haber determinado una trayectoria
diferente entre las regiones (y distritos) en el ámbito CAP y las regiones (y distritos) fuera de
dicho ámbito. Sin embargo, para evaluar la validez del supuesto de tendencias comunes resta
por probar la posibilidad de que existan variables no observables que condicionan la
probabilidad de participación de las regiones en los CAP. Si ellas siguen una trayectoria disímil
entre ambos grupos, es probable que ello genere también trayectorias disimiles en la variable
de resultado.
Para evaluar la plausibilidad del supuesto de tendencias comunes cuando existen variables no
observables que condicionan la participación en los CAP), aplicamos pruebas placebo a partir
de la estimación de regresiones de diferencias en diferencias para varias muestras de hogares
de los distritos de tratamiento y control durante el periodo previo al inicio de los CAP (2008 y
2009). En principio, bajo el supuesto de tendencias comunes, la hipótesis nula de que el
coeficiente estimado es igual a cero no debería ser rechazada. A esta prueba estadística se le
conoce en la literatura empírica como prueba de placebo.
Finalmente, de manera alternativa, para corregir el problema de no observables que
cambian en el tiempo dentro de la región, reportamos el estimador de triple diferencia. Tal
estimador permite corregir el sesgo debido a diferencias en la evolución de los indicadoes que
surgirían por brechas en no observables que cambian en el tiempo entre regiones. Debido a
que tenemos información para los distritos priorizados y distritos no priorizados en las regiones
que suscribieron los CAP, que proporciona una fuente de variación adicional, estimadmos un
doble diferencias entre los distritos de las regiones CAP vs distitos de las regiones que no
suscribieron los CAP, como controles y un doble diferecias entretre distritos priorizados e vs
distritos no priorizados de las regiones donde se sucribieron los CAP, como controles y tomar
la diferencia entre ambos. Esto implica estimar un triple diferencias como el desarrollado por
Chaudury y Parajuli, 2006. Ese estimador permite comparar la tasa de crecimiento en las
coberturas de salud y en el estado nutricional del niño en distritos dentro de la regiones CAP vs
niños en distritos de las regiones que no suscribieron los CAP; pero, a su vez, también permite
descontar parte del sesgo producto del diferencial en las tasas de crecimiento debido a no
observables que cambian en el tiempo entre regiones CAP y regiones que no suscribieron los
CAP.
4.1. Estimación del Efecto Promedio sobre los Tratados a partir del modelo de
diferencias en diferencias
El estimador DD para cada una de las variables de resultado puede ser calculado dentro del
marco de un modelo de regresión empleando un modelo de probabilidad líneal, donde la
unidad de observación son los niños la muestra de los distritos del soporte común del PSM.
Alternativamente, sería posible calcular una regresión de mínimos cuadrados ponderado,
donde cada observación de la muestra de control es ponderada de acuerdo alpropensity score
del distrito asociado30
, el cual prdocuce un estimadores completamente eficiente (Hirano et al,
2003)
30
El peso empleado en cada hogar fue tal que la suma de pesos del total de niños en la estimación que
compone el distrito era igual al peso del distrito que arrojó el proceso de emparejamiento. Cameron y
Trivedi (2010), Jalan y Ravallion (2003) recomiendan ponderar la regresión con los pesos que arroja el
proceso de emparejamiento con kernel.
18
La unidad de análisis son los niños de 0 a 59 meses de edad. Sobre este grupo, se estimaron
efectos para una submuestra acotada según rangos de edad (dependiendo del indicador de
resultado se restringe a una subpoblación de 0 a 36 meses o de 0 a 24 meses)31
.
Se controló también por las características socioeconómicas de los niños y de sus hogares y
por variables específicos a cada región que cambian en el tiempo, tales como el crecimiento
económico y nivel de Producto Bruto Internno y el gasto por niño provincial y regional del
Gobierno nacional y subnacional en las prestaciones de salud que confoman el PAN, como un
proxy de la magnitud de la oferta de servicios de salud en el distrito32
. La regresión incorporará
variables dummies por distrito para controlar por efectos no observables constantes en el
tiempo y específicos a cada uno de ellos.
La variable de tratamiento se definió de dos maneras alternativas, como se explicó
previamente. En los escenarios 1 y 2, toma el valor de 1 si el niño vive en un distrito que
pertenece a alguna de las regiones donde se suscribió el CAP. En el tercer caso, toma el valor
de 1 si el niño vive en un distrito priorizado de las regiones que suscribieron los CAP. Aunuqe
en los dos primeros casos, es posible contar con un mayor número de observaciones, la
intensidad del tatamiento se reduce en el caso de que los esfuerzos se hayan concentrado solo
en distritos priorizados dentro de estas regiones; mientras que en el tercer caso, a pesar de
contar con mayor precisión en la definición del grupo de tratamietno (o su intensidad es mayor),
los estimadores resultarán menos eficientes por el menor número de observaciones
disponibles.
Finalmente, se estimaron regresiones independientes para cada una de las mediciones de
seguimiento (2010-2011, 2011-2012, 2012-2013 y 2013-2014) para analizar la evolución de los
impactos estimados mientras estuvo vigente el mecanismo de incentivos y durante el periodo
posterior al cierre del incentivo, que permitirá analizar su sostenibilidad. La ecuación estimada
se especifica de la siguiente manera:
[ ] (1)
Donde:
: Niño33
: Denota el tiempo, pre y post intervención, ( =1 para cada una de las mediciones de
seguimiento y =0 para las mediciones de línea de base).
31
En el primer y segundo caso, los indicadores de evaluación solo incluyen a los niños que nacieron
después de implementaron los CAP en las regiones beneficiarias y en el tercer caso se incluyen a niños
que recibieron en sus distritos los beneficios de los CAP habiendo nacido o ya teniendo incluso 2 años de
edad. 32 Cabe resaltar también que en ambos grupos (tratados y controles), los hogares se benefician de los
servicios de salud que forman parte de la estrategia nacional de salud nutricional infantil que ofrecen los
establecimientos de salud a nivel nacional, lo que permite controlar el efecto del PAN en la estimación
del impacto atribuible a los CAP Sin embargo, para controlar las diferencias en la magnitud de la
prestación de estos servicios, se incluyó el gasto provincial per capita como covariable.
33
Para el caso del indicador de hierro, se realizaron estimaciones para los niños y para las mujeres
gestantes.
19
: Identificador de tratamiento ( 1 si el niño pertenece a un distrito de una región con
CAP; =0 si el niño pertenece a un distrito de una región no beneficiaria de los CAP
ó 1 si el niño pertenece a un distrito priorizado de una región con CAP; =0 si el niño
pertenece a un distrito de una región no beneficiaria de los CAP), dependiendo del modelo
estimado
: igual a 1 si distrito d en período t ya era beneficiario del CAP
= Estimador ATT de diferencias en diferencias.
: Variable de resultado en el año t, del niño “i” que vive en el distrito “d”. En todos los
casos, los indicadores de resultado son variables dicotómicas. Por ejemplo, en el caso del
indicador de resultado final DCI: toma valor igual a 1 si el niño está desnutrido y valor 0 si no lo
está. En el caso del indicador de vacunas completas para su edad: el indicador es igual a 1 si
el niño reportó tener todas las vacunas completas de acuerdo a su edad y en caso contrario el
indicador es igual a 0.
: Factor de expansión obtenido del PSM
: Parámetro que indica las diferencias en el momento inicial (pre intervención) entre
tratados y controles: [ ] [ ]
: Parámetro que mide la evolución del indicador de resultado de manera agregada sobre
el periodo de evaluación (línea de base vs. medición de seguimiento):
[ ]– [ ]
: Set de características socioeconómicas del niño y del hogar
: Set de covariables incluidas en la regresión, a nivel de región y provincia.
La forma reducida de las ecuaciones para cada una de las variables de resultado, condicional
al efecto de los CAP, considera además el efecto de otras variables.Siguiendo el modelo de
UNICEF modificado por Haddad y Smith (2000)34
sobre factores asociados a la DCI, se han
considerado variables que aproximen características socioeconómicas del hogar,
características de la madre y del niño, como edad en meses sexo, person al nacer, edad y
años de educación de la madre, exposición a medios de comunicación, sexo del jefe del hogar,
si l amadre esta viva, riqueza del hogar, ámbito urbano o rural, acceso a servicios de agua, si el
hogar es beneficiario de Juntos y si el niño es beneficiario del SI. No se han incluido las
variables CRED, vacunas y suplemento hierro como explicativas en la regresión de DCI y
anemia porque, justamente el incremento en la cobertura de los servicios de salud como
CRED, suplementos de hierro y vacunas serían los canales a través de los cuales los CAP
podrían incidir en las variables de resultado sobre el estado nutricional del niño (desnutrición,
anemid inidencia de enfermedades diarreicas e infecciones respiratorias agudas), según su
teoría de cambio35
. Para analizar si existen impactos diferenciados sobre cada uno de los
34
Y empleado por diversos estudios posteriores que analizan desnutrición como Alcazar (2012), Beltrán y
Seinfield (2009). Asimismo, las variables empleadas coincides con los siguientes estudios INEI (2007,
2009). 35
En las regresiones de CRED, vacunas y niños con hierro se han excluido las variables peso al nacer y
controles prenatales, pues la probabilidad de tener vacunas completas y CRED está más vinculado a las
condiciones socioeconómicas, culturales del hogar y oferta de establecimientos de salud.
20
resultados de interés, según el nivel de gasto por niño en la región en los servicios y productos
que conforman el PAN, se consideran interacciones con las variables que identifican si la
región se encuentra en el tercil superior o inferior del ranking de gasto per capita, con las
variables de tiempo ( ), con la variable de tratamiento ( ) y con la interacción tiempo y
tratamiento ( ). El mismo procedimiento se siguió para medir efectos diferenciados por
ámbitos urbano y rural, y de acuerdo al sexo de los estudiantes.
Por su parte, el estimador de triple diferencias se obtuvo a partir de la siguente regresión:
[ ] (2)
Donde, además de las variables descritas anteriormente, incorporamos la variable que
toma el valor de 1 si el distrito donde reside el niño es un distrito priorizado en alguna de las
regiones que suscribieron los CAP. Por tanto, el parámetro sería el estimador de triple
diferencia. Dado que pueden hacer diferencias no observables entre regiones, como por
ejemplo, que las autoridades y prestadores de salud de las regiones CAP pueden ser más
habiles para ejecutar productos del PAN así como otras intervención tansversal que afectan el
estado nutricional del menor, el estimador de triple diferencia permite descontar la trayectoria
de la variable resultado de los distritos no prioizados de las regiones que suscribieron los CAP
para controlar los sesgos ocasionados por ello.
5. Impactos estimados
Para aplicar la metodología detallada previamente, se realizó previamente el emparejamiento
de distritos beneficiaros de los CAP y los distritos de control sobre el marco que conforman el
pool de distritos de la ENDES (2008 a 2014) para cada uno de los escenarios especificados en
la sección anterior y para cada una de las mediciones de seguimiento según lo detallado en la
sección anterior.
Las figuras 1A, 1B y 1C del anexo presentan la distribución de probabilidad de participación en
el CAP estimada entre los distritos después de haberse llevado a cabo el proceso de
emparejamiento para cada uno de los escenarios. En los escenarios 1 y 2 se observa que
ambas distribuciones se superponen, lo que muestra que antes de iniciada la intervención,
ambos grupos compartían las mismas probabilidades de selección. El escenario 3 muestra un
ajuste más bajo, porque sólo se consta de una muestra de 40 distritos, mucho menos que en
los otro casos, Aunque las estimaciones son a nivel de hogar o, el poder de la muestra para la
detección de impactos mínimos se puede ver comprometido bajo el tercer escenario por lo que
se reprotarán los resultados de manera referencia.
Asimismo, para cada los escenarios 1 y 2, se verifica un balance razonable entre tratados y
controles, para el promedio de la mayoría de variables distritales, tales como tasa de pobreza
distrital en 2007, tasa de DCI en 2007, porcentaje de población rural, población total, población
económicamente activa (PEA), porcentaje de hogares sin agua, etc. (véase cuadros 8A, 8B del
anexo)
Aun cuando usamos diferentes marcos distritales para cada escenario, el método de
emparejamiento utilizado muestra un margen alto de coincidencia en la selección de los
distritos. Hay una coincidencia de 12 distritos tratados y 12 distritos control entre los tres
21
escenarios36
. Entre el escenario 1 y 2, la coincidencia es mayor, pues el 70% de distritos
control del escenario 1 se repite en el escenario 2. El escenario 1 está conformado por 108
distritos (3497 niños aproximadamente), de los cuales 58 son del grupo tratamiento y 50
distritos del grupo control, estos últimos ubicados en 12 regiones, principalmente en Áncash,
Cusco, La Libertad, Pasco y Puno. El escenario 2 contiene 365 distritos en total (6468 niños
aproximadamente), de los cuales 168 distritos son tratados y 197 son distritos control, estos
últimos se ubican en 16 regiones, de las cuales Cusco y Puno concentran el 50% del total de
distritos; que tienen características similares a las regiones donde se implementaron los CAP.
En relación al escenario 3, se emparejó un total de 34 distritos (870 niños aproximadamente),
de los cuales 15 son tratados y 19 son control, estos últimos se ubican principalmente en nueve
regiones, entre las cuales Cusco representa el 32% del total.. Véase la figura 2 para la
distribución espacial de los distritos emparejados en cada uno de los escenarios
Una vez identificada la muestra de distritos de tratamiento y control para cada escenario, se
procedió a estimar la regresión de la ecuación de diferencias en diferencia (ecuación 1) a nivel
de niños para cada uno de los escenarios y para cada una de las mediciones de seguimiento
especificadas, para analizar la evolución de los efectos en el tiempo (véase los cuadros 9A a
11B del anexo con los resultados de las estimaciones del ATT)37
Como resultado del emparejamiento de distritos, el PSM permite incorporar a la estimación DD
un peso o factor de expansión para cada distrito del grupo de comparación, el cual controla por
el mayor peso de los distritos control que son “vecinos más cercanos”, en términos del grado
de propensión a los distritos de tratamiento (Jalan y Ravallion, 2003), tal que los distritos más
parecidos (o más cercanos en términos de su probabilidad) recibirán una mayor ponderación
que los distritos menos parecidos. Realizamos las estimaciones de manera ponderada y sin
ponderar y los resultados se mantienen.
A nivel de cada escenario, se realizaron mediciones para diferentes especificaciones: modelo
base (solo variables de tratamiento y tiempo), con covariables (características socioeconómicas
del niño, hogar y comunidad, región y gasto per cápita de la provincia en los servicios del PAN),
efectos fijos regionales, distritales, así como interacciones para medir los efectos diferenciados
por nivel de gasto de la provincia. Asimismo, se reportan los resultados para el grupo de niños
menores de 5 años y para el grupo de niños menores de 3 años o 2 años cuando corresponda.
A nivel general, los resultados obtenidos son consistentes entre los tres escenarios, aunque el
escenario 3, que contiene la submuestra de distritos seleccionados para la verificación del
cumplimiento de las metas del tramo variable, encuentra algunos estimadores ligeramente
mayores en relación con los otros dos escenarios, que podría indicar que el esfuerzo realizado
para el logro de las metas en estos distritos pudo ser mayor que en los otros distritos (no
priorizados) de las regiones que suscribieron los CAP. Sin embargo, debido al reducido
número de observaciones de este escenario, los estimadores pueden no ser muy precisos y se
utilizarán sólo de manera referencial
36 Se toma de referencia el emparejamiento correspondiente al periodo 2008-2009 vs 2013-2014, aunque el
promedio es similar para el resto de casos.
37 La especificación de referencia base que empleamos es la que incluye covariables, puesto que la metodología de
diferencias en diferencias ya controlaría por variables no observables fijas en el tiempo distritales. La especificación
que añade efectos fijos distritales se usa como complemento, pero, en la mayoría de casos, no cambia la significancia
ni la magnitud de los estimadores respecto a la especificación con covariables, ratificando que dichos efectos ya
estarían controlados por la metodología empleada.
22
Respecto a los indicadores de cobertura de prestaciones de salud, vinculados a las metas del
tramo variable de los CAP reportados en los cuadros 9A,10A y 11A del anexo, se encuentra un
impacto significativo en la probabilidad de que el niño tenga sus vacunas básicas completas de
acuerdo a la edad 38
sólo durante el primer año de implementación (2010-2011) y para el grupo
de niños menores de 5 años, que equivale a un incremento de 15 pp en el escenario 1. Si
separamos el efecto según el nivel de gasto de la provincia a la que pertenenecen los hogares
en los servicios de salud, encontramos impactos incrementales en aquellas que pertenecen al
primer tercil de gasto (equivalente a 43 pp). Las pruebas placebo relativas a estos indicadores
tampoco muestran impactos significativos en el periodo previo a la implementación (2008 y
2009). Los impactos tampoco resultan significativos para el estimador de triple diferencias. El
escenario 3 muestra impactos mayores en esta variable durante el segundo año de
implementación (2011 y 2012) equivalentes a 35 y 41 pp en niños menores de 5 años y de 40 a
50 pp en niños menores de 3 años.
El escenario 239
muestra por su parte impactos negativos, contrarios a los esperados, en el
último año de vigencia del convenio y en los años inmediatamente posteriores a la culminación
del PAN, entre 9 y 11 pp por debajo para el grupo de niños menores de 56 meses y hasta 21
pp menos en el grupo de niños menores de 36 meses40
. En ese periodo, el desempeño de las
regiones no beneficiarias resultó mejor que el de las regiones que recibieron los CAP. Sin
embargo, aunque en el promedio no se cumple, en aquellos hogares de las provincias del
primer tercil de gasto sí se enuentra un efecto positivo durante todos los períodos de análisis .
Al final del periodo, el efecto conjunto es de 19 pp para los niños menores de 5 años y 26 pp
para los niños menores de 3 años. Asimismo, en el periodo previo al inicio de los CAP, no se
observa una tendencia significativa para el grupo de niños menores de 5 años pero sí para el
grupo de niños menores de 3 años.
En el caso de la proporción de niños con el esquema de todas las vacunas completas41
,el
primer escenario reporta que durante los tres primeros años de implementación del CAP hay
un efecto positivo equivalente a un incremento de 9, 14 y 12 pp respectivamente, solo para el
grupo niños menores de 5 años (pues no hay efectos singificativos en niños menores de 36
meses). Sin embargo, hacia el cierre del pograma sólo se mantiene dicho efecto en los hogares
tratados de las provincias que se encuentran en el tercil superior del gasto (17 a 30 pp para
niños menores de 5 años y 53 pp para niños menores de 3 años respectivamente). El
escenario 3 es consistente con esta tendencias pues muestra impactos entre 20 y 40 pp
durante el primer y segundo año de implementación para el grupo de niños menores de 5 años
y de 29 a 53 pp en los niños menores de 3 años. El impacto se mantiene sólo para el grupo de
niños menores de 5 años durante el último año de implementación, pero se reduce a la mitad
(24 pp). Bajo el escenario 2 los resultados son menos auspiciosos pues la especificación
preferida sólo reporta un impacto signifcativo en el último año de implementación, equivalente a
14 pp. Asimimo, se observa un efecto de 29 pp en los niños menores de 5 años y 55 pp en
niños menores de 3 años en las provincias del primer tercil de gasto después de la vigencia del
CAP. Las pruebas placebo relativas a estos indicadores no muestran impactos significativos en
el periodo previo a la implementación (2008 y 2009) para el grupo de niños menores de 5 años,
38
Este esquema considera 1 Dosis de BCG, 3 Dosis de DPT, 3 Dosis contra la Poliomelitis y 1 Dosis contra el Sarampión 39 Incluso, bajo el escenario 3 se observa coberturas menores en 30 a 40 n la submuestra de distritos
focalizados por el CAP respecto a los distritos del grupo de control para dicho periodo. 40
Mientras que el estimador de triple diferencias reporta efectos negativos durante el perimer y segundo año de implementación. 41
Este esquema considera las anteriores más 2 Dosis contra la Influenza, 1 Dosis SPR, 1 Dosis Antiamarílica y 1 Dosis Refuerzo DPT; según RM Nº 610-2007/MINSA.
23
pero sí para el grupo de niños menores de 3 años, que muestra que antes de la intervención
había una tendencia positiva a favor de los distritos de tratamiento. Los impactos resultan no
significativos para el estimador de triple diferencias.
En el caso de la proporción de niños con sus vacunas contra el neumococo y rotavirus
completas, se encuentra un impacto positivo significativo durante el primer y segundo año de
implementación (alrededor de 10 puntos porcentuales para niños menores de 5 años y 17
puntos porcentuales en niños menores de 2 años) bajo los escenarios 1 y 2. Este efecto se
mantendría (menos robusto) en el tercer año de implementación, alrededor de 6pp y 9 pp pero
sólo en niños menores de 5 años. Sin embargo, el efecto se anula en los años inmediatamete
posteriores al cierre de los CAP (2013 y 2014). Incluso, llega a ser negativo para el escenario
2, en niños menores de 3 años (hasta 19 pp menos). Encontramos también que se repite el
patrón previamente hallado, de un efecto significativo robusto en dicho periodo sólo para los
hogares tratados de las provincias que se encuentran en el tercil superior del gasto en PAN
hacia el final del periodo (entre 22 y 34 pp acumulados dependiendo del rango de edad y
escenario considerado). Asimismo, las pruebas placebo relativas a estos indicadores no
muestran impactos significativos en el periodo previo a la implementación (2008 y 2009). Los
estimadores reportados por el estimador de triple diferencias tampoco resultan significativos,
salvo en el primer año, en que son negativos. El escenario 3 no reporta patrones significativos
robustos en este periodo, salvo valores negativos en el último periodo, después de la
implementación del programa para los niños menores de 3 años. Este patron se repite para la
cobertura de vacunas de manera independiente.
Si analizamos el efecto en la proporción de vacunas de manera independiente, se encuentra un
impacto significativo en la probabilidad de que los niños menores de 5 años tengan sus
vacunas contra el rotavirus completas, mientras los CAP estuvieron operando (primer y
segundo año), con incrementos de cobertura en el rango de 12 y 16 pp. Este incremento
alcanza los 18 pp en los niños menores de 3 años, pero sólo durante el primer año de
operación (2010-2011). El estimador triple diferencias reporta un impacto negativo significativo
robusto el primer año. Cuando finalizaron los CAP, se encuentra efecto positivo sólo para las
provincias del primer tercil del gasto (20 a 26 pp en conjunto). Bajo el escenario 2, se observa
un patrón similar, aunque menos robusto para niños menores de 3 años
En el caso de las vacunas de neumoco, el primer escenario sólo muestra un efecto significativo
post-intervención en las provincias con mayor gasto (entre 19 y 26 pp). Bajo el escenario 2, se
repite el mismo patrón, con algunos cuantos casos más singnificativos (entre 23 y 30 pp). El
estimador de triple diferencias reporta un efecto negativo significativo durante el primer año.
Estos resultados mostrarían un impacto moderado al inicio de los CAP sobre la cobertura de
vacunas, que no no se sostiene durante su vigencia e incluso llega a ser negativo durante los
años inmediatamente posteriores al cierre de los CAP, indicando una falta de sostenibilidad de
los efectos alcanzados por el mecanismo de incentivo. El escenario 3, donde se esperaría que
la intensidad sea mayor, muestra impactos ás altos para coberturas de vacunas completas en
lo primeros años y negativos hacia el final de periodo, para el esquema básico, mientras que
los efectos sobre la cobertura de vacunas de neumococo y rotavirus bajo este escenario son
menos robustos. Asimismo, los efectos diferenciados por tercil de gasto indican que los
hogares tratados de las provincias donde el gasto del PAN es mayor, el efecto sí se mantendría
y alcanzaría niveles mayoresLos efectos son más robustos para el grupo de niños menores de
5 años que para el grupo de niños menores de 36 meses. Los estimadores placebo, aplicados
durante el periodo previo al inico de los CAP, en la mayoría de casos no son significativos, lo
que apuntaría al cumplimiento del supuesto de tendencias comunes y ausencia de segos por
no observables que cambian en el tiempo.
24
La falta de la sostenibilidad de los impactos en los indicadores de cobertura de vacunas de
neumococo y rotavirus se asocia a que las regiones no beneficiarias de los CAP registraron un
incremento acumulado (2009 a 2014) mayor que las regiones beneficiarias. De forma más
específica, la cobertura de vacunas de rotavirus se incrementó en 243% en las regiones no
beneficiarias de los CAP entre 2009 a 2014; pero en las regiones beneficiarias se incrementó
en menor proporción, 164%, en el mismo periodo. Igualmente, la cobertura de vacunas de
neumococo, registra un incremento de 375% en las regiones no beneficiarias, mientras para las
regiones beneficiarias, este incremento fue 205%. Entre 2009 y 2011 se observa una tendencia
creciente, y a partir de ese año se produce una reducción en la tasa de variación interanual,
tanto para el promedio nacional como en las regiones con CAP. De hecho, Ayacucho alcanzo
su máximo en 2011. Para los años posteriores, no parece haber incrementos significativos en
las coberturas. Incluso, en Huancavelica, la cobertura cayó en 20 puntos porcentuales en 2014.
No se encuentran efectos positivos significativos sobre el indicador que mide la proporción de
niños con sus controles de crecimiento y desarrollo completos de acuerdo a su edad en ningún
periodo. Incluso, se observan efectos negativos mientras los CAP estuvieron vigentes y
después del cierre, en el rango de 10 y 18 puntos porcentuales (escenario 2, niños menores de
5 años). Es decir, la proporción de niños menores de 5 años con el número de CRED
completos para su edad fue entre 10 y 18 pp menor en los distritos beneficiario de los CAP
respecto a los niños de los distritos de control42
. El escenario 3 muestra un patron similar, con
impactos negativos más altos, entre 45 y 58 pp hacia el final del periodo de vigencia de los
CAP. Para las provincias con mayor gasto, se encuentra que durante la vigencia de los CAP el
efecto fue significativamente negativo, pero cuando el CAP dejó de operar, se reporta efecto
positivo robusto entre 28 y 40 pp bajo las diferentes especificaciones bajo los escenarios 1 y 2.
La falta de impactos positivos en la cobertura de CRED puede deberse a que las regiones
beneficiarias, en general, han logrado incrementar su cobertura en tasas menores que las
regiones no beneficiarias. Las primeras muestran una tendencia creciente hasta 2011. Para los
años posteriores, no parece haber incrementos significativos en las coberturas de las regiones
con CAP. El incremento acumulado entre 2009 y 2014 en la cobertura de CRED en las
regiones con CAP fue 75%, mientras que en las regiones no beneficiaras, el incremento fue
mayor, 116%, para el mismo periodo. Esta diferencia parece acentuarse más si sólo
consideramos a los distritos más pobres de las regiones beneficiarias de los CAP (escenarios
3). Asimismo, al igual que en el caso de vacunas, en Huancavelica, la cobertura cayó en 10
puntos porcentuales en 2014.
En el caso del indicador que mide la proporción de niños entre 6 y 36 meses que recibieron
suplemento de hierro43
, se observa un impacto positivo sólo en el primer año de operación de
los CAP (2010-2011), para niños entre 6 y 36 meses de de edad, en un rango de 11 a 14 pp,
según la especificación empleada, pero a partir de las siguientes mediciones el efecto se anula
o se vuelve negativo. No se observan efectos diferenciales por nivel de gasto. El estimador de
42
En el escenario 3, esta reducción alcanza los 30 pp 43
Cabe señalar que la construcción de estos indicadores podría no estar midiendo exactamente el
consumo de hierro debido a la definición de las variables utilizadas. Por ejemplo, en el caso de
suplemento de hierro para niños, no es posible asegurar que el niño efectivamente consumió dicho
suplemento, pues la pregunta en la encuesta solo identifica si el niño recibió el suplemento o no. Por otra
parre, en el caso de la gestante, la variable tiene dos problemas metodológicos. Primero, al ser una
variable retrospectiva, se pierde el horizonte temporal que se requiere para asegurar que la observación
pertenece al período de análisis. Segundo, el indicador captura el porcentaje de gestantes que tomaron
suplemento de hierro durante su último embarazo del último hijo nacido vivo, indicador que no permite
tener conocimiento sobre la intensidad de tratamiento recibido (dosis recibida).
25
las pruebas placebo tampoco reporta impactos significativos44
Bajo el escenario 3, los efectos
negativos se acentúan durante todo el periodo de vigencia de los CAP
También se evaluó el impacto de los CAP sobre la probabilidad de madres gestantes con
suplemento de hierro pero tampoco se hallaron los efectos esperados. Se encuentran
impactos negativos en el segundo y tercer año de implementación de alrededor de 7 y 14 pp
menos en la cobertura de gestantes con suplemento de hierro en los hogares tratados bajo los
escenarios 1 y 2 y hasta de 26 pp menos bajo el escenario 3. El comportamiento de la
cobertura de niños con hierro en las regiones beneficiaras de los CAP no muestra una
tendencia clara. Mientras que las coberturas incrementaron en Apurímac hasta 2013, Ayacucho
y Huancavelica muestran comportamientos más fluctuantes, con caídas pronunciadas en 2012
y 2014, como ya se reportó en la sección 2. El promedio nacional, en cambio, sí presenta una
tendencia creciente entre 2011 a 2014. En el caso de gestantes con suplemento de hierro
tampoco se observa una tendencia positiva a para las regiones con CAP entre los años 2011 a
2013. En 2014, la cobertura de madres gestantes en Huancavelica muestra también una caída
de 15 puntos porcentuales.
Respecto a la incidencia de enfermedades prevalentes como IRA y EDA (véase tablas 9B, 10B
y 11B del anexo), la primera asociada a infecciones respiratorias y la segunda a episodios de
diarrea, no se encuentran impactos singificativos en la reducción de la incidencia de IRA en
ningún periodo mientras los CAP estuvieron vigentes. Sin embargo, en los años
inmediatamente posteriores al cierre de los CAP, contrariamente a lo esperado, sí se encuentra
un incremento de la incidencia de IRA sigficativo en los distritos que fueron beneficiarios de los
CAP, equivalente a 10 pp, respecto a aquellos de control (niños menores de 36 meses, primer
escenario) y hasta de 15 pp (niños menores de 59 meses) y 40 pp (niños menores de 36
meses) bajo el escenario 3 en dicho periodo. Este resultado es consistente con el
comportamiento de la vacuna contra el neumococo, donde no se econtraron impactos
significativos. Sin embargo, sí se encuentra un impacto significativo en la reducción de la
incidencia de EDA en el segundo año de implementación del CAP equivalente a 8 y 12 pp
menos en niños menores de 5 y 3 años respectivametne (escenario 1). El escenario 2 reporta,
sin embargo, un impacto significativo en la reducción de EDA equivalente a 14 pp en los años
inmediatamente posteriores al cierre de los CAP (2013 y 2014), para los niños menores de 36
meses solamente Bajo el escenario 3, no se encuentran los efectos esperados en la reducción
de EDA en nigun periodo, los que, en cambio, tienen a ser positivos durante el periodo de
vigencia de los CAP. Las estimaciones placebo no reportan efectos significativos. Esto es
coherente con el patrón de efectos encontrado en la proprocion de niños con vacuna de
rotavirus, que ataca episosdios de diarreas, que sería el canal para los efectos hallados sobre
la incidencia de EDA. Tampoco se observan impactos diferenciales en estos indicadores.
El incremento en la cobertura de vacunas y la probable (aunque no robusta) reducción en la
proporción de niños con EDA atribuible a los CAP, parece reflejarse en la reducción de la
prevalencia de desnutrición (patron OMS) hacia el final del periodo, en los años
inmediatamente posteriores al cierre de operaciones de los CAP, entre 10 y 17 pp para el
grupo de niños menores de 5 y 3 años respectivamente bajo el escenario 1. Este efecto es
consistente con el incremento en el z score promedio equivalente a 18 y 25 puntos para el
44 En el escenario 3 se encuentran efectos negativos en la cobertura de niños con sumplemento de hierro
mayores, incluso desde el segundo año de operación del CAP (entre 17 y 24 pp menos mientras operaron
los CAP y entre 20 y 37 pp menos cuando dejaron de operar)
26
mismo periodo45
. Sin embago. estos resultados no son robustos al escenario 2, donde si bien,
se encuentra el signo esperado, estos no son significativos. El estimador triple diferencias del
esecenario 2 reporta un impacto significativo equivalente a una reducción de 13 pp en el grupo
de tratamiento, pero sólo en el grupo de niños menores de 5 años. El escenario 3 reporta
reducciones mayores en la incidencia de la DCI en el periodo inmediatamente posterior al
cierre de los CAP, de 26 pp (patron NCHS) y 37 pp (patron OMS) en niños menores de 5 años
y de 42 pp (patron OMS) en niños menores de 3 años, pero que no pasa a través de una
reducción de las EDA
En el caso de la incidencia de anemia, contrariamente a lo esperado, se encuentran impactos
positivos durante la vigencia de los CAP (escenarios 1 y 2) significativos para el grupo de niños
menores de 3 años. Es decir, la proporción de anemia en los distritos beneficiarios se mantuvo
entre 14 y 26 pp mayor que en los distritos de control46
. Esto podría obedecer a que los
hogares de los distritos de control, al igual que los distritos de tratamiento, han mostrado un
desempeño favorable, incluso ligeramente mejor que los hogares tratados, donde la incidencia
de anemia en 2014 aumentó respecto al año anterior. Este comportamiento parece consistente
con los efectos encontrados en la proporción de niños con suplemento de hierro y en madres
gestantes que recibieron hierro durante el embarazo.
Para evaluar el cumplimiento del supuesto de tendencias comunes, calculamos el estimador de
diferencias en diferencias de la ecuación 1 para las distintas muestras de distritos de
tratamiento y de control durante el periodo 2005 a 2009, previo a la intervención, a manera de
pruebas placebo (véase última columna de los cuadros 9A a 11C del anexo) En la mayoría de
casos, los estimadores resportados de dichas pruebas mostraron ausencia de impactos
significativos asociados a la variable de tratamiento para los indicadores de resultado
analizadas, excepto para el indicador vacuans básicas completas para niños de 36 meses,
donde se ecuentra una tendencia negatia previa. A pesar de esto último, estos resultados
apuntarían al cumplimiento de dicho supuesto y a la ausencia de sesgos por variables no
observables cambiantes en el tiempo en los estimadores del impacto reportados.
Si bien los escenarios 1 y 2 podrían estar subestimando los impactos encontrados al incluir
como tratados a los hogares de los distritos no priorizados de las regiones que suscribieron los
CAP; el escenario 3, que sólo considera como grupo de tratamiento a los hogares de los
distritos de quintiles 1 y 2, sobre los que se evaluaron las metas del tramo variable, reportan
patrones similare que los escenarios anteriores, manteniendo la significancia y tendencias de
los impactos estimados, lo que apunta a favor de la robustez de los hallazgos del presente
estudio.
Por otro lado, el análisis considera a una muestra razonable de niños que reside en los ámbitos
de intervención; sin embargo, esta no es representativa de toda la población beneficiaria de los
CAP. Aunque la escala de intervención limita también el tamaño de la muestra de hogares
tratados47
, se considera que el diseño de la evaluación, utilizando muestras diferentes, tienen
45 Sin embargo, en el segundo año de implementación sí se encuentran impactos significativos con signo
contrarios a los esperados en ambos indicadores, para este escenario
46 Sin embargo, en el escenario 3 sí se obsreva reducción de 25 pp en el segundo y tercer año de
implementación (2011-2012) para niños menores de 5 años, que no es robusto.
47
Sería recomendable complementar el análisis con registros administrativos censales como el SIS, aunque estas
fuentes de información no permiten medir indicadores que aproximen el estado nutricional de los niños, como la
prevalencia de desnutrición y anemia.
27
un tamaño muestral suficiente para identificar impactos mínimos con la potencia adecuada y es
representativa de las regiones beneficiarias en su conjunto.
6. Conclusiones y reflexiones finales
Podemos concluir que los resultados indicarían un posible efecto moderado atribuible a los
CAP en el incremento de cobertura de vacunas básicas completas y en el incremento de niños
con vacunas contra el rotavirus completas durante los primeros años de implementación del
CAP, pero que no se han mantenido durante todo el periodo. De hecho, se han anulado hacia
los últimos años de vigencia del CAP (2012-2013) e incluso han cambiado de orientación en los
años inmediatamente posteriores a la culminación de los CAP (2013-2014), periodo en el que
los distritos beneficiarios muestran un peor desempeño que los distritos de control. Esta
evolución de los impactos alerta sobre la falta de sostenibilidad del mecanismo de incentivos
que subyace a los CAP, que puede deberse a un desgaste del mecanismo o a que las metas
pudieron alcanzarse fácilmente y su cumplimiento no implicaba un mayor esfuerzo para los
establecimientos de salud, tal que las regiones sin convenio pudieron alcanzar coberturas
similares. Sin embargo, los análisis diferenciados por nivel de gasto, mostrarían que los
efectos sí se mantendrían para los distritos beneficiarios de las provincias con un mayor nivel
de gasto per capita en los servicios del PAN, donde los efectos en coberturas son
relativamente altos y significativos, aun después de la vigencia de los CAP, que podría indicar
que en estos caso sí pudieron haberse generado los aprendizajes necesarios que sostienen los
impactos al final del periodo y aun después de su culminación
Asimismo, el incremento de la cobertura de vacunas básicas completas y en la cobertura de
rotavirus en los primeros años de vigencia del CAP puede haberse manifestado en la reducción
de episodios de diarreas (más no en la prevalencia de IRA) en los niños menores de 5 años
hacia el final del periodo y, a través de este efecto en EDA, en la prevalencia de desnutrición
(aunque con menor grado de robustez) durante los años inmediatamente posteriores a la
vigencia de los CAP.
Cabe destacar que si bien el canal vinculado a la mayor cobertura de vacunas, menor
prevalencia de EDA y menor prevalencia de desnutrición pareciera haber funcionado, no se
encuentran los efectos esperados en el resto de indicadores sobre los que se definieron las
metas específicas del tramo variable: proporción de niños con sus controles de crecimiento y
desarrollo, proporción de niños que recibieron suplementos de hierro, y proporción de madres
gestantes con suplemento de hierro. Estos resultados no implican que las coberturas de dichos
indicadores cayeran en las regiones y distritos beneficiarios de los CAP, pues el cumplimiento
de las metas fue alto, sino que, en el periodo de duración de los CAP, las coberturas se
incrementaron aproximadamente en la misma magnitud (o mayor) en las regiones de control
que en las regiones beneficiarias de estos. Conistente con este patron, los efectos sobre la
prevalencia de anemia en niños menroes de 3 años muestra una dirección contraria a la
esperada.
Esta falta de impactos adicionales atribuibles a los CAP en la cobertura de dichas prestaciones
de salud puede deberse a que el nivel de la meta fijada para cada indicador no lograba
maximizar el esfuerzo de las entidades prestadoras de salud, o a que, a diferencia de las
vacunas, donde la cadena de producción vinculada a la oferta resulta crítica para aumentar la
cobertura y su aplicación puede estar más enraizado en el subconciente colectivo, en las
atenciones donde se controla el crecimiento y desarrollo del niño y en los controles prenatales,
donde se entregan los suplementos de hierro del niño y a la madre gestantes respectivamente,
se requiere una mejor interacción entre el personal de salud y el paciente para aumentar la
28
demanda del servicio, es decir para que asista sistemáticamente a sus atenciones e implemnte
en el hogar las buenas prácticas que fomentan dichas sesiones, y por tanto, sus resultados
esperados sobre el estado nutricional del menor.
Sin embargo, el esquema de metas establecidos por los CAP no ha recogido aspectos de
demanda ni metas en la calidad o cumplimiento de protocolos en la prestación de los servicios
de salud, que ha priorizado compromisos de gestión y metas para fortalecer la cadena de
produccion detrás de la oferta de los servicios de salud en los establecimientos de salud; a
pesar que una buena parte de la literatura señala que el pobre desempeño en los servicios de
salud se debe a un déficit en el esfuerzo de los proveedores que interactúan con los usuarios,
lo que ocasiona una baja calidad de la prestación médica o que el esfuerzo del proveedor
podría no enfocarse directamente en mejorar la salud, sino en incrementos de cobertura
(desincentivo).Incluso, aunque el proveedor de salud pueda ejecutar el esfuerzo requerido
mientras dura la atención,ellos pueden hacer poco por promover prácticas de sus pacientes
fuera de la consulta (Eicher y Levine, 2009). Loevinsohon y Hardin (2005) sugieren también
que los proveedores de salud no suelen responder a os incentivos de desempeño cuando
estos requeren un cambio en la conducta del paciente.
Bibliografía
Alcazar (2012) El impacto económico de la anemia en el Perú. Lima: GRADE
Auditoría General de la Nación - Argentina (2012) Informe de auditoría de gestión del “Plan
Nacer” convenio de préstamo BIRF N° 7409/OC-AR y 7225/OC-AR Incluyendo seguimiento del
informe aprobado por resolución AGN NRO 212-2009. Departamento de Control de
Operaciones de Crédito Público y Sustentabilidad. Buenos Aires, Argentina.
Banco Mundial (2013) Argentina, Plan Nacer: Resultados concretos para la madre y el niño.
Artículo disponible en: http://www.bancomundial.org/es/news/feature/2013/09/24/ argentina-
plan-nacer-resultados-concretos-para-la-madre-nino?cid=EXT_Boletin ES_W_EXT
Banerjee, A., Deaton, A. y Duflo, E. (2004) Healt, health care, and economic development:
wealt, health, y health services in rural Rajathan, American Economic Review, 92(2), p. 326-
330.
Banerjee, A., Duflo, E., Cole, S. y Linden, L. Remedying Education: Evidence from two
Randomized Experiments in India. MIT Working Paper
Basinga, P. Gertler, P., Binagwaho, A, Soucat A. L B, Sturdy, J y Vermeersch, C.M.J. (2011).
Effect on maternal y child heath services in Rwanda of payment to primary health – care
providers for performance: an impact evaluation.
Basinga, P., Gertler, P., Binagwaho, A., Soucat, A., Sturdy, J.R., y Vermeersch, C.M.J. (2010)
Paying primerary helath centers for performance in Rwanda. Policy Research Working Paper,
5910. World Bank.
Bassani, D., Arora, P., Wazny, K., Gaffey, M.F., Lenters, L. y Bhutta, Z.A. (2013) Financial
incentives y coverage of child health interventions: a systematic review y meta-analysis. BMC
Public Health
Behrman, J., Parker, S., Todd, P. y Wolpin, K. (2012) Aligning Learning Incentives of Students y
Teachers Results from a Social Experiment in Mexican High Schools. PIER Working Paper 13-
004. Penn Institute for Economic Research. University of Pennsylvania.
29
Beltrán A., Seinfled J. (2009) Desnutrición crónica infantil en el Perú: un problema persistente.
Lima: CIUP.
Bloom, E., Bhushan, I., Clingingmith, D., Hong, R., King, E., Kremer, M., Loevinsohn, B. y
Schwartz, J.B. (2006) Contracting for Health: Evidence from Cambodia. Harvard University
Cambridge.
Cruzado, V. (2012) Análisis del impacto del programa presupuestal articulado nutricional sobre
la DCI en niños menores de 5 años. Lima, Ministerio de Economía y Finanzas .
De Walque, D., Gertler, P., Bautista–Arredondo, S., Kwan, A., Veermesch, C., de Dieu
Bizimana, J., Binagwao, A. y Condo, J. (2013) Using Provider Performance Reward to Increase
HIV testing y Counseling Services in Rwanda. Washington DC: Worldbank Policy Research
Working Paper.
Eichler, R. y R. Levine (2009) Performance Incentives for Global Health: Potential y Pitfalls.
Washington DC: Center for Global Development.
Eichler, R., Auxila, P., Anotine, U. y Demangles, B. (2009), Haiti: Going to scale with a
performance incentive model. In R. Eichler y R. Levine (Eds), Performance incentives for global
health: potential y pitfalls. Washington DC: Center for Global Development.
Eldridge C. y Palmer N. (2008) Performance-based payment: some reflections on the discourse,
evidence y unanswered questions. Health Policy Plan, 24(160).
Garriga S. (2012) Impacto del Plan Nacer sobre la mortalidad infantil en Argentina. Universidad
Nacional de la Plata. Argentina.
Gertler, P. y Vermeersch, C. (2012) Using Performance Incentives to Improve Health
Outcomes. World Bank, Washington, DC. World Bank.
Gertler, P., Giovagnoli, P. y Martinez, S. (2014) Rewarding provider performance to enable a
healthy start to life: Evidence from Argentina’s Plan Nacer. World Bank.
Glewwe et al. (2010) Teacher Incentives. American Economic Journal: Applied Economics 2
(July 2010): 205–227.
Gobierno Regional de Apurímac (2010) Convenio de Apoyo Presupuestario al Programa
Estratégico Articulado Nutricional – EUROPAN. Oficio N° 425 -2010-GRP/02/PR.
Gobierno Regional de Ayacucho (2010) Convenio de Apoyo Presupuestario al Programa
Estratégico Articulado Nutricional – EUROPAN. Oficio N° 420 -2010-GRA/PRES.
Gobierno Regional de Huancavelica (2010) Convenio de Apoyo Presupuestario al Programa
Estratégico Articulado Nutricional – EUROPAN. Oficio N° 300 -
2010/GOB.REG.HVCA/GRPPyAT.
Grady, K. E., Lemkau, J. P., Lee, N. R., & Caddell, C. (1997). Enhancing mammography referral
in primary care. Preventive medicine, 26(6), 791–800.
Guo, S. y Fraser, M. (2010) Propensity score analysis – Statistical Methods y Applications.
Sage publications.
Hillman, A. L., Ripley, K., Goldfarb, N., Nuamah, I., Weiner, J., y Lusk, E. (1998). Physician
financial incentives and feedback: failure to increase cancer screening in Medicaid managed
care. American Journal of Public Health, 88(11), 1699-1701.
30
Holmstrom, B., y Milgrom, P. (1991). Multitask principal-agent analyses: Incentive contracts,
asset ownership, and job design. Journal of Law, Economics & Organization, 7, 24-52.
INEI (2007a) Análisis de los factores subyacentes asociados a la desnutrición crónica infantil en
el Perú, Lima: INEI.
INEI (2007b) Mapa de Pobreza Provincial y Distrital. Lima: Instituto Nacional de Estadística e
Información.
INEI (2008) Encuesta Demográfica y de Salud Familiar (ENDES 2008). Lima: Instituto Nacional
de Estadística e Informática.
INEI (2009a) Encuesta Demográfica y de Salud Familiar (ENDES 2009). Lima: Instituto
Nacional de Estadística e Informática.
INEI (2009b) Factores asociados a la desnutrición crónica infantil en el Perú, 1996 – 2007.
Lima: INEI
INEI (2009c) Mapa de Pobreza Provincial y Distrital. Lima: Instituto Nacional de Estadística e
Informática.
INEI (2013) Encuesta Demográfica y de Salud Familiar (ENDES 2013). Lima: Instituto Nacional
de Estadística e Informática.
INEI (2014) Encuesta Demográfica y de Salud Familiar (ENDES 2014). Lima: Instituto Nacional
de Estadística e Informática.
Jalan, J. y Ravallion, M. (2013) Estimating the Benefit Incidence of an Antipoverty Program by
Propensity-Score Matching. Journal of Business & Economic Statistics, 21(1), p. 19-30.
Khandker, S.R., Koolwal, G.B. y Samad, H.A. (2010) Handbook on impact evaluation:
quantitative methods y practices. World Bank Publications.
Lavy, V. (2009) Performance Pay y Teachers Effort, Productivity, y Grading Ethics. American
Economic Review 2009, 99(5), p. 1979-2011.
Lee, M. (2005) Microeconometrics for policy, program, y treatment effects. Oxford University
Press.
Loevinsohn, B., y Harding, A. (2005). Buying results? Contracting for health service delivery in
developing countries. Lancet, 366(9486), 676–681.
Lozoff, B. (1998) Explanatory mechanisms for poorer development in iron-deficient anemic
infants. Grantham-McGregor, S. M. (Ed.). Recent Advances in Research on the Effects of
Health y Nutrition on Children’s Development y School Achievement in the Third World: Policy
Implications Pan American Health Organization Washington, DC.
Petersen, L. A., Woodard, L. D., Urech, T., Daw, C., y Sookanan, S. (2006). Does pay-
forperformance improve the quality of health care? Annals of internal medicine, 145(4), 265–72.
Makinson, J. (2000) Incentives for change: Rewarding performance in national government
networks. London: Public Services Productivity Panel.
McEwan, P.J. y Santibañez, L. (2005) Teacher incentives y student achievement. En Incentives
to improve teaching. Edi Emiliana Vargas. World Bank.
MEF (2008) Ley General del Sistema Nacional de Presupuesto. Ley Nº 28411.
31
MEF (2009) Convenio N° DCI-ALA/2009/021-564, Convenio de financiación entre la comunidad
europea y la república del Perú “Programa de Apoyo Presupuestario al Programa Articulado
Nutricional”.
MEF (2010) “Ley de Presupuesto del Sector Público para el año fiscal 2010” Ley Nº 29465.
MEF (2012) Informe de verificación de cumplimiento de metas de indicadores priorizados en el
CAP al PAN. DGPP, MEF.
MEF (2014) Resolución Directoral N°º 002-2014-EF/50.01 “Directiva para la Formulación,
Suscripción, Ejecución y Seguimiento de Convenios de Apoyo Presupuestario a los Programas
Presupuestarios Estratégicos en el Marco del Presupuesto por Resultados”.
MEF (2015) Instrumentos de los Programas de Presupuesto por Resultado - Convenio
Europan. Website: http://www.mef.gob.pe/index.php?option=com_content&view=
article&id=3453&Itemid=101937&lang=es (fecha de acceso 17 de abril de 2015)
Mesinas, J. (2010) Impact Evaluation of the Peruvian Conditional Cash Transfer Programme
JUNTOS on Educational Performance. Bélgica: Katholieke Universiteit Leuven
Meesen, B. Kashala, J.P., y Musango, L. (2007) Output-based payment to boost staff
productivity in public health centres: Contracting in Kabutare District, Rwanda. Bulletin of the
World Health Organization, 85(2), p. 108-115.
Miller, G., Luo, R., Zhang, L., Sylvia, S., Shi, Y., Foo, P., Zhao, Q., et al. (2012). Effectiveness of
provider incentives for anaemia reduction in rural China: a cluster randomised trial. BMJ, 345,
e4809.
Miller, G. y Singer, K. (2013) Pay for Performance Incentives in Low y Middle Income Country
Health Programs. NBER working papers
Morra Imas, L.G. y Ray, R.C. (2009) The Road to Results: Designing y Conducting Effective
Development Evaluations. World Bank.
Muralidharan, K. y Sundararaman, V. (2011) Teacher Performance Pay: Experimental Evidence
from India. NBER Working Paper , 15323.
Palmer, N., Strong, L., Wali, A., y Sondorp, E. (2006). Contracting out health services in fragile
states. BMJ, 332(7543), 718-721.
Rau, T. y Contreras, D. (2011) Tournament incentives for teachers: The case of Chile.
Disponible en http://www.economia.puc.cl/economia_puc/images/stories/papertrau.pdf
Rosenthal, M. B., y Frank, R. G. (2006). What is the empirical basis for paying for quality in
health care? Medical Care Research and Review, 63(2), 135–57.
Sondorp, E., Palmer, N., Strong, L., y Wali, A. (2009). Afghanistan: Paying NGOs for
performance in a post conflict setting. In R. Eichler & R. Levine (Eds.), Performance incentives
for global health: potential and pitfalls. Washington DC: Center for Global Development.
Shostack, R. (2014) Managing government for results, CBE http://www.reform.uk/wp-
content/uploads/2014/09/Ray-Shostak-CBE.pdf
Singh, P. (2011) Performance Pay y Information: Reducinng Child Malnutritionin Urbn Slums.
MPRA Working Paper
32
Smith L. y Haddad, L. (2000) Explainig child malnutrition in developing countries. Wahington
DC: International Food Policy Research Institute
UNICEF y MINSA (2009) Estudio de adherencia a la suplementación con hierro durante la
gestación en las direcciones de salud de Apurímac y Ayacucho. Serie de informes técnicos de
investigación epidemiológica
Villar, J., Merialdi, M., Gulmezoglu, A. M., Abalos, E., Carroli, G., Kulier, R. y de Onis, M. (2003)
Nutritional interventions during pregnancy for the prevention or treatment of maternal morbidity
y preterm delivery: an overview of randomized controlled trials. Jounral of Nutrition, 133, p-
1606S-1625S
