Post on 10-Feb-2021
Resumen: Los tres procesos mencionados en el título se interrelacio-nan para generar mejores programas públicos, pero la literatura inter-nacional muestra que las recomendaciones surgidas de la evaluación se utilizan en forma limitada y cuando esto sucede su cumplimiento también es parcial. La Secretaría de Medio Ambiente y Recursos Naturales es una de las dependencias que ha recibido mayor número de recomendaciones en los procesos de evaluación de programas federales. Sólo una parte de ellas ha sido aceptada y su cumplimiento aún resulta insufi ciente. El presente artículo analiza a partir de la información documental pu-blicada y la aplicación de entrevistas a funcionarios, la dinámica que la secretaría ha tenido desde el 2009, especialmente en torno de la creación y cancelación de nuevos programas tratando de identifi car el papel cumplido por la evaluación en la misma. Palabras o frases clave: programación federal, evaluación, utiliza-ción de recomendaciones, transparencia, Semarnat, México.
Dynamics of planning, evaluation and the utilization of recommendations. The case of the Ministry
of Environment and Natural Resources
Abstract: The three processes mentioned in the title are interrelated to generate better public programs, but the international literature
Dinámica de planeación, evaluación y utilización de recomendaciones. El caso de la Secretaría de Medio Ambiente y Recursos Naturales
Myriam Cardozo-Brum*
Revista Legislativa de Estudios Sociales y de Opinión Pública, vol. 12, núm. 25, may.-agos. 2019, pp. 131-164 Fecha de recepción: 24 de enero de 2019. Fecha de aceptación: 05 de junio de 2019.
* Myriam Cardozo-Brum. Doctora en Ciencias Políticas y Sociales por la Universidad Nacional Autónoma de México (UNAM). Profesora-investigadora del Departamento de Políti-ca y Cultura de la Universidad Autónoma Metropolitana. Línea de investigación: evalua-ción de políticas y programas públicos. Correo electrónico: mcardozo@correo.xoc.uam.mx
132 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
shows that the recommendations arising from the evaluation are uti-lized in a limited way and, when this happens, their fulfi llment is also partial. The Ministry of Environment and Natural Resources is one of the government offi ces that has received the greatest number of recommen-dations in the evaluation processes of federal programs. Only a part of them has been accepted and fulfi llment is still insuffi cient. This article is based on published documentary information and the application of interviews to offi cials, and it analyses the dynamics at this ministry since 2009, especially around the creation and cancellation of new programs, trying to identify the role fulfi lled by the evaluation. Keywords: federal programming, evaluation, use of recommenda-tions, accountability, Semarnat, Mexico.
Introducción
Con base en el diagnóstico de problemas públicos se formulan nue-vos programas para resolverlos, cuyo diseño y desempeño es evaluado con la intención de hacer recomendaciones para su mejoramiento o cancelación. Este proceso resulta satisfactorio cuando los programas nuevos son pertinentes para enfrentar los problemas diagnosticados, su diseño es interna y externamente congruente, su implementación se realiza en razonable apego a su formulación, o su desviación es jus-tifi cada y su evaluación ofrece recomendaciones viables para mejorar las etapas previas.
Si las mencionadas recomendaciones no se aplican, a pesar de haber demostrado su conveniencia y viabilidad, la evaluación pierde su efectividad. Esta situación se produce frecuentemente y es amplia-mente reconocida en la literatura internacional sobre el tema. En Mé-xico, el Consejo Nacional de Evaluación de la Política Social (Coneval) responsable de las evaluaciones de programas ha informado sobre la presencia de este problema en su página web institucional teniendo los siguientes datos: 45% de utilización en el periodo 2012-2013, un número importante de cancelaciones de las ya acordadas (83 cancela-das y 128 dadas de baja entre 2013-2014) y un nivel de cumplimiento de las restantes que aunque bajaron, han tendido a aumentar hasta alcanzar el 90% en el periodo 2014-2015.
133VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019
DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES
En este marco, la Secretaría de Medio Ambiente y Recursos Naturales (Semarnat) es una de las dependencias que recibieron mayor número de recomendaciones entre 2007-2013, pero el porcentaje de las aceptadas y efectivamente implementadas fue poco signifi cativo. Debido a esto se decidió utilizarla como caso de estudio para analizar su proceso de pla-neación, evaluación y en especial las contribuciones realizadas por las recomendaciones a los nuevos programas en años recientes.
Para cumplir con dicho objetivo, el artículo presenta un breve mar-co teórico sobre tres procesos interrelacionados en la vida de los pro-gramas (planeación, evaluación y utilización de recomendaciones) y revisa la información institucional disponible y los resultados de en-trevistas aplicadas a informes-clave con objeto de comprender mejor la dinámica general, y específi camente la de programas nuevos, tra-tando de identifi car aquellos que han generado el problema señalado en el párrafo anterior, para luego analizar qué impacto han tenido las recomendaciones surgidas de la evaluación en la toma de decisiones que ha llevado a su cancelación o mantenimiento. El número total de programas considerados fue de 41 (véase Anexo 1 y 2) y su desglose se irá fundamentando a medida que se avance en la presentación del trabajo de investigación elaborado.
Breve marco teórico
Como se ha mencionado, sería deseable que todo programa intentara responder a un problema diagnosticado, es decir, descrito, explicado y proyectado a manera de contar con un escenario que estime su com-portamiento futuro en caso que no se intervenga. Pero también en caso contrario se analicen y valoren las alternativas disponibles para selec-cionar la intervención más adecuada y genere su Teoría del Cambio (Ro-gers, 2014), ofreciendo la necesaria información para realizar acciones (nuevo programa) que modifi quen las causas que provocan el problema y se alcance un escenario alternativo más satisfactorio. Esta planeación puede desglosarse a través del Marco Lógico (Ortegón et al., 2015) una herramienta que facilita la planeación congruente de los principales elementos del programa: fi nalidad, objetivos, productos y actividades.
134 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
Si esta planeación se implementa en la práctica se dará inicio a un ciclo de puesta en operación, logro de productos y obtención de im-pactos en el problema original. Pero, para saber si se está avanzado en el sentido correcto o hay que introducir ajustes, se requerirá aplicar un proceso de evaluación consistente en una investigación aplicada realizada mediante un método sistemático que permita conocer, expli-car y valorar el trabajo efectuado y de ser necesario, aporte elementos al proceso de toma de decisiones para mejorar el programa evaluado (Cardozo, 2012). Dichas evaluaciones pueden enfocarse a cada etapa del ciclo del programa (diseño, operación, resultados e impactos) a di-versas combinaciones de ellas o al proceso en su totalidad.
En este artículo nos enfocaremos fundamentalmente en la reali-zación de diagnósticos y evaluaciones de diseño. En este tipo de eva-luaciones se procede, principalmente mediante trabajo de gabinete, a verifi car su pertinencia para resolver el problema diagnosticado, la congruencia del programa con su marco normativo y lo programático externo (complementariedades, duplicidades, coordinación con otros programas), así como la consistencia interna de sus elementos (objeti-vos, metas, estrategias, recursos, etcétera).
Pero todos los tipos de evaluaciones surten efectos en el momento que sus recomendaciones son aplicadas. De ahí que la gran preocu-pación de la literatura internacional desde la década de los 60 sea que sus resultados generen mejoras efectivas en los programas; es decir, que sus recomendaciones sean puestas en práctica una vez valorada su viabilidad y fundamentación, lo que la mayoría de los países re-porta es que se hace en niveles muy bajos (Weiss, 1967, 1988 y 1998; Caiden, 1998; Hofstetter y Alkin, 2003; Mark, 2008, entre otros), salvo algunos pocos casos como en Estados Unidos, Canadá o Reino Unido.
Los trabajos académicos consultados muestran con poco consenso entre ellos, una gran diversidad de posibles causas de esta situación. A largo plazo el desarrollo de una cultura de la evaluación se considera fundamental, y en el corto plazo diversos factores explicativos como el involucramiento de los funcionarios del programa desde el inicio de los trabajos evaluativos; la selección de evaluadores reconocidos por su conocimiento y conducta ética; el levantamiento de las percepciones de benefi ciarios y organizaciones sociales; la presentación oportuna,
135VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019
DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES
accesible y clara del informe; el empleo de un sistema de incentivos o el seguimiento continuo de los acuerdos relativos a la utilización de las recomendaciones, entre otros (Cardozo, Coord., 2015).
Aunque en teoría se han defi nido distintos tipos de utilización (Le-vinton y Hughes, 1981) en este documento concentraremos nuestra atención en lo instrumental con alguna referencia a la presupuestal. La primera se refi ere al uso que los operadores hacen de las recomendacio-nes para introducir cambios en los programas a su cargo, y la segunda, es la utilizada por los órganos que preparan y/o autorizan el presupuesto para asignarles recursos en función de su desempeño. Lógicamente este segundo tipo ha ejercido una fuerte coerción sobre el primero.
El proceso de planeación-evaluación-uso de las recomendaciones en México
Muchos programas mexicanos han iniciado sus acciones sin contar con un diagnóstico adecuado del problema que se busca resolver, el diseño de programas no se incluyó como parte de la evaluación al ini-ciarse su institucionalización (año 2000), al respecto diversos estudios han analizado la limitada y poco sustantiva utilización instrumental (Cardozo, coord., 2015) y presupuestal por parte de la Cámara de Di-putados (Székely, 2013). El Coneval sólo ha realizado diagnósticos entre 2014 y 2015, mientras las evaluaciones de diseño basadas espe-cialmente en su Marco Lógico o Matriz de Indicadores para Resultados (MIR) e iniciadas en 2007, han sido mucho más numerosas.
Si bien el sector ambiental mexicano enfrenta problemas graves como la excesiva explotación de los recursos naturales, el cambio climático, la contaminación, las especies en peligro de extinción, entre otras, la Semar-nat sólo aplicó 20 diagnósticos en 2014, y siete en 2015 a programas cuyo diseño se había evaluado el año anterior; es decir, invirtiendo el orden lógi-co. También ha realizado evaluaciones de diseño desde 2009 a sus progra-mas nuevos. Sin embargo, no existe evidencia de que la gran mayoría de los programas que llevan años funcionando hayan tenido un diagnóstico inicial y una posterior actualización ,ni tampoco una evaluación de su di-seño a pesar de que sus acciones se evalúen actualmente en forma anual.
136 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
En cuanto a la utilización de las recomendaciones que surgen de los procesos de evaluación, el procedimiento aplicado por el Coneval con-siste en que los operadores de los programas analizan las recomenda-ciones recibidas de los evaluadores, deciden si son aceptables para ser implementadas, transformándose en los denominados Aspectos Sus-ceptibles de Mejora (ASM) y en su caso, los implementan en distintos gra-dos. Los niveles de utilización en Semarnat fueron apenas, de 38% en el periodo de 2012-2013, copiosos ASM fueron dados de baja posterior-mente (55 entre 2011-2012) y el nivel de cumplimiento de los restantes fue reducido (47% entre 2013-2014) mismo que ha logrado elevar en los años 2017-2018 (70%), pero que aún está por debajo de lo deseable.
Es importante mencionar que en 2015 fue creada una coordinación dentro del Instituto Nacional de Ecología y Cambio Climático encargada de evaluar los objetivos de adaptación y mitigación previstos por la Ley General de Cambio Climático de 2012 y modifi cada en 2018. En 2015 y 2016 esta Coordinación propuso la elaboración de un diagnóstico del estado de la política en cuestión y la evaluación del Anexo Transver-sal del Presupuesto de Egresos de la Federación en la materia (AT-CC) y del Programa Especial de Cambio Climático 2014-2018 (PECC) cuyos informes se publicaron en 2017 en el Diario Ofi cial. La evaluación de in-tervenciones gubernamentales seleccionadas y otras de carácter estra-tégico fueron previstas para 2017 y 2018. El resto de los programas del sector ambiental ha continuado a cargo del Coneval y complementado por la Secretaría de Hacienda y Crédito Público (SHCP) como parte del de-nominado Sistema de Evaluación del Desempeño (SED) institucionaliza-do en 2007. Estos serán los que se someterán a revisión a continuación.
Dinámica general de programas y evaluaciones en Semarnat
En el caso de la Semarnat la reconstrucción de esta dinámica es com-pleja, incluso para sus propios funcionarios1 porque incluye un número signifi cativamente importante de programas, hay muchos de nueva crea-
1 Según entrevista del 13 de octubre de 2015 con autoridades de Evaluación de la Semarnat, debido a que es la SHCP la que autoriza o rechaza sus propuestas y también toma la iniciativa de decidir modifi caciones. En el caso de los programas a cargo de la
137VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019
DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES
ción y también aparentemente cancelados, así como difi cultades para saber si las cancelaciones guardan relación con los resultados de sus evaluaciones en su mayoría coordinadas por el Coneval, pero varias a cargo de la SHCP. Sin embargo, los funcionarios entrevistados señalaron que todas sus dependencias (Conafor, Conagua, Conanp, etc.) siguen haciendo las mismas actividades sustantivas (no las cancelan), sólo las reubican en programas diferentes cuando se producen las anulaciones referidas. A continuación se presenta la dinámica reconstruida donde la tercera columna corresponde a programas nuevos que además constitu-yen la mayoría de los incluidos en la quinta columna (véase Cuadro 1).
En los casos en que se aplican Evaluaciones Específi cas de De-sempeño (EED) y específi cas se tienen documentos de posición institu-cional en respuesta a las recomendaciones recibidas en el informe de evaluación y se puede realizar un relativo seguimiento de los ASM por programas resaltando la tendencia de la Semarnat a informar de su alto nivel de cumplimiento, aunque sea con retraso sin referir cancela-ciones o bajas, lo que se confi rma en los avances de ASM de la SHCP. En los demás casos especialmente en Evaluaciones de Diseño Diagnóstico o de Consistencia y Resultados (ECyR) más complejas que las anteriores no se tiene información de la reacción de los operadores ante el informe.
Entre 2009 y 2011 se visualiza un grupo consolidado (véase segun-da columna del Cuadro y Anexo 1) de 14 programas que se evalúan con regularidad anual por parte del Coneval, se incluyen seis más antiguos de la Sermarnat (S044, S045, S046, S047, S0712 y S0743).4 Los cambios que fueron sucediendo permitieron que entre 2012 y 2014 ese grupo se ampliara a 22 programas al incorporar algunos de ellos a los nuevos evaluados desde 2009, y que estos se redujeron a 11 a partir de 2015 eliminando proyectos antiguos como nuevos incorpora-
Conagua, señalan que estos se manejan con fuerte autonomía respecto de la Semarnat y llegan a hacer acuerdos directos con la SHCP.
2 Se trata del Programa de Empleo Temporal que la Semarnat comparte con la Se-desol y la Secretaría de Comunicaciones y Transporte (SCT).
3 Los programas modalidad S corresponden a los que otorgan subsidios y están sujetos a reglas de operación.
4 Ante la imposibilidad de mencionar los nombres completos de cada programa se optó por utilizar siempre las claves presupuestales y explicitar sus datos completos en el Anexo 2
Cuadro 1. Evolución de las evaluaciones de programas 2008-2017
Año Número de programas*
Evaluados regularmente
Nuevos con evaluaciones de diseño o diagnóstico
Con otro tipo de evaluaciones
Sin reporte de evaluaciones posteriores
2009
14
7 2 5
2010 7 2 3
2011 14 10 13
2012
22
6 7 3
2013 26 4 4
2014 20 7 18
Subtotal 80 46
2015
11
8 9 12
2016 6 3 4
2017 1 5 4
Total 95 66
* Nota: los programas incluidos en cada caso se muestran en el Anexo 1 mediante sus claves presupuestales y en el Anexo 2 aparecen sus nombres completos e insti-tuciones responsables.Fuente: elaboración propia con datos del Coneval, disponible en www.coneval.gob.mx/Evaluacion/Paginas/InformeEvaluacion.aspx, www.coneval.gob.mx/Evaluacion/IPFE/Paginas/historico.aspx y www.coneval.org.mx/Evaluacion/NME/Documents/PAE_2018.pdf SHCP, disponible en http://transparenciapresupuestaria.gob.mx/work/models/PTP/SED/PAE.pdf Datos de la Semarnat obtenidos de la entrevista realizada el 13 de octubre de 2015.
139VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019
DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES
dos en el periodo previo. Destacan por su estabilidad el S219 de agua, alcantarillado y saneamiento y el S046 de conservación para el desa-rrollo sostenible, que aunque se ha modifi cado su nombre se encuen-tran vigentes desde 1990 y 1996, respectivamente. El S071 de empleo temporal que la Semarnat comparte con la Sedesol y la Secretaría de Comunicaciones y Transporte (SCT) desde 1997.
Si bien este grupo muestra un comportamiento aceptable que no explica los problemas reportados por el Coneval ante el enorme cúmu-lo de evaluaciones que concentra, se decidió hacer una breve revisión de uno de ellos a título de ejemplo: el S046 que se ha mantenido en todo el periodo de 2008 a 2017 (Anexo 1), es uno de los más antiguos y ha mostrado rechazos ante algunas recomendaciones.
Por otro lado, se percibe un segundo grupo de numerosos progra-mas nuevos que se someten a un proceso de evaluación de diagnóstico y/o diseño (véase tercera columna del Cuadro 1), y luego aparente-mente desaparecen sin mediar ningún documento que confi rme su cancelación5 ni informar si esta situación se vincula o no con los re-sultados de las evaluaciones. Puesto que el primer grupo no muestra los problemas reportados por el Coneval, estos tienen que concentrar-se en este segundo, que no cuenta con documentos de opinión insti-tucional ni defi nición y seguimiento de ASM.6
Al interior de este segundo grupo resaltan tres generaciones de trabajos por el elevado número de programas nuevos y de los que apa-recen evaluados por última vez o “cancelados” (véase tercera y quinta columna del Cuadro1):
• En 2011 se evaluaron 14 nuevos programas, pero 13 “desapa-recieron”. Seis de ellos formaron parte de los nuevos, en uno se
5 En entrevista los funcionarios de la Semarnat aclararon que dicha Secretaría no expide un documento de cancelación en ningún caso, ya que la decisión la toma la SHCP y sólo es posible constatar su desaparición revisando las siguientes aperturas progra-máticas.
6 Los funcionarios de la Semarnat entrevistados consideran que las bajas no fueron tan numerosas, y afi rman que la opinión de la dependencia y el seguimiento de ASM se emitieron siempre, pero no se localizó ninguno en el caso de programas tipo F, F o P en la página www.semarnat.gob.mx/programas/evaluaciones, consultada hasta el 20 de octubre de 2015.
140 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
había evaluado su diseño en 2009 y los otros seis formaron par-te del grupo de programas evaluados regularmente desde 2008.
• En 2013 se iniciaron 26 programas y cuatro de ellos no se volvieron a evaluar.
• En 2014 se presentaron 20 diagnósticos de los programas cuyo diseño se evaluó el año anterior, pero existen 18 pro-gramas sin reportes de evaluación posterior que se componen de la siguiente manera: cuatro de los 20 programas nuevos evaluados, 10 con evaluaciones previas de diseño y cuatro de los que se venían evaluando regularmente hasta ese momen-to. De esa manera, de los 20 programas nuevos, sólo cinco (E0057, E015, G0038, G026 y G030) aún están vigentes, los de-más o fueron descartados ese mismo año como ya se observó (4 programas) o los eliminaron en los años subsiguientes.
• En 2015 sólo se evaluaron ocho programas recientes (no hubo nuevos) y se cancelaron 12: ocho provenientes de eva-luaciones nuevas en 2014, tres de evaluaciones previas y un programa evaluado con regularidad desde 2012. En los años posteriores se identifi có una notoria reducción del número de programas consolidados y evaluados con regularidad (11 casos), así como programas nuevos (máximo ocho programas en 2015) y de “cancelaciones” (cuatro en 2016 y cuatro más en 2017). Es importante resaltar que dentro de los grupos de programas eva-luados en forma sostenida nunca fi guró los tipo P, K, G o N (todos nuevos) sino sólo de modalidad S, E y U. Cinco de los 11 progra-mas del último grupo vigente hasta 2017 nunca fueron someti-dos a evaluaciones de diagnóstico y diseño a pesar de incluir a tres programas de los más antiguos (S046, S071 y S074).
En consecuencia el periodo fi nalizado en 2014 (especialmente a partir de 2011) concentró la mayor cantidad de programas de nueva creación sus cancelaciones se extendieron hasta 2015, por lo que apa-reció como el de mayor interés para valorar el papel de las recomen-daciones y ASM en la explicación de la dinámica analizada donde se
7 Los programas de modalidad E se dedican a la Prestación de Servicios Públicos.8 Programas identifi cados en la modalidad G se destinan a Regulación y Supervisión.
141VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019
DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES
identifi caron en total 80 programas con evaluaciones de diagnóstico y diseño (véase tercera columna del Cuadro y Anexo 1, hasta el año señalado), y 46 programas sin reportes de evaluación posterior (véase última columna del Cuadro y Anexo 1, hasta el año señalado). Debi-do a la imposibilidad de proceder al análisis de todos los resultados de dichas evaluaciones y hacer el seguimiento de los ASM que pudie-ran haber incidido en la eliminación de los 46 programas, se tomó la decisión de analizar una muestra de 20 de ellos, 10 corresponden a los programas consolidados que cuentan con mayor información y 10 nuevos con datos mucho más limitados que se sumaron al análisis antes propuesto del S046.
Por otra parte, de los 64 programas nuevos que dieron lugar a las 95 evaluaciones de diseño y/o de diagnóstico entre 2009-2017 (véase tercera columna del Cuadro y Anexo 1) sólo 11 subsistieron hasta 2017 (U020, U025, U0359, E005, E014, E015, K12910, G003, G005, G026 y G030) y dos de ellos ya no aparecen programados en el Programa Anual de Evaluaciones 2018 (PAE): el K129 y el G005. El total de 66 “cancelados” (véase última columna del Cuadro y Anexo 1) corresponde a dichos pro-gramas nuevos con evaluaciones de diagnóstico y diseño como a otros con diferentes tipos de evaluaciones y algunos programas antiguos (so-bre todo tipo S y U). Esto nos llevó a tomar una segunda decisión: analizar los nueve programas no “desaparecidos” para verifi car si sus evaluaciones han sido positivas justifi cando su permanencia.
Dinámica específi ca de un programa particularmente estable
El Programa de Conservación para el Desarrollo Sostenible (Procodes, S046) inició en 2008 y tuvo como antecedente al programa de Desa-rrollo Rural Sustentable (Proders) creado en 1996. Sus evaluaciones analizadas fueron las 11 coordinadas por el Coneval de 2009 a 2017 (véase Cuadro 2).
9 Los programas identifi cados en el tipo U otorgan subsidios mediante convenios sin sujetarse a reglas de operación.
10 Los programas tipo K corresponden a proyectos de inversión.
142 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
Se identifi caron varias decenas de recomendaciones de las cua-les alrededor de 15 se transformaron en ASM y los documentos de trabajo respectivos los consideraron todos cumplidos. Se reiteran algunas recomendaciones que no acaban de resolverse relativas a los tipos de población o áreas de enfoque atendidas, su cuantifi ca-ción y medición de cobertura, el diseño de la MIR (especialmente la descripción de su fi n) y la imposibilidad de llevar a cabo las evalua-ciones de impacto con métodos cuasiexperimentales exigidos por el Coneval. Se trata de problemas compartidos no sólo con su grupo sino con casi todos los programas del sector.
Los documentos de posición institucional salvo el de 2012-2013 en que el programa no aceptó ninguna recomendación se afi rmó que és-tas serían tomadas en cuenta y los evaluadores reconocieron esta ac-titud de parte del programa aunque algunas no han sido recuperadas en los documentos referidos. Efectivamente los ASM se han cumplido, pero ha habido muchas recomendaciones.
La ausencia de metaevaluaciones impide tener más precisión so-bre la calidad de los trabajos en que estas recomendaciones se funda-mentaron.
Aunque evidentemente este programa y el grupo consolidado al que pertenece también contribuyen a los problemas señalados en el sector, se descarta que el último sea el responsable de un porcentaje importante de ellos dada su atención a las recomendaciones recibidas y al cumplimiento de las ASM acordadas.
Dinámica específi ca de los programas que no vuelven a ser objeto de evaluación
La muestra de 20 casos antes propuesta para este grupo de progra-mas quedó conformada por: siete de 19 casos de las modalidades S (programas con RO relativamente estables), seis de 25 del tipo U (sin RO y bastante estables), cinco de ocho tipo K (relativos a inversión), uno de ocho tipo E (dedicados a prestación de servicios públicos), y uno de dos tipo P (de planeación, seguimiento y evaluación de políticas públi-cas) (véase Cuadro 3). En todos los casos se trató de identifi car si su
Cu
adro
2. S
egu
imie
nto
de
un
pro
gram
a es
tabl
e: P
roco
des
(S04
6)
Tipo
y año
de
evalu
ación
Conc
lusion
es y
reco
men
dacio
nes
delev
aluad
orPo
sición
insti
tucio
nal/
argu
men
tos
ASM
aco
rdad
osSe
guim
iento
de
reco
men
dacio
nes
y ASM
cum
plido
s
EED
2009
-201
0
Reco
noce
la at
enció
n de r
ecom
enda
cione
s y
reite
ra qu
e no c
uenta
con e
valua
cione
s de i
mpac
to y p
ropo
ne m
ejora
s a la
MIR
.
Se ac
epta
corre
gir el
fi n no
el
prop
ósito
.Se
prog
rama
para
2010
.Se
cump
le co
n el in
dicad
or
de fi n
.
EED
2010
-201
1
Reite
ra la
s rec
omen
dacio
nes p
revia
s que
el
prog
rama
ha si
do re
cepti
vo y
hech
o cam
bios a
la
MIR.
El e
studio
de fa
ctibil
idad d
e imp
acto
no fu
e ac
eptad
o por
el C
onev
al.
Reite
ra qu
e las
re
come
ndac
iones
será
n tom
adas
en cu
enta
como
se
ha he
cho c
on la
s ante
riore
s.
Se co
mpro
metió
a inc
luirlo
en la
MIR
2012
.La
posic
ión in
stituc
ional
lo de
clara
cump
lido e
n 201
2.
ECyR
20
11-2
012
El pr
ogra
ma se
evalú
a pos
itivam
ente
pero
se
hace
n rec
omen
dacio
nes:
defi n
ir, aju
star
la me
todolo
gía de
cálcu
lo y c
uanti
fi car
las
pobla
cione
s, an
aliza
r los c
riterio
s de s
elecc
ión
de be
nefi c
iarios
, med
ir el g
rado
de sa
tisfac
ción
de lo
s ben
efi cia
rios,
depu
rar e
l SIS
P, co
nstru
ir un
Siste
ma de
Infor
mació
n Geo
gráfi
ca (S
IG).
Se ac
eptan
parci
almen
te re
ducie
ndo l
a ev
aluac
ión al
dise
ño de
ind
icado
res a
mbien
tales
, so
cioec
onóm
icos y
de
gesti
ón. S
e ace
pta de
pura
r el
SISP
y co
nstru
ir el S
IG pa
ra
2013
-201
4.
Se co
mpro
mete
para
dic
iembr
e de 2
012 y
un
micro
sitio
en 20
13.
Cump
lidos
en 20
13 y
2014
.
EED
2012
-201
3
Prog
rama
rece
ptivo
a las
reco
mend
acion
es
recib
idas a
creed
or al
reco
nocim
iento
del C
onev
al.
Buen
as pr
áctic
as en
el us
o de l
os re
sulta
dos d
e mo
nitor
eo y
evalu
ación
en el
ciclo
de la
s polí
ticas
pú
blica
s. Re
comi
enda
: defi
nir y
cuan
tifi ca
r su
pobla
ción o
bjetiv
o par
a mejo
rar s
u foc
aliza
ción,
ajusta
r las m
etas,
hace
r la ev
aluac
ión de
impa
cto y
reali
zar e
studio
s com
para
dos.
Reite
ra qu
e las
re
come
ndac
iones
será
n tom
adas
en cu
enta
como
se
ha he
cho c
on la
s ante
riore
s.Se
comp
rome
ten pa
ra 20
13
y 201
4 salv
o la e
valua
ción d
e im
pacto
porq
ue de
pend
e de
la au
toriza
ción d
el Co
neva
l.Ot
ros n
o se a
cepta
n por
co
ntrad
ecir l
as re
glas d
e op
erac
ión.
Defi n
ir y cu
antifi
car la
po
blació
n obje
tivo.
Defi n
ición
cump
lida e
n 201
4 y c
uanti
fi cac
ión en
2015
. Re
ducc
ión de
meta
s en 2
014.
Ficha
de
Monit
oreo
y Ev
aluac
ión (F
MyE)
2013
Reco
mien
da cu
antifi
car d
e man
era c
onsis
tente
la po
blació
n obje
tivo y
ajus
tar la
s meta
s. Afi
rma q
ue
el pr
ogra
ma no
reali
zó m
odifi c
acion
es en
el m
arco
de
la C
ruza
da N
acion
al co
ntra e
l Ham
bre (
CNCH
).
Seña
la la
utilid
ad de
la
fi cha
pero
tamb
ién al
guna
s dis
crepa
ncias
sobr
e ac
tualiz
ar lo
s grá
fi cos
de
indica
dore
s de r
esult
ados
, co
bertu
ra y
pres
upue
sto
ejerci
do, in
cluir e
l núm
ero
de m
unici
pios y
loca
lidad
es
atend
idas,
actua
lizar
el
pres
upue
sto ej
ercid
o en
2013
, o m
odifi c
acion
es po
r la
CNCH
inclu
idas e
n las
RO de
20
13 y
2014
.
No ap
lica p
orqu
e la
posic
ión in
stituc
ional
no ac
eptó
ningu
na
reco
mend
ación
.
No ap
lica.
FED
2014
Prob
lemas
con e
l cum
plimi
ento
de m
etas y
el
indica
dor d
e pro
pósit
o y re
ducc
ión de
la po
blació
n ate
ndida
. El C
onev
al ag
rega
falta
de cl
arida
d en l
a de
fi nici
ón de
su pr
oblem
a.
La ev
aluac
ión de
impa
cto
depe
nde d
el Co
neva
l, las
so
licitu
des d
e apo
yo se
re
duce
n por
difi c
ultad
es pa
ra
conta
r con
los d
ocum
entos
so
licita
dos y
usar
el si
stema
. El
prob
lema f
ue cl
aro y
así
se ha
reco
noció
en ot
ras
evalu
acion
es.
Ning
uno p
ara 2
015.
Cump
lió co
n los
ASM
anter
iores
y no
acor
dó
nuev
os.
FMyE
20
14
Buen
a apr
eciac
ión de
l pro
gram
a gen
eral,
ins
isten
cia en
cono
cer im
pacto
s med
iante
el ind
icado
r de p
ropó
sito (
se ha
n rec
haza
do tr
es
estud
ios de
facti
bilida
d)
FMyE
20
15Nu
evo i
ndica
dor d
e pro
pósit
o y re
ducc
ión de
la
pobla
ción a
tendid
a.
Se re
cibier
on cu
atro
reco
mend
acion
es y
se
acep
taron
dos:
factib
ilidad
de
la ev
aluac
ión de
impa
cto
y mod
ifi cac
ión in
dicad
or de
pr
opós
ito.
La FM
yE in
dicó q
ue no
se
acor
daro
n par
a 201
6. No
aplic
aron
segú
n la F
MyE.
FMyE
2016
Solic
itó re
visión
del in
dicad
or de
prop
ósito
, co
mpon
entes
y ac
tivida
des.
Se ac
eptar
on lo
s dos
para
20
18. F
alta d
e con
tactos
du
rante
la ev
aluac
ión y
forma
to ina
decu
ado d
e re
spue
sta in
stituc
ional.
Indica
dor d
e pro
pósit
o y d
e com
pone
ntes y
ac
tivida
des.
Se re
unió
Mesa
Téc
nica p
ara
revis
ar M
IR.
ECyR
20
17
Se an
alizó
su co
ntribu
ción a
l Plan
Nac
ional
de
Desa
rrollo
. Se r
econ
oce l
a aten
ción d
e ASM
salvo
la
evalu
ación
de im
pacto
con l
a que
se bu
scab
a su
stitui
r por
nuev
e estu
dios d
e cas
o. Pr
opus
o me
joras
para
capta
r la sa
tisfac
ción d
e la p
oblac
ión
atend
ida.
No se
disp
one.
Se de
scon
oce.
Se de
scon
oce.
FMyE
2017
Evalu
ación
posit
iva pe
ro pl
anteó
la fa
lta de
ac
tualiz
ación
del d
iagnó
stico
hech
o en 2
007.
Se
solic
itó re
visar
indic
ador
es y
ajusta
r meta
s.No
se en
cuen
tra pu
blica
da.
Se ac
uerd
a nue
va
revis
ión de
la M
IR en
20
18.
Se av
anzó
con 9
5% en
el
indica
dor d
e pro
pósit
o y
nuev
a MIR
2018
.
Fuen
te:
Ela
bora
ción
pro
pia
con
bas
e en
las
eva
luac
ion
es 2
008
a 20
17,
Seg
uim
ien
to a
Rec
omen
daci
ones
, D
ocu
men
tos
de
Trab
ajo
y de
Ava
nce
y O
pin
ión
de
Dep
ende
nci
a/Po
sici
ón i
nst
itu
cion
al d
e 20
09 a
201
7, d
ispo
nib
les
en l
a pá
gin
a in
stit
uci
onal
de
l Con
eval
(ww
w.c
onev
al.g
ob.m
x) y
/o e
n la
la S
emar
nat
(ww
w.s
emar
nat
.gob
.mx)
con
sult
adas
por
últ
ima
vez
el 2
7 oc
tubr
e de
20
18.
146 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
“desaparición” fue consecuencia de algún resultado de evaluación me-diante la revisión de los últimos informes, posiciones institucionales y seguimiento de los ASM para determinar sus interrelaciones.
La entrevista aplicada a los funcionarios de la Semarnat, si bien confi rmó la difi cultad de hacer la reconstrucción deseada, arrojó algu-nas aclaraciones sobre los programas en que su “desaparición” no fue documentalmente explicada.
El Cuadro 3 muestra que las recomendaciones revisadas no pre-sentan una relación explícita con las decisiones tomadas respecto de los programas, ya que aquellas han sido rechazadas o no se cuenta con una respuesta institucional. Aunque todos los programas han re-cibido críticas que podrían justifi car su desaparición, sólo las pocas aceptadas (especialmente en torno de la MIR) podrían haber servido para impedir la concreción de programas como la mayoría de los tipo K, el E017 y el P001, pero lamentablemente no hay información al res-pecto de su cumplimiento en las páginas institucionales y los entre-vistados afi rmaron no disponerla. La “desaparición” del E017 tendría la mayor probabilidad de haber sido provocada por la relevancia de las recomendaciones críticas que recibió. Sólo dos programas de los estudiados reportan avances en los pocos ASM que han sido aceptados (S136 ya incorporado al S219 y K111 “desaparecido” en 2014).
En síntesis, se descarta que la Semarnat haya realizado una am-plia utilización instrumental de los resultados de las evaluaciones que explicaran la “desaparición” de numerosos programas, y se considera probable que haya existido una utilización presupuestal por la SHCP para fundamentar sus decisiones.
Dinámica específi ca de los programas con evaluaciones de diagnóstico y diseño que se han mantenido hasta 2017
Se trata de analizar aquí la situación inversa de la anterior: si los re-sultados de las evaluaciones de los únicos nueve programas que han subsistido hasta 2017, o bien han sido reprogramados en el PAE 2018, en un total de 64 explican dicha permanencia (véase Cuadro 4). Se trata de los programas U020, U025, U035, E005, E014, E015, G003, G026
Cu
adro
3. S
egu
imie
nto
a p
rogr
amas
qu
e h
an d
ejad
o de
eva
luar
se
Prog
ram
as
“des
apar
ecido
s”Úl
timo
año
evalu
ado
Expli
cacio
nes
enco
ntra
das
Conc
lusion
es d
e su
s ev
aluac
iones
Posic
ión in
stitu
ciona
lCu
mpli
mien
to d
e AS
M
S049
2009
Se tr
ansfo
rmó e
n U0
21 en
2010
.Cr
íticas
impo
rtante
s a lo
s pr
ogra
mas (
c).Re
chaz
ó las
reco
mend
acion
es (d
) re
cibida
s en s
us EE
D y de
proc
esos
.No
exist
en.
S080
2009
Se tr
ansfo
rmó e
n el
E006
en 20
11.
Crític
as m
enor
es (e
).
Acep
tó los
come
ntario
s fav
orab
les
de su
EED,
pero
cues
tionó
al
evalu
ador
(f).
Menc
ionó q
ue el
pr
ogra
ma se
estar
ía fus
ionan
do
con e
l S07
9 par
a opti
miza
r rec
urso
s co
sa qu
e no s
uced
ió.
No ex
isten
.
S136
2011
En 20
11 fu
e ab
sorb
ido po
r el
S110
que e
n 201
2 se
inco
rpor
a al
S219
.
Conc
lusion
es po
sitiva
s co
n sug
eren
cias.
El
Cone
val in
formó
(no
reco
mend
ó) en
la EE
D la
próx
ima f
usión
.
Reco
noció
las r
ecom
enda
cione
s de
su EE
D, hiz
o com
entar
ios. A
sumi
ó do
s ASM
de la
evalu
ación
2010
-201
1 y u
no de
la si
guien
te.
Los r
epor
tó ac
abad
os co
n cier
to re
traso
en m
arzo
de
2014
.
S044
, S04
5, S1
10
y S12
2
2011
el
S045
y 20
12 lo
s de
más
Fuer
on ab
sorb
idos
en 20
12 po
r el
S219
.
Evalu
acion
es ba
stante
po
sitiva
s sob
re to
do
en lo
s cas
os de
l S04
4 y e
l S11
0. Re
cibier
on
reco
mend
acion
es (g
).
Se tr
ató de
ECyR
y/o
Comp
lemen
tarias
(201
1) qu
e no
conta
ron c
on op
inión
de la
de
pend
encia
. La e
valua
ción
comp
lemen
taria
del S
044 y
la EC
yR
del S
122 y
a no s
e enc
ontra
ron
dispo
nibles
en la
págin
a del
Cone
val.
No co
ntaro
n co
n defi
nición
y se
guim
iento
de AS
M.
U003
, U00
5 y U0
0620
11Fu
eron
abso
rbido
s en
2012
por e
l U0
36.
Evalu
acion
es
basta
nte po
sitiva
s. Re
come
ndac
iones
sim
ilare
s al g
rupo
prev
io
Se tr
ató de
ECyR
y/o
Comp
lemen
tarias
, (20
11) q
ue
no co
ntaro
n con
opini
ón de
la
depe
nden
cia.
No co
ntaro
n co
n defi
nición
y se
guim
iento
de AS
M.
U026
2011
Desa
pare
cido d
el PE
F en 2
012
Recib
ió las
re
come
ndac
iones
más
ha
bitua
les (h
).
No ex
iste o
pinión
de la
depe
nden
cia
a su e
valua
ción d
e dise
ño 20
11.
No ex
isten
.
E017
2011
Desa
pare
cido d
el PE
F en 2
012
Sugir
ió qu
e el p
rogr
ama
conti
núe p
ero e
fectuó
re
come
ndac
iones
dr
ástic
as (i)
.
Se tr
ató de
ECyR
y/o
comp
lemen
tarias
que n
o con
taron
co
n la o
pinión
de la
depe
nden
cia.
No co
ntaro
n co
n defi
nición
y se
guim
iento
de AS
M.
k111
, K13
1, K1
32,
K134
, K13
8 y P0
01
En 20
13 el
K1
32, K
134
y K13
8 y
en 20
14
los tr
es
resta
ntes
Sin n
ueva
s ev
aluac
iones
po
sterio
res a
2014
.
Recib
ieron
fuer
tes cr
íticas
de
los e
valua
dore
s (j).
A pe
sar d
e esto
en va
rios
caso
s (K1
11, K
132 y
K1
34) s
e men
ciona
que e
l pr
ogra
ma es
nece
sario
.
Much
as re
come
ndac
iones
re
chaz
adas
a las
evalu
acion
es
de di
agnó
stico
y dis
eño d
e 20
13 y
2014
. Se a
ceptó
sólo
las
modifi
cacio
nes e
n la M
IR (K
134)
. Dos
no
acep
taron
ning
una (
K132
y K1
38).
Algu
nos a
cepta
ron v
arias
( K11
1, K1
31 y
P001
), pe
ro lu
ego s
ólo da
ban
segu
imien
to a u
n ASM
relat
ivo a
la MI
R com
prom
etida
para
2014
.
Poca
infor
mació
n. Só
lo el
K111
repo
rtó
cump
lidos
dos A
SM
inter
institu
ciona
les
(en r
ealid
ad
canc
elado
s por
la
SHCP
y el
PEF)
y la
termi
nació
n en p
lazo
de su
ASM
espe
cífi co
.
U009
2014
Se pr
opus
o su
fusión
en la
re
estru
ctura
ción
prog
ramá
tica 2
016.
Recib
ió crí
ticas
im
porta
ntes d
el ev
aluad
or y
el Co
neva
l. Su
pres
upue
sto
se ha
redu
cido
signifi
cativ
amen
te.
No se
acep
tó nin
guna
de la
s cua
tro
reco
mend
acion
es re
cibida
s.No
comp
rome
tidos
pa
ra 20
15.
U021
2015
Éste
y el U
032
su co
mplem
ento
desa
pare
ciero
n. Ap
arec
ió en
parte
de
l pro
gram
a U02
5.
Su di
seño
fue b
astan
te bie
n eva
luado
aunq
ue
tuvo d
iversa
s deb
ilidad
es.
Al tr
atarse
de ev
aluac
iones
de
diagn
óstic
o y di
seño
no se
conta
ron
con p
osici
ón in
stituc
ional.
No co
ntaro
n co
n defi
nición
y se
guim
iento
de A
SM.
Not
as: (
a) P
robl
emas
en
la M
IR y
su
s in
dica
dore
s. D
efi n
ició
n y
cu
antifi c
ació
n d
e po
blac
ion
es fa
lta
de m
etas
y n
o h
ay c
oin
cide
nci
a co
n la
Cu
enta
Pú
blic
a. A
use
nci
a de
eva
luac
ion
es d
e im
pact
o y
falt
a ge
ner
aliz
ada
de in
form
ació
n, e
ntr
e ot
ro.
(b) A
pes
ar d
e qu
e in
form
aron
hab
er s
ust
itu
ido
los
indi
cado
res
acor
dado
s en
su
áre
a de
tra
bajo
por
los
reco
men
dado
s y
apro
-ba
dos
por
el C
onev
al a
par
tir
de la
s su
gere
nci
as h
ech
as p
or u
n a
seso
r de
ese
Con
sejo
repo
rtar
on s
us
avan
ces
regu
larm
ente
a la
C
uen
ta P
úbl
ica
y qu
e lo
s ev
alu
ador
es n
un
ca s
e pr
esen
taro
n a
sol
icit
ar in
form
ació
n a
las
ofi c
inas
cor
resp
ondi
ente
s.(c
) Se
pres
enta
ron
crí
tica
s a
la M
IR, a
la e
ncu
esta
apl
icad
a po
r el
pro
gram
a, a
la d
efi n
ició
n d
e po
blac
ion
es, a
la fa
lta
de p
lan
ea-
ción
de
med
ian
o y
larg
o pl
azo,
a la
insufi c
ien
te d
ifusi
ón d
el p
rogr
ama,
a la
au
sen
cia
de s
egu
imie
nto
de
los
apoy
os c
on c
rite
rios
cl
aros
, en
tre
otro
s.(d
) Por
con
side
rarl
as in
fun
dada
s y
no
ten
er c
ompe
ten
cia
al r
espe
cto
al h
aber
inic
iado
su
mod
ifi ca
ción
.(e
) R
econ
oció
un
a ev
olu
ción
sat
isfa
ctor
ia d
el p
rogr
ama
señ
alan
do a
lgu
nas
in
con
sist
enci
as d
e in
form
ació
n,
prob
lem
as e
n l
a defi n
ició
n d
e po
blac
ion
es y
rec
omen
dó p
oner
en
mar
cha
el s
iste
ma
de s
egu
imie
nto
ya
dise
ñad
o.(f)
Con
side
ró q
ue
no
anal
izó
sufi c
ien
tem
ente
la
oper
ació
n y
señ
aló
que
no
fue
su o
bjet
ivo
al h
acer
los
an
ális
is q
ue
se l
e su
gi-
rier
on.
(g) N
eces
idad
de
con
tar
con
eva
luac
ion
es d
e im
pact
o y
en c
ampo
, per
o n
o pr
opu
so s
u in
tegr
ació
n c
on o
tros
pro
gram
as.
(h) S
obre
la M
IR, l
a defi n
ició
n d
e po
blac
ion
es, e
tc.
(i) S
e re
defi n
ió la
MIR
en
su
tot
alid
ad h
izo
un
dia
gnós
tico
y r
ein
gen
ierí
a de
l pro
gram
a.(j)
Fal
ta d
e di
agn
ósti
cos
y de
pri
orid
ades
a a
ten
der,
pro
blem
as e
n s
us
MIR
, defi
nic
ión
de
pobl
acio
nes
, au
sen
cia
de m
ecan
ism
os
de s
egu
imie
nto
de
acci
ones
, ex
iste
nci
a de
du
plic
idad
es c
on o
tros
pro
gram
as,
falt
a de
mec
anis
mos
de
coor
din
ació
n c
on o
tras
de
pen
den
cias
, etc
éter
a.Fu
ente
: In
form
es d
e ev
alu
acio
nes
, D
ocu
men
tos
de p
osic
ión
in
stit
uci
onal
, S
egu
imie
nto
de
AS
M y
en
trev
ista
s a
fun
cion
ario
s de
la
Sem
arn
at.
150 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
Y G030 que son relativamente jóvenes y que han sido evaluados desde 2011. Los cinco primeros forman parte de los actuales 11 programas eva-luados regularmente de 2015 a 2017 bajo la coordinación del Coneval, mientras en el caso del E015 dicho Consejo no organizó evaluaciones en 2017, pero en el PAE de 2018 programó Fichas de Monitoreo y Evaluación (FMyE). Los tres restantes, cuyas evaluaciones han estado a cargo de SHCP, incluyen al G003, G026 Y G030 que habían dejado de evaluarse pero que regresaron a ser incluidas en el PAE de 2018. El análisis se sintetiza en el Cuadro 4.
Los tres programas de modalidad U acumulan entre ocho y nueve evaluaciones con resultados positivos, cumplimiento de ASM y acepta-ción de otros nuevos para 2018 que justifi can su permanencia como se esperaba. El E005 y el E014 con seis y ocho evaluaciones respecti-vamente, muestran fortalezas pero también un conjunto de debilida-des y recomendaciones por lo que cuentan con mayor número de ASM y el avance en su cumplimiento es parcial. Las evaluaciones del E015 resaltan su importancia pero no lo analizan a profundidad, y si bien tiene pocos ASM su cumplimiento se reporta parcial y se carece de su evidencia. El resultado de estos programas de modalidad E es indica-tivo de que su permanencia futura dependerá de su capacidad para enfrentar los diversos retos actuales.
En el caso de los programas a cargo de la SHCP, la información dis-ponible es menor porque son más recientes, no se han realizado FMyE con su correspondiente posición institucional y seguimiento de ASM y apenas tienen una o dos evaluaciones en el periodo de 2013 a 2017. El G003, el G026 y el G030 comparten evaluaciones muy generales que tienden a realizar su diagnóstico para justifi car el programa, en lugar de evaluar el presentado por el mismo, lo que no es sufi ciente para valorar su futuro. El primero de ellos cuenta también con una ECyR en 2015 y una valoración crítica mucho más fuerte.
En síntesis, esta revisión de los nueve programas que han sobre-vivido a la dinámica de las creaciones y desapariciones, nos deja en realidad tres programas sólidos y dos aceptables. El resto deja dudas o carece de información sufi ciente.
Resulta evidente la necesidad de tener documentos de posición institucional e informes sobre la aceptación y seguimiento de ASM fren-
Cu
adro
4. S
egu
imie
nto
a p
rogr
amas
con
eva
luac
ion
es d
e di
agn
ósti
co
y di
señ
o qu
e se
han
man
ten
ido
has
ta 2
017
Prog
ram
aEv
aluac
iones
an
uales
recib
idas
Conc
lusion
es d
e las
eva
luacio
nes
Posic
ión in
stitu
ciona
lAc
uerd
o y c
umpli
mien
to d
e AS
M
U020
2011
: Dise
ño20
12: E
ED
2013
-201
7: FM
yE20
14: E
ED
2018
: PAE
prog
ramó
su
FMyE
Var
ios re
cono
cimien
tos. S
u pr
esup
uesto
se re
dujo
hasta
llega
r a 0
en 20
17, lo
que p
rovo
có qu
e no o
pera
ra
afecta
ndo s
us in
dicad
ores
, per
o la S
HCP
lo jus
tifi có
por s
er un
prob
lema a
jeno
al pr
ogra
ma. E
l eva
luado
r adv
ierte
que d
e con
tinua
r la te
nden
cia po
dría
desa
pare
cer.
Sólo
dispo
nible
para
las F
MyE y
a ex
cepc
ión de
2017
. En e
llas s
e se
ñala
que s
ólo se
elab
orar
ían
con i
nform
ación
ofi ci
al y q
ue
el ev
aluad
or no
estab
lecer
ía co
ntacto
con e
l pro
gram
a, po
r tal
motiv
o no a
porta
ría a
la ge
stión
de
l pro
gram
a.
Los A
SM se
infor
maba
n al
cump
lirse y
se su
maro
n dos
nu
evos
para
2018
.
U025
2011
: Dise
ño20
12: E
ED
2013
-201
7: FM
yE20
14: E
ED
2017
: ECy
R20
18: P
AE pr
ogra
mó
su FM
yE
Las e
valua
cione
s fue
ron p
ositiv
as só
lo se
insis
tió en
revis
ar la
s defi
nicion
es de
po
blacio
nes.
Su pr
esup
uesto
aume
ntó
cons
idera
bleme
nte en
el pe
riodo
de
2012
-201
6, pe
ro se
redu
jo en
2017
, po
r lo qu
e sólo
cubr
ió el
comp
onen
te re
lativo
a la
Vaqu
ita M
arina
.
Sólo
fue di
spon
ible p
ara l
as
FMyE
exce
pto en
2017
. Los
co
menta
rios e
n dich
o año
fuer
on
idénti
cos a
los d
el U0
20.
Los A
SM se
infor
maro
n cu
mplid
os y
se as
umió
uno
nuev
o par
a 201
8 rela
tivo a
la
defi n
ición
y cu
antifi
cació
n de
pobla
cione
s.
U035
2012
: Dise
ño20
12-2
017:
FMyE
2014
: EED
2017
: ECy
R20
18: P
AE pr
ogra
mó
su FM
yE
Bien
evalu
ado.
Su pr
esup
uesto
se
redu
jo dr
ástic
amen
te en
2013
-201
6 con
un
pequ
eño a
umen
to en
2017
lo qu
e pr
ovoc
ó que
el ev
aluad
or re
come
ndar
a aju
star s
us m
etas p
ara 2
018.
Sólo
dispo
nible
para
las F
MyE c
on
exce
pción
de 20
17. S
e men
cionó
qu
e la fi
cha n
o la r
ealiz
ó un
evalu
ador
ni la
perso
na qu
e la
elabo
ró, n
i el C
onev
al es
tablec
en
conta
cto co
n el p
rogr
ama,
por lo
qu
e la p
osici
ón in
stituc
ional
no
fue pe
rtinen
te.
Se cu
mplió
con l
os AS
M so
bre l
a MI
R y se
asum
ieron
dos n
uevo
s pa
ra 20
18 so
bre p
oblac
iones
y la
MIR n
ueva
mente
.
E005
2011
: Co
mplem
entar
ia20
12: F
MyE
2014
: Diag
nósti
co y
Dise
ño20
15: D
iagnó
stico
2015
-201
7: FM
yE20
18: P
AE pr
ogra
mó
su FM
yE
Las e
valua
cione
s rec
onoc
ieron
sus
apor
tes, p
ero t
ambié
n señ
alaro
n mú
ltiples
debil
idade
s y am
enaz
as en
ma
teria
de pl
anea
ción y
prog
rama
ción
anua
l, coo
rdina
ción d
e dele
gacio
nes,
actua
lizac
ión de
l per
sona
l y
coor
dinac
ión po
r dos
insta
ncias
: la
Cona
gua y
el C
entro
de C
apac
itació
n pa
ra el
Des
arro
llo S
usten
table
(Cec
ades
u), s
e pro
puso
una g
estió
n co
njunta
. A pa
rtir de
2016
se ab
sorb
ió el
prog
rama
U010
. Su p
resu
pues
to au
mentó
hasta
ese a
ño y
se re
dujo
en
2017
.
Sólo
dispo
nible
para
las F
MyE
salvo
en 20
17. S
e disc
utió e
l dis
eño d
e pob
lacion
es po
rque
ca
si no
se pr
oveía
n de a
yuda
s so
ciales
y de
oper
ación
conju
nta
porq
ue ca
da in
stanc
ia ten
ía bie
n dif
eren
ciada
s sus
func
iones
. Su
girier
on m
ás re
union
es
de tr
abajo
, cap
acita
ción,
entre
vistas
, con
tacto
con e
l Co
neva
l, eva
luació
n de a
spec
tos
cuali
tativo
s y tr
abajo
de ca
mpo.
Se cu
mplie
ron d
os de
los s
eis
ASM
prev
ios, tr
es se
enco
ntrar
on
avan
zado
s y el
de el
abor
ación
de
un P
rogr
ama d
e Des
arro
llo
Institu
ciona
l tuvo
un av
ance
ap
enas
de 10
%. P
ara 2
018 s
ólo
se co
mpro
metió
la de
fi nici
ón
de po
blacio
nes y
su m
étodo
de
cálcu
lo.
E014
2010
-201
2 Co
mplem
entar
ia*20
12-2
017:
FMyE
2018
: PAE
prog
ramó
su
FMyE
Las e
valua
cione
s rec
onoc
ieron
sus
fortal
ezas
pero
tamb
ién se
ñalar
on
múltip
les de
bilida
des y
amen
azas
: ins
ufi cie
nte pr
even
ción,
dispo
sición
de
perso
nal, p
oca p
revis
ión
meteo
rológ
ica, e
tc., q
ue di
eron
luga
r a o
cho r
ecom
enda
cione
s en 2
017.
Su
pres
upue
sto au
mentó
en 20
12-2
015
luego
se fu
e red
ucien
do.
Sólo
dispo
nible
para
las F
MyE
a exc
epció
n de 2
017.
Se
argu
mentó
que y
a se c
ontab
a con
los
conv
enios
sobr
e inc
endio
s co
n la S
ecre
taría
de la
Defe
nsa
Nacio
nal (S
eden
a) y
la Se
cretar
ía de
Mar
ina (S
emar
) que
se
reco
mend
aron
. Se r
econ
oció
que l
as fi c
has a
yuda
ron a
ide
ntifi c
ar op
ortun
idade
s de
mejor
a y co
nside
raro
n bue
no
el de
semp
eño d
el ev
aluad
or en
20
17.
Cont
ó co
n nu
eve A
SM
entre
201
6-20
17: s
eis
se co
ncluy
eron
y tre
s es
tuvie
ron
en p
roce
so y
se
com
prom
etier
on cu
atro
nue
vos
para
201
8: re
cluta
mien
to
y cap
acita
ción
técn
ica
sobr
e m
anejo
de
incen
dios,
conv
enios
con
Sede
na
y Sem
ar, s
eguim
iento
a
Com
ités T
écnic
os E
stata
les y
colab
orac
ión e
n de
tecc
iones
co
n la
Proc
urad
uría
Fed
eral
de P
rote
cción
al A
mbie
nte
(Pro
fepa
).
E015
2014
: Diag
nósti
co20
15: D
iseño
y FM
yE20
16: F
MyE
2018
: PAE
prog
ramó
su
nuev
a FMy
E
Sus F
MyE n
o ana
lizar
on a
fondo
el
prog
rama
, se p
ropu
so el
evar
sus m
etas
por s
u rele
vanc
ia, pe
ro se
acoto
la
comp
lejida
d de v
alora
r sus
logr
os en
tem
as ta
n com
plejos
como
el ca
mbio
climá
tico.
Tamb
ién se
prec
isaro
n las
ár
eas d
e enfo
que,
su co
ntribu
ción a
los
prob
lemas
y se
dio m
ayor
difus
ión.
En 20
14-2
015 s
e abs
orbió
el P0
08. S
u pr
esup
uesto
se re
ducié
ndos
e red
ujo
lentam
ente.
Sólo
estuv
o disp
onibl
e par
a las
FM
yE. S
e con
sider
ó un p
rogr
ama
en pr
oces
o ante
camb
ios
prop
ios y
del In
stitut
o Nac
ional
de E
colog
ía y C
ambio
Clim
ático
( IN
ECC).
Se a
ceptó
incre
menta
r las
metas
y re
salta
r su c
ontrib
ución
. Re
spec
to a l
a difu
sión s
e co
nside
ró co
mo ya
elab
orad
a. Se
ar
gume
ntó qu
e el p
rogr
ama n
o ten
ía siq
uiera
un ár
ea de
enfoq
ue
espe
cífi ca
y se
sugir
ió al
meno
s un
a reu
nión c
on ev
aluad
ores
y q
ue só
lo se
man
tuvo e
n co
munic
ación
virtu
al.
En 20
16 se
acor
dó ha
cer
“otro
” tipo
de ev
aluac
iones
y lo
repo
rtaro
n cum
plido
aunq
ue
no se
visu
aliza
cuál
fue. O
tro
ASM
plante
ó los
prob
lemas
de
defi n
ición
de po
blacio
nes y
co
bertu
ra qu
e se i
nform
an co
mo
avan
zado
. Se a
sumi
ó par
a 20
17 ac
tualiz
ar el
diag
nósti
co
pero
no ha
y info
rmac
ión de
su
cump
limien
to.
G003
2014
: Diag
nósti
co20
15: E
CyR
2018
: el P
AE le
pr
ogra
mó un
a ev
aluac
ión de
pr
oces
os
En 20
14 el
evalu
ador
hizo
el di
agnó
stico
co
n info
rmac
ión ge
nera
l sob
re m
ucho
s pr
oblem
as vi
ncula
dos a
la re
gulac
ión
ambie
ntal y
justi
fi có e
l pro
gram
a en
lugar
de ev
aluar
el pr
esen
tado p
or és
te.
Ofre
ce un
árbo
l de p
roble
mas m
uy
simple
. El re
sto de
l infor
me es
más
bien
un
a eva
luació
n de d
iseño
. La E
CyR d
e 20
15 id
entifi
ca m
últipl
es in
cons
isten
cias
e imp
recis
iones
.
No se
reali
za pa
ra ni
ngun
a de
las ev
aluac
iones
aplic
adas
al
prog
rama
.Se
desc
onoc
en.
G026
2014
: Diag
nósti
co20
18: e
l PAE
le
prog
ramó
una F
MyE
Su fo
rmato
de di
agnó
stico
es id
éntic
o al
del G
003 y
amer
itó lo
s mism
os
come
ntario
s salv
o que
su ár
bol d
e pr
oblem
as es
más
elab
orad
o.
No se
reali
za pa
ra ni
ngun
a de
las ev
aluac
iones
aplic
adas
al
prog
rama
.Se
desc
onoc
en.
G030
2014
: Diag
nósti
co20
18: e
l PAE
le
prog
ramó
una F
MyE
Pare
cido a
l G00
3 y G0
26 se
usó u
n Ma
rco Ló
gico y
su ár
bol d
e pro
blema
s es
muc
ho m
ás su
stanti
vo. C
onsid
eró
como
pobla
ción p
otenc
ial al
go m
uy
ampli
o y no
oper
ativo
: el c
onjun
to de
los
tres s
ector
es de
la ec
onom
ía.
No se
reali
za pa
ra ni
ngun
a de
las ev
aluac
iones
aplic
adas
al
prog
rama
.Se
desc
onoc
en.
Not
a *
No
disp
onib
le e
n e
l por
tal d
e ev
alu
acio
nes
del
Con
eval
.Fu
ente
: C
onev
al,
disp
onib
le
en
ww
w.c
onev
al.g
ob.m
x/E
valu
acio
n/P
agin
as/I
nfo
rmeE
valu
acio
n.
aspx
155VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019
DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES
te a todas las evaluaciones no sólo las Específi cas y EED para transpa-rentar la información relativa a estos procesos. También se comparte la crítica de los operadores en el sentido de que las FMyE sólo informan de la evolución de algunos indicadores con datos ofi ciales del pro-pio programa, ya que no evalúan ni se realizan por equipos externos contratados con ese fi n que entren en contacto con el programa por lo poco que aportan a su mejoramiento y no justifi can que se emita una posición institucional salvo para evitar errores en el manejo de la información.
El análisis muestra también una preocupante tendencia a la re-ducción de sus presupuestos especialmente concentrada en 2017 en cuatro de ellos. Esta situación afecta su desempeño lo que ha llevado a algún evaluador a mencionar la necesidad de ajustar las metas y a otro a advertir un riesgo de desaparición del programa analizado.
Otro problema que aún no logra resolverse satisfactoriamente y que estos programas comparten con la mayoría de los de Semarnat es la continua presencia de recomendaciones relacionadas con la de-fi nición y cálculo de sus poblaciones y coberturas referida en algu-na de las posiciones institucionales revisadas. Efectivamente, dichos programas mejoran nuestro entorno (agua, aire, suelo, vida silvestre, marina, etc.) y nos benefi cian indirectamente a un número de perso-nas de difícil determinación donde no hay posibilidad de contar con un padrón de benefi ciarios y cualquier cálculo resulta ambiguo y/o arbitrario. El reconocimiento de esta situación llevó algunos años a sustituir esta exigencia por la identifi cación de áreas de enfoque, pero muchas evaluaciones muestran resistencia a este cambio y reiteran recomendaciones que indican que el problema no se ha zanjado.
Finalmente, y muy importante es que todas las EDD revisadas seña-lan un problema compartido tanto por estos como por todos los pro-gramas de Semarnat: la ausencia de imprescindibles evaluaciones de impacto que culminen los procesos emprendidos, valorando su con-tribución a la solución de problemas y una vida más sostenible como postula la Agenda 2030 de la Organización de las Naciones Unidas (ONU) recurriendo a metodologías diferentes a las cuasi experimentales como la teoría del cambio, el enfoque de complejidad, estudios cuali-tativos y análisis contributivos, entre otros (García y Cardozo, 2017).
156 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
Discusión y conclusiones
Se realizó una revisión documental del conjunto de programas, eva-luaciones y utilización de recomendaciones de Semarnat durante todo el periodo 2009-2017 y se puso especial énfasis en algunos considera-dos relevantes para el logro del objetivo de investigación perseguido: a) uno de los tres programas estables en todo el período, b) 20 programas que dejaron de ser evaluados y c) los nueve programas nuevos que continuaron recibiendo evaluaciones hasta 2017 y aparecen progra-mados en 2018. Se considera que el panorama general que brindan y el específi co de los programas que fueron analizados se completaron con entrevistas a informantes-clave ofreciendo un fundamento sólido a las conclusiones que se presentan.
Semarnat muestra, en general, una dinámica muy inestable de programas vigentes y evaluados anualmente: fi nalización de progra-mas de relativa antigüedad y una continua generación y “desapari-ción” de otros nuevos especialmente entre 2011 y 2015.
En la búsqueda de explicaciones para esa dinámica se encontró que de los programas evaluados (especialmente en 2011-2012) sólo aproximadamente la mitad cuenta con documentos de trabajo y de posición institucional y estos se concentran en las evaluaciones del conjunto de programas identifi cados como estables que son sometidos regularmente a EED. Su revisión mostró que ninguno informaba incum-plimientos de ASM (aunque sus medios de verifi cación pueden resultar discutibles) por lo que se dedujo que los problemas identifi cados por el Coneval tienen que estar concentrados en el resto de programas que no cuenta con los mencionados documentos e imposibilita la contras-tación buscada debido a la limitada transparencia del sistema.
El análisis anterior nos llevó entonces a identifi car dos grupos de programas al interior de Semarnat. El primer grupo se compone de los programas sustantivos y consolidados (de modalidad S, E y U) mencionados en el párrafo anterior, que permanecen vigentes varios y en algunos casos “sólo se transforman” a decir de los funcionarios en-trevistados. Estos programas estables tienden a aceptar las recomen-daciones y a cumplir los ASM sin reportar bajas ni cancelaciones; es decir, hacen una buena utilización instrumental de sus evaluaciones
157VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019
DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES
aunque hay excepciones como la del S046 en 2012-2013 que rechazó todas las recomendaciones recibidas. Sin embargo, es importante re-saltar que ninguno de los tres más estables (S046, S071 y S219) ha sido objeto de evaluaciones diagnósticas o de diseño que deberían repetirse periódicamente en todos los programas.
El segundo grupo se integra por numerosos programas más ines-tables, que se evalúan una o dos veces y no vuelven a reaparecer. Debido a esa falta de continuidad no alcanzan a asumir ASM o a cum-plirlos explicando la tendencia hacia una muy reducida utilización instrumental de las recomendaciones recibidas en congruencia con el 62% señalado por el Coneval (2014) para el conjunto de la Secretaría y que generan decenas de bajas de ASM como sucedió en 2011-2012 y que del cual no se obtuvieron documentos probatorios. Cuando exis-ten los documentos de posición institucional de Semarnat que debe-rían expedirse en todos los casos se podría identifi car el porcentaje de recuperación de recomendaciones para transformarse en ASM y que en ocasiones es muy bajo (por ejemplo, el U036 sólo aceptó dos de las diez recomendaciones que se le formularon en la ECyR 2011 y el S044 sólo tres de nueve en ese mismo año).
Los 20 programas revisados de este segundo grupo muestran que la dinámica de continuos cambios no se explica por la utilización de resultados de las evaluaciones, ya que estos fueron rechazados o no considerados salvo excepciones que podrían haber evitado la puesta en marcha de algunos nuevos programas con importantes problemas en su diseño.
Además, no hay que olvidar que crear tantos programas que se evalúan y luego se desechan tiene un alto costo de oportunidad ligado no sólo a este subgrupo sino a muchos de los 66 programas desapare-cidos en el periodo y algunos con más de una evaluación de diagnós-tico y/o diseño. Se requiere entonces un mayor esfuerzo de Semarnat para mejorar los documentos sometidos a evaluación.
Esta falta de utilización instrumental de las recomendaciones muestra la urgencia de retomar algunas de las sugerencias señala-das por la literatura internacional, como el involucramiento de los funcionarios en los procesos evaluativos o los sistemas de premios y sanciones que han resultado tan útiles en Chile. Sin embargo, tam-
158 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
bién necesita que antes del envío a los operadores de los programas del informe que las contiene el Coneval deberá realizar a través de procesos de metaevaluación un proceso de “fi ltrado” de las recomen-daciones bien fundamentadas, factibles y útiles para el programa que den mayores garantías de que su utilización benefi ciará al diseño o a la ejecución del programa y descarte el resto.
La opinión complementaria de los funcionarios de Semarnat indica que los operadores siguen siendo renuentes a las evaluaciones, pero consideran que las coordinadas por el Coneval han sido más útiles y menos resistidas que las de SHCP porque se enfocan hacia la mejora de los programas sin un espíritu sancionador.
Opinan que en general las recomendaciones son adecuadas, pero que es muy común que ya se hayan puesto en práctica lo que relati-viza su utilidad. También afi rman que las evaluaciones que realmente necesitan las solicitan como complementarias (Ej. S122, U005 y U006 en 2011) y han acordado que les propongan sólo cinco recomendacio-nes relevantes en lugar de lo que consideran las decenas inmanejables que algunos informes plantean. Implícitamente esto es demostrativo de la limitada utilidad que le confi eren a las evaluaciones aplicadas regularmente. Además, expresan que para contar con evaluaciones útiles el Coneval debería ser más fl exible, dejar madurar a los progra-mas, tomar siempre en cuenta sus puntos de vista sobre qué evaluar11 y realizar verdaderas evaluaciones en lugar de meras FMyE.
Finalmente, los informantes de Semarnat insisten en que la diná-mica de cambios analizada es fruto de las reestructuraciones promo-vidas por la SHCP (presupuesto Base Cero) en las cuales desconocen el peso que las evaluaciones pudieran tener. Estas pueden deberse a reestructuraciones administrativas o tratar de compactar programas para dar mayor coherencia al conjunto, reducir costos y focalizar es-fuerzos para lograr mayor impacto. Por su parte, algunos funciona-rios de SHCP afi rman que la información surgida de las evaluaciones se utiliza en sus procesos lo que permite hablar de una utilización presupuestal no explicitada en documentos ofi ciales por parte de la instancia que elabora el proyecto de presupuesto que en general es
11 Consideran que sólo se les consulta en ocasiones especialmente a inicios de se-xenio.
159VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019
DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES
posteriormente discutido y aprobado por la Cámara de Diputados. Esto explicaría la dinámica mucho más estable de creación y desapa-rición de programas percibida a partir de 2015.
Algunos problemas adicionales compartidos por los dos grupos se refi eren a la identifi cación y cuantifi cación de poblaciones o áreas de enfoque y cobertura especialmente a la urgente necesidad de contar con evaluaciones de impacto.
Ante los problemas de información enfrentados en el trabajo sólo puede afi rmarse que no existe evidencia de que los resultados de eva-luación tengan una amplia y profunda utilización instrumental y presu-puestal en los casos estudiados, más bien todos los indicios señalan lo contrario la primera únicamente se cumple razonablemente en torno a un subconjunto de programas identifi cados por su mayor estabilidad y permanencia y la segunda es muy probable que explique al menos una parte sustantiva de las “desapariciones” del segundo grupo. Esta situa-ción muestra la urgencia de transparentar la información y de innovar en la búsqueda de mecanismos más efectivos de sugerencia y aprove-chamiento de las recomendaciones en nuestro contexto.
Bibliografía
Caiden, Naomi (1998), “Public Service Professionalism for Performan-ce Measurement an Evaluation”, in Public Budgeting and Finances 18 (1), EUA: Public Financial Publications Inc., 35-52.
Cardozo, Myriam (2012), Evaluación y metaevaluación en las políticas y programas públicos. El estado del arte, México: UAM-X.
—— (Comp., 2015), Institucionalización del proceso de evaluación. Ca-lidad y utilización de sus resultados, México: Depto. de Política y Cultura de la UAM-X y Centro de Estudios Sociales y de Opinión Pública de la C. de Diputados.
Coneval, Informe de Seguimiento a los Aspectos Susceptibles de Mejora de los Programas y Acciones Federales de Desarrollo Social, 2008 a 2017, disponible en www.google.com.mx/search?q=Coneval%2C+Informe+de+Seguimiento+a+los+Aspectos+Susceptibles+de+Mejora+de+los+Programas+y+Acciones+Federales+de+Desarrollo+Social
160 Revista Legislativa de Estudios Sociales y de Opinión Pública
MYRIAM CARDOZO-BRUM
%2C+2008+a+2015&oq=Coneval%2C+Informe+de+Seguimiento+a+los+Aspectos+Susceptibles+de+Mejora+de+los+Programas+y+Acciones+Federales+de+Desarrollo+Social%2C+2008+a+2015&aqs=chrome..69i57.6143j0j4&sourceid=chrome&ie=UTF-8, última consul-ta el 14 de noviembre de 2018.
——, Evaluación de Programas Sociales, disponible en www.coneval.gob.mx/Evaluacion/Paginas/InformeEvaluacion.aspx., (consulta: por última vez el 13 de noviembre de 2018).
——, Inventario Coneval de Programas y Acciones Federales de Desa-rrollo Social”, disponible en www.coneval.gob.mx/Evaluacion/IPFE/Paginas/historico.aspx, (consulta: última el 8 de noviembre de 2018).
——, Programa Anual de Evaluación de los Programas Federales y de los Fondos de Aportaciones Federales para el Ejercicio Fiscal 2018, disponible en www.coneval.org.mx/Evaluacion/NME/Documents/PAE_2018.pdf, (consulta: 13 de noviembre