Dinámica de planeación, evaluación y utilización de … · 2019. 10. 16. · (Cardozo, coord.,...

Resumen: Los tres procesos mencionados en el título se interrelacio-nan para generar mejores programas públicos, pero la literatura inter-nacional muestra que las recomendaciones surgidas de la evaluación se utilizan en forma limitada y cuando esto sucede su cumplimiento también es parcial. La Secretaría de Medio Ambiente y Recursos Naturales es una de las dependencias que ha recibido mayor número de recomendaciones en los procesos de evaluación de programas federales. Sólo una parte de ellas ha sido aceptada y su cumplimiento aún resulta insufi ciente. El presente artículo analiza a partir de la información documental pu-blicada y la aplicación de entrevistas a funcionarios, la dinámica que la secretaría ha tenido desde el 2009, especialmente en torno de la creación y cancelación de nuevos programas tratando de identifi car el papel cumplido por la evaluación en la misma. Palabras o frases clave: programación federal, evaluación, utiliza-ción de recomendaciones, transparencia, Semarnat, México.

Dynamics of planning, evaluation and the utilization of recommendations. The case of the Ministry

of Environment and Natural Resources

Abstract: The three processes mentioned in the title are interrelated to generate better public programs, but the international literature

Dinámica de planeación, evaluación y utilización de recomendaciones. El caso de la Secretaría de Medio Ambiente y Recursos Naturales

Myriam Cardozo-Brum*

Revista Legislativa de Estudios Sociales y de Opinión Pública, vol. 12, núm. 25, may.-agos. 2019, pp. 131-164 Fecha de recepción: 24 de enero de 2019. Fecha de aceptación: 05 de junio de 2019.

* Myriam Cardozo-Brum. Doctora en Ciencias Políticas y Sociales por la Universidad Nacional Autónoma de México (UNAM). Profesora-investigadora del Departamento de Políti-ca y Cultura de la Universidad Autónoma Metropolitana. Línea de investigación: evalua-ción de políticas y programas públicos. Correo electrónico: [email protected]

132 Revista Legislativa de Estudios Sociales y de Opinión Pública

MYRIAM CARDOZO-BRUM

shows that the recommendations arising from the evaluation are uti-lized in a limited way and, when this happens, their fulfi llment is also partial. The Ministry of Environment and Natural Resources is one of the government offi ces that has received the greatest number of recommen-dations in the evaluation processes of federal programs. Only a part of them has been accepted and fulfi llment is still insuffi cient. This article is based on published documentary information and the application of interviews to offi cials, and it analyses the dynamics at this ministry since 2009, especially around the creation and cancellation of new programs, trying to identify the role fulfi lled by the evaluation. Keywords: federal programming, evaluation, use of recommenda-tions, accountability, Semarnat, Mexico.

Introducción

Con base en el diagnóstico de problemas públicos se formulan nue-vos programas para resolverlos, cuyo diseño y desempeño es evaluado con la intención de hacer recomendaciones para su mejoramiento o cancelación. Este proceso resulta satisfactorio cuando los programas nuevos son pertinentes para enfrentar los problemas diagnosticados, su diseño es interna y externamente congruente, su implementación se realiza en razonable apego a su formulación, o su desviación es jus-tifi cada y su evaluación ofrece recomendaciones viables para mejorar las etapas previas.

Si las mencionadas recomendaciones no se aplican, a pesar de haber demostrado su conveniencia y viabilidad, la evaluación pierde su efectividad. Esta situación se produce frecuentemente y es amplia-mente reconocida en la literatura internacional sobre el tema. En Mé-xico, el Consejo Nacional de Evaluación de la Política Social (Coneval) responsable de las evaluaciones de programas ha informado sobre la presencia de este problema en su página web institucional teniendo los siguientes datos: 45% de utilización en el periodo 2012-2013, un número importante de cancelaciones de las ya acordadas (83 cancela-das y 128 dadas de baja entre 2013-2014) y un nivel de cumplimiento de las restantes que aunque bajaron, han tendido a aumentar hasta alcanzar el 90% en el periodo 2014-2015.

133VOLUMEN 12 • NÚMERO 25 • MAYO-AGOSTO DE 2019

DINÁMICA DE PLANEACIÓN, EVALUACIÓN Y UTILIZACIÓN DE RECOMENDACIONES

En este marco, la Secretaría de Medio Ambiente y Recursos Naturales (Semarnat) es una de las dependencias que recibieron mayor número de recomendaciones entre 2007-2013, pero el porcentaje de las aceptadas y efectivamente implementadas fue poco signifi cativo. Debido a esto se decidió utilizarla como caso de estudio para analizar su proceso de pla-neación, evaluación y en especial las contribuciones realizadas por las recomendaciones a los nuevos programas en años recientes.

Para cumplir con dicho objetivo, el artículo presenta un breve mar-co teórico sobre tres procesos interrelacionados en la vida de los pro-gramas (planeación, evaluación y utilización de recomendaciones) y revisa la información institucional disponible y los resultados de en-trevistas aplicadas a informes-clave con objeto de comprender mejor la dinámica general, y específi camente la de programas nuevos, tra-tando de identifi car aquellos que han generado el problema señalado en el párrafo anterior, para luego analizar qué impacto han tenido las recomendaciones surgidas de la evaluación en la toma de decisiones que ha llevado a su cancelación o mantenimiento. El número total de programas considerados fue de 41 (véase Anexo 1 y 2) y su desglose se irá fundamentando a medida que se avance en la presentación del trabajo de investigación elaborado.

Breve marco teórico

Como se ha mencionado, sería deseable que todo programa intentara responder a un problema diagnosticado, es decir, descrito, explicado y proyectado a manera de contar con un escenario que estime su com-portamiento futuro en caso que no se intervenga. Pero también en caso contrario se analicen y valoren las alternativas disponibles para selec-cionar la intervención más adecuada y genere su Teoría del Cambio (Ro-gers, 2014), ofreciendo la necesaria información para realizar acciones (nuevo programa) que modifi quen las causas que provocan el problema y se alcance un escenario alternativo más satisfactorio. Esta planeación puede desglosarse a través del Marco Lógico (Ortegón et al., 2015) una herramienta que facilita la planeación congruente de los principales elementos del programa: fi nalidad, objetivos, productos y actividades.


MYRIAM CARDOZO-BRUM

Si esta planeación se implementa en la práctica se dará inicio a un ciclo de puesta en operación, logro de productos y obtención de im-pactos en el problema original. Pero, para saber si se está avanzado en el sentido correcto o hay que introducir ajustes, se requerirá aplicar un proceso de evaluación consistente en una investigación aplicada realizada mediante un método sistemático que permita conocer, expli-car y valorar el trabajo efectuado y de ser necesario, aporte elementos al proceso de toma de decisiones para mejorar el programa evaluado (Cardozo, 2012). Dichas evaluaciones pueden enfocarse a cada etapa del ciclo del programa (diseño, operación, resultados e impactos) a di-versas combinaciones de ellas o al proceso en su totalidad.

En este artículo nos enfocaremos fundamentalmente en la reali-zación de diagnósticos y evaluaciones de diseño. En este tipo de eva-luaciones se procede, principalmente mediante trabajo de gabinete, a verifi car su pertinencia para resolver el problema diagnosticado, la congruencia del programa con su marco normativo y lo programático externo (complementariedades, duplicidades, coordinación con otros programas), así como la consistencia interna de sus elementos (objeti-vos, metas, estrategias, recursos, etcétera).

Pero todos los tipos de evaluaciones surten efectos en el momento que sus recomendaciones son aplicadas. De ahí que la gran preocu-pación de la literatura internacional desde la década de los 60 sea que sus resultados generen mejoras efectivas en los programas; es decir, que sus recomendaciones sean puestas en práctica una vez valorada su viabilidad y fundamentación, lo que la mayoría de los países re-porta es que se hace en niveles muy bajos (Weiss, 1967, 1988 y 1998; Caiden, 1998; Hofstetter y Alkin, 2003; Mark, 2008, entre otros), salvo algunos pocos casos como en Estados Unidos, Canadá o Reino Unido.

Los trabajos académicos consultados muestran con poco consenso entre ellos, una gran diversidad de posibles causas de esta situación. A largo plazo el desarrollo de una cultura de la evaluación se considera fundamental, y en el corto plazo diversos factores explicativos como el involucramiento de los funcionarios del programa desde el inicio de los trabajos evaluativos; la selección de evaluadores reconocidos por su conocimiento y conducta ética; el levantamiento de las percepciones de benefi ciarios y organizaciones sociales; la presentación oportuna,



accesible y clara del informe; el empleo de un sistema de incentivos o el seguimiento continuo de los acuerdos relativos a la utilización de las recomendaciones, entre otros (Cardozo, Coord., 2015).

Aunque en teoría se han defi nido distintos tipos de utilización (Le-vinton y Hughes, 1981) en este documento concentraremos nuestra atención en lo instrumental con alguna referencia a la presupuestal. La primera se refi ere al uso que los operadores hacen de las recomendacio-nes para introducir cambios en los programas a su cargo, y la segunda, es la utilizada por los órganos que preparan y/o autorizan el presupuesto para asignarles recursos en función de su desempeño. Lógicamente este segundo tipo ha ejercido una fuerte coerción sobre el primero.

El proceso de planeación-evaluación-uso de las recomendaciones en México

Muchos programas mexicanos han iniciado sus acciones sin contar con un diagnóstico adecuado del problema que se busca resolver, el diseño de programas no se incluyó como parte de la evaluación al ini-ciarse su institucionalización (año 2000), al respecto diversos estudios han analizado la limitada y poco sustantiva utilización instrumental (Cardozo, coord., 2015) y presupuestal por parte de la Cámara de Di-putados (Székely, 2013). El Coneval sólo ha realizado diagnósticos entre 2014 y 2015, mientras las evaluaciones de diseño basadas espe-cialmente en su Marco Lógico o Matriz de Indicadores para Resultados (MIR) e iniciadas en 2007, han sido mucho más numerosas.

Si bien el sector ambiental mexicano enfrenta problemas graves como la excesiva explotación de los recursos naturales, el cambio climático, la contaminación, las especies en peligro de extinción, entre otras, la Semar-nat sólo aplicó 20 diagnósticos en 2014, y siete en 2015 a programas cuyo diseño se había evaluado el año anterior; es decir, invirtiendo el orden lógi-co. También ha realizado evaluaciones de diseño desde 2009 a sus progra-mas nuevos. Sin embargo, no existe evidencia de que la gran mayoría de los programas que llevan años funcionando hayan tenido un diagnóstico inicial y una posterior actualización ,ni tampoco una evaluación de su di-seño a pesar de que sus acciones se evalúen actualmente en forma anual.


MYRIAM CARDOZO-BRUM

En cuanto a la utilización de las recomendaciones que surgen de los procesos de evaluación, el procedimiento aplicado por el Coneval con-siste en que los operadores de los programas analizan las recomenda-ciones recibidas de los evaluadores, deciden si son aceptables para ser implementadas, transformándose en los denominados Aspectos Sus-ceptibles de Mejora (ASM) y en su caso, los implementan en distintos gra-dos. Los niveles de utilización en Semarnat fueron apenas, de 38% en el periodo de 2012-2013, copiosos ASM fueron dados de baja posterior-mente (55 entre 2011-2012) y el nivel de cumplimiento de los restantes fue reducido (47% entre 2013-2014) mismo que ha logrado elevar en los años 2017-2018 (70%), pero que aún está por debajo de lo deseable.

Es importante mencionar que en 2015 fue creada una coordinación dentro del Instituto Nacional de Ecología y Cambio Climático encargada de evaluar los objetivos de adaptación y mitigación previstos por la Ley General de Cambio Climático de 2012 y modifi cada en 2018. En 2015 y 2016 esta Coordinación propuso la elaboración de un diagnóstico del estado de la política en cuestión y la evaluación del Anexo Transver-sal del Presupuesto de Egresos de la Federación en la materia (AT-CC) y del Programa Especial de Cambio Climático 2014-2018 (PECC) cuyos informes se publicaron en 2017 en el Diario Ofi cial. La evaluación de in-tervenciones gubernamentales seleccionadas y otras de carácter estra-tégico fueron previstas para 2017 y 2018. El resto de los programas del sector ambiental ha continuado a cargo del Coneval y complementado por la Secretaría de Hacienda y Crédito Público (SHCP) como parte del de-nominado Sistema de Evaluación del Desempeño (SED) institucionaliza-do en 2007. Estos serán los que se someterán a revisión a continuación.

Dinámica general de programas y evaluaciones en Semarnat

En el caso de la Semarnat la reconstrucción de esta dinámica es com-pleja, incluso para sus propios funcionarios1 porque incluye un número signifi cativamente importante de programas, hay muchos de nueva crea-

1 Según entrevista del 13 de octubre de 2015 con autoridades de Evaluación de la Semarnat, debido a que es la SHCP la que autoriza o rechaza sus propuestas y también toma la iniciativa de decidir modifi caciones. En el caso de los programas a cargo de la



ción y también aparentemente cancelados, así como difi cultades para saber si las cancelaciones guardan relación con los resultados de sus evaluaciones en su mayoría coordinadas por el Coneval, pero varias a cargo de la SHCP. Sin embargo, los funcionarios entrevistados señalaron que todas sus dependencias (Conafor, Conagua, Conanp, etc.) siguen haciendo las mismas actividades sustantivas (no las cancelan), sólo las reubican en programas diferentes cuando se producen las anulaciones referidas. A continuación se presenta la dinámica reconstruida donde la tercera columna corresponde a programas nuevos que además constitu-yen la mayoría de los incluidos en la quinta columna (véase Cuadro 1).

En los casos en que se aplican Evaluaciones Específi cas de De-sempeño (EED) y específi cas se tienen documentos de posición institu-cional en respuesta a las recomendaciones recibidas en el informe de evaluación y se puede realizar un relativo seguimiento de los ASM por programas resaltando la tendencia de la Semarnat a informar de su alto nivel de cumplimiento, aunque sea con retraso sin referir cancela-ciones o bajas, lo que se confi rma en los avances de ASM de la SHCP. En los demás casos especialmente en Evaluaciones de Diseño Diagnóstico o de Consistencia y Resultados (ECyR) más complejas que las anteriores no se tiene información de la reacción de los operadores ante el informe.

Entre 2009 y 2011 se visualiza un grupo consolidado (véase segun-da columna del Cuadro y Anexo 1) de 14 programas que se evalúan con regularidad anual por parte del Coneval, se incluyen seis más antiguos de la Sermarnat (S044, S045, S046, S047, S0712 y S0743).4 Los cambios que fueron sucediendo permitieron que entre 2012 y 2014 ese grupo se ampliara a 22 programas al incorporar algunos de ellos a los nuevos evaluados desde 2009, y que estos se redujeron a 11 a partir de 2015 eliminando proyectos antiguos como nuevos incorpora-

Conagua, señalan que estos se manejan con fuerte autonomía respecto de la Semarnat y llegan a hacer acuerdos directos con la SHCP.

2 Se trata del Programa de Empleo Temporal que la Semarnat comparte con la Se-desol y la Secretaría de Comunicaciones y Transporte (SCT).

3 Los programas modalidad S corresponden a los que otorgan subsidios y están sujetos a reglas de operación.

4 Ante la imposibilidad de mencionar los nombres completos de cada programa se optó por utilizar siempre las claves presupuestales y explicitar sus datos completos en el Anexo 2

Cuadro 1. Evolución de las evaluaciones de programas 2008-2017

Año Número de programas*

Evaluados regularmente

Nuevos con evaluaciones de diseño o diagnóstico

Con otro tipo de evaluaciones

Sin reporte de evaluaciones posteriores

2009

14

7 2 5

2010 7 2 3

2011 14 10 13

2012

22

6 7 3

2013 26 4 4

2014 20 7 18

Subtotal 80 46

2015

11

8 9 12

2016 6 3 4

2017 1 5 4

Total 95 66

* Nota: los programas incluidos en cada caso se muestran en el Anexo 1 mediante sus claves presupuestales y en el Anexo 2 aparecen sus nombres completos e insti-tuciones responsables.Fuente: elaboración propia con datos del Coneval, disponible en www.coneval.gob.mx/Evaluacion/Paginas/InformeEvaluacion.aspx, www.coneval.gob.mx/Evaluacion/IPFE/Paginas/historico.aspx y www.coneval.org.mx/Evaluacion/NME/Documents/PAE_2018.pdf SHCP, disponible en http://transparenciapresupuestaria.gob.mx/work/models/PTP/SED/PAE.pdf Datos de la Semarnat obtenidos de la entrevista realizada el 13 de octubre de 2015.



dos en el periodo previo. Destacan por su estabilidad el S219 de agua, alcantarillado y saneamiento y el S046 de conservación para el desa-rrollo sostenible, que aunque se ha modifi cado su nombre se encuen-tran vigentes desde 1990 y 1996, respectivamente. El S071 de empleo temporal que la Semarnat comparte con la Sedesol y la Secretaría de Comunicaciones y Transporte (SCT) desde 1997.

Si bien este grupo muestra un comportamiento aceptable que no explica los problemas reportados por el Coneval ante el enorme cúmu-lo de evaluaciones que concentra, se decidió hacer una breve revisión de uno de ellos a título de ejemplo: el S046 que se ha mantenido en todo el periodo de 2008 a 2017 (Anexo 1), es uno de los más antiguos y ha mostrado rechazos ante algunas recomendaciones.

Por otro lado, se percibe un segundo grupo de numerosos progra-mas nuevos que se someten a un proceso de evaluación de diagnóstico y/o diseño (véase tercera columna del Cuadro 1), y luego aparente-mente desaparecen sin mediar ningún documento que confi rme su cancelación5 ni informar si esta situación se vincula o no con los re-sultados de las evaluaciones. Puesto que el primer grupo no muestra los problemas reportados por el Coneval, estos tienen que concentrar-se en este segundo, que no cuenta con documentos de opinión insti-tucional ni defi nición y seguimiento de ASM.6

Al interior de este segundo grupo resaltan tres generaciones de trabajos por el elevado número de programas nuevos y de los que apa-recen evaluados por última vez o “cancelados” (véase tercera y quinta columna del Cuadro1):

• En 2011 se evaluaron 14 nuevos programas, pero 13 “desapa-recieron”. Seis de ellos formaron parte de los nuevos, en uno se

5 En entrevista los funcionarios de la Semarnat aclararon que dicha Secretaría no expide un documento de cancelación en ningún caso, ya que la decisión la toma la SHCP y sólo es posible constatar su desaparición revisando las siguientes aperturas progra-máticas.

6 Los funcionarios de la Semarnat entrevistados consideran que las bajas no fueron tan numerosas, y afi rman que la opinión de la dependencia y el seguimiento de ASM se emitieron siempre, pero no se localizó ninguno en el caso de programas tipo F, F o P en la página www.semarnat.gob.mx/programas/evaluaciones, consultada hasta el 20 de octubre de 2015.


MYRIAM CARDOZO-BRUM

había evaluado su diseño en 2009 y los otros seis formaron par-te del grupo de programas evaluados regularmente desde 2008.

• En 2013 se iniciaron 26 programas y cuatro de ellos no se volvieron a evaluar.

• En 2014 se presentaron 20 diagnósticos de los programas cuyo diseño se evaluó el año anterior, pero existen 18 pro-gramas sin reportes de evaluación posterior que se componen de la siguiente manera: cuatro de los 20 programas nuevos evaluados, 10 con evaluaciones previas de diseño y cuatro de los que se venían evaluando regularmente hasta ese momen-to. De esa manera, de los 20 programas nuevos, sólo cinco (E0057, E015, G0038, G026 y G030) aún están vigentes, los de-más o fueron descartados ese mismo año como ya se observó (4 programas) o los eliminaron en los años subsiguientes.

• En 2015 sólo se evaluaron ocho programas recientes (no hubo nuevos) y se cancelaron 12: ocho provenientes de eva-luaciones nuevas en 2014, tres de evaluaciones previas y un programa evaluado con regularidad desde 2012. En los años posteriores se identifi có una notoria reducción del número de programas consolidados y evaluados con regularidad (11 casos), así como programas nuevos (máximo ocho programas en 2015) y de “cancelaciones” (cuatro en 2016 y cuatro más en 2017). Es importante resaltar que dentro de los grupos de programas eva-luados en forma sostenida nunca fi guró los tipo P, K, G o N (todos nuevos) sino sólo de modalidad S, E y U. Cinco de los 11 progra-mas del último grupo vigente hasta 2017 nunca fueron someti-dos a evaluaciones de diagnóstico y diseño a pesar de incluir a tres programas de los más antiguos (S046, S071 y S074).

En consecuencia el periodo fi nalizado en 2014 (especialmente a partir de 2011) concentró la mayor cantidad de programas de nueva creación sus cancelaciones se extendieron hasta 2015, por lo que apa-reció como el de mayor interés para valorar el papel de las recomen-daciones y ASM en la explicación de la dinámica analizada donde se

7 Los programas de modalidad E se dedican a la Prestación de Servicios Públicos.8 Programas identifi cados en la modalidad G se destinan a Regulación y Supervisión.



identifi caron en total 80 programas con evaluaciones de diagnóstico y diseño (véase tercera columna del Cuadro y Anexo 1, hasta el año señalado), y 46 programas sin reportes de evaluación posterior (véase última columna del Cuadro y Anexo 1, hasta el año señalado). Debi-do a la imposibilidad de proceder al análisis de todos los resultados de dichas evaluaciones y hacer el seguimiento de los ASM que pudie-ran haber incidido en la eliminación de los 46 programas, se tomó la decisión de analizar una muestra de 20 de ellos, 10 corresponden a los programas consolidados que cuentan con mayor información y 10 nuevos con datos mucho más limitados que se sumaron al análisis antes propuesto del S046.

Por otra parte, de los 64 programas nuevos que dieron lugar a las 95 evaluaciones de diseño y/o de diagnóstico entre 2009-2017 (véase tercera columna del Cuadro y Anexo 1) sólo 11 subsistieron hasta 2017 (U020, U025, U0359, E005, E014, E015, K12910, G003, G005, G026 y G030) y dos de ellos ya no aparecen programados en el Programa Anual de Evaluaciones 2018 (PAE): el K129 y el G005. El total de 66 “cancelados” (véase última columna del Cuadro y Anexo 1) corresponde a dichos pro-gramas nuevos con evaluaciones de diagnóstico y diseño como a otros con diferentes tipos de evaluaciones y algunos programas antiguos (so-bre todo tipo S y U). Esto nos llevó a tomar una segunda decisión: analizar los nueve programas no “desaparecidos” para verifi car si sus evaluaciones han sido positivas justifi cando su permanencia.

Dinámica específi ca de un programa particularmente estable

El Programa de Conservación para el Desarrollo Sostenible (Procodes, S046) inició en 2008 y tuvo como antecedente al programa de Desa-rrollo Rural Sustentable (Proders) creado en 1996. Sus evaluaciones analizadas fueron las 11 coordinadas por el Coneval de 2009 a 2017 (véase Cuadro 2).

9 Los programas identifi cados en el tipo U otorgan subsidios mediante convenios sin sujetarse a reglas de operación.

10 Los programas tipo K corresponden a proyectos de inversión.


MYRIAM CARDOZO-BRUM

Se identifi caron varias decenas de recomendaciones de las cua-les alrededor de 15 se transformaron en ASM y los documentos de trabajo respectivos los consideraron todos cumplidos. Se reiteran algunas recomendaciones que no acaban de resolverse relativas a los tipos de población o áreas de enfoque atendidas, su cuantifi ca-ción y medición de cobertura, el diseño de la MIR (especialmente la descripción de su fi n) y la imposibilidad de llevar a cabo las evalua-ciones de impacto con métodos cuasiexperimentales exigidos por el Coneval. Se trata de problemas compartidos no sólo con su grupo sino con casi todos los programas del sector.

Los documentos de posición institucional salvo el de 2012-2013 en que el programa no aceptó ninguna recomendación se afi rmó que és-tas serían tomadas en cuenta y los evaluadores reconocieron esta ac-titud de parte del programa aunque algunas no han sido recuperadas en los documentos referidos. Efectivamente los ASM se han cumplido, pero ha habido muchas recomendaciones.

La ausencia de metaevaluaciones impide tener más precisión so-bre la calidad de los trabajos en que estas recomendaciones se funda-mentaron.

Aunque evidentemente este programa y el grupo consolidado al que pertenece también contribuyen a los problemas señalados en el sector, se descarta que el último sea el responsable de un porcentaje importante de ellos dada su atención a las recomendaciones recibidas y al cumplimiento de las ASM acordadas.

Dinámica específi ca de los programas que no vuelven a ser objeto de evaluación

La muestra de 20 casos antes propuesta para este grupo de progra-mas quedó conformada por: siete de 19 casos de las modalidades S (programas con RO relativamente estables), seis de 25 del tipo U (sin RO y bastante estables), cinco de ocho tipo K (relativos a inversión), uno de ocho tipo E (dedicados a prestación de servicios públicos), y uno de dos tipo P (de planeación, seguimiento y evaluación de políticas públi-cas) (véase Cuadro 3). En todos los casos se trató de identifi car si su

Cu

adro

2. S

egu

imie

nto

de

un

pro

gram

a es

tabl

e: P

roco

des

(S04

6)

Tipo

y año

de

evalu

ación

Conc

lusion

es y

reco

men

dacio

nes

delev

aluad

orPo

sición

insti

tucio

nal/

argu

men

tos

ASM

aco

rdad

osSe

guim

iento

de

reco

men

dacio

nes

y ASM

cum

plido

s

EED

2009

-201

0

Reco

noce

la at

enció

n de r

ecom

enda

cione

s y

reite

ra qu

e no c

uenta

con e

valua

cione

s de i

mpac

to y p

ropo

ne m

ejora

s a la

MIR

.

Se ac

epta

corre

gir el

fi n no

el

prop

ósito

.Se

prog

rama

para

2010

.Se

cump

le co

n el in

dicad

or

de fi n

.

EED

2010

-201

1

Reite

ra la

s rec

omen

dacio

nes p

revia

s que

el

prog

rama

ha si

do re

cepti

vo y

hech

o cam

bios a

la

MIR.

El e

studio

de fa

ctibil

idad d

e imp

acto

no fu

e ac

eptad

o por

el C

onev

al.

Reite

ra qu

e las

re

come

ndac

iones

será

n tom

adas

en cu

enta

como

se

ha he

cho c

on la

s ante

riore

s.

Se co

mpro

metió

a inc

luirlo

en la

MIR

2012

.La

posic

ión in

stituc

ional

lo de

clara

cump

lido e

n 201

2.

ECyR

20

11-2

012

El pr

ogra

ma se

evalú

a pos

itivam

ente

pero

se

hace

n rec

omen

dacio

nes:

defi n

ir, aju

star

la me

todolo

gía de

cálcu

lo y c

uanti

fi car

las

pobla

cione

s, an

aliza

r los c

riterio

s de s

elecc

ión

de be

nefi c

iarios

, med

ir el g

rado

de sa

tisfac

ción

de lo

s ben

efi cia

rios,

depu

rar e

l SIS

P, co

nstru

ir un

Siste

ma de

Infor

mació

n Geo

gráfi

ca (S

IG).

Se ac

eptan

parci

almen

te re

ducie

ndo l

a ev

aluac

ión al

dise

ño de

ind

icado

res a

mbien

tales

, so

cioec

onóm

icos y

de

gesti

ón. S

e ace

pta de

pura

r el

SISP

y co

nstru

ir el S

IG pa

ra

2013

-201

4.

Se co

mpro

mete

para

dic

iembr

e de 2

012 y

un

micro

sitio

en 20

13.

Cump

lidos

en 20

13 y

2014

.

EED

2012

-201

3

Prog

rama

rece

ptivo

a las

reco

mend

acion

es

recib

idas a

creed

or al

reco

nocim

iento

del C

onev

al.

Buen

as pr

áctic

as en

el us

o de l

os re

sulta

dos d

e mo

nitor

eo y

evalu

ación

en el

ciclo

de la

s polí

ticas

pú

blica

s. Re

comi

enda

: defi

nir y

cuan

tifi ca

r su

pobla

ción o

bjetiv

o par

a mejo

rar s

u foc

aliza

ción,

ajusta

r las m

etas,

hace

r la ev

aluac

ión de

impa

cto y

reali

zar e

studio

s com

para

dos.

Reite

ra qu

e las

re

come

ndac

iones

será

n tom

adas

en cu

enta

como

se

ha he

cho c

on la

s ante

riore

s.Se

comp

rome

ten pa

ra 20

13

y 201

4 salv

o la e

valua

ción d

e im

pacto

porq

ue de

pend

e de

la au

toriza

ción d

el Co

neva

l.Ot

ros n

o se a

cepta

n por

co

ntrad

ecir l

as re

glas d

e op

erac

ión.

Defi n

ir y cu

antifi

car la

po

blació

n obje

tivo.

Defi n

ición

cump

lida e

n 201

4 y c

uanti

fi cac

ión en

2015

. Re

ducc

ión de

meta

s en 2

014.

Ficha

de

Monit

oreo

y Ev

aluac

ión (F

MyE)

2013

Reco

mien

da cu

antifi

car d

e man

era c

onsis

tente

la po

blació

n obje

tivo y

ajus

tar la

s meta

s. Afi

rma q

ue

el pr

ogra

ma no

reali

zó m

odifi c

acion

es en

el m

arco

de

la C

ruza

da N

acion

al co

ntra e

l Ham

bre (

CNCH

).

Seña

la la

utilid

ad de

la

fi cha

pero

tamb

ién al

guna

s dis

crepa

ncias

sobr

e ac

tualiz

ar lo

s grá

fi cos

de

indica

dore

s de r

esult

ados

, co

bertu

ra y

pres

upue

sto

ejerci

do, in

cluir e

l núm

ero

de m

unici

pios y

loca

lidad

es

atend

idas,

actua

lizar

el

pres

upue

sto ej

ercid

o en

2013

, o m

odifi c

acion

es po

r la

CNCH

inclu

idas e

n las

RO de

20

13 y

2014

.

No ap

lica p

orqu

e la

posic

ión in

stituc

ional

no ac

eptó

ningu

na

reco

mend

ación

.

No ap

lica.

FED

2014

Prob

lemas

con e

l cum

plimi

ento

de m

etas y

el

indica

dor d

e pro

pósit

o y re

ducc

ión de

la po

blació

n ate

ndida

. El C

onev

al ag

rega

falta

de cl

arida

d en l

a de

fi nici

ón de

su pr

oblem

a.

La ev

aluac

ión de

impa

cto

depe

nde d

el Co

neva

l, las

so

licitu

des d

e apo

yo se

re

duce

n por

difi c

ultad

es pa

ra

conta

r con

los d

ocum

entos

so

licita

dos y

usar

el si

stema

. El

prob

lema f

ue cl

aro y

así

se ha

reco

noció

en ot

ras

evalu

acion

es.

Ning

uno p

ara 2

015.

Cump

lió co

n los

ASM

anter

iores

y no

acor

dó

nuev

os.

FMyE

20

14

Buen

a apr

eciac

ión de

l pro

gram

a gen

eral,

ins

isten

cia en

cono

cer im

pacto

s med

iante

el ind

icado

r de p

ropó

sito (

se ha

n rec

haza

do tr

es

estud

ios de

facti

bilida

d)

FMyE

20

15Nu

evo i

ndica

dor d

e pro

pósit

o y re

ducc

ión de

la

pobla

ción a

tendid

a.

Se re

cibier

on cu

atro

reco

mend

acion

es y

se

acep

taron

dos:

factib

ilidad

de

la ev

aluac

ión de

impa

cto

y mod

ifi cac

ión in

dicad

or de

pr

opós

ito.

La FM

yE in

dicó q

ue no

se

acor

daro

n par

a 201

6. No

aplic

aron

segú

n la F

MyE.

FMyE

2016

Solic

itó re

visión

del in

dicad

or de

prop

ósito

, co

mpon

entes

y ac

tivida

des.

Se ac

eptar

on lo

s dos

para

20

18. F

alta d

e con

tactos

du

rante

la ev

aluac

ión y

forma

to ina

decu

ado d

e re

spue

sta in

stituc

ional.

Indica

dor d

e pro

pósit

o y d

e com

pone

ntes y

ac

tivida

des.

Se re

unió

Mesa

Téc

nica p

ara

revis

ar M

IR.

ECyR

20

17

Se an

alizó

su co

ntribu

ción a

l Plan

Nac

ional

de

Desa

rrollo

. Se r

econ

oce l

a aten

ción d

e ASM

salvo

la

evalu

ación

de im

pacto

con l

a que

se bu

scab

a su

stitui

r por

nuev

e estu

dios d

e cas

o. Pr

opus

o me

joras

para

capta

r la sa

tisfac

ción d

e la p

oblac

ión

atend

ida.

No se

disp

one.

Se de

scon

oce.

Se de

scon

oce.

FMyE

2017

Evalu

ación

posit

iva pe

ro pl

anteó

la fa

lta de

ac

tualiz

ación

del d

iagnó

stico

hech

o en 2

007.

Se

solic

itó re

visar

indic

ador

es y

ajusta

r meta

s.No

se en

cuen

tra pu

blica

da.

Se ac

uerd

a nue

va

revis

ión de

la M

IR en

20

18.

Se av

anzó

con 9

5% en

el

indica

dor d

e pro

pósit

o y

nuev

a MIR

2018

.

Fuen

te:

Ela

bora

ción

pro

pia

con

bas

e en

las

eva

luac

ion

es 2

008

a 20

17,

Seg

uim

ien

to a

Rec

omen

daci

ones

, D

ocu

men

tos

de

Trab

ajo

y de

Ava

nce

y O

pin

ión

de

Dep

ende

nci

a/Po

sici

ón i

nst

itu

cion

al d

e 20

09 a

201

7, d

ispo

nib

les

en l

a pá

gin

a in

stit

uci

onal

de

l Con

eval

(ww

w.c

onev

al.g

ob.m

x) y

/o e

n la

la S

emar

nat

(ww

w.s

emar

nat

.gob

.mx)

con

sult

adas

por

últ

ima

vez

el 2

7 oc

tubr

e de

20

18.


MYRIAM CARDOZO-BRUM

“desaparición” fue consecuencia de algún resultado de evaluación me-diante la revisión de los últimos informes, posiciones institucionales y seguimiento de los ASM para determinar sus interrelaciones.

La entrevista aplicada a los funcionarios de la Semarnat, si bien confi rmó la difi cultad de hacer la reconstrucción deseada, arrojó algu-nas aclaraciones sobre los programas en que su “desaparición” no fue documentalmente explicada.

El Cuadro 3 muestra que las recomendaciones revisadas no pre-sentan una relación explícita con las decisiones tomadas respecto de los programas, ya que aquellas han sido rechazadas o no se cuenta con una respuesta institucional. Aunque todos los programas han re-cibido críticas que podrían justifi car su desaparición, sólo las pocas aceptadas (especialmente en torno de la MIR) podrían haber servido para impedir la concreción de programas como la mayoría de los tipo K, el E017 y el P001, pero lamentablemente no hay información al res-pecto de su cumplimiento en las páginas institucionales y los entre-vistados afi rmaron no disponerla. La “desaparición” del E017 tendría la mayor probabilidad de haber sido provocada por la relevancia de las recomendaciones críticas que recibió. Sólo dos programas de los estudiados reportan avances en los pocos ASM que han sido aceptados (S136 ya incorporado al S219 y K111 “desaparecido” en 2014).

En síntesis, se descarta que la Semarnat haya realizado una am-plia utilización instrumental de los resultados de las evaluaciones que explicaran la “desaparición” de numerosos programas, y se considera probable que haya existido una utilización presupuestal por la SHCP para fundamentar sus decisiones.

Dinámica específi ca de los programas con evaluaciones de diagnóstico y diseño que se han mantenido hasta 2017

Se trata de analizar aquí la situación inversa de la anterior: si los re-sultados de las evaluaciones de los únicos nueve programas que han subsistido hasta 2017, o bien han sido reprogramados en el PAE 2018, en un total de 64 explican dicha permanencia (véase Cuadro 4). Se trata de los programas U020, U025, U035, E005, E014, E015, G003, G026

Cu

adro

3. S

egu

imie

nto

a p

rogr

amas

qu

e h

an d

ejad

o de

eva

luar

se

Prog

ram

as

“des

apar

ecido

s”Úl

timo

año

evalu

ado

Expli

cacio

nes

enco

ntra

das

Conc

lusion

es d

e su

s ev

aluac

iones

Posic

ión in

stitu

ciona

lCu

mpli

mien

to d

e AS

M

S049

2009

Se tr

ansfo

rmó e

n U0

21 en

2010

.Cr

íticas

impo

rtante

s a lo

s pr

ogra

mas (

c).Re

chaz

ó las

reco

mend

acion

es (d

) re

cibida

s en s

us EE

D y de

proc

esos

.No

exist

en.

S080

2009

Se tr

ansfo

rmó e

n el

E006

en 20

11.

Crític

as m

enor

es (e

).

Acep

tó los

come

ntario

s fav

orab

les

de su

EED,

pero

cues

tionó

al

evalu

ador

(f).

Menc

ionó q

ue el

pr

ogra

ma se

estar

ía fus

ionan

do

con e

l S07

9 par

a opti

miza

r rec

urso

s co

sa qu

e no s

uced

ió.

No ex

isten

.

S136

2011

En 20

11 fu

e ab

sorb

ido po

r el

S110

que e

n 201

2 se

inco

rpor

a al

S219

.

Conc

lusion

es po

sitiva

s co

n sug

eren

cias.

El

Cone

val in

formó

(no

reco

mend

ó) en

la EE

D la

próx

ima f

usión

.

Reco

noció

las r

ecom

enda

cione

s de

su EE

D, hiz

o com

entar

ios. A

sumi

ó do

s ASM

de la

evalu

ación

2010

-201

1 y u

no de

la si

guien

te.

Los r

epor

tó ac

abad

os co

n cier

to re

traso

en m

arzo

de

2014

.

S044

, S04

5, S1

10

y S12

2

2011

el

S045

y 20

12 lo

s de

más

Fuer

on ab

sorb

idos

en 20

12 po

r el

S219

.

Evalu

acion

es ba

stante

po

sitiva

s sob

re to

do

en lo

s cas

os de

l S04

4 y e

l S11

0. Re

cibier

on

reco

mend

acion

es (g

).

Se tr

ató de

ECyR

y/o

Comp

lemen

tarias

(201

1) qu

e no

conta

ron c

on op

inión

de la

de

pend

encia

. La e

valua

ción

comp

lemen

taria

del S

044 y

la EC

yR

del S

122 y

a no s

e enc

ontra

ron

dispo

nibles

en la

págin

a del

Cone

val.

No co

ntaro

n co

n defi

nición

y se

guim

iento

de AS

M.

U003

, U00

5 y U0

0620

11Fu

eron

abso

rbido

s en

2012

por e

l U0

36.

Evalu

acion

es

basta

nte po

sitiva

s. Re

come

ndac

iones

sim

ilare

s al g

rupo

prev

io

Se tr

ató de

ECyR

y/o

Comp

lemen

tarias

, (20

11) q

ue

no co

ntaro

n con

opini

ón de

la

depe

nden

cia.

No co

ntaro

n co

n defi

nición

y se

guim

iento

de AS

M.

U026

2011

Desa

pare

cido d

el PE

F en 2

012

Recib

ió las

re

come

ndac

iones

más

ha

bitua

les (h

).

No ex

iste o

pinión

de la

depe

nden

cia

a su e

valua

ción d

e dise

ño 20

11.

No ex

isten

.

E017

2011

Desa

pare

cido d

el PE

F en 2

012

Sugir

ió qu

e el p

rogr

ama

conti

núe p

ero e

fectuó

re

come

ndac

iones

dr

ástic

as (i)

.

Se tr

ató de

ECyR

y/o

comp

lemen

tarias

que n

o con

taron

co

n la o

pinión

de la

depe

nden

cia.

No co

ntaro

n co

n defi

nición

y se

guim

iento

de AS

M.

k111

, K13

1, K1

32,

K134

, K13

8 y P0

01

En 20

13 el

K1

32, K

134

y K13

8 y

en 20

14

los tr

es

resta

ntes

Sin n

ueva

s ev

aluac

iones

po

sterio

res a

2014

.

Recib

ieron

fuer

tes cr

íticas

de

los e

valua

dore

s (j).

A pe

sar d

e esto

en va

rios

caso

s (K1

11, K

132 y

K1

34) s

e men

ciona

que e

l pr

ogra

ma es

nece

sario

.

Much

as re

come

ndac

iones

re

chaz

adas

a las

evalu

acion

es

de di

agnó

stico

y dis

eño d

e 20

13 y

2014

. Se a

ceptó

sólo

las

modifi

cacio

nes e

n la M

IR (K

134)

. Dos

no

acep

taron

ning

una (

K132

y K1

38).

Algu

nos a

cepta

ron v

arias

( K11

1, K1

31 y

P001

), pe

ro lu

ego s

ólo da

ban

segu

imien

to a u

n ASM

relat

ivo a

la MI

R com

prom

etida

para

2014

.

Poca

infor

mació

n. Só

lo el

K111

repo

rtó

cump

lidos

dos A

SM

inter

institu

ciona

les

(en r

ealid

ad

canc

elado

s por

la

SHCP

y el

PEF)

y la

termi

nació

n en p

lazo

de su

ASM

espe

cífi co

.

U009

2014

Se pr

opus

o su

fusión

en la

re

estru

ctura

ción

prog

ramá

tica 2

016.

Recib

ió crí

ticas

im

porta

ntes d

el ev

aluad

or y

el Co

neva

l. Su

pres

upue

sto

se ha

redu

cido

signifi

cativ

amen

te.

No se

acep

tó nin

guna

de la

s cua

tro

reco

mend

acion

es re

cibida

s.No

comp

rome

tidos

pa

ra 20

15.

U021

2015

Éste

y el U

032

su co

mplem

ento

desa

pare

ciero

n. Ap

arec

ió en

parte

de

l pro

gram

a U02

5.

Su di

seño

fue b

astan

te bie

n eva

luado

aunq

ue

tuvo d

iversa

s deb

ilidad

es.

Al tr

atarse

de ev

aluac

iones

de

diagn

óstic

o y di

seño

no se

conta

ron

con p

osici

ón in

stituc

ional.

No co

ntaro

n co

n defi

nición

y se

guim

iento

de A

SM.

Not

as: (

a) P

robl

emas

en

la M

IR y

su

s in

dica

dore

s. D

efi n

ició

n y

cu

antifi c

ació

n d

e po

blac

ion

es fa

lta

de m

etas

y n

o h

ay c

oin

cide

nci

a co

n la

Cu

enta

Pú

blic

a. A

use

nci

a de

eva

luac

ion

es d

e im

pact

o y

falt

a ge

ner

aliz

ada

de in

form

ació

n, e

ntr

e ot

ro.

(b) A

pes

ar d

e qu

e in

form

aron

hab

er s

ust

itu

ido

los

indi

cado

res

acor

dado

s en

su

áre

a de

tra

bajo

por

los

reco

men

dado

s y

apro

-ba

dos

por

el C

onev

al a

par

tir

de la

s su

gere

nci

as h

ech

as p

or u

n a

seso

r de

ese

Con

sejo

repo

rtar

on s

us

avan

ces

regu

larm

ente

a la

C

uen

ta P

úbl

ica

y qu

e lo

s ev

alu

ador

es n

un

ca s

e pr

esen

taro

n a

sol

icit

ar in

form

ació

n a

las

ofi c

inas

cor

resp

ondi

ente

s.(c

) Se

pres

enta

ron

crí

tica

s a

la M

IR, a

la e

ncu

esta

apl

icad

a po

r el

pro

gram

a, a

la d

efi n

ició

n d

e po

blac

ion

es, a

la fa

lta

de p

lan

ea-

ción

de

med

ian

o y

larg

o pl

azo,

a la

insufi c

ien

te d

ifusi

ón d

el p

rogr

ama,

a la

au

sen

cia

de s

egu

imie

nto

de

los

apoy

os c

on c

rite

rios

cl

aros

, en

tre

otro

s.(d

) Por

con

side

rarl

as in

fun

dada

s y

no

ten

er c

ompe

ten

cia

al r

espe

cto

al h

aber

inic

iado

su

mod

ifi ca

ción

.(e

) R

econ

oció

un

a ev

olu

ción

sat

isfa

ctor

ia d

el p

rogr

ama

señ

alan

do a

lgu

nas

in

con

sist

enci

as d

e in

form

ació

n,

prob

lem

as e

n l

a defi n

ició

n d

e po

blac

ion

es y

rec

omen

dó p

oner

en

mar

cha

el s

iste

ma

de s

egu

imie

nto

ya

dise

ñad

o.(f)

Con

side

ró q

ue

no

anal

izó

sufi c

ien

tem

ente

la

oper

ació

n y

señ

aló

que

no

fue

su o

bjet

ivo

al h

acer

los

an

ális

is q

ue

se l

e su

gi-

rier

on.

(g) N

eces

idad

de

con

tar

con

eva

luac

ion

es d

e im

pact

o y

en c

ampo

, per

o n

o pr

opu

so s

u in

tegr

ació

n c

on o

tros

pro

gram

as.

(h) S

obre

la M

IR, l

a defi n

ició

n d

e po

blac

ion

es, e

tc.

(i) S

e re

defi n

ió la

MIR

en

su

tot

alid

ad h

izo

un

dia

gnós

tico

y r

ein

gen

ierí

a de

l pro

gram

a.(j)

Fal

ta d

e di

agn

ósti

cos

y de

pri

orid

ades

a a

ten

der,

pro

blem

as e

n s

us

MIR

, defi

nic

ión

de

pobl

acio

nes

, au

sen

cia

de m

ecan

ism

os

de s

egu

imie

nto

de

acci

ones

, ex

iste

nci

a de

du

plic

idad

es c

on o

tros

pro

gram

as,

falt

a de

mec

anis

mos

de

coor

din

ació

n c

on o

tras

de

pen

den

cias

, etc

éter

a.Fu

ente

: In

form

es d

e ev

alu

acio

nes

, D

ocu

men

tos

de p

osic

ión

in

stit

uci

onal

, S

egu

imie

nto

de

AS

M y

en

trev

ista

s a

fun

cion

ario

s de

la

Sem

arn

at.


MYRIAM CARDOZO-BRUM

Y G030 que son relativamente jóvenes y que han sido evaluados desde 2011. Los cinco primeros forman parte de los actuales 11 programas eva-luados regularmente de 2015 a 2017 bajo la coordinación del Coneval, mientras en el caso del E015 dicho Consejo no organizó evaluaciones en 2017, pero en el PAE de 2018 programó Fichas de Monitoreo y Evaluación (FMyE). Los tres restantes, cuyas evaluaciones han estado a cargo de SHCP, incluyen al G003, G026 Y G030 que habían dejado de evaluarse pero que regresaron a ser incluidas en el PAE de 2018. El análisis se sintetiza en el Cuadro 4.

Los tres programas de modalidad U acumulan entre ocho y nueve evaluaciones con resultados positivos, cumplimiento de ASM y acepta-ción de otros nuevos para 2018 que justifi can su permanencia como se esperaba. El E005 y el E014 con seis y ocho evaluaciones respecti-vamente, muestran fortalezas pero también un conjunto de debilida-des y recomendaciones por lo que cuentan con mayor número de ASM y el avance en su cumplimiento es parcial. Las evaluaciones del E015 resaltan su importancia pero no lo analizan a profundidad, y si bien tiene pocos ASM su cumplimiento se reporta parcial y se carece de su evidencia. El resultado de estos programas de modalidad E es indica-tivo de que su permanencia futura dependerá de su capacidad para enfrentar los diversos retos actuales.

En el caso de los programas a cargo de la SHCP, la información dis-ponible es menor porque son más recientes, no se han realizado FMyE con su correspondiente posición institucional y seguimiento de ASM y apenas tienen una o dos evaluaciones en el periodo de 2013 a 2017. El G003, el G026 y el G030 comparten evaluaciones muy generales que tienden a realizar su diagnóstico para justifi car el programa, en lugar de evaluar el presentado por el mismo, lo que no es sufi ciente para valorar su futuro. El primero de ellos cuenta también con una ECyR en 2015 y una valoración crítica mucho más fuerte.

En síntesis, esta revisión de los nueve programas que han sobre-vivido a la dinámica de las creaciones y desapariciones, nos deja en realidad tres programas sólidos y dos aceptables. El resto deja dudas o carece de información sufi ciente.

Resulta evidente la necesidad de tener documentos de posición institucional e informes sobre la aceptación y seguimiento de ASM fren-

Cu

adro

4. S

egu

imie

nto

a p

rogr

amas

con

eva

luac

ion

es d

e di

agn

ósti

co

y di

señ

o qu

e se

han

man

ten

ido

has

ta 2

017

Prog

ram

aEv

aluac

iones

an

uales

recib

idas

Conc

lusion

es d

e las

eva

luacio

nes

Posic

ión in

stitu

ciona

lAc

uerd

o y c

umpli

mien

to d

e AS

M

U020

2011

: Dise

ño20

12: E

ED

2013

-201

7: FM

yE20

14: E

ED

2018

: PAE

prog

ramó

su

FMyE

Var

ios re

cono

cimien

tos. S

u pr

esup

uesto

se re

dujo

hasta

llega

r a 0

en 20

17, lo

que p

rovo

có qu

e no o

pera

ra

afecta

ndo s

us in

dicad

ores

, per

o la S

HCP

lo jus

tifi có

por s

er un

prob

lema a

jeno

al pr

ogra

ma. E

l eva

luado

r adv

ierte

que d

e con

tinua

r la te

nden

cia po

dría

desa

pare

cer.

Sólo

dispo

nible

para

las F

MyE y

a ex

cepc

ión de

2017

. En e

llas s

e se

ñala

que s

ólo se

elab

orar

ían

con i

nform

ación

ofi ci

al y q

ue

el ev

aluad

or no

estab

lecer

ía co

ntacto

con e

l pro

gram

a, po

r tal

motiv

o no a

porta

ría a

la ge

stión

de

l pro

gram

a.

Los A

SM se

infor

maba

n al

cump

lirse y

se su

maro

n dos

nu

evos

para

2018

.

U025

2011

: Dise

ño20

12: E

ED

2013

-201

7: FM

yE20

14: E

ED

2017

: ECy

R20

18: P

AE pr

ogra

mó

su FM

yE

Las e

valua

cione

s fue

ron p

ositiv

as só

lo se

insis

tió en

revis

ar la

s defi

nicion

es de

po

blacio

nes.

Su pr

esup

uesto

aume

ntó

cons

idera

bleme

nte en

el pe

riodo

de

2012

-201

6, pe

ro se

redu

jo en

2017

, po

r lo qu

e sólo

cubr

ió el

comp

onen

te re

lativo

a la

Vaqu

ita M

arina

.

Sólo

fue di

spon

ible p

ara l

as

FMyE

exce

pto en

2017

. Los

co

menta

rios e

n dich

o año

fuer

on

idénti

cos a

los d

el U0

20.

Los A

SM se

infor

maro

n cu

mplid

os y

se as

umió

uno

nuev

o par

a 201

8 rela

tivo a

la

defi n

ición

y cu

antifi

cació

n de

pobla

cione

s.

U035

2012

: Dise

ño20

12-2

017:

FMyE

2014

: EED

2017

: ECy

R20

18: P

AE pr

ogra

mó

su FM

yE

Bien

evalu

ado.

Su pr

esup

uesto

se

redu

jo dr

ástic

amen

te en

2013

-201

6 con

un

pequ

eño a

umen

to en

2017

lo qu

e pr

ovoc

ó que

el ev

aluad

or re

come

ndar

a aju

star s

us m

etas p

ara 2

018.

Sólo

dispo

nible

para

las F

MyE c

on

exce

pción

de 20

17. S

e men

cionó

qu

e la fi

cha n

o la r

ealiz

ó un

evalu

ador

ni la

perso

na qu

e la

elabo

ró, n

i el C

onev

al es

tablec

en

conta

cto co

n el p

rogr

ama,

por lo

qu

e la p

osici

ón in

stituc

ional

no

fue pe

rtinen

te.

Se cu

mplió

con l

os AS

M so

bre l

a MI

R y se

asum

ieron

dos n

uevo

s pa

ra 20

18 so

bre p

oblac

iones

y la

MIR n

ueva

mente

.

E005

2011

: Co

mplem

entar

ia20

12: F

MyE

2014

: Diag

nósti

co y

Dise

ño20

15: D

iagnó

stico

2015

-201

7: FM

yE20

18: P

AE pr

ogra

mó

su FM

yE

Las e

valua

cione

s rec

onoc

ieron

sus

apor

tes, p

ero t

ambié

n señ

alaro

n mú

ltiples

debil

idade

s y am

enaz

as en

ma

teria

de pl

anea

ción y

prog

rama

ción

anua

l, coo

rdina

ción d

e dele

gacio

nes,

actua

lizac

ión de

l per

sona

l y

coor

dinac

ión po

r dos

insta

ncias

: la

Cona

gua y

el C

entro

de C

apac

itació

n pa

ra el

Des

arro

llo S

usten

table

(Cec

ades

u), s

e pro

puso

una g

estió

n co

njunta

. A pa

rtir de

2016

se ab

sorb

ió el

prog

rama

U010

. Su p

resu

pues

to au

mentó

hasta

ese a

ño y

se re

dujo

en

2017

.

Sólo

dispo

nible

para

las F

MyE

salvo

en 20

17. S

e disc

utió e

l dis

eño d

e pob

lacion

es po

rque

ca

si no

se pr

oveía

n de a

yuda

s so

ciales

y de

oper

ación

conju

nta

porq

ue ca

da in

stanc

ia ten

ía bie

n dif

eren

ciada

s sus

func

iones

. Su

girier

on m

ás re

union

es

de tr

abajo

, cap

acita

ción,

entre

vistas

, con

tacto

con e

l Co

neva

l, eva

luació

n de a

spec

tos

cuali

tativo

s y tr

abajo

de ca

mpo.

Se cu

mplie

ron d

os de

los s

eis

ASM

prev

ios, tr

es se

enco

ntrar

on

avan

zado

s y el

de el

abor

ación

de

un P

rogr

ama d

e Des

arro

llo

Institu

ciona

l tuvo

un av

ance

ap

enas

de 10

%. P

ara 2

018 s

ólo

se co

mpro

metió

la de

fi nici

ón

de po

blacio

nes y

su m

étodo

de

cálcu

lo.

E014

2010

-201

2 Co

mplem

entar

ia*20

12-2

017:

FMyE

2018

: PAE

prog

ramó

su

FMyE

Las e

valua

cione

s rec

onoc

ieron

sus

fortal

ezas

pero

tamb

ién se

ñalar

on

múltip

les de

bilida

des y

amen

azas

: ins

ufi cie

nte pr

even

ción,

dispo

sición

de

perso

nal, p

oca p

revis

ión

meteo

rológ

ica, e

tc., q

ue di

eron

luga

r a o

cho r

ecom

enda

cione

s en 2

017.

Su

pres

upue

sto au

mentó

en 20

12-2

015

luego

se fu

e red

ucien

do.

Sólo

dispo

nible

para

las F

MyE

a exc

epció

n de 2

017.

Se

argu

mentó

que y

a se c

ontab

a con

los

conv

enios

sobr

e inc

endio

s co

n la S

ecre

taría

de la

Defe

nsa

Nacio

nal (S

eden

a) y

la Se

cretar

ía de

Mar

ina (S

emar

) que

se

reco

mend

aron

. Se r

econ

oció

que l

as fi c

has a

yuda

ron a

ide

ntifi c

ar op

ortun

idade

s de

mejor

a y co

nside

raro

n bue

no

el de

semp

eño d

el ev

aluad

or en

20

17.

Cont

ó co

n nu

eve A

SM

entre

201

6-20

17: s

eis

se co

ncluy

eron

y tre

s es

tuvie

ron

en p

roce

so y

se

com

prom

etier

on cu

atro

nue

vos

para

201

8: re

cluta

mien

to

y cap

acita

ción

técn

ica

sobr

e m

anejo

de

incen

dios,

conv

enios

con

Sede

na

y Sem

ar, s

eguim

iento

a

Com

ités T

écnic

os E

stata

les y

colab

orac

ión e

n de

tecc

iones

co

n la

Proc

urad

uría

Fed

eral

de P

rote

cción

al A

mbie

nte

(Pro

fepa

).

E015

2014

: Diag

nósti

co20

15: D

iseño

y FM

yE20

16: F

MyE

2018

: PAE

prog

ramó

su

nuev

a FMy

E

Sus F

MyE n

o ana

lizar

on a

fondo

el

prog

rama

, se p

ropu

so el

evar

sus m

etas

por s

u rele

vanc

ia, pe

ro se

acoto

la

comp

lejida

d de v

alora

r sus

logr

os en

tem

as ta

n com

plejos

como

el ca

mbio

climá

tico.

Tamb

ién se

prec

isaro

n las

ár

eas d

e enfo

que,

su co

ntribu

ción a

los

prob

lemas

y se

dio m

ayor

difus

ión.

En 20

14-2

015 s

e abs

orbió

el P0

08. S

u pr

esup

uesto

se re

ducié

ndos

e red

ujo

lentam

ente.

Sólo

estuv

o disp

onibl

e par

a las

FM

yE. S

e con

sider

ó un p

rogr

ama

en pr

oces

o ante

camb

ios

prop

ios y

del In

stitut

o Nac

ional

de E

colog

ía y C

ambio

Clim

ático

( IN

ECC).

Se a

ceptó

incre

menta

r las

metas

y re

salta

r su c

ontrib

ución

. Re

spec

to a l

a difu

sión s

e co

nside

ró co

mo ya

elab

orad

a. Se

ar

gume

ntó qu

e el p

rogr

ama n

o ten

ía siq

uiera

un ár

ea de

enfoq

ue

espe

cífi ca

y se

sugir

ió al

meno

s un

a reu

nión c

on ev

aluad

ores

y q

ue só

lo se

man

tuvo e

n co

munic

ación

virtu

al.

En 20

16 se

acor

dó ha

cer

“otro

” tipo

de ev

aluac

iones

y lo

repo

rtaro

n cum

plido

aunq

ue

no se

visu

aliza

cuál

fue. O

tro

ASM

plante

ó los

prob

lemas

de

defi n

ición

de po

blacio

nes y

co

bertu

ra qu

e se i

nform

an co

mo

avan

zado

. Se a

sumi

ó par

a 20

17 ac

tualiz

ar el

diag

nósti

co

pero

no ha

y info

rmac

ión de

su

cump

limien

to.

G003

2014

: Diag

nósti

co20

15: E

CyR

2018

: el P

AE le

pr

ogra

mó un

a ev

aluac

ión de

pr

oces

os

En 20

14 el

evalu

ador

hizo

el di

agnó

stico

co

n info

rmac

ión ge

nera

l sob

re m

ucho

s pr

oblem

as vi

ncula

dos a

la re

gulac

ión

ambie

ntal y

justi

fi có e

l pro

gram

a en

lugar

de ev

aluar

el pr

esen

tado p

or és

te.

Ofre

ce un

árbo

l de p

roble

mas m

uy

simple

. El re

sto de

l infor

me es

más

bien

un

a eva

luació

n de d

iseño

. La E

CyR d

e 20

15 id

entifi

ca m

últipl

es in

cons

isten

cias

e imp

recis

iones

.

No se

reali

za pa

ra ni

ngun

a de

las ev

aluac

iones

aplic

adas

al

prog

rama

.Se

desc

onoc

en.

G026

2014

: Diag

nósti

co20

18: e

l PAE

le

prog

ramó

una F

MyE

Su fo

rmato

de di

agnó

stico

es id

éntic

o al

del G

003 y

amer

itó lo

s mism

os

come

ntario

s salv

o que

su ár

bol d

e pr

oblem

as es

más

elab

orad

o.

No se

reali

za pa

ra ni

ngun

a de

las ev

aluac

iones

aplic

adas

al

prog

rama

.Se

desc

onoc

en.

G030

2014

: Diag

nósti

co20

18: e

l PAE

le

prog

ramó

una F

MyE

Pare

cido a

l G00

3 y G0

26 se

usó u

n Ma

rco Ló

gico y

su ár

bol d

e pro

blema

s es

muc

ho m

ás su

stanti

vo. C

onsid

eró

como

pobla

ción p

otenc

ial al

go m

uy

ampli

o y no

oper

ativo

: el c

onjun

to de

los

tres s

ector

es de

la ec

onom

ía.

No se

reali

za pa

ra ni

ngun

a de

las ev

aluac

iones

aplic

adas

al

prog

rama

.Se

desc

onoc

en.

Not

a *

No

disp

onib

le e

n e

l por

tal d

e ev

alu

acio

nes

del

Con

eval

.Fu

ente

: C

onev

al,

disp

onib

le

en

ww

w.c

onev

al.g

ob.m

x/E

valu

acio

n/P

agin

as/I

nfo

rmeE

valu

acio

n.

aspx



te a todas las evaluaciones no sólo las Específi cas y EED para transpa-rentar la información relativa a estos procesos. También se comparte la crítica de los operadores en el sentido de que las FMyE sólo informan de la evolución de algunos indicadores con datos ofi ciales del pro-pio programa, ya que no evalúan ni se realizan por equipos externos contratados con ese fi n que entren en contacto con el programa por lo poco que aportan a su mejoramiento y no justifi can que se emita una posición institucional salvo para evitar errores en el manejo de la información.

El análisis muestra también una preocupante tendencia a la re-ducción de sus presupuestos especialmente concentrada en 2017 en cuatro de ellos. Esta situación afecta su desempeño lo que ha llevado a algún evaluador a mencionar la necesidad de ajustar las metas y a otro a advertir un riesgo de desaparición del programa analizado.

Otro problema que aún no logra resolverse satisfactoriamente y que estos programas comparten con la mayoría de los de Semarnat es la continua presencia de recomendaciones relacionadas con la de-fi nición y cálculo de sus poblaciones y coberturas referida en algu-na de las posiciones institucionales revisadas. Efectivamente, dichos programas mejoran nuestro entorno (agua, aire, suelo, vida silvestre, marina, etc.) y nos benefi cian indirectamente a un número de perso-nas de difícil determinación donde no hay posibilidad de contar con un padrón de benefi ciarios y cualquier cálculo resulta ambiguo y/o arbitrario. El reconocimiento de esta situación llevó algunos años a sustituir esta exigencia por la identifi cación de áreas de enfoque, pero muchas evaluaciones muestran resistencia a este cambio y reiteran recomendaciones que indican que el problema no se ha zanjado.

Finalmente, y muy importante es que todas las EDD revisadas seña-lan un problema compartido tanto por estos como por todos los pro-gramas de Semarnat: la ausencia de imprescindibles evaluaciones de impacto que culminen los procesos emprendidos, valorando su con-tribución a la solución de problemas y una vida más sostenible como postula la Agenda 2030 de la Organización de las Naciones Unidas (ONU) recurriendo a metodologías diferentes a las cuasi experimentales como la teoría del cambio, el enfoque de complejidad, estudios cuali-tativos y análisis contributivos, entre otros (García y Cardozo, 2017).


MYRIAM CARDOZO-BRUM

Discusión y conclusiones

Se realizó una revisión documental del conjunto de programas, eva-luaciones y utilización de recomendaciones de Semarnat durante todo el periodo 2009-2017 y se puso especial énfasis en algunos considera-dos relevantes para el logro del objetivo de investigación perseguido: a) uno de los tres programas estables en todo el período, b) 20 programas que dejaron de ser evaluados y c) los nueve programas nuevos que continuaron recibiendo evaluaciones hasta 2017 y aparecen progra-mados en 2018. Se considera que el panorama general que brindan y el específi co de los programas que fueron analizados se completaron con entrevistas a informantes-clave ofreciendo un fundamento sólido a las conclusiones que se presentan.

Semarnat muestra, en general, una dinámica muy inestable de programas vigentes y evaluados anualmente: fi nalización de progra-mas de relativa antigüedad y una continua generación y “desapari-ción” de otros nuevos especialmente entre 2011 y 2015.

En la búsqueda de explicaciones para esa dinámica se encontró que de los programas evaluados (especialmente en 2011-2012) sólo aproximadamente la mitad cuenta con documentos de trabajo y de posición institucional y estos se concentran en las evaluaciones del conjunto de programas identifi cados como estables que son sometidos regularmente a EED. Su revisión mostró que ninguno informaba incum-plimientos de ASM (aunque sus medios de verifi cación pueden resultar discutibles) por lo que se dedujo que los problemas identifi cados por el Coneval tienen que estar concentrados en el resto de programas que no cuenta con los mencionados documentos e imposibilita la contras-tación buscada debido a la limitada transparencia del sistema.

El análisis anterior nos llevó entonces a identifi car dos grupos de programas al interior de Semarnat. El primer grupo se compone de los programas sustantivos y consolidados (de modalidad S, E y U) mencionados en el párrafo anterior, que permanecen vigentes varios y en algunos casos “sólo se transforman” a decir de los funcionarios en-trevistados. Estos programas estables tienden a aceptar las recomen-daciones y a cumplir los ASM sin reportar bajas ni cancelaciones; es decir, hacen una buena utilización instrumental de sus evaluaciones



aunque hay excepciones como la del S046 en 2012-2013 que rechazó todas las recomendaciones recibidas. Sin embargo, es importante re-saltar que ninguno de los tres más estables (S046, S071 y S219) ha sido objeto de evaluaciones diagnósticas o de diseño que deberían repetirse periódicamente en todos los programas.

El segundo grupo se integra por numerosos programas más ines-tables, que se evalúan una o dos veces y no vuelven a reaparecer. Debido a esa falta de continuidad no alcanzan a asumir ASM o a cum-plirlos explicando la tendencia hacia una muy reducida utilización instrumental de las recomendaciones recibidas en congruencia con el 62% señalado por el Coneval (2014) para el conjunto de la Secretaría y que generan decenas de bajas de ASM como sucedió en 2011-2012 y que del cual no se obtuvieron documentos probatorios. Cuando exis-ten los documentos de posición institucional de Semarnat que debe-rían expedirse en todos los casos se podría identifi car el porcentaje de recuperación de recomendaciones para transformarse en ASM y que en ocasiones es muy bajo (por ejemplo, el U036 sólo aceptó dos de las diez recomendaciones que se le formularon en la ECyR 2011 y el S044 sólo tres de nueve en ese mismo año).

Los 20 programas revisados de este segundo grupo muestran que la dinámica de continuos cambios no se explica por la utilización de resultados de las evaluaciones, ya que estos fueron rechazados o no considerados salvo excepciones que podrían haber evitado la puesta en marcha de algunos nuevos programas con importantes problemas en su diseño.

Además, no hay que olvidar que crear tantos programas que se evalúan y luego se desechan tiene un alto costo de oportunidad ligado no sólo a este subgrupo sino a muchos de los 66 programas desapare-cidos en el periodo y algunos con más de una evaluación de diagnós-tico y/o diseño. Se requiere entonces un mayor esfuerzo de Semarnat para mejorar los documentos sometidos a evaluación.

Esta falta de utilización instrumental de las recomendaciones muestra la urgencia de retomar algunas de las sugerencias señala-das por la literatura internacional, como el involucramiento de los funcionarios en los procesos evaluativos o los sistemas de premios y sanciones que han resultado tan útiles en Chile. Sin embargo, tam-


MYRIAM CARDOZO-BRUM

bién necesita que antes del envío a los operadores de los programas del informe que las contiene el Coneval deberá realizar a través de procesos de metaevaluación un proceso de “fi ltrado” de las recomen-daciones bien fundamentadas, factibles y útiles para el programa que den mayores garantías de que su utilización benefi ciará al diseño o a la ejecución del programa y descarte el resto.

La opinión complementaria de los funcionarios de Semarnat indica que los operadores siguen siendo renuentes a las evaluaciones, pero consideran que las coordinadas por el Coneval han sido más útiles y menos resistidas que las de SHCP porque se enfocan hacia la mejora de los programas sin un espíritu sancionador.

Opinan que en general las recomendaciones son adecuadas, pero que es muy común que ya se hayan puesto en práctica lo que relati-viza su utilidad. También afi rman que las evaluaciones que realmente necesitan las solicitan como complementarias (Ej. S122, U005 y U006 en 2011) y han acordado que les propongan sólo cinco recomendacio-nes relevantes en lugar de lo que consideran las decenas inmanejables que algunos informes plantean. Implícitamente esto es demostrativo de la limitada utilidad que le confi eren a las evaluaciones aplicadas regularmente. Además, expresan que para contar con evaluaciones útiles el Coneval debería ser más fl exible, dejar madurar a los progra-mas, tomar siempre en cuenta sus puntos de vista sobre qué evaluar11 y realizar verdaderas evaluaciones en lugar de meras FMyE.

Finalmente, los informantes de Semarnat insisten en que la diná-mica de cambios analizada es fruto de las reestructuraciones promo-vidas por la SHCP (presupuesto Base Cero) en las cuales desconocen el peso que las evaluaciones pudieran tener. Estas pueden deberse a reestructuraciones administrativas o tratar de compactar programas para dar mayor coherencia al conjunto, reducir costos y focalizar es-fuerzos para lograr mayor impacto. Por su parte, algunos funciona-rios de SHCP afi rman que la información surgida de las evaluaciones se utiliza en sus procesos lo que permite hablar de una utilización presupuestal no explicitada en documentos ofi ciales por parte de la instancia que elabora el proyecto de presupuesto que en general es

11 Consideran que sólo se les consulta en ocasiones especialmente a inicios de se-xenio.



posteriormente discutido y aprobado por la Cámara de Diputados. Esto explicaría la dinámica mucho más estable de creación y desapa-rición de programas percibida a partir de 2015.

Algunos problemas adicionales compartidos por los dos grupos se refi eren a la identifi cación y cuantifi cación de poblaciones o áreas de enfoque y cobertura especialmente a la urgente necesidad de contar con evaluaciones de impacto.

Ante los problemas de información enfrentados en el trabajo sólo puede afi rmarse que no existe evidencia de que los resultados de eva-luación tengan una amplia y profunda utilización instrumental y presu-puestal en los casos estudiados, más bien todos los indicios señalan lo contrario la primera únicamente se cumple razonablemente en torno a un subconjunto de programas identifi cados por su mayor estabilidad y permanencia y la segunda es muy probable que explique al menos una parte sustantiva de las “desapariciones” del segundo grupo. Esta situa-ción muestra la urgencia de transparentar la información y de innovar en la búsqueda de mecanismos más efectivos de sugerencia y aprove-chamiento de las recomendaciones en nuestro contexto.

Bibliografía

Caiden, Naomi (1998), “Public Service Professionalism for Performan-ce Measurement an Evaluation”, in Public Budgeting and Finances 18 (1), EUA: Public Financial Publications Inc., 35-52.

Cardozo, Myriam (2012), Evaluación y metaevaluación en las políticas y programas públicos. El estado del arte, México: UAM-X.

—— (Comp., 2015), Institucionalización del proceso de evaluación. Ca-lidad y utilización de sus resultados, México: Depto. de Política y Cultura de la UAM-X y Centro de Estudios Sociales y de Opinión Pública de la C. de Diputados.

Coneval, Informe de Seguimiento a los Aspectos Susceptibles de Mejora de los Programas y Acciones Federales de Desarrollo Social, 2008 a 2017, disponible en www.google.com.mx/search?q=Coneval%2C+Informe+de+Seguimiento+a+los+Aspectos+Susceptibles+de+Mejora+de+los+Programas+y+Acciones+Federales+de+Desarrollo+Social


MYRIAM CARDOZO-BRUM

%2C+2008+a+2015&oq=Coneval%2C+Informe+de+Seguimiento+a+los+Aspectos+Susceptibles+de+Mejora+de+los+Programas+y+Acciones+Federales+de+Desarrollo+Social%2C+2008+a+2015&aqs=chrome..69i57.6143j0j4&sourceid=chrome&ie=UTF-8, última consul-ta el 14 de noviembre de 2018.

——, Evaluación de Programas Sociales, disponible en www.coneval.gob.mx/Evaluacion/Paginas/InformeEvaluacion.aspx., (consulta: por última vez el 13 de noviembre de 2018).

——, Inventario Coneval de Programas y Acciones Federales de Desa-rrollo Social”, disponible en www.coneval.gob.mx/Evaluacion/IPFE/Paginas/historico.aspx, (consulta: última el 8 de noviembre de 2018).

——, Programa Anual de Evaluación de los Programas Federales y de los Fondos de Aportaciones Federales para el Ejercicio Fiscal 2018, disponible en www.coneval.org.mx/Evaluacion/NME/Documents/PAE_2018.pdf, (consulta: 13 de noviembre

Dinámica de planeación, evaluación y utilización de … · 2019. 10. 16. · (Cardozo, coord.,...

Documents

Transcript of Dinámica de planeación, evaluación y utilización de … · 2019. 10. 16. · (Cardozo, coord.,...