Metodologías de Evaluación para el Gasto Social ...€¦ · Centro de Investigaciones y Estudios...
22
1 Metodologías de Evaluación para el Gasto Social Federalizado 2008- 2016: Ramo General 33 Ramo General 33 Julio de 2016
Transcript of Metodologías de Evaluación para el Gasto Social ...€¦ · Centro de Investigaciones y Estudios...
1
Metodologías de
Evaluación para el
Gasto Social
Federalizado 2008-
2016: Ramo General
33
Ramo General 33
Julio de 2016
2
Investigadores académicos
María del Rosario Cárdenas Elizalde
Universidad Autónoma Metropolitana
Fernando Alberto Cortés Cáceres
El Colegio de México
Agustín Escobar Latapí
Centro de Investigaciones y Estudios
Superiores en Antropología Social-Occidente
Salomón Nahmad Sittón
Centro de Investigaciones y Estudios Superiores en Antropología Social-Pacífico Sur
John Scott Andretta
Centro de Investigación y Docencia Económicas
Graciela María Teruel Belismelis
Universidad Iberoamericana
Secretaría Ejecutiva
Gonzalo Hernández Licona
Secretario Ejecutivo
Thania Paola de la Garza Navarrete
Directora General Adjunta de Evaluación
Ricardo C. Aparicio Jiménez
Director General Adjunto de Análisis de la Pobreza
Edgar A. Martínez Mendoza
Director General Adjunto de Coordinación
Daniel Gutiérrez Cruz
Director General Adjunto de Administración
3
COLABORADORES Consejo Nacional de Evaluación de la Política de Desarrollo Social
Equipo técnico
Thania Paola de la Garza Navarrete
Liv Lafontaine Navarro
Érika Ávila Mérida
Adriana Jaramillo Carvallo
Michelle Adriana Zempoalteca Nava
4
Contenido Siglas y Acrónimos ............................................................................................................. 5
Glosario ................................................................................................................................ 5
Introducción ....................................................................................................................... 6
Marco institucional de la evaluación al Ramo General 33 .................................. 7
Estudios y evaluaciones piloto realizadas al Ramo General 33 de 2008 a 2015 ..................................................................................................................................... 11
Construcción de la metodología de evaluación de los Fondos del Ramo General 33 ......................................................................................................................... 15
Participación de las instancias coordinadoras de los fondos, los gobiernos estatales y municipales ............................................................................................. 18
Propuesta del esquema de evaluación de los fondos del Ramo General 33 .............................................................................................................................................. 18
Bibliografía ......................................................................................................................... 21
5
Siglas y Acrónimos CONEVAL Consejo Nacional de Evaluación de la Política de Desarrollo Social
DOF Diario Oficial de la Federación
FAEB Fondo de Aportaciones para la Educación Básica y Normal
FAETA Fondo de Aportaciones para la Educación Tecnológica y de Adultos
FAFEF Fondo de Aportaciones para el Fortalecimiento de las Entidades Federativas
FAIS Fondo de Aportaciones para la Infraestructura Social
FAM Fondo de Aportaciones Múltiples
FASP Fondo de Aportaciones para la Seguridad Pública de los Estados y del Distrito Federal
FASSA Fondo de Aportaciones para los Servicios de Salud
FISE Fondo para la Infraestructura Social Estatal
FISMDF Fondo para la Infraestructura Social Municipal
FONE Fondo de Aportaciones para la Nómina Educativa y Gasto Operativo
FORTAMUN Fondo de Aportaciones para el Fortalecimiento de los Municipios y del Distrito Federal
LCF Ley de Coordinación Fiscal
LFPRH Ley Federal de Presupuesto y Responsabilidad Hacendaria
LGCG Ley General de Contabilidad Gubernamental
LGDS Ley General de Desarrollo Social
PAE Programa Anual de Evaluación
PEF Presupuesto de Egresos de la Federación
PPNL Programas con Prioridad Nacional
SEGOB Secretaría de Gobernación
SHCP Secretaría de Hacienda y Crédito Público
TDR Términos de Referencia
Glosario Análisis de gabinete. Se define como el conjunto de actividades que involucra el acopio, la
organización y la valoración de información concentrada en registros administrativos, bases de datos,
evaluaciones internas y/o externas y documentación pública. Sin embargo, de acuerdo con las
necesidades de información y tomando en cuenta la forma de operar de cada Fondo, se podrán
programar y llevar a cabo reuniones de trabajo con los servidores públicos relacionados con la
aplicación del Fondo.
Evaluación. Análisis sistemático e imparcial de una intervención pública cuya finalidad es determinar
la pertinencia y el logro de sus objetivos y metas, así como la eficiencia, eficacia, calidad, resultados,
impacto y sostenibilidad.
Indicadores de Resultados. Herramienta cuantitativa o cualitativa que muestra el resultado o cambio
en las condiciones de vida de la población derivados de la implementación de una intervención
pública.
Indicadores de Servicios y Gestión. Herramienta cuantitativa o cualitativa que muestra aspectos
relacionados con la gestión de una intervención pública, tales como la entrega de bienes y servicios
a la población.
Población atendida. Población beneficiada por un programa en un ejercicio fiscal.
Población objetivo. Población que un programa tiene planeado o programado atender para cubrir
la población potencial y que cumple con los criterios de elegibilidad establecidos en su normatividad.
Población potencial. Población total que presenta la necesidad o problema que justifica la existencia
de un programa y que, por lo tanto, pudiera ser elegible para su atención.
Metodologías de Evaluación para el Gasto Social Federalizado
2008-2016: Ramo General 33
Introducción
La Ley Federal de Presupuesto y Responsabilidad Hacendaria (LFPRH) establece
que el presupuesto es clasificado según la función, es decir de acuerdo con los
resultados que se proponen alcanzar, en términos de funciones, programas,
proyectos, actividades, indicadores y metas, de tal manera que permite conocer
y evaluar la productividad y resultados del gasto público (artículo 28). De esta
forma, como se establece en el Presupuesto de Egresos de la Federación (PEF), los
fondos que componen el Ramo General 33 están clasificados dentro de las
funciones de desarrollo social. En este marco el Ramo General 33 es uno de los
mecanismos con los que cuenta la federación para transferir recursos a las
entidades federativas destinados a temas relacionados con el desarrollo social.
Este ramo, vigente desde 1998, tuvo diversas modificaciones entorno a su
composición hasta 2006, integrado por ocho fondos asociados con educación,
salud, infraestructura social básica, alimentación y vivienda entre otros.
En promedio de 2006 a 2015 el Ramo General 33 representó 40 por ciento del gasto
federalizado. Dada su relevancia, desde la puesta en operación del Consejo
Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) se contempló
la realización de estudios, investigaciones y evaluaciones que contribuyeran a
entender la relación de estos recursos con el gasto social al interior de las entidades
federativas. Por ello, a partir de 2008 y a lo largo de nueve años, de acuerdo con
lo establecido en la normatividad sobre la evaluación de las aportaciones
federales,1 el CONEVAL ha coordinado diversos ejercicios que han mejorado la
información disponible sobre el Ramo General 33, y que han conducido al Consejo
a diseñar metodologías de evaluación específicas para los fondos.
El primer paso que se dio fue la elaboración de una diagnóstico del Ramo General
33 en 2008 a partir de lo mandatado en el Programa Anual de Evaluación (PAE)
2008, en el que se determinó una evaluación estratégica, con la que se examinaron
los resultados obtenidos a partir de la distribución de los recursos de los fondos y se
exploró la relación de la distribución de los recursos con los objetivos que persigue
y los retos que se enfrentan en su operación en el orden local.
1 Las normatividades a las que se refiere son la Ley Federal de Presupuesto y Responsabilidad
Hacendaria (LFPRH), la Ley de Coordinación Fiscal (LCF), la Ley General de Contabilidad
Gubernamental (LGCG) y la Ley General de Desarrollo Social (LGDS). Esta normatividad será
analizada en el capítulo 1 de este informe.
Posteriormente a la elaboración del diagnóstico se realizaron estudios que
profundizaron problemáticas identificadas en los fondos. En 2009, el CONEVAL y el
Colegio de México lanzaron una convocatoria pública para presentar un tema de
investigación relacionado con alguno de los fondos que componen el Ramo 33.
Los hallazgos, que se plantean a lo largo de este estudio, complementan el análisis
distributivo de cada uno de los fondos. Derivado de esta evaluación estratégica se
publicaron dos documentos “El Ramo 33 en el desarrollo social en México:
evaluación de ocho fondos de política pública”, en 2010 y “Estudios del Ramo 33”
coordinado por el Colegio de México y el CONEVAL, publicado en 2011.
A partir de 2011, el CONEVAL empezó a desarrollar ejercicios para definir y pilotear
metodologías de evaluación a los fondos del Ramo General 33 con el fin de
contribuir a la evaluación de estos. Cabe destacar que, como establece la Ley
General de Contabilidad Gubernamental (LGCG), el CONEVAL tiene como
atribución aportar con elementos técnicos a la evaluación del Ramo General 33,
es decir, con criterios de evaluación para los recursos federales del ramo.
El informe aquí presentado, reconoce la importancia de la evaluación de los
fondos del Ramo General 33, al destinarse la mayoría de las aportaciones a la
atención de necesidades básicas en materia de desarrollo social y se busca
documentar los ejercicios de evaluación realizados de manera continua a partir de
2008, así como la construcción de metodologías específicas para la evaluación de
los fondos.
La primera sección del informe presenta el marco institucional en el cual se sustenta
la evaluación de los fondos del Ramo General 33. La segunda sección describe los
estudios y evaluaciones realizadas al ramo de manera continua de 2008 a 2015. En
el tercer apartado se detalla sobre la construcción de metodologías específicas
para los fondos, y finalmente, la última sección describe la propuesta de un
esquema de evaluación para los fondos.
Marco institucional de la evaluación al Ramo General 33
El Ramo General 33 es el esquema a través del cual la federación transfiere recursos
a las entidades federativas y municipios desde su origen en 1997, condicionando
su gasto a la consecución y cumplimiento de los objetivos que para cada tipo de
aportación establece la LCF (Bolívar Meza et al., 2012: 69), asociados para la
atención de responsabilidades mayoritariamente de desarrollo social. Con este
esquema se profundizó el proceso de descentralización, con el objetivo de revertir
la concentración de atribuciones y decisiones en el centro, a fin de impulsar las
potencialidades locales (SEGOB, 1997).2
El esquema se instrumentó a partir del PEF de 1998 y fue asignado mediante cinco
fondos a través de los cuales se transfirieron recursos para la prestación de servicios
de educación básica y normal (Fondo de Aportaciones para la Educación Básica
y Normal, FAEB),3 servicios de salud a la población abierta (Fondo de Aportaciones
para los Servicios de Salud, FASSA), infraestructura social básica (Fondo de
Aportaciones para la Infraestructura Social, FAIS, en sus dos componentes, estatal,
FISE, y municipal, FISM), apoyos alimenticios y de asistencia social a población en
pobreza y en desamparo (Fondo de Aportaciones Múltiples, FAM) y fortalecimiento
de las haciendas municipales (Fondo de Aportaciones para el Fortalecimiento de
los Municipios) (ver figura 1).
Figura 1. Evolución dela integración del Ramo General 33
Fuente: Elaborado por CONEVAL.
En 1999, se incorporaron dos fondos para complementar la descentralización de
recursos para la prestación de servicios de educación tecnológica y de adultos
(Fondo de Aportaciones para la Educación Tecnológica y de Adultos, FAETA) y de
seguridad pública (Fondo de Aportaciones para la Seguridad Pública de los
Estados y del Distrito Federal, FASP).4 Finalmente, en 2006, se adiciona el fondo
destinado al fortalecimiento de las haciendas estatales (Fondo de Aportaciones
2 La creación de los fondos de aportaciones federales consistió en la ordenación de recursos que eran distribuidos
a las entidades federativas mediante otros acuerdos, convenios y fondos (Chiapa et al., 2011). 3 En el artículo primero del Decreto por el que se reforman y adicionan diversas disposiciones de la LCF y de la
LGCG publicado en el DOF el 09 de diciembre de 2013 se reformó el artículo 25, fracción I, el cual se refiere al
Fondo de Aportaciones para la Educación Básica y Normal (FAEB) para ser “Fondo de Aportaciones para la
Nómina Educativa y Gasto Operativo (FONE). 4 En 2014, los recursos del FASP fueron transferidos a las entidades federativas para cumplir diversas estrategias
englobadas en 17 Programas con Prioridad Nacional (PPNL), acordados por el Consejo Nacional de Seguridad
Pública (CONEVAL,2015).
para el Fortalecimiento de las Entidades Federativas, FAFEF) (ver figura 1), con lo
que se integra la estructura que prevalece en la actualidad del Ramo General 33.5
A pesar de que el Ramo General 33 no ha cambiado en su composición desde
2006, se reformaron diversos artículos de la LCF en 2013 que derivaron en cambios
sustantivos a algunos de los fondos, en particular sobre la asignación y el ejercicio
de estos. Las modificaciones se hicieron sobre el FAEB, ahora FONE, el FAIS, el
FORTAMUN y el FAM. En la figura 2 se describen a detalle las principales
modificaciones a los fondos.
Figura 2. Cambios sustantivos derivados de la reforma a la LCF, 2013.
FONDOS CAMBIOS
FONE
- Delimitación del destino de las aportaciones al pago de servicios personales y gastos de
operación.
- Transferencia de la administración del fondo de la SEP a la SHCP.
FORTAMUN
- Delimitación de los rubros del fondo, dando prioridad al cumplimiento de obligaciones
financieras, pago de derechos y aprovechamientos por concepto de agua, descargas
de aguas residuales, a la modernización de los sistemas de recaudación locales y al
mantenimiento de infraestructura y atención de necesidades vinculadas a la seguridad
pública.
FAIS
- Modificación de las variables de la fórmula de distribución para incorporar las carencias
promedio de la población en pobreza extrema y la eficacia en el uso de los recursos
medida en la disminución de la pobreza.
- Emisión de los Lineamientos generales para la operación del Fondo de Aportaciones para
la Infraestructura Social con los cuales se delimitaron los montos correspondientes a
asignarse en obras y acciones.
FAM
- Delimitación del porcentaje asignado a cada componente: infraestructura física de los
niveles de educación básica, media superior y superior en su modalidad universitaria (54
por ciento) y asistencia social (46 por ciento).
FASP
- Publicación de los Lineamientos Generales para el Diseño y Ejecución de Programas de
Evaluación FASP de los Estados y del Distrito Federal, en los que se establecen las
directrices, mecanismos y metodologías que deberán cumplir las entidades federativas y
las Unidades Administrativas del Secretariado Ejecutivo, para el seguimiento y evaluación
de las metas y recursos asociados al fondo.
Fuente: Elaborado por CONEVAL.
El marco normativo de la evaluación del Ramo General 33 contempla lo
establecido en la Ley de Coordinación Fiscal (LCF), en la LFPRH y en la Ley General
de Contabilidad Gubernamental (LGCG), en el cual se establece la obligatoriedad
de la evaluación de las aportaciones federales del Ramo General 33, a través de
la verificación del grado de cumplimiento de objetivos y metas, con base en
indicadores estratégicos y de gestión, así como, estipular las instancias encargadas
de realizar los criterios de evaluación de los recursos federales ministrados a las
entidades federativas (ver figura 3). Cabe señalar que son las entidades federativas
5 Para mayor información sobre los objetivos, criterios de distribución y a su asociación con las carencias sociales
consultar el “Informe de Resultados 2013-2014 Evaluación Piloto del Modelo de Términos de Referencia para la
Evaluación de los Fondos del Ramo General 33.”
quienes deben llevar a cabo la evaluación, no obstante que la Secretaría de
Hacienda y Crédito Público (SHCP) puede apoyar a los estados en la
instrumentación de la evaluación del desempeño (art. 28 del PEF 2016).
En este marco de la evaluación del Ramo General 33, la atribución del CONEVAL
en conjunto con la SHCP es enviar al Consejo de Armonización Contable, los
criterios para evaluar los recursos federales ministrados a las entidades, en
concordancia con la LGCG (art. 79). Derivado de esta obligación se emitió en 2013
la Norma para establecer el formato para la difusión de los resultados de las
evaluaciones de los recursos ministrados a las entidades federativas.
Con el propósito de hacer homogéneo el marco institucional de la política de
evaluación en México, la Norma incluye los mismos elementos que incorporan los
Lineamientos Generales de evaluación para la Administración Pública Federal y
que delinean el Sistema de Evaluación del Desempeño para la política de
desarrollo social. De esta manera los entes públicos tienen la posibilidad de utilizar
los instrumentos de monitoreo y evaluación que utiliza las dependencias y
entidades de la Administración Pública Federal.6
Figura 3. Normatividad de la evaluación del Ramo General 33
Fuente: Elaborado por CONEVAL
6 Si desea conocer más sobre este tema puede consultar el documento de La Política de Evaluación
en México: 10 años CONEVAL, disponible en la siguiente liga electrónica:
http://www.coneval.org.mx/InformesPublicaciones/Documents/CONEVAL_politica_de_evaluacion_1
0_A.pdf
Estudios y evaluaciones piloto realizadas al Ramo General 33 de 2008 a
2015
Existen diversos factores que se consideran en el CONEVAL para diseñar
instrumentos de evaluación, tales como las preguntas de evaluación, los actores a
los que se dirige la evaluación, la calidad y suficiencia de la información, madurez
o tiempo de implementación de la intervención gubernamental, por mencionar
algunos. De manera adicional se han definido los criterios de validez, confiabilidad,
relevancia, transparencia y representatividad que determinan elementos para
definir los posibles cursos de acción para evaluar ciertas intervenciones públicas.7
A partir de estos elementos se consideran diversas metodologías y se desarrollan
ejercicios de evaluación piloto que ayuden a identificar los mejores instrumentos
para la evaluación. Con esta visión y derivado de la necesidad de evaluar la
política de desarrollo social y por tal motivo los fondos del Ramo General 33, el
CONEVAL desarrolló varias acciones que por una parte, han evaluado diferentes
aspectos de los fondos del Ramo 33, de esta manera dando cumplimiento de lo
establecido en la normatividad en materia de evaluación del Ramo que le
corresponde al CONEVAL, y por otra han aportado hallazgos que derivaron en el
desarrollo de modelos de términos de referencia para evaluar los fondos del Ramo
33.
A partir de lo mandatado en el PAE 2008, en el que se determinó una evaluación
estratégica, el primer paso que se dio fue la elaboración de un diagnóstico del
Ramo General 33. El diagnóstico tenía como finalidad definir el objeto de la
evaluación y un protocolo de investigación para realizar la evaluación a los ocho
fondos del Ramo General 33, el cual consistió en una amplia investigación sobre la
literatura en este ramo presupuestario, así como en la valoración del marco jurídico
vigente en materia de fiscalización y gasto de los tres órdenes de gobierno.
En el diagnóstico se identificó que la asignación presupuestaria de las aportaciones
federales del Ramo General 33 entre las entidades federativas opera bajo criterios
compensatorios y equitativos de desarrollo. Por tanto, resulta importante conocer
en qué medida el ejercicio de los recursos de los fondos del Ramo General 33 se
asocia con la atención de las problemáticas sociales, las cuales se pueden medir
a través de las dimensiones de carencia social.
En el PAE 2009 se continuó con el mandato de la evaluación estratégica del Ramo
General 33. Por lo que, posteriormente a la elaboración del diagnóstico se
7 Para mayor información al respecto consultar el documento “Calidad de las Evaluaciones del
CONEVAL: elementos institucionales y metodológicos para la definición de criterios de confiabilidad
validez y relevancia”
realizaron estudios que profundizaron problemáticas identificadas en los fondos. Los
estudios se enfocaron por un lado, en el análisis y distribución de los recursos del
ramo, y por el otro, en investigaciones temáticas del fondo. En el análisis de la
distribución de los recursos se analizó el cumplimiento de los objetivos de cada
fondo a partir de las fórmulas de distribución que señala la LCF y del carácter
redistributivo de cada uno de ellos. Estas fórmulas se analizaron con variables
socioeconómicas relacionadas con los objetivos de los fondos (CONEVAL 2011).
Cabe señalar que el estudio se acompañó con trabajo de campo, con el objetivo
de profundizar sobre la operación de los fondos.
Por otro lado, para atender el objetivo de identificar investigaciones temáticas del
fondo, en 2009, el CONEVAL y El Colegio de México (COLMEX) lanzaron una
convocatoria pública para presentar un tema de investigación relacionado con
alguno de los fondos que componen el Ramo 33. Los hallazgos, que se plantean a
lo largo de este estudio, complementan el análisis distributivo de cada uno de los
fondos. Por ejemplo, la asignación del FASSA responde a la oferta en materia de
salud de las entidades federativas, medida por medio de la infraestructura médica
existente, pero la distribución no se asocia a la atención de la carencia de acceso
a servicios de salud en las entidades federativas. Otro ejemplo es el FAIS que en ese
año establecía una fórmula para la asignación acorde con el objetivo de distribuir
los recursos en función de la masa carencial estatal, y los recursos asignados per
cápita mostraban una asociación positiva con el Índice de Marginación.
El informe de la evaluación estratégica del Ramo General 33, en la cual se buscaba
dar respuesta a interrogantes en torno al avance de los fondos en materia de
rendición de cuentas, distribución de los recursos con los objetivos que persigue, los
retos que se enfrentan en su operación en el orden local, entre otros, se elaboró en
2010 y la primera edición de la evaluación fue publicado en enero de 2011 con el
título de “El Ramo 33 en el desarrollo social en México: evaluación de ocho fondos
de política pública.”8 La evaluación identificó hallazgos relevantes en términos de
la fórmula de distribución de los recursos entre los fondos y permitió comprender
con más detalle la diferencia entre estos.
Asimismo, como resultado de la convocatoria conjunta CONEVAL-COLMEX para
presentar estudios e investigaciones relacionadas con la descentralización del
gasto en México a través del Ramo 33 fueron publicados en 2011 en el libro
“Estudios del Ramo 33.”9
8 La evaluación estratégica se puede consultar en
http://www.coneval.org.mx/Informes/Evaluacion/Estrategicas/Ramo_33_PDF_02032011.pdf. 9 El libro se encuentra disponible en la siguiente liga de internet:
http://www.coneval.org.mx/Informes/Probatorios_actas/DPNPE/Estudio%20del%20Ramo%2033.pdf#s
earch=ramo%2033
A partir de los hallazgos identificados en las acciones de evaluación mencionadas,
se determinó analizar de manera detallada cada uno de los ocho fondos que
integran el Ramo General 33. Este elemento tuvo como objetivo diseñar una
metodología para la evaluación específica de los fondos. En 2013, el CONEVAL
inició el desarrollo de un instrumento de evaluación (términos de referencia) que
buscaba poder comparar desde una doble óptica. Por un lado, servir de modelo
para la evaluación que podría ser de aplicación general en las entidades
federativas y por el otro, ser aplicado de manera homogénea a los ocho fondos.
En 2014, con el objetivo de probar dicho instrumento para evaluar los fondos, el
CONEVAL coordinó el piloto de evaluación en cinco entidades federativas:
Chiapas, Jalisco, San Luis Potosí, Sinaloa y Veracruz. Además de probar el
instrumento metodológico, con esta evaluación se valoró la consistencia y
orientación a resultados de los ocho fondos. 10
En ese periodo, y derivado de los cambios al FAIS, el CONEVAL realizó un ejercicio
específico para profundizar en el análisis del uso de los recursos del FAIS. Además
de contribuir al diseño de la metodología, este análisis identificó que las
modificaciones al catálogo del FAIS generaron un cambio efectivo en el destino
de los recursos entre 2013 y 2014. De manera particular, hubo mayor asignación de
recursos a los rubros de agua y saneamiento y vivienda, así como una disminución
en el rubro de urbanización, que incluye, entre otros, caminos rurales, carreteras y
proyectos similares.11 Cabe señalar que, de manera paralela la SEDESOL, que es la
dependencia responsable del FAIS, llevó a cabo en 2014 una evaluación en
materia de diseño al fondo. Los términos de referencia para dicha evaluación
fueron comentados por el CONEVAL, como parte del seguimiento al proceso de
evaluación del Ramo General 33.
Como resultado de los pilotos de evaluación 2014, se identificó que los fondos
tienen lógicas diferenciadas y que por tanto, no era posible contar con unos
términos de referencia únicos para evaluar los ocho fondos. En una primera
categoría es posible incluir fondos como el FONE, FASSA y FAETA que se destinan
principalmente al pago de nómina. En otra categoría el FAFEF y el FORTAMUN que
tienen una lógica primordialmente financiera, pues los recursos están destinados
para complementar otras fuentes de financiamiento en diversos temas. Asimismo,
es posible agrupar en otra categoría los fondos que se relacionan con el gasto en
infraestructura como el FAIS y el FAM, y finalmente se ubica el FASP que tiene una
10 El alcance de la valoración fue determinada por los siguientes elementos: la calidad y suficiencia
de la información de cada uno de los fondos, la posible identificación e interacción con las
instituciones coordinadoras y ejecutoras de los fondos en cada entidad federativa, la validez del
instrumento y el plazo para su implementación. 11 El informe del Análisis del Uso de los recursos del Fondo de Aportaciones para la Infraestructura Social
2015 se encuentra disponible en la siguiente liga:
http://www.coneval.org.mx/Evaluacion/ECNCH/Documents/Analisis_FAIS_26102015.pdf#search=fais
estructura programática, es decir que está estructurado a partir de los Programas
Nacionales Prioritarios definidos por el Consejo Nacional de Seguridad Pública.
En este contexto, y en cumplimiento a lo establecido en el PAE 2015, el CONEVAL
coordinó pilotos de evaluaciones diferenciadas para los fondos. Con lo que se
redefinió el esquema de evaluación de los fondos, desarrollando diversos
instrumentos para las categorías identificadas.
En el caso de los fondos asociados con el pago de nómina (FONE, FASSA y FAETA)
se piloteó un modelo de Términos de Referencia (TDR) en dos entidades federativas
Jalisco y Morelos. Para los fondos categorizados como de gasto en infraestructura
(FAIS y FAM), se desarrolló otro modelo de términos de referencia piloteado en
Zacatecas, con un énfasis en los gobiernos municipales. Los objetivos del piloto
fueron probar el instrumento de evaluación y evaluar el desempeño de las
aportaciones en las entidades federativas para retroalimentar la planeación,
operación y resultados. 12
De manera complementaria, ese mismo año, se realizaron dos estudios
exploratorios para analizar tres fondos, con el propósito de profundizar sobre el
destino, contribución y evaluación de los mismos. Este fue el caso del FAFEF y
FORTAMUN, en los que se llevó a cabo un análisis exploratorio del gasto a partir de
la información pública de los fondos. El objetivo de este análisis era identificar los
principales rubros en el que las entidades federativas utilizan los recursos en
concordancia con la normatividad, así como identificar la información sobre el
gasto que publican las entidades.
En el caso del FASP, reconociendo que el Secretariado Ejecutivo exige a las
entidades federativas de manera anual en sus propios lineamientos la evaluación
institucional y la evaluación integral, se diseñó una metaevaluación de los informes
de evaluación con el fin de identificar la calidad de estos informes y si los elementos
de la evaluación tienen una orientación a resultados. De esta manera, en 2015 se
llevaron a cabo evaluaciones pilotos o estudios para cada uno de los fondos que
integran el Ramo General 33.
12 Igual que en los pilotos del año anterior, el alcance del ejercicio fue determinado por los factores
mencionados.
Figura 4. Estudios y evaluaciones piloto realizadas al Ramo General 33, 2008-2015
Fuente: Elaborado por CONEVAL.
Construcción de la metodología de evaluación de los Fondos del Ramo
General 33
Como se ha descrito en el apartado anterior, en 2013 se desarrolló un modelo de
términos de referencia con el objetivo de evaluar los fondos que integran el Ramo
General 33. Esta metodología tuvo un diseño homogéneo, con el objetivo de que
los resultados fueran comparables (entre fondos y entidades), y se enfocó en siete
temas que analizaron los resultados al interior de la entidad federativa en función
de los objetivos y de la normatividad aplicable de cada uno de los fondos. Una vez
que los términos de referencia se probaron en 2014 en cinco entidades federativas
(Chiapas, Jalisco, San Luis Potosí, Sinaloa, Veracruz) se identificó la necesidad de
contar con términos de referencia diferenciados por fondo, de tal manera que se
pudieran captar las particularidades de los mismos.
El piloto instrumentado en 2014 brindó información para desarrollar las evaluaciones
piloto de 2015. En este año se consideraron cuatro proyectos para continuar
avanzando en el desarrollo de las metodologías para la evaluación de los fondos
como se resume en la figura 5.
Figura 5. Cambios en la metodología de evaluación de los fondos del Ramo
General 33
Fuente: elaborado por CONEVAL.
En el caso del FONE, FASSA y FAETA, los fondos cuyo objetivo es la prestación de
servicios de educación y salud en la entidad, y en el que el destino es el pago de
nómina y gastos de operación, y el FAM y FAIS cuyo objetivo es el desarrollo de
infraestructura (en el caso del FAM, una parte se destina a la entrega de apoyos
alimentarios), los proyectos de 2015 contemplaron el piloto de un modelo de
términos de referencia (TDR).
En ambos casos, el instrumento consistió en una batería de preguntas abiertas que
debían responderse con base en evidencia documental proporcionada por los
servidores públicos de los estados responsables de la coordinación de los fondos. El
número de secciones temáticas y preguntas varían dependiendo de los objetivos,
los alcances y aspectos concretos que se querían valorar de los fondos (figura 6).
El modelo de TDR para el FONE, FASSA y FAETA abordó los temas de diseño,
operación, sistematización de la información, rendición de cuentas y resultados,
pues se consideró que para el diseño de la metodología se requería recabar
información adicional en estos temas. Por este mismo motivo, los TDR del FAM y FAIS
se enfocaron en la planeación estratégica, la operación y los resultados. Cabe
señalar que, para el caso del FAIS, el modelo de términos de referencia piloteado
en la entidad tuvo un enfoque hacia los municipios.
Figura 6. Metodología de evaluación de los fondos del Ramo General 33, 2015
*Para el análisis del FISM, se tomó una muestra de seis municipios (Fresnillo, Jiménez de Teul, Mazapil,
Pinos, Valparaíso y Villanueva.
Fuente: Elaborado por CONEVAL.
En el caso del FAFEF y el FORTAMUN, cuyo objetivo es el fortalecimiento de las
haciendas municipales y estatales, se coordinó un análisis del destino y contribución
de las aportaciones que tienen estos fondos al interior de la entidad federativa. Este
estudio se desarrolló con trabajo de gabinete, el cual consistió en el acopio y
organización de la información del presupuesto de 2008 a 2014 de las 32 entidades
federativas y los 2,456 municipios reportada al cierre de cuenta pública en la SHCP.
Este permitió identificar en qué se utilizan los recursos de los fondos, así como las
diferencias en la calidad de la información reportada por las entidades federativas.
Con el FASP se desarrolló un análisis de la suficiencia y calidad de los instrumentos
a través de los cuales se evalúa el fondo, el cual tiene específicamente definido el
objetivo y los destinos, y además cuenta con normatividad específica para el
seguimiento y evaluación de las metas y recursos asociados al fondo. El análisis
implicó trabajo de gabinete y consistió en el acopio, la organización y la revisión
de los instrumentos de evaluación y los resultados de las evaluaciones realizadas a
las 32 entidades federativas en el ejercicio fiscal 2014 publicadas en las páginas de
internet de los gobiernos estatales.
Participación de las instancias coordinadoras de los fondos, los gobiernos
estatales y municipales
Con el propósito de que la evaluación sea útil para la toma de decisiones, en el
desarrollo de las metodologías específicas para los fondos se hizo partícipe a los
actores que están involucrados en la administración y operación de cada uno. Por
un lado, se ha trabajado de manera conjunta con las instancias coordinadoras de
los fondos como es la SHCP, la Secretaría de Desarrollo Social y la Secretaría de
Salud, la Secretaría de Seguridad Pública y la Secretaría de Educación Pública. Con
ellos se han analizado las necesidades de evaluación y se han discutido los
resultados derivados de las evaluaciones, estudios e investigaciones que se han
coordinado desde el CONEVAL a partir de 2008. Estos ejercicios de coordinación
han sido útiles para afinar los esfuerzos de la evaluación, mejorar el uso de las
recomendaciones derivadas de las mismas y para la retroalimentación en el
desarrollo de las metodologías de evaluación.
De igual manera se ha contado con la participación directa de los gobiernos
estatales y municipales. En particular, los modelos de términos de referencia
piloteados en las entidades federativas han sido retroalimentados por los actores
que son responsables de operar los fondos en los estados. La participación de estos
actores ha sido doble pues han estado considerados dentro del proceso de
evaluación mediante entrevistas y reuniones de trabajo para discutir los informes
de evaluación. Además, las dependencias estatales han emitido su opinión
institucional respecto de la evaluación. Este documento reúne la opinión de
quienes participaron en el estudio piloto respecto de los principales hallazgos,
debilidades, oportunidades, amenazas o recomendaciones del instrumento de
evaluación. La opinión institucional debe considerar comentarios con respecto al
proceso de evaluación, el desempeño del equipo evaluador, así como, de la labor
de los coordinadores de la evaluación por parte del CONEVAL y ha servido para
retroalimentar el modelo de términos de referencia.
Propuesta del esquema de evaluación de los fondos del Ramo General 33
Las evaluaciones piloto y los estudios coordinados por el CONEVAL en 2015
confirmaron varios elementos observados en los ejercicios de piloteo de
evaluaciones anteriores realizadas a los fondos y probadas en las entidades
federativas, mismos que se enlistan a continuación: i) Los fondos son recursos que
cambian poco a lo largo del tiempo; ii) La calidad y suficiencia de la información
disponible para la evaluación debe mejorarse, iii) La duración de la gestión
municipal y el traslape con la gestión estatal afectan el proceso de evaluación y
iv) Hay una mayor disposición a la evaluación generada, en gran medida, por la
Auditoría Superior de la Federación.
A partir de estos hallazgos, el CONEVAL decidió avanzar en un esquema de
evaluación del Ramo 33 con tres grandes productos:
1. Modelo de términos de referencia para cada uno de los fondos que integran el
Ramo 33.
2. Fichas de desempeño de los fondos.
3. Horizonte ideal de monitoreo y evaluación de los fondos que integran el Ramo
33 (ver figura 9).13
La Ficha de Desempeño se propone como la evaluación anual, y consiste en un
instrumento sintético por fondo que, además de analizar el desempeño, tiene los
objetivos de mejorar la calidad de la información generada y reportada por los
actores, y de fortalecer las competencias en materia de evaluación y monitoreo
de servidores públicos de los gobiernos estatales. Asimismo, para cada fondo se
identifica la necesidad de una evaluación más amplia ligada a los periodos de
gobiernos estatales y municipales, orientada a la mejora en la planeación, la
capacidad institucional, organizacional y de gestión de los recursos, y la rendición
de cuentas. El esquema previsto para evaluar los ocho fondos durante un periodo
de gobierno depende del tipo de fondo y el uso de la evaluación, además de
considerar a las dependencias coordinadoras que están a cargo de la evaluación.
En el caso de los fondos que son distribuidos a los municipios se considera una
evaluación para cada gobierno municipal.
Este esquema representa una propuesta para la evaluación de los fondos que
integran el Ramo General 33 al interior de las entidades federativas y busca poner
al alcance de los estados, metodologías de evaluación que sean útiles para
mejorar el desempeño de los fondos, así como contribuir a la rendición de cuentas.
Cabe señalar que el esquema se encuentra actualmente en proceso de
construcción, pero que se ha avanzado en su desarrollo. Se tiene previsto que en
2016 se cuente con el modelo de términos de referencia de los tres fondos
orientados al pago de servicios personales: FONE, FASSA y FAETA. Para este año, se
tiene considerado el diseño de las Fichas de Desempeño de los siguientes fondos:
FAIS, FAM, FAFEF, FORTAMUN que serán piloteadas a lo largo de 2016 y 2017. En el
caso del FASP, el Secretariado Ejecutivo lleva a cabo ejercicios de evaluación
anuales, por lo que en 2017 se dará inicio a la construcción de los términos de
referencia para la evaluación del periodo de la gubernatura estatal. Los trabajos
13 El horizonte ideal para la evaluación y el monitoreo de los fondos que integran el Ramo General 33
fue presentado ante la Comisión Ejecutiva el 16 de marzo de 2016 quien aprobó en lo general su
diseño.
para continuar con el diseño de Términos de Referencia para las evaluaciones a
los fondos restantes se desarrollarán en el transcurso de 2017 y 2018.
Figura 9. Esquema de Evaluación de los fondos que integran el Ramo General 33
Fuente: Elaborado por CONEVAL.
Una vez que se cuente con los Términos de Referencia finales de las evaluaciones
a los fondos del ramo, así como las Fichas de Desempeño, estas serán publicadas
en la página de internet del Consejo, dónde las entidades federativas podrán
consultarlos. Asimismo, los instrumentos de evaluación serán enviados a las
dependencias coordinadoras de los fondos en la federación.
Bibliografía
Cámara de Diputados del H. Congreso de la Unión. (2016) Ley de Coordinación
Fiscal. Recuperada el 27 de junio de 2016 de:
http://www.diputados.gob.mx/LeyesBiblio/pdf/31_270416.pdf
____ (2016) Ley General de Contabilidad Gubernamental. Recuperada el 27 de
junio de 2016 de:
http://www.diputados.gob.mx/LeyesBiblio/pdf/LGCG_270416.pdf
____ (2015) Ley Federal de Presupuesto y Responsabilidad Hacendaria. Recuperada
el 27 de junio de 2016 de:
http://www.diputados.gob.mx/LeyesBiblio/pdf/LFPRH_301215.pdf
Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)
(2014). Informe de Resultados 2013-2014 Evaluación Piloto del Modelo de Términos
de Referencia para la Evaluación de los Fondos del Ramo General 33. Recuperado
el 28 de junio de 2016 de:
http://www.coneval.gob.mx/Evaluacion/Documents/DASR/Informes/Inform
e_Resultados_Ramo_33.pdf
____ (2015) Análisis de los Instrumentos para la Evaluación del Fondo de
Aportaciones para la Seguridad Pública de los Estados y del Distrito Federal (FASP)
y Diseño de Términos de Referencia para su Evaluación. Documento interno.
____ (2015a) Resultados intermedios de la Cruzada Nacional contra el Hambre.
Recuperado el 28 de junio de 2016 de:
http://www.coneval.org.mx/Evaluacion/ECNCH/Documents/CONEVAL_%20Result
ados%20intermedios_CNCH.pdf
____ (2014-2015) Informe de Resultados 2014–2015: Evaluación Piloto de los Fondos
del Ramo General 33 (Documento interno).
____ (2011) El Ramo 33 en el desarrollo social en México: evaluación de ocho fondos
de política pública. Recuperado el 28 de junio de 2016 de:
http://web.coneval.gob.mx/rw/resource/coneval/info_public/PDF_PUBLICA
CIONES/Ramo_33_PDF_02032011.pdf
Chiapa, Carlos y Velázquez César (2011) Estudios del Ramo 33, El Colegio de
México, Centro de Estudios Económicos: Consejo Nacional de Evaluación de la
Política de Desarrollo Social, México, D.F. CONEVAL 2011.
Secretaria de Hacienda y Crédito Público (2013) Decreto por el que se reforman y
adicionan diversas disposiciones de la LCF y de la LGCG, Diario Oficial de la
Federación, México, 09 de diciembre de 2013.
Secretaría de Gobernación, Programa para un Nuevo Federalismo 1995-2000,
Diario Oficial de la Federación, México, 6 de agosto de 1997.
