1

La importancia de los indicadores en la evaluación y en la

fiscalización superior

1 Buenos días a todos. Gracias por la invitación y gracias por el

tiempo que ustedes, público presente hoy, me hacen el favor

de otorgar.

Es para mí un gusto poder expresar algunas ideas sobre

evaluación de desempeño, específicamente sobre indicadores.

Como lo escucharon en la presentación, soy servidor público.

Laboro en el Órgano de Fiscalización del Estado de México

(OSFEM) y mi función es auditar el desempeño de las

entidades públicas. Esto es, determinar si los entes de gobierno

cumplieron los objetivos y metas de sus programas públicos.

2

En el OSFEM, y en muchas Entidades de Fiscalización

Superior del país, la comprobación del cumplimiento de

objetivos de programas de gobierno se hace a través de

auditorías de desempeño, tema en verdad interesante y de

mucho interés público.

Sin embargo, hoy no voy a hablar de auditorías de desempeño,

hoy vengo a presentar un tema sobre indicadores y el papel

que juegan en la ejecución de programas y políticas públicas, y

cómo, su aplicación, puede mejorar las acciones de gobierno.

2

3

Saben, yo creo que un indicador es como un señalamiento de

tránsito en medio de una calle o carretera. Puede ser verde,

amarillo, azul, blanco o rojo y decir o advertir una serie de

cosas importantes o no, pero de nada sirve si nadie lo observa

y su utilidad es poca si no se tiene una ruta a donde llegar.

Con esta idea, trasladándola al tema de lo público, tendríamos

que los indicadores son los señalamientos para llegar a la ruta

trazada y el mapa es el programa público. Y como en un viaje

cualquiera, cada programa, al igual que un mapa, debe tener

un inicio y un lugar de llegada.

4

Un indicador es útil en cuanto nos expresa qué tan cerca o

lejos estamos al punto de llegada del que decidimos partir.

Como más adelante detallaremos, existen indicadores de

gestión, que son los que nos permiten guiar durante el

transcurso de un viaje, y los estratégicos, que nos permiten

identificar cuando llegamos o, de plano, nos alejamos de

nuestro destino.

Sobre esta idea y sobre su importancia versará mi

presentación.

3

5

Bueno, el título de esta charla se llama “La importancia de los

indicadores en la evaluación y en la fiscalización superior”, y la

forma en que plantearé el tema es el siguiente:

Comenzaré por mencionar cuál es el papel o tarea de los

indicadores y de las personas ligadas a los indicadores

de un programa, es decir, su importancia.

Creo que de poco vale hablar de indicadores si no se

contextualiza el escenario de su zona de influencia, por

ello, enseguida abordaré algunos aspectos

conceptuales sobre Gestión para Resultados (GpR),

sobre el Presupuesto basado en Resultados (PbR), la

Metodología del Marco Lógico (MML) y Matriz de

Indicadores para Resultados (MIR). Advierto que será un

repaso muy breve.

Más tarde tocaré la experiencia de México en la

instrumentación de este modelo de gestión para controlar

las políticas y programas públicos y enfatizaré en los

elementos con los que hoy cuentan los gobiernos para,

paulatinamente, consolidar esta forma de gestión.

Como cuarto punto referiré los avances que las

entidades federativas tienen en la aplicación de esta

4

práctica orientada a los resultados.

Por último, verteré algunos comentarios sobre cómo,

desde una función fiscalizadora, se puede contribuir a

que este modelo de gestión mejore los resultados del

ejercicio del dinero público.

Así es como, si están de acuerdo, me dispongo a comenzar

con esta exposición.

6

1. Importancia de los indicadores

7

De acuerdo con la Real Academia Española (RAE) “Indicador”

es un adjetivo que significa: “Que indica o sirve para indicar”,

deriva, entonces, del verbo indicar.

E Indicar es, según la RAE, “Mostrar o significar algo con

indicios y señales”.

Y de eso vengo a hablar el día de hoy, de los indicios o señales

que nos ayudan a saber si un programa o política funciona o

no.

Vámonos con calma.

5

Los indicadores sirven para evaluar, como ya habíamos dicho.

Pero las evaluaciones y los indicadores son cotidianos en la

vida diaria. Prácticamente todos los días consciente o

inconscientemente hacemos evaluaciones. Por ejemplo, hace

días escuchaba una conferencia del psicólogo español Rafael

Santandreu, quien, a petición de la Universidad Internacional

de la Rioja (UNIR), ofreció una charla para la extensión cultural

de dicha casa de estudios, la plática se denominó “El arte de no

amargarse la vida”.

8

Bueno, en esta conferencia el psicólogo y escritor se refería a

la “Línea de Evaluación Vital”, misma que ahora les reproduzco

en pantalla.

Santandreu decía que los seres humanos somos máquinas de

evaluar todo lo que nos sucede.

Exponía un caso trivial.

Imaginen ustedes que están tomando un buen café irlandés o

un capuchino en un Café y lo están haciendo en compañía de

un amigo, uno que hace años no veían pero que, por azares

del destino, se reencuentran.

Piensen en la escena: el café está bueno, la conversación es

agradable, en la calle llueve, hace un frío húmedo y el

6

estacionamiento queda a una cuadra del sitio. Y entre tanto,

después de hora y media de compañía del antiguo amigo, al

final de la copa de café, sin hablar, ustedes se cuestionan si

será oportuno repetir el café, es decir, tomar uno más. Y

entonces evalúan la experiencia y se preguntan: ¿lo he pasado

bien? o ¿lo he pasado mal? Toman en cuenta todas las

variables que recién describí y con la información en la cabeza

deciden al respecto.

Más aún, ahora mismo, ustedes están aquí, escuchándome,

intentado comprender lo que digo, pero también están

evaluando. Probablemente piensen: “Esto que está diciendo

este tipo ¿es cierto?, ¿es interesante?, ¿me ayudará?,

¿repetiré cuando me vuelvan a invitar a una conferencia sobre

evaluación o indicadores?”.

Pero yo también evalúo y digo “¿Me están escuchando?,

¿lucen interesados?, ¿si me invitan otra vez estaría dispuesto a

hablar frente a este público? Y con base en las variables que

me indican evalúo si esto ha sido una buena o mala

experiencia y tomaré una decisión.

Pero evaluar objetivamente no es sencillo, también es cierto

que en la vida diaria hay situaciones más complejas de evaluar

que otras.

7

Por ello el psicólogo citaba mucho esta diapositiva de la “Línea

de Evaluación Vital”.

De acuerdo con Santandreu, existe una parametrización para

calificar los eventos que nos suceden todos los días. La escala

es esta: Genial, muy bueno, bueno, normal, malo, muy malo y

Terrible.

Y aunque la escala está ahí, la forma de calificar depende de la

experiencia vivida y de quien la evalúa, porque para lo que uno

puede ser muy malo, para otra persona puede ser solamente

algo malo o incluso normal.

Veamos.

9

Les voy a contar de dos casos extremos.

Conozco desde hace muchos años a una persona. Este

individuo, que rondará los cuarenta años, es un tipo inteligente,

con mucha locuacidad, agradable, posee cierto carisma,

congenia fácilmente con la gente, se preocupa y ocupa poco,

tiene mucha inventiva y es, según él, bueno para muchas

actividades. En realidad sí tiene talentos diversos, aunque, me

8

parece, no tantos como los que se ufana.

Bueno, este amigo, que para efectos de esta charla llamaré

Jorge, es un tipo feliz, pero hay algo que siempre ha deseado

tener, y esto es: sacarse la lotería o el melate o los pronósticos

deportivos.

Desde que lo conozco juega y, a la fecha, nunca ha ganado

nada, pero sigue intentando. Su argumento es el siguiente: “Yo

soy feliz, me va bien en la vida, soy bueno para muchas cosas,

como la administración pública, la cocina, los negocios, dar

clases, conozco de mecánica, de historia, de cine. Soy buen

padre, buen hijo y un católico promedio, es decir, en stand bye.

Y sin embargo, algo que sería genial es tener dinero”.

Tal es su deseo de ganar la lotería, que cada que la ocasión se

presta, me cuenta que con el dinero del premio compraría tal

casa, tal auto, tal viaje, tales escuelas para sus hijos, y, en

verdad, uno lo mira a los ojos y parece que lo está viviendo,

parece que está disfrutando ese dinero.

Pasa el tiempo, lo dejo de ver una semana, y el sentido del

discurso de Jorge es el mismo, pero con variantes. Ahora ya no

quiere una casa, ahora lo correcto es invertir en la casa de

bolsa o participar en una inmobiliaria o colocar una cadena de

taquerías. En fin, que historias siempre tiene.

9

¿Qué pasa con Jorge? Bueno, que sus criterios para evaluar la

realidad o las experiencias que le suceden no son adecuados.

El extremo de la sobrevaloración de las situaciones, digamos

que su extrema forma de evaluar sus acciones y deseos lo

lleva a una situación poco real y poco sana.

10

Pero está el extremo opuesto, aquel fatalista que en la escala

de “Línea de Evaluación Vital”, casi cualquier cosa le parece

terrible.

Creo que todos o muchos de los presentes conocemos a

personas que cualquier situación en contra de sus deseos o

intereses les parece fatal.

Por ejemplo, aquel joven que reprueba exámenes en la

preparatoria o universidad y se deprime pensando que su vida

ya no tiene sentido, que sin educación universitaria su futuro

económico se desfavorecerá y terminará siendo un individuo

fracasado.

Pero eso, que a él le parece terrible, no lo es tanto porque hoy

en día existen sistemas de educación en línea, escuelas

abiertas, escuelas privadas con acceso a becas,

financiamiento, entre muchas otras opciones. Es más, si en

verdad dejara de estudiar, la creencia de que sin estudios la

10

situación económica de una persona será magra, también es

falsa.

Otro caso, y éste es típico:

Aquel hombre o mujer que después de cinco o diez años de

matrimonio sufre una separación de su pareja y cree que su

vida se terminó, que estar sólo es una tragedia, que nunca más

será feliz. Y si bien el divorcio no es algo agradable, tampoco

es el fin del mundo y no es tan terrible, porque una falsa

creencia de la gente, es que se necesita estar acompañada

para ser feliz.

11

En fin que casos en donde se evalúa de forma errónea una

situación abundan. Y tan abundan que muchas veces nosotros

mismos calificamos a las personas que utilizan mal esta “Línea

de Evaluación Vital” como neuróticas o bipolares. Yo más bien

diría que tienen el síndrome de la “terriblitis”.

Y ¿saben qué?, en las relaciones laborales este síndrome se

vive todos los días. Puede ser por la tensión de las relaciones

organizacionales o por el estrés laboral que surjan situaciones

como estas:

11

Pensemos en una oficina pública: es viernes por la noche, yo

soy Jefe de Departamento, y tengo a mi cargo la elaboración

del reporte del avance de los trabajos de simplificación

administrativa, mismo que debe estar listo a las once de la

mañana del lunes en la oficina del Director General.

Es sábado a las siete de la mañana y mi superior jerárquico, mi

jefe directo, me llama por teléfono para comunicarme, a través

de gritos, que el informe no lo recibió en su correo y que va a

arder Troya porque el informe no estará a tiempo, que si está

seguramente estará mal, que tendrá errores y que él no lo

revisará. Prácticamente me dice que valdría más estar muerto.

Y para mis adentros pienso: ¿Los servicios públicos se pararán

por la no entrega del informe? ¿El gobernador detendrá su

agenda porque no está el informe? Más aún, me pregunto si mi

jefe habrá revisado su carpeta de correo no deseado. Si lo

hubiera hecho sabría de antemano que el informe está

completo, en limpio y listo para remitirse.

Creen ustedes que vale la pena esta sobre terribilización de

hechos. Creo que no.

12

En fin, que en la administración pública, en la administración

privada y, en nuestra vida cotidiana existen ejemplos “terribles”

como el caso del informe. Ustedes seguro sabrán de eso.

Pero esta “terriblitis” no es otra cosa que hacer mal la

evaluación que está en pantalla.

Para hacer una buena evaluación los psicólogos recomiendan

utilizar criterios claros, estos son:

12

Racionalidad

Objetividad

Intelectualmente maduros

13

Ahora bien, pasando al plano institucional u organizacional del

sector público, que es el tema que hoy nos convoca, quiero

decirles que muchas de las evaluaciones que he revisado caen

en el polo opuesto de la terriblitis.

Sí, así es, las evaluaciones de programas presupuestarios o

institucionales tienden a la genialitis. Describen programas

bondadosos con resultados triunfalistas, generosos, solidarios,

13

solucionadores de problemas, únicos, eficaces y hasta

económicos.

Pero, ¿esto será cierto?, ¿será qué las evaluaciones utilizan

criterios racionales, objetivos e intelectualmente maduros para

determinar el éxito o fracaso de los programas? O es que no

son las evaluaciones, ¿son los programas que no se realizaron

con criterios racionales, objetivos e intelectualmente maduros

los que están fallando?

Bueno, pues la respuesta la tendrán sólo si evalúan y si auditan

los programas. Sólo a través del ensayo y del error se pueden

corregir estas actuaciones gubernamentales.

…

14

Bueno, para culminar este punto uno de la presentación,

expongo a ustedes el mapa de tareas ligadas a los indicadores,

es decir, a la planeación, ejecución, evaluación y auditorías de

programas:

Decíamos hace unos minutos que un indicador indica,

esa es su labor.

14

Por su parte, la labor de los diseñadores de los

indicadores es hacer buenos señalamientos para rutear

un programa. Y en esta idea de ruta, los indicadores

deben estar ligados a los objetivos del programa.

La labor de los ejecutores y/o responsables de un

programa es monitorear el comportamiento del programa

y sus resultados para la toma de decisiones.

Y la labor de un auditor o evaluador externo es verificar

los resultados del programa a través de sus indicadores;

constatar sus logros; identificar si cumplió sus objetivos

con apego a sus normas y criterios de eficacia, eficiencia,

economía y calidad; analizar la construcción de los

indicadores y, en su caso, el diseño y consistencia del

programa.

Como pueden observar, hablamos de indicadores siempre en

un contexto de programa o política, de objetivos y metas. Atrás

quedaron los tiempos en los que los indicadores eran sólo un

requisito para el Informe de Cuenta Pública o para la

requisición presupuestal, indicadores desligados a la actividad

sustantiva o indicadores que sólo señalan lo programado contra

lo realizado.

15

La situación cambió, y lo hizo no sólo por la necesidad de saber

qué se logra con el dinero público, también lo hizo por ley.

En México, de acuerdo con la Ley General de Contabilidad

Gubernamental, los municipios, los gobiernos estatales y

también el gobierno federal deberán introducir el modelo de

Gestión para Resultados e implementar Presupuestos basados

en Resultados y Sistemas de Evaluación de Desempeño.

Esto significa una transición en el modo de planear, ejecutar y

evaluar el gasto público. En este contexto, los indicadores son

el medio, son elementos que indican si en la ruta de la

ejecución del gasto se obtuvo lo que se planteó.

16

15

2. El modelo de gestión para resultados.

16

Para abordar este punto número 2, que, advierto, es más

técnico que el anterior, comenzaré desmenuzando el concepto

de Modelo de Gestión para Resultados.

Según la Real Academia Española (RAE), gestionar significa:

“hacer diligencias conducentes al logro de un negocio o de un

deseo cualquiera”.

Como lo indica la definición, gestionar tiene que ver con lo que

se hace para cumplir un deseo u objetivo cualquiera, es

decir, tiene que ver con el cómo de la acción.

Por su parte, Resultado, según la misma RAE, es el “efecto y

consecuencia de un hecho, operación o deliberación”.

Uniendo los dos significados y utilizando la sana lógica

tenemos Gestión para Resultados es, en términos simples,

hacer lo conducente para obtener el efecto esperado.

Como verán, esto, aparentemente, no tiene nada de nuevo,

suena como a la Ley de la Causa y Efecto.

17

La pregunta es ¿el gobierno históricamente no ha actuado así?

Y la respuesta es sí. Con salvedad de la física cuántica, toda

acción humana obedece a este principio, de modo que el

gobierno, desde que es gobierno, ha actuado con esta lógica.

Entonces ¿qué hace diferente al modelo de Gestión para

Resultados de otros modelos de actuación gubernamental? La

respuesta está en el enfoque, en la orientación al resultado.

De este manera la GpR es definida como un modelo de cultura

organizacional, directiva y de gestión que pone énfasis en los

resultados y no en los procedimientos, destacando el cómo se

hacen las cosas.

Así mismo, enfatiza en la creación de valor público. De ahí

que, se centre en evaluar el rendimiento.

Intentaré contextualizar esto a la luz de las etapas del proceso

de las políticas públicas.

17

Veamos.

De manera genérica, el proceso de política pública comienza a

partir de la instalación de una problemática para algún sector

18

de la sociedad. Cuando estos problemas comienzan a ser

asumidos por los gobiernos dejan de ser simples problemas

para transformarse en cuestiones públicas y se conforma,

entonces, una agenda de asuntos públicos.

Definida la agenda de asuntos públicos le sigue una etapa de

formulación de alternativas de solución a la problemática

detectada. En ésta, los actores involucrados directa o

indirectamente participan, o deberían participar, del debate en

torno a crear la fórmula de solución al problema.

La siguiente fase tiene que ver con la adopción de la decisión

por parte de los poderes públicos, decisiones que,

regularmente, son tomadas por el Poder Ejecutivo.

Posterior a ello hay una etapa de implementación o de la

puesta en práctica de las políticas y, finalmente, existe una

etapa de evaluación, que es donde se miden y valoran sus

resultados.

De estas cinco etapas básicas, el Modelo de Gestión para

Resultados participa activamente en las últimas dos: en la

instrumentación y en la evaluación de las políticas

públicas.

19

Digo que participa en estas etapas porque este modelo de

gestión, es decir, este modelo de hacer las cosas del gobierno,

focaliza sus acciones en los impactos de los programas

gubernamentales.

A diferencia de los modelos de gestión de hace algunos años,

en la ejecución de los programas de gobierno actuales ya no

interesa tanto el hecho de cumplir a pie juntillas con la

“normatividad vigente”, ya no es tan importante atender los

“procedimientos establecidos” o alcanzar las metas físicas y

financieras. Lo que le interesa ahora es el efecto del actuar del

Estado en la solución de los problemas públicos.

En otras palabras, en la parte de instrumentación de las

políticas públicas lo que pretende el Modelo de Gestión para

Resultados es trabajar mirando menos los procesos al

interior del gobierno para enfatizar en los efectos de las

actuaciones gubernamentales.

Y la forma de medir los impactos y efectos de políticas y

programas es a través de la evaluación, como indiqué, para

valorar los resultados, pero no sólo eso, también para generar

aprendizaje institucional y retroalimentar o reformular las

acciones ejecutadas.

De eso se trata la Gestión para Resultados.

20

18

Ahora bien, se dice que la Gestión para Resultados es un

modelo que nace de los esquemas gerenciales de la iniciativa

privada. Hay algo de cierto en ello, pero no debemos olvidar

que los motivos o los fines del sector público y privado son

diferentes.

Para la iniciativa privada, el hacer o no hacer, depende de un

estudio referencial de costo vs beneficio, donde el margen de

utilidad tiene la última palabra; no así para el sector público,

que, ante la identificación de un problema público y la

imposibilidad del mercado por atender esta demanda social,

actúa para resolver, mitigar o mantener el problema.

Bajo el Modelo de Gestión para Resultados es, precisamente,

la identificación del valor público, lo que obliga a los gobiernos

a diseñar métodos para medir y evaluar el impacto de los

resultados obtenidos con sus actuaciones.

Dicho lo anterior, tocaré el Presupuesto basado en

Resultados como un componente del Modelo de Gestión

para Resultados.

21

19

El Presupuesto basado en Resultados busca mejorar la calidad

del gasto o inversión pública, ése es su fin. Lo hace a través de

la aplicación de la Metodología del Marco Lógico (MML) y la

Matriz de Indicadores para Resultados (MIR), ésta última

permite apoyar las decisiones de asignación de presupuesto en

función de los resultados e impactos obtenidos por cada

programa o política gubernamental.

En otras palabras, se trata de identificar los resultados que a

un gobierno le llevarán a resolver determinado problema,

implementar los cursos de acción, monitorear y evaluar los

resultados y, por último, asignar recursos en función a ello.

Más fácil: la cuestión es asegurase de conseguir resultados

positivos para, al final del día, garantizar que los tomadores de

decisiones, quienes asignan el presupuesto, no le “echen

dinero bueno al malo”; la cuestión es garantizar que aquellos

programas con resultados negativos se supriman o modifiquen

y que los programas exitosos continúen o, en su caso, se

eliminen al haber mitigado la problemática para la cual fueron

creados.

22

20

En pantalla se observan algunas de las características del

Presupuesto basado en Resultados, como decíamos:

Conduce al logro de objetivos y, algo muy importante,

define y alinea los programas presupuestarios y sus

asignaciones a través del ciclo que va de la planeación a

la transparencia y rendición de cuentas.

Considera también los indicadores estratégicos y de

gestión, vinculando las metas de éstos a los programas

presupuestarios; desde luego, el secreto es relacionar la

asignación de recursos con estas metas.

21 Utiliza los resultados del desarrollo y permite

comparaciones entre lo observado y lo esperado.

Apoya el mejoramiento continuo de las políticas, de los

programas y del desempeño de las instituciones, así

como de las decisiones presupuestarias, considerando el

seguimiento y las evaluaciones realizadas.

22

Aterricemos el Presupuesto basado en Resultados (PbR) en

algo tangible.

23

Supongamos que tenemos el problema de mortalidad infantil en

menores de 5 años por enfermedades diversas, como las

infecciones respiratorias agudas, diarreicas y hasta

poliomielitis.

En el esquema de modelo presupuestal inercial -hay que

decirlo, en muchos lugares aún se ocupa, sobre todo en las

administraciones municipales-, lo que nos interesaría es

aumentar la compra de vacunas bajo los procedimientos

administrativos adecuados para “cumplir con la normatividad

vigente” y así alcanzar la meta de vacunas programadas contra

las realizadas. Y sí, escucharon bien, dije: “lo que nos

interesaría es aumentar la compra de vacunas”, no así, su

aplicación y mucho menos el efecto en la población.

En este tipo de modelo de presupuesto inercial, usualmente se

incrementa el presupuesto en un porcentaje similar a la

inflación anual y de ahí se formula un techo financiero para

invertirlo, literalmente, en lo que alcance.

24

Esta misma situación, a la luz de la aplicación del Modelo de

Presupuesto basado en Resultados, implicaría resolver el

problema de la mortalidad infantil a través de diversas

estrategias, las vacunas podrían ser una de ellas, pero no la

única, es posible que en la definición de problemática se

identifiquen mayores causas y, en tanto, se planteen otras

alternativas de solución.

La elección de la solución al problema, entonces, se focalizaría

en conseguir un beneficio tangible y efectivo para la población

objetivo, en este caso los menores de 5 años. Desde luego,

tendríamos que ubicar un parámetro, una señal o, lo que es lo

mismo, un indicador, para medir la eficacia de nuestra

actuación.

Un indicador determinante para ello, podría ser, conocer cómo

aumenta la esperanza de vida al nacer, a partir de la

implementación de nuestra alternativa de solución.

25

Con esta lógica de resultados cambiaría el sentido la

implementación de políticas y programas en los tres ámbitos de

gobierno, por ejemplo: creo que en la mayoría de las entidades

federativas y municipios del país, hay programas de despensas

para personas vulnerables, algunos de estos programas puede

que tengan reglas de operación e identifiquen a su población

objetivo a través de estudios focalizados, pero cuántos de estos

programas sólo entregan despensas por “ayudar”, lo digo entre

comillas, de “buena fe” a la población, ¿cuántos de estos

programas, que ejecutan los tres ámbitos de gobierno, duplican

a la población objetivo?

23

Incluso, en aquellos programas alimetarios que cuentan con

reglas de operación y están focalizados, pregunto ¿saben cuál

es el impacto de su ejecución?, ¿se tienen indicadores para

monitorear y evaluar los programas?, ¿se tiene un seguimiento

a las personas que reciben esta despensa para saber si ha

mejorado su condición nutrimental o socioeconómica a partir de

que recibe su despensa o canasta alimenticia?, ¿se cuenta con

un plan estratégico o multianual que permita establecer metas

a corto y mediano plazo?

Creo que la respuesta en algunos casos, es no.

26

24

Bueno, pues precisamente la aplicación del Presupuesto

basado en Resultados pretende darle pies y cabeza a las

actuaciones gubernamentales.

En materia de seguridad alimentaria, por ejemplo, los

programas se orientarían a disminuir la población con pobreza

alimentaria; un programa de apoyo al campo esperaríamos que

con efectividad incremente la productividad agrícola; en materia

de educación se buscaría incrementar la eficiencia terminal en

los diferentes niveles educativos, el rendimiento académico, la

absorción de egresados de los niveles de educación media

superior y superior por el mercado laboral, entre otros.

25

Muy bien, decía hace algunos minutos que para fijar un

resultado y medirlo se utiliza la Metodología de Marco Lógico

y la Matriz de Indicadores para Resultados, mejor conocida

como MIR.

Abordo de manera sintética el concepto de Metodología de

Marco Lógico.

27

La Metodología de Marco Lógico es un instrumento de gestión

por objetivos de programas.

Puede vérsele también como un procedimiento sistemático y

dinámico de ejecución que implica la participación de los

actores involucrados; razón por la cual se le concibe como una

de las tecnologías del control y gestión de las política públicas.

Por su parte, la Matriz de Indicadores para Resultados es una

herramienta de análisis estructurado que sirve para presentar la

información básica de un programa, permitiendo así tener una

visión más completa y ordenada del mismo.

Una Matriz de Indicadores para Resultados describe:

La finalidad del programa.

Los Impactos esperados.

Los productos y servicios necesarios para lograr los

impactos.

Las actividades a realizar para producir esos productos y

servicios.

El costo de la producción de los productos y servicios.

Los mecanismos para la medición del logro de los

objetivos.

Y los factores externos que inciden en las posibilidades

28

de lograr los objetivos planteados.

26

Dicho de otra manera, la Matriz de Indicadores para Resultados

sintetiza en una tabla o matriz de cuatro filas por cuatro

columnas para qué se hace un programa, qué se hará y como

se hará.

En esta primera intervención no voy a entrar en mucho detalle

sobre la construcción de la MIR.

Sólo explicaré el contenido de las columnas verticales de la

Matriz de Indicadores para Resultados a través de un ejemplo.

Pensemos en un problema: imaginemos que existe un lugar

donde los jóvenes de escasos recursos tienen un alto índice de

deserción en la educación media superior. En este supuesto,

nada alejado a la realidad, se identificaron las causas del

problema, que son: Incorporación de los jóvenes en edad

temprana al mercado laboral; estudiantes de familias con

escasos recursos y alta incidencia de embarazos en jóvenes

estudiantes.

Para resolver este problema se construyó una MIR con los

siguientes niveles de objetivos:

29

Actividad. En la MIR se define como las principales

acciones emprendidas mediante las cuales se movilizan

los insumos para generar los bienes y/o servicios que

produce o entrega el programa.

En el caso hipotético que planteo, las actividades

realizadas fueron: entrega de apoyo económico a

estudiantes de escasos recursos y ofrecer más y mejor

educación sexual.

Componente. Según la MIR, es el nivel en donde se

establecen los bienes y/o servicios que produce o entrega

el programa para cumplir con su propósito.

En este caso, el efecto de la entrega de apoyo económico

a estudiantes de escasos recursos se tradujo en una

disminución de la incorporación de jóvenes al mercado

laboral y la mayor educación sexual en una disminución

de embarazos en jóvenes.

Propósito. Es el resultado directo a ser logrado en la

población como consecuencia de la utilización de los

componentes (bienes y/o servicios) producidos o

entregados por el programa.

Para el caso del problema que expongo, las actividades y

componentes lograron que las familias de escasos

recursos tengan un bajo índice de deserción escolar en

educación media superior.

30

Fin. Es el nivel de objetivo más alto y se concibe como la

contribución del programa, en el mediano o largo plazo, al

logro de un objetivo del desarrollo estatal o nacional.

Para efectos del ejemplo, el objetivo fue contribuir a la

generación y ocupación de empleos mejor remunerados

mediante la disminución de la deserción de educación

media superior de los estudiantes de escasos recursos.

27

En resumen, la Matriz de Marco Lógico es una herramienta en

que se prevén los mecanismos para medir de manera objetiva

los resultados obtenidos y compararlos con los resultados

previstos. Es por ello, que constituye un elemento central en la

evaluación de los programas.

Y para culminar este punto me permito recomendarles

ampliamente el material emitido por la CEPAL y, a nivel

nacional, la Guía para la elaboración de la Matriz de

Indicadores para Resultados y el Manual para el diseño y la

construcción de indicadores publicadas por el CONEVAL,

que son documentos que llevan de la mano a los servidores

públicos a la construcción de la MIR, está muy bien hecho.

Tiene ejemplos completos, recomendaciones de sintaxis para la

definición de objetivos, sugerencias metodológicas y criterios

para la definición de indicadores, entre otras cosas.

31

28

Bueno, hasta aquí hemos visto que el Modelo de Gestión para

Resultados y sus dos valiosas herramientas: la Metodología del

Marco Lógico y la Matriz de Indicadores para Resultados sirven

para mejorar la calidad del gasto público, aumentar la eficiencia

de la gestión pública, fortalecer la transparencia y simplificar la

rendición de cuentas.

32

29

3. Caso mexicano

30

En México, a partir de la Reforma Constitucional en materia de

gasto público y fiscalización que entró en vigor en el año 2008,

se inició un proceso de construcción jurídica, administrativa e

institucional para consolidar el Modelo de Gestión para

Resultados que, para su correcta aplicación, se acompaña de

herramientas que permiten que las decisiones de asignación

del presupuesto consideren los resultados de la aplicación de

los recursos públicos.

Tales herramientas son el Presupuesto basado en Resultados,

el Sistema de Evaluación de Desempeño y, en ese mismo

tenor, desde la óptica del Poder Legislativo, las auditorías de

desempeño.

De modo tal que, con este esquema de Instrumentos Jurídicos,

Administrativos e Institucionales, pretendo revisar, en primera

instancia, el avance que el gobierno federal tiene en la materia

para, más adelante, comentar los avances en el ámbito estatal.

Comienzo por los Instrumentos jurídicos.

33

El artículo 134 de la Constitución Política de los Estados

Unidos Mexicanos estipula que los recursos económicos de

que dispongan la Federación, los estados, los municipios y las

demarcaciones políticas de la Ciudad de México, se

administrarán con eficiencia, eficacia, economía, transparencia

y honradez para satisfacer los objetivos a los que estén

destinados. Añade, además, que los resultados del ejercicio de

dichos recursos serán evaluados por las instancias técnicas

que establezcan, respectivamente, la Federación y las

entidades federativas.

Este mandato originó que se modificaran también la Ley

Federal de Presupuesto y Responsabilidad Hacendaria y su

respectivo reglamento, y la Ley de Desarrollo Social, entre

otros ordenamientos, ello sólo para atender lo relativo al

Presupuesto basado en Resultados y la evaluación.

31

Sobra mencionar, desde luego, la Ley General de Contabilidad

Gubernamental, que privilegia los resultados y la evaluación de

del desempeño de los programas presupuestarios.

No voy aquí a referir con precisión cada uno de los artículos y

funciones señalados en la norma, porque me llevaría todo el

día citarlos y analizarlos. Pero es importante referir que sin esta

adecuación al marco jurídico, sería imposible pasar a los

34

aspectos administrativos e institucionales.

32

Instrumentos Administrativos.

En México la Gestión para Resultados está conformada por

el Presupuesto basado en Resultados, que, de acuerdo con

la Secretaría de Hacienda, tiene por objetivos: transitar a la

generación y acopio sistemático de indicadores para

resultados; reconfigurar el proceso presupuestario para

orientarlo a los resultados y; finalmente, lograr que las

asignaciones de presupuesto consideren los resultados de las

evaluaciones de los programas presupuestarios.

A su vez, el Presupuesto basado en Resultados contiene al

Sistema de Evaluación del Desempeño, que está orientado a

medir los resultados de los programas presupuestarios y a

evaluar la instrumentación de mejoras a la gestión a través de

convenios compromiso para obtener mejores resultados.

Puede decirse que, quizá, el Sistema de Evaluación del

Desempeño sea el corazón o eje del Modelo de Gestión para

Resultados en nuestro país.

33

En pantalla pueden observarse los objetivos del Sistema de

35

Evaluación del Desempeño que, en mucho, tienen que ver con

lo que ya he mencionado con anterioridad:

Elevar la eficiencia gubernamental y del gasto público.

Mejorar la cobertura y calidad de los bienes y servicios.

Fortalecer la transparencia y rendición de cuentas.

Conocer los resultados e impacto social y económico de

los programas.

Identificar las mejores estrategias de gobierno y de

desarrollo.

Elevar la calidad del gasto público.

34

En pantalla pueden observar un par de láminas más que hacen

referencia al Sistema de Evaluación del Desempeño, cuyo

propósito es conocer los resultados del ejercicio de los recursos

y el impacto social y económico de los programas. Lo cual se

realiza con base en indicadores.

También lo es el identificar la eficacia, eficiencia, economía y la

calidad en el gasto y las mejores estrategias de gobierno y de

desarrollo.

36

35

Antes de comenzar a hablar sobre los componentes del

Sistema de Evaluación del Desempeño, quiero destacar lo vital

que es la alineación de consistencia de los diversos programas

gubernamentales: a nivel federal se realizó un ejercicio de

vinculación, en el cual a partir de los objetivos, indicadores y

metas del Plan Nacional de Desarrollo se identificaron los

objetivos estratégicos de las dependencias y entidades, y éstos

a su vez se vincularon con los objetivos, indicadores y metas

de los programas presupuestarios. Esto supone que, de

haberse realizado una vinculación consistente, el logro de

resultados a nivel de programas podría contribuir al logro de

objetivos estratégicos y nacionales establecidos en el Plan

Nacional de Desarrollo.

Advierto que hay tres actores fundamentales en la implantación

del Sistema de Evaluación del Desempeño: la Secretaría de

Hacienda y Crédito Público, la Secretaría de la Función Pública

y el Consejo Nacional de Evaluación de la Política Social

(CONEVAL).

A través de estas instancias es que los Lineamientos

Generales para la evaluación de los Programas Federales de la

Administración Pública Federal fueron publicados

conjuntamente en marzo de 2007 y, posteriormente, adecuados

y mejorados.

37

El propósito de estas disposiciones administrativas es:

Regular la evaluación de los programas federales y la

elaboración de la Matriz de Indicadores.

Delimitar los tipos de evaluación.

Delimitar los instrumentos de monitoreo y evaluación.

Citado lo anterior, continúo con los componentes del Sistema

de Evaluación del Desempeño.

36

Si miran la presentación observarán dos grandes elementos: el

componente de Evaluación de Políticas Públicas y

Programas Presupuestarios y el componente de Evaluación

de Desempeño Institucional. Cada uno de ellos está

cimentado en un programa, el primero en el Programa Anual de

Evaluación y el segundo en el Programa de Mediano Plazo.

37

Sobre el componente de Evaluación de Políticas Públicas y

Programas Presupuestarios puedo decir que se instrumenta

mediante diferentes tipos de evaluaciones.

Y es que uno de los objetivos más apremiantes de la nueva

agenda de evaluación y monitoreo es lograr que las

38

evaluaciones a programas presupuestarios sean objetivas e

independientes, y que sean útiles para apoyar la toma de

decisiones.

Para lograrlo, los lineamientos establecen los programas que

estarán sujetos periódicamente a evaluaciones externas de

varios tipos, como son: evaluaciones de diseño, consistencia y

resultados, impacto, complementarias, de indicadores, y

procesos. Además, también están contempladas las

evaluaciones estratégicas a políticas específicas.

38

Aclaro que cuando se hace referencia a evaluaciones externas

se alude a trabajos realizados por instancias técnicas

especializadas en evaluación, como universidades, colegios,

despachos, profesionales independientes y el propio

CONEVAL.

Para programas nuevos se realiza un diagnóstico que justifique

su creación, una evaluación externa sobre el diseño que se

propone y un análisis del funcionamiento y un análisis de

operación de los principales procedimientos.

Les comento que si desean obtener mayor detalle de este tipo

de evaluaciones pueden consultar la “Normatividad para la

Evaluación de los Programas Federales” en el sitio web del

39

CONEVAL, que contiene, entre otros documentos: los

Lineamientos Generales para la Evaluación de los Programas

Federales, el Programa Anual de Evaluación, Matriz de

Indicadores para Resultados, Mecanismos para el seguimiento

de las evaluaciones externas y los Términos de Referencia

para evaluaciones.

El Programa Anual de Evaluación corresponde al

componente de Evaluación de Políticas Públicas y

Programas Presupuestarios y tiene como fin determinar los

tipos de evaluación que se aplicarán a “N” número de

programas presupuestarios durante el ejercicio fiscal y

establecer el calendario de ejecución de las evaluaciones

respectivas.

Por otro lado, aunque no aparece en láminas, el componente

de Evaluación de Desempeño Institucional lo constituye el

Programa de Mediano Plazo. Es un sistema de indicadores

que profundiza en el seguimiento de la producción de bienes y

servicios de la Administración Pública Federal, así como en los

procesos y actividades necesarios para producirlos.

40

Ahora bien, el siguiente punto de mi participación se refiere a

los instrumentos Institucionales que, hasta cierto punto ya los

40

he citado y son básicamente las instancias encargadas de

operar el Sistema de Evaluación del Desempeño, repito, la

Secretaría de Hacienda y Crédito Público, la Secretaría de la

Función Pública, el CONEVAL y, agregaría a las dependencias

ejecutoras de programas presupuestarios y con reglas de

operación del gobierno federal.

Destaco la actuación del CONEVAL, al que la Ley General de

Desarrollo Social le pide al menos dos cosas relevantes: medir

la pobreza de manera multidimensional, es decir, utilizando

muchos factores y dimensiones a nivel nacional, estatal y

municipal, y normar y coordinar la evaluación de programas y

políticas de desarrollo social.

Y lo que hace es de relevancia porque de poco nos sirve tener

evaluaciones particulares de programas, sin saber la

contribución de éstos a la meta general que es bajar la

pobreza.

41

41

4. Avances en las entidades federativas

42

Llegamos al apartado 4 de la agenda de esta presentación:

Avances de la implantación del Modelo de Gestión para

Resultados en las entidades federativas.

Si bien es cierto que el proceso de instrumentación en el

ámbito de gobierno federal ha sido paulatino y con aciertos y

fracasos, el avance que presentan las entidades federativas es,

en muchos casos, todavía incipiente.

Pero, ¿qué deben hacer las entidades federativas para

insertarse en esta lógica?

La teoría dice que deben aprovechar las Tecnologías de

Información para hacer más eficiente la actuación de sus

gobiernos y mejorar la calidad e impacto del gasto público.

Para ello, es condición profesionalizar al servidor público y, en

general, mejorar la cultura organizacional de las instituciones

42

públicas.

43

Además, deben adoptar el Presupuesto basado en Resultados

que facilite el cumplimiento de metas; evaluar el desempeño de

los programas de gobierno y su impacto en la población; y

alinear sus programas y asignaciones a través del ciclo

planeación, programación, presupuestación, ejercicio, control,

seguimiento y evaluación.

¿Y todo esto que acabo de decir es sencillo? No, no lo es.

44

Por este motivo la Secretaría de Hacienda y Crédito Público

recomienda a las entidades federativas establecer un esquema

para transitar de manera gradual hacia el Presupuesto basado

en Resultados.

Primeramente sugiere adecuar el marco normativo, de

forma similar como se hizo en el gobierno federal.

Segundo, migrar a una estructura programática por

resultados.

43

Tercero, utilización de matrices de indicadores para

evaluar los programas presupuestarios.

Cuarto, Implementar un sistema de evaluación del

desempeño.

Quinto, establecer las instancias técnicas de evaluación.

45

La identificación del grado de avance en la implementación del

PbR-SED en las entidades federativas, se realiza mediante la

elaboración del Índice de Avance del PbR-SED. El cual consta

de la aplicación de un cuestionario y de las respuestas que

dicho instrumento metodológico arrojen, se identifica el grado

de avance al respecto.

46

Para medir los avances de los gobiernos estatales en la

implementación del Presupuesto basado en Resultados, la

Secretaría de Hacienda y Crédito Público realizó en los años

2010, 2012, 2014, 2015, 2016 y 2017 diagnósticos que abarcan

la información de los temas de ajustes jurídicos alineados a

presupuestación por resultados y evaluación del desempeño;

avance en la cumplimentación de mejoras al ciclo

presupuestario (planeación, programación y presupuesto);

armonización contable; y transparencia.

44

Este diagnóstico le permitió conocer el porcentaje de avance y

establecer un plan de acción conjunto para alcanzar la

cobertura nacional integral de esta iniciativa.

Los resultados se muestran por entidad federativa y son los

siguientes:

47

Para 2017 con cuatro porcentajes más altos de cumplimiento

se encuentran el Estado de México, Baja California,

Guanajuato y Yucatán.

Y con los niveles más bajos aparecen: Durango, Veracruz,

Guerrero, Colima y Baja California Sur.

48

Aunado a lo anterior, de 2016 a 2017 se registraron avances

significativos en la instrumentación del PbR-SED en las

entidades federativas, entre los que destacan:

En términos generales, la instrumentación del PbR-SED

se incrementó 4.3 %.

En materia de transparencia se registró un incremento de

7.2 por ciento.

En capacitación el aumento fue de 9.4 por ciento.

Respecto a los procesos de adquisiciones el avance fue

45

de 4.1 por ciento.

Y finalmente, en relación a la capacitación y

profesionalización de recursos humanos, se registró un

avance de 20.0 por ciento.

49

Algunas de las conclusiones a las que llegó la SHCP, respecto

a la instrumentación del PbR-SED en las entidades federativas

se resume de la siguiente manera:

El marco jurídico se encuentra alineado con las

disposiciones federales que regulan la instrumentación

del PbR-SED.

84% cuenta con MIR de los Programas presupuestarios,

y a sus metas establecidas se les da seguimiento a través

de indicadores.

84% tiene Unidad o Área responsable de llevar a cabo las

evaluaciones de desempeño de los programas y acciones

de gobierno.

87% cuentan con Programas Anuales Operativos,

además de que se definen los Programas

presupuestarios y acciones de gobierno a evaluar.

62% cuentan con mecanismos formales de seguimiento a

las recomendaciones de evaluaciones externas.

Y tan sólo el 56% toma en cuenta los resultados de las

evaluaciones para la mejora del desempeño de los

46

programas presupuestarios evaluados.

50

5. Modelo de gestión para Resultados desde la Óptica de la

Fiscalización Superior

51

Como punto 5 y último de esta plática tengo agendado abordar

el Modelo de gestión para Resultados desde la Óptica de la

Fiscalización Superior.

La pregunta es, ¿A los fiscalizadores superiores para qué nos

sirve este modelo?

Bueno, pues la respuesta puede tener diferentes enfoques, yo

hablaré del enfoque que me corresponde fiscalizar, que es el

del desempeño.

Y considero que los beneficios que exista el Modelo de Gestión

para Resultados en las entidades que a diario fiscalizamos

sirve para:

Verificar que la asignación de recursos se determinó

tomando como referencia los resultados de los programas

presupuestarios.

47

Verificar que los servicios incrementaron su calidad.

Verificar que existen iniciativas para mejorar la gestión

pública incrementando el valor público.

Verificar que existe énfasis en los resultados y no en los

procedimientos.

Evaluar el desempeño con base en indicadores para

conocer el cumplimiento de metas y objetivos.

52

Ahora bien, a la pregunta expresa de cómo pueden contribuir

las Entidades Locales de Fiscalización Superior a este proceso

de gestión para resultados, mi propuesta es que pueden:

Estudiar, analizar y, en su caso, emitir recomendaciones

sobre el proceso de adecuaciones jurídicas,

administrativas e institucionales para implementar la

Gestión para Resultados y Presupuesto basado en

Resultados en la entidad federativa que fiscaliza.

Revisar en las auditorías o evaluaciones de desempeño

la construcción de las MIR, sus resultados e impacto en

los procesos presupuestales.

48

Al respecto les comento la experiencia del OSFEM.

En la Auditoría Especial de Evaluación de Programas, la cual

tengo la suerte de dirigir, desde algunos años venimos

realizando auditorías de desempeño.

Para efectuarlas nos hemos ayudado de la metodología de la

Auditoría Superior de la Federación, pero tampoco hemos

desoído expresiones como las de la INTOSAI, las evaluaciones

de consistencia y resultados del CONEVAL y las Normas de

Auditoría Gubernamental en el apartado de auditorías de

rendimiento de la GAO.

Si bien en un principio nuestras auditorías se enfocaban, en

mucho, a la revisión de aspectos de control interno y

cumplimiento de norma. A últimas fechas hemos avanzado a

evaluar los resultados de los programas y, de manera gradual,

nos acercamos a medir los impactos de los programas.

Y una parte importante de nuestras auditorías es,

precisamente, la revisión de los resultados, es decir,

verificar el alcance de las metas, pero también analizar el

diseño de los indicadores y recomendar mejoras a estas

mediciones.

49

Más aún, en los meses pasados realizamos una auditoría de

desempeño al Sistema Integral de Evaluación del Desempeño,

en la que se identificó en qué grado se cumplió con el mandato

de instrumentar el Presupuesto basado en Resultados, cómo

está construido, sus logros y retos.

En fin, que como entidades federativas aún tenemos mucho por

hacer.

53

Por mi parte aquí concluyo mi intervención, agradezco su

tiempo y quedo atento por si alguien tiene alguna pregunta,

comentario u aportación.

Muchas gracias.