VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la...

12
1 EVALUACIÓN DE CONSISTENCIA Y RESULTADOS 2017-2018 S053 PROGRAMA DE ABASTO RURAL A CARGO DE DICONSA, S.A. DE C.V. COMENTARIOS DE LA DIRECCIÓN GENERAL DE EVALUACIÓN Y MONITOREO DE LOS PROGRAMAS SOCIALES En el marco de la orientación de los programas sociales hacia una visión de rendición de cuentas y una política social dirigida al logro de resultados, la Secretaría de Hacienda y Crédito Público (SHCP) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL) establecieron en el Programa Anual de Evaluación para el ejercicio fiscal 2017 de los Programas Federales de la Administración Pública Federal y de los Fondos de Aportaciones Federales (PAE 2017), en su numeral 25, que los programas listados en el Anexo 2b, entre ellos el S053 “Programa de Abasto Rural” (PAR) a cargo de Diconsa, S.A de C.V., deberían realizar una Evaluación de Consistencia y Resultados considerando en su alcance el ejercicio fiscal 2017. En atención a lo anterior, DICONSA S.A de C.V, en su calidad de Unidad Responsable del PAR, realizó la contratación de la “Evaluación de Consistencia y Resultados del Programa de Abasto Rural 2017-2018” (ECyR), misma que fue coordinada y supervisada de manera conjunta con la Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS), en su calidad de Área de Evaluación del Ramo 20. Desarrollo Social. La ECyR se realizó atendiendo las especificaciones definidas en el Modelo de Términos de Referencia emitido por el CONEVAL para el tipo de evaluación en comento. El objetivo general de la ECyR, fue evaluar la consistencia y orientación a resultados del PASL con la finalidad de proveer información que retroalimente su diseño, gestión y resultados y los objetivos específicos fueron los siguientes: Analizar la lógica y congruencia en el diseño del PAR, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas federales. Identificar si el PAR cuenta con instrumentos de planeación y orientación hacia resultados. Examinar si el PAR ha definido una estrategia de cobertura de mediano y de largo plazo y los avances presentados en el ejercicio fiscal evaluado. Analizar los principales procesos establecidos en las Reglas de Operación del PAR (ROP) o en la normatividad aplicable del año fiscal en curso; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas. Identificar si el PAR cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados; y Examinar los resultados del programa respecto a la atención y solución del problema para el que fue creado.

Transcript of VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la...

Page 1: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

1

EVALUACIÓN DE CONSISTENCIA Y RESULTADOS

2017-2018 S053 PROGRAMA DE ABASTO RURAL A CARGO DE DICONSA, S.A. DE C.V.

COMENTARIOS DE LA DIRECCIÓN GENERAL DE EVALUACIÓN Y MONITOREO DE LOS PROGRAMAS

SOCIALES

En el marco de la orientación de los programas sociales hacia una visión de rendición de cuentas

y una política social dirigida al logro de resultados, la Secretaría de Hacienda y Crédito Público

(SHCP) y el Consejo Nacional de Evaluación de la Política de Desarrollo Social (CONEVAL)

establecieron en el Programa Anual de Evaluación para el ejercicio fiscal 2017 de los Programas

Federales de la Administración Pública Federal y de los Fondos de Aportaciones Federales (PAE

2017), en su numeral 25, que los programas listados en el Anexo 2b, entre ellos el S053

“Programa de Abasto Rural” (PAR) a cargo de Diconsa, S.A de C.V., deberían realizar una

Evaluación de Consistencia y Resultados considerando en su alcance el ejercicio fiscal 2017.

En atención a lo anterior, DICONSA S.A de C.V, en su calidad de Unidad Responsable del PAR,

realizó la contratación de la “Evaluación de Consistencia y Resultados del Programa de Abasto

Rural 2017-2018” (ECyR), misma que fue coordinada y supervisada de manera conjunta con la

Dirección General de Evaluación y Monitoreo de los Programas Sociales (DGEMPS), en su

calidad de Área de Evaluación del Ramo 20. Desarrollo Social.

La ECyR se realizó atendiendo las especificaciones definidas en el Modelo de Términos de

Referencia emitido por el CONEVAL para el tipo de evaluación en comento. El objetivo general

de la ECyR, fue evaluar la consistencia y orientación a resultados del PASL con la finalidad de

proveer información que retroalimente su diseño, gestión y resultados y los objetivos

específicos fueron los siguientes:

Analizar la lógica y congruencia en el diseño del PAR, su vinculación con la planeación

sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como

las posibles complementariedades y/o coincidencias con otros programas federales.

Identificar si el PAR cuenta con instrumentos de planeación y orientación hacia

resultados.

Examinar si el PAR ha definido una estrategia de cobertura de mediano y de largo plazo

y los avances presentados en el ejercicio fiscal evaluado.

Analizar los principales procesos establecidos en las Reglas de Operación del PAR (ROP)

o en la normatividad aplicable del año fiscal en curso; así como los sistemas de

información con los que cuenta el programa y sus mecanismos de rendición de cuentas.

Identificar si el PAR cuenta con instrumentos que le permitan recabar información para

medir el grado de satisfacción de los beneficiarios del programa y sus resultados; y

Examinar los resultados del programa respecto a la atención y solución del problema

para el que fue creado.

Page 2: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

2

En este contexto, se emite la presente Posición Institucional con respecto a la ECyR elaborada

por la consultora Investigación en Salud y Demografía, S.C.

La DGEMPS considera de gran importancia la aportación de los resultados de esta evaluación a

las mejoras en términos de consistencia y resultados del PAR. En particular, se reconoce el

trabajo de la instancia evaluadora para comprender la operación del Programa que, junto con

sus conocimientos de la Metodología de Marco Lógico permitieron que los hallazgos y

recomendaciones de la ECyR sean enriquecedores al diseño, planeación y orientación a

resultados. Asimismo, se reconoce la accesibilidad de los evaluadores para la interacción y

retroalimentación de comentarios y sugerencia del personal responsable de la operación del

Programa y de las áreas técnicas de la Subsecretaría de Planeación, Evaluación y Desarrollo

Regional de la Sedesol.

Existen áreas de oportunidad para el desempeño del equipo evaluador, en particular en la

emisión de algunas recomendaciones que las áreas técnicas de la Subsecretaría de Planeación,

Evaluación y Desarrollo Regional de la Sedesol no consideran factibles de atender en términos

del diseño del Programa. Dentro de los temas que se discutieron en las reuniones de trabajo, se

encuentra una recomendación orientada a modificar la definición del Problema Público a

atender desincorporando el tema de seguridad alimentaria de la definición, en ese sentido la

DGEMPS fue muy insistente en que si bien, es un objetivo que el programa no es el único

responsable para alcanzarlo, sí contribuye a cumplirla, como se muestra en el Diagn´sotico del

Programa. Como documentación de respaldo, la DGEMPS presentó la Mesa Técnica de Revisión

de Indicadores (MeTRI) del 2017 en donde CONEVAL pide al PAR adaptar sus objetivos a

incrementar la seguridad alimentaria, como fruto de este trabajo se llevaron a cabo entre el

Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera

un retroceso a los avances del Programa eliminar de la medición de resultados del PAR el tema

de seguridad alimentaria.

Otro tema importante por resaltar de esta ECyR es la observación del evaluador en donde

menciona existe una inconsistencia en las definición de las poblaciones ya que en algunos

documentos normativos se expresa en términos de localidades y en otros en términos de

personas de las localidades, al respecto, se considera que guarda cierta lógica hablar de

personas en cuanto a población objetivo ya que no son las localidades de alta y muy alta

marginación los beneficiarios finales sino las personas que se acercan a comprar en las tiendas

DICONSA que a su vez perteneces a estas localidades para lo cual es importante mencionar que

se trata de población abierta y cuya afluencia a las tiendas depende de ciertas externalidades.

En ese sentido no se considera factible modificar la definición de las poblaciones en términos

de personas ni viceversa modificar los resúmenes narrativos de la MIR en términos de

localidades.

Page 3: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

Posición Institucional1

1. Uso de las recomendaciones de la evaluación

Con relación a las recomendaciones emitidas por el equipo evaluador en este

apartado se deberá especificar cómo se atenderán las mismas, es decir, cómo

incorporarán las recomendaciones factibles relacionadas con el diseño,

planeación estratégica, cobertura y focalización, operación, procesos, etc., según

sea el caso.

Cuadro. Principales mejoras derivadas de la evaluación

Sección /

Número de

pregunta

Texto del Informe

Punto de vista de la

dependencia o

entidad

Acción de mejora derivada de la

evaluación2

Diseño / 10 De forma particular, se

recomienda: 1. revisar la

normatividad del CONEVAL y

verificar que la vinculación de las

ROP y la MIR se apegue a ésta; 2.

reubicar los elementos del Fin en

la introducción de las ROP; 2.

incorporar los elementos del

Propósito en el objetivo general de

las ROP; 3. definir un objetivo

específico que incluya los

elementos del Componente de la

MIR; 4. incorporar el RN de los

indicadores de Propósito y

Componente en el anexo 5 de la

MIR 2018 y valorar la pertinencia

de complementarlo, con el RN e

indicadores del Fin y de las

Actividades de la MIR.

Esta recomendación

se considerará en la

revisión de la MIR

2018.

De acuerdo a los calendarios

establecidos en los lineamientos para

la actualización de la MIR durante

2018, se analizará la pertinencia para

hacer los ajustes para que 1) se

revisen los resúmenes narrativos de la

MIR, 2) Revisar los elementos del

Propósito en el objetivo general de las

ROP; 3. definir un objetivo específico

que incluya los elementos del

Componente de la MIR; 4. incorporar

el RN de los indicadores de Propósito

y Componente en el anexo 5 de la MIR

2018 y valorar la pertinencia de

complementarlo, con el RN e

indicadores del Fin y de las

Actividades de la MIR.

Planeación y

Orientación a

Resultados /

14

Como área de mejora del

Programa Institucional de Largo

Plazo se sugiere incorporar

indicadores para cada uno de los

objetivos estratégicos con el objeto

de medir los avances logrados del

PI; se requiere actualizar el

Propósito del PAR en el PI y

describir las líneas estratégicas

que permitan “contribuir” a mejorar

Esta recomendación

será considerada en

la planeación

estratégica 2019

De conformidad con los calendarios

establecidos para la actualización

modificación del Programa

Institucional de Mediano Plazo, se

revisará la pertinencia para realizar los

ajustes, en su caso, para: 1) Alinear

los objetivos al Plan Nacional de

Desarrollo y Plan Sectorial 2019-2024.

2) Incorporar indicadores para cada

objetivo estratégico.

1 La posición institucional es una opinión fundada, respecto a las estrategias de seguimiento de las

recomendaciones, los resultados de la evaluación, al proceso de evaluación, al desempeño del

equipo evaluador, así como, a la coordinación por parte de CONEVAL. 2 Acciones de mejora planeadas o emprendidas.

Page 4: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

la seguridad alimentaria en las

localidades atendidas.

Planeación y

Orientación a

Resultados /

15

Si bien es cierto que es posible

inferir que el PAT se actualiza de

manera anual, se recomienda

hacer una mención explícita en el

documento que refiera las

condiciones o criterios que podrían

incidir en una actualización de

dicho programa de trabajo.

Asimismo, se sugiere establecer

procedimientos más específicos

que describan los pasos a seguir

para la elaboración del PAT.

La entidad realiza el

cambio o modificación

del Programa Anual

de Trabajo en función

los recursos fiscales

autorizados en cada

ejercicio fiscal,

considerando que en

el anteproyecto de

presupuesto se toman

en consideración las

necesidades de cada

Dirección.

Durante 2018 se comenzó con la

elaboración de los procesos de la

Gerencia de Planeación.

Cobertura y

Focalización

/ 23

Como área de oportunidad se

recomienda que el diseño del

Programa y su Diagnóstico

mantengan congruencia en la

definición de sus beneficiarios.

Asimismo, se sugiere que la

estrategia incorpore una atención

prioritaria a grupos en situación de

vulnerabilidad que habiten en las

localidades objetivo y, haga

explícito los recursos materiales,

económicos y tecnológicos que se

requieren para llevar a cabo su

implementación.

Este aspecto ha sido

atendido en el

Diagnóstico del PAR

2018, al alinear en el

árbol de problemas y

el propósito final del

PAR quedando de la

siguiente forma: “Las

localidades de alta y

muy alta marginación,

tienen una alta

incidencia de

población en la

seguridad

alimentaria”, Sin

embargo, dado que el

PAR no tiene padrón

de beneficiarios le

resulta complicado

“incorpore una

atención prioritaria a

grupos en situación

de vulnerabilidad que

habiten en las

localidades objetivo”

Se analizaría llevar a cabo en la

Estrategia de Salida del PAR 2018, así

como en el ASM de carácter

específico “Valoración de la

pertinencia y factibilidad de cerrar o

reubicar las tiendas en las localidades

que tienen dos o más de ellas,

considerando en el análisis también

los resultados de los análisis

rentabilidad financiera que

correspondan una valoración” la

factibilidad, si es posible de incorporar,

una estrategia que haga explícito los

recursos materiales, económicos y

tecnológicos que se requieren para

llevar a cabo su implementación.

Cobertura y

Focalización

/ 24

Se sugiere que DICONSA

documente en el Diagnóstico por

actualizar, las razones por las

cuales desapareció la noción de

“Índice Compuesto de Abasto

Local, Suficiente y Adecuado” de

las ROP 2018

Con base en las

recomendaciones de

la Dirección General

de Análisis y

Prospectiva (DGAP)

de la SEDESOL, en

las cuales se sugiere

restablecer los

criterios de población

potencial y población

objetivo de las ROP

Se llevaría a cabo durante el un

ejercicio para verificar la robustez del

Índices. Si no es posible encontrar la

robustez de nuevas variables, dado la

disponibilidad de información

existente, se seguirá manteniendo

fuera de las ROP, pero se seguirá

usando como insumo de consulta y

análisis.

Page 5: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

2016, dado que el

Índice Compuesto de

Abasto Local

Suficiente y Adecuado

(ICALSA) requiere

mejorar el enfoque

factorial a partir de

nuevas variables

indicadoras que

cuenten con suficiente

información y que

estén relacionadas

con el abasto, local,

suficiente y adecuado,

por ejemplo variables

de aislamiento

(distancia-tiempo) de

localidades hacia

centros de abasto, se

decidió omitirlo, por el

momento, en lo que

se explora

robustecerlo a partir

de estas

recomendaciones

Operación /

25

Se recomienda diseñar una

estrategia de promoción para la

apertura de nuevas tiendas y,

expandir las tiendas móviles,

prioritariamente, en Chiapas,

Veracruz, Guanajuato, Puebla y

Michoacán.

Las Reglas de

Operación del

Programa de Abasto

Rural 2018, prevén en

su numeral 4.2.1., la

promoción de

apertura de Tiendas

en localidades que

tengan las

características de

tamaño de población

y grado de

marginación

requeridas por las

propias Reglas.

Atendiendo a este numeral, se

considera viable establecer un

mecanismo de identificación de las

localidades objetivo que no han sido

atendidas en los estados de Chiapas,

Veracruz, Guanajuato, Puebla y

Michoacán.

En el caso de las tiendas móviles, se

trata de una cuestión presupuestaria

que en su caso tendría que ser

aprobada por la Secretaría de

Hacienda y Crédito Público.

Operación /

26

Para mejorar la operación del

Programa y facilitar su

comprensión para los beneficiarios

del mismo, se recomienda hacer

explícita la descripción del proceso

general y los seis procesos clave e

incluir los diagramas de flujo

respectivos en las ROP; por la

independencia que tienen los

procesos de promoción y el de

apertura de tiendas deberían

Esta recomendación

será tomada en

cuenta en la revisión

de las ROP 2019

Se revisará la pertinencia de la

inclusión dentro de las ROP 2019 la

descripción explícita de los procesos

de promoción y apertura de tiendas

para una mejor comprensión de los

beneficiarios. Sin embargo los

diagramas de flujo se encuentran

considerados dentro de la

normatividad interna por lo que no

deben ser incluidos en las ROP.

Page 6: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

adicionarse numerales específicos

para cada uno de ambos procesos.

Operación /

29

Como área de mejora existe la

posibilidad de incluir en el Manual

de Políticas y Procedimientos de

Supervisión de Tiendas, la

verificación de que los

procedimientos de recepción,

registro y trámite de solicitudes son

utilizados por todas las instancias

ejecutoras, así como valorar la

factibilidad del acceso a redes

informáticas en localidades

objetivo o la existencia de formatos

para las solicitudes en almacenes

rurales, sucursales o unidades

operativas de DICONSA.

El Manual de Políticas

y Procedimientos para

la Operación de

Tiendas

Comunitarias, fue

recientemente

publicado en febrero

de 2018.

En virtud de que El Manual de

Políticas y Procedimientos para la

Operación de Tiendas Comunitarias,

fue recientemente revisado y

publicado en 2018, se considera

viable atender esta recomendación,

en el sentido de que si durante 2019,

se programa la revisión del Manual en

comento, pudiera integrarse en El

Manual de Políticas y Procedimientos

para la Operación de Tiendas

Comunitarias.

Operación /

35

Como áreas de mejora, para que

el Programa cuente de forma

completa, con mecanismos que

permitan dar seguimiento a la

ejecución de acciones se

recomienda valorar la factibilidad

de incorporar otros; como son: 1)

implementar un sistema de

encuestas continuas por

muestreo, como la realizada de

forma externa, en cuyas cédulas

se incluyan reactivos (preguntas)

para verificar cómo se están

ejecutando las siete acciones; 2)

habilitar un portal o correo

electrónico en donde los

encargados de la tienda puedan

hacer reportes o quejas respecto

del abastecimiento de los

productos; si no se cuenta con

internet, implementar un buzón en

las tiendas.

Es viable en parte la

atención de esta

recomendación.

Actualmente en coordinación con la

Secretaría de la Función Pública, se

están aplicando encuestas en torno al

tema de Contraloría Social. Asimismo,

las Reglas de Operación del Programa

de Abasto Rural, en su numeral 12,

establecen tanto un número

telefónico, como un correo electrónico

para que las personas beneficiarias o

interesadas puedan presentar quejas

y denuncias sobre cualquier acto u

omisión que produzca daños al

ejercicio de sus derechos. Respecto

de, implementar un sistema de

encuestas continuas por muestreo,

como la realizada de forma externa,

en cuyas cédulas se incluyan

reactivos (preguntas) para verificar

cómo se están ejecutando las siete

acciones, se valorará su pertinencia

en función de los recursos

informáticos con los que cuenta la

Entidad.

Operación /

36

Una clara área de oportunidad

para hacer público y normativo las

características que definen el

padrón de beneficiarios del

Programa.

No es viable esta

recomendación.

La operación del Programa de Abasto

Rural es a población abierta, por lo

que no se cuenta con padrón de

beneficiarios.

Operación /

40

Dado que la única forma de validar

la información que se captura en

los sistemas es cuando los

supervisores realizan la visita a las

tiendas, como área de oportunidad

se sugiere el diseño e

Es viable la atención

de esta

recomendación.

Durante 2018, se implementó la

prueba piloto de la Bitácora

Electrónica de Supervisión, mismo

que será implementada durante el

segundo semestre del presente año,

el cual es un mecanismo que permitirá

Page 7: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

implementación de mecanismos

sistematizados que permitan

validar de manera simultánea

(rangos de valores permitidos para

la validación de los campos y

consistencia lógica de los mismos)

la información que se captura en

los sistemas.

a través de una herramienta

denominada Hand Held, tener certeza

del número de supervisión realizada,

así como de las actividades abarcadas

en la misma.

Percepción

de la

Población

Atendida / 43

Las áreas de oportunidad se

relacionan con investigar los

retrocesos en la satisfacción de los

encargados de tienda y de los

clientes, revisar las causas que los

están originando y establecer las

acciones para mejorar el grado de

cumplimiento. Es pertinente

diseñar estrategias de difusión e

información sobre el Programa

para mantener e incrementar

todos los porcentajes de

satisfacción logrados.

Existen factores

externos al PAR que

inciden en la

percepción de la

satisfacción de

beneficiarios del PAR

y que están asociados

a cuestiones de

ingreso económico,

disponibilidad y oferta

de productos, así

como a preferencias

de consumo.

De acuerdo a los resultados del

seguimiento Físico y Operativo de

2018, se llevará a cabo un análisis

sobre las causas que inciden en la

tendencia sobre la satisfacción de los

beneficiarios en los últimos años, así

como el diseño de una estrategia de

difusión del PAR.

2. Posición Institucional respecto de la evaluación

En general el equipo evaluador, llevó a cabo un trabajo exhaustivo de análisis de

los cuatro apartados descritos en los Términos de Referencia de la Evaluación de

Consistencia y Resultados del Programa de Abasto Rural (PAR) 2017-2018, suscritos

por el Consejo Nacional para la Evaluación de la Política Social (CONEVAL) los

cuales estructuran la evaluación en temas de Diseño, Planeación y Orientación a

Resultados, Cobertura y Focalización, Operación y Percepción de la Población

Atendida y Resultados.

Respecto de los resultados del apartado de Diseño, el equipo evaluador

argumenta que la calificación obtenida en este apartado, se debe a que, en el

PAR “No se definen plazos y criterios de actualización del problema, de la

poblaciones potencial y objetivo, ni del diagnóstico.”, situación que fue solventada

en el diagnóstico del PAR 2018, publicado en marzo del mismo año, en el cual se

especifican los plazos y momentos en que el diagnóstico del PAR debe de

actualizarse. (Diagnóstico del Programa de Abasto Rural, marzo 2018. Pág. 82)

En lo que respecta al apartado Cobertura y Focalización el equipo evaluador

concluye que “La estrategia de Cobertura es insuficiente. Se requiere alinearla al

sujeto beneficiario establecido en los documentos normativos”, en ese sentido el

sujeto normativo refiere a localidades y es sobre la cobertura en las localidades

Page 8: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

objetivo, que son aquellas de alta y muy alta marginación, en un rango de

población de 200 hasta 14,999 habitantes. Cabe aclarar que el programa funciona

por demanda, lo que implica que es la comunidad organizada la que solicita la

instalación de la Tienda comunitaria y no el revés, situación que aún contemplada

en una estrategia, es una externalidad que el programa no puede controlar.

En cuanto a la sección de Resultados, es importante mencionar que al momento

de llevar a cabo la ECyR del PAR 2017-2018, el PAR estaba en proceso de

conclusión del análisis de la 1era fase del levantamiento de una línea basal, que

servirá de insumo para llevar cabo a una evaluación de impacto del programa, de

tal manera que la conclusión del equipo evaluador “No existen estudios respecto

a la situación de las localidades antes y después de la intervención del Programa”

es parcialmente consistente debido a que el programa está en un proceso de una

evaluación de impacto.

3. Comentarios específicos

3.1 Sobre los resultados de la evaluación

De acuerdo con los resultados del análisis de Fortalezas, Oportunidades,

Debilidades y Amenazas (FODA) la Evaluación de Consistencia y Resultados 2017-

2018, el equipo evaluador identifico una serie de debilidades y amenazas. Entre las

áreas de oportunidad encontradas, las siguientes son las más importantes a

consideración del equipo evaluador:

1) “En la formulación del problema social por atender con el Programa, el

enunciado tiene tres alcances: disponibilidad física, acceso económico y, valor

nutricional (calidad) a alimentos básicos y complementarios. Para una

formulación adecuada del problema debe establecerse únicamente un

alcance; se sugiere que éste sea el de <<garantía de productos básicos y

complementarios>>.”

Respecto de este punto, el programa ha llevado a cabo la modificación de los

resúmenes narrativos de nivel Fin y Propósito, de acuerdo a los criterios de la

Metodología de Marco Lógico (MML). Esta modificación de los resúmenes

narrativos, derivan de la Mesa Técnica de Revisión de Indicadores del Programa de

Abasto Rural (METRI) de 2017, donde en consenso con el CONEVAL, el experto

temático y la SEDESOL, se sugirió que el resumen narrativo de la MIR 2018 quedara

de la siguiente manera: La población de localidades de alta y muy alta

marginación, con cobertura de Tiendas Diconsa, mejora su seguridad alimentaria.

En este sentido, el programa sigue un esquema de alineación institucional que

deriva el Plan Nacional de Desarrollo 2013-2018 y del Plan Sectorial de Desarrollo

Social 2013-2018, en el cual el PAR contribuye, en mayor y menor grado, de

Page 9: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

acuerdo al concepto de Seguridad Alimentaria, definido por la FAO3, en la

disponibilidad física de los alimentos, acceso económico a los alimentos, la

utilización de los alimentos y potencialmente en la estabilidad en el tiempo de las

tres dimensiones anteriores, dado que en esencia es un programa de abasto

regular de 18 productos alimentarios y 5 de higiene y salud que por Reglas de

Operación está obligado tener disponibles en las localidades donde tiene

presencia.

Por tal motivo, por el momento, ubicar un sólo alcance del programa, únicamente

en términos de garantía o garantías, se comprende como una garantía

constitucional del derecho a la alimentación, de productos básicos y

complementarios, no permitiría ubicar y medir la dimensión específica de la

contribución del programa en la seguridad alimentaria (disponibilidad, acceso,

utilización y permanencia). Cabe aclarar que este punto está contemplado en la

Ley General de Desarrollo Social que reconoce el acceso a la alimentación como

un derecho asociado al desarrollo social.

2) “La unificación del sujeto beneficiario; se observan diferencias en los

enunciados expresados en los documentos normativos. En el Diagnóstico el

sujeto beneficiario se define como las localidades de alta y muy alta

marginación; en la introducción de las Reglas de Operación se infiere que el

problema lo tienen las personas que habitan en esas localidades.”

Por una cuestión de la naturaleza propia del programa, el sujeto beneficiario del

PAR, se conceptualiza como todas aquellas localidades con alta y muy alta

marginación cuya población se encuentra entre 200 y 14,999 habitantes. Esto se

debe a que el PAR funciona por demanda, es decir, que la tienda comunitaria se

solicita a petición de la comunidad organizada y no al revés. Una vez instalada la

Tienda, su operación y administración se rige por un esquema de contraloría social,

a partir de un comité local constituido por ciudadanos, vecinos y/o habitantes de

la misma localidad, elegidos libremente por los mismos habitantes. Este comité local

se denomina Comité de Abasto. En la operación de la Tienda, y bajo un supuesto

de garantía constitucional del derecho a la alimentación, el PAR atiende a

población abierta, es decir, a todas las personas que habitan en la localidad o en

su defecto aquellas personas que están, sea habitando o sea como población de

paso, en el denominado radio de influencia4 de la Tienda, que en los últimos años

se ha ido delimitando en función de la extensión territorial, el número de habitantes

3 FAO (2001) http://www.fao.org/docrep/014/al936s/al936s00.pdf

4 Se han hecho esfuerzos por determinar un radio de influencia de la Tienda a partir de estimaciones

e información levantada directamente en campo (Ver Estudio para estimar la población que se

beneficia directamente con la compra de productos y/o servicios ofrecidos por las Tiendas

comunitarias atendidas por el Programa de Abasto Rural a cargo de Diconsa, S.A. de C.V. 2014)

Page 10: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

y las preferencias de consumo en las localidades con presencia de tienda

comunitaria.

Sin duda, el sujeto final beneficiario, y como están explícito el objetivo general de

las ROP 2018 del PAR (“Contribuir a fortalecer el cumplimiento efectivo del derecho

social a la alimentación, facilitando el acceso físico o económico a los productos

alimenticios, para mejorar la seguridad alimentaria de la población que habita en

las localidades de alta o muy alta Marginación”) es la población que habita en las

localidades, siendo acotada esta población, de acuerdo al resumen narrativo de

la MIR 2018 como “Tiendas Diconsa con productos de la Canasta Básica Diconsa

que generan ahorro respecto a opciones privadas de abasto, para la población

de localidades de alta y muy alta marginación.”, por lo que el sujeto beneficiario

implica tanto a localidades, como las personas que habitan en ella.

3.2 Sobre el proceso de la evaluación

Respecto al Proceso de evaluación se trabajó en coordinación con los

evaluadores, donde se llevaron a cabo reuniones con las áreas de DICONSA

responsables de la parte operativa, financiera e informática involucradas en el

proceso de la evaluación de acuerdo a los Términos de Referencia de la

evaluación, quedando la Gerencia de Evaluación como coordinadora y enlace

único de DICONSA con los evaluadores, para hacerle llegar la información

requerida. Cabe hacer mención que en las reuniones estuvieron presentes

funcionarios de la Dirección General de Evalaución y Monitoreo de los Programas

Sociales (DGEMPS), de la Dirección General de Análisis y Prospectiva (DGAP), de la

Unidad de Planeación y Relaciones Internacionales (UPRI) y la Dirección General

de Geoestadística y Padrones de Beneficiarios (DGGPB) de la SEDESOL así como,

personal del CONEVAL, estas reuniones que permitieron intercambiar puntos de

vista para poder determinar la documentación, la información y/o las notas

técnicas que eran necesarias como insumo de la evaluación.

Durante todo el proceso de la evaluación, se tuvo comunicación permanente

entre DICONSA, SEDESOL y el INSAD, lo que permitió que se tomara en cuenta todas

las evidencias presentadas para obtener la mejor calificación posible.

3.3 Sobre el desempeño del equipo evaluador

El equipo evaluador siempre se condujo profesionalmente y manifestó durante el

proceso de evaluación que cuenta con experiencia y conocimiento teórico

practico sobre el tipo de evaluación. Sin embargo, el proceso de entender cómo

funciona el programa de Abasto Rural y la empresa DICONSA, aunado a que la

evaluación está concebida desde la perspectiva de los programas que transfieren

Page 11: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

beneficios de manera directa y que cuentan con un padrón de beneficiarios,

ocasionó que el proceso de evaluación y que la perspectiva entre los evaluadores,

SEDESOL y DICONSA en muchas ocasiones fueran discrepantes.

A pesar de lo antes mencionado, se logró establecer consensos de punto de vista

con los evaluadores y se le hicieron llegar todas las evidencias que en su momento

fueron requeridas.

3.4 Sobre la institución coordinadora

Es importante resaltar el esfuerzo del CONEVAL en la coordinación de este tipo de

evaluación, la cual como es natural en un proceso de evaluación, tiene siempre

áreas de oportunidad perfectibles, dada las características de los programas y la

rigidez del formato de evaluación. En este último sentido, es necesario que exista

una mayor retroalimentación entre el CONEVAL y las instancias evaluadoras, a fin

de seguir mejorando el formato de la Evaluación de Consistencia y Resultados,

sobre todo al evaluar programas sociales que no cuentan con padrón de

beneficiarios como lo es el Programa de Abasto Rural.

Page 12: VALUACIÓN DE ONSISTENCIA Y RESULTADOS 2017 …...Programa y la DGEMPS los cambios necesarios en la MIR 2018 motivo por el cual se considera un retroceso a los avances del Programa

FUNCIONARIOS PÚBLICOS QUE PARTICIPARON EN LA REVISIÓN Y EMISIÓN DE COMENTARIOS A LA EVALUACIÓN DE

CONSISTENCIA Y RESULTADOS

Nombre del área de evaluación del

Ramo 20. Desarrollo Social

Dirección General de Evaluación y Monitoreo de los Programas Sociales

(DGEMPS).

Nombre de los funcionarios públicos

que participaron en la revisión y

emisión de comentarios a la ECyR.

Mtro. José María González Sánchez, Director de Análisis de Políticas

Social.

Lic. Jessica Dennis Gómez López, Jefa de Departamento de Análisis

Cuantitativo.

Nombre del titular del área de

evaluación del Ramo 20. Desarrollo

Social

Mtro. Oliver Arroyo Ramón.