Meta evaluación del Fondo Nacional para el Fomento de las...
Transcript of Meta evaluación del Fondo Nacional para el Fomento de las...
Meta evaluación del Fondo Nacional para el Fomento
de las Artesanías (FONART)
Octubre, 2012
Equipo Evaluador:
Guillermo M. Cejudo
(coordinador)
Cynthia L. Michel
Roberto Gerhard
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
2
Resumen Ejecutivo Este documento presenta los hallazgos de la Meta Evaluación 2007-2012 del Fondo Nacional para
el Fomento de las Artesanías (FONART). Esta meta evaluación tuvo por objeto analizar los
avances y logros del programa en términos de evaluación y monitoreo, durante el periodo
2007-2012. Asimismo, en la meta evaluación se buscó identificar las áreas de oportunidad del
programa para mejorar su desempeño en lo referente al monitoreo y evaluación, en el periodo
2013-2018.
Según las Reglas de Operación (ROP) del FONART, el programa inició sus operaciones
en 1995 en un esfuerzo por promover la actividad artesanal del país, y de esta forma contribuir
al aumento en el ingreso familiar de los artesanos, a través de su desarrollo humano, social y
económico (ROP FONART, 2012: 16). Así, el objetivo general del programa consiste en
contribuir a mejorar las fuentes de ingreso de los artesanos cuyo ingreso es inferior a la línea de
bienestar, mejorando sus condiciones productivas (ROP FONART, 2012: 16).
Durante el periodo 2007-20012, el FONART fue evaluado de manera regular. Las
evaluaciones muestran que existe un avance en las definiciones de las PP y PO, y que los
indicadores siempre han superado sus metas, excepto por el indicador de Fin, para el cual no
existe información. Aún cuando es necesario hacer explícitos los criterios que se utilizan para
definir cada meta a fin de poder valorar adecuadamente el desempeño de los indicadores, los
resultados del programa indican que 32% de los artesanos beneficiados por adquisición de
artesanías y apoyos a la comercialización ampliaron mercado; 73% de los artesanos que
participaron en los concursos de artes popular declararon mejoras en la calidad de su
producción; todos los artesanos beneficiados con apoyos a la producción incrementaron su
producción, y 76% de los artesanos capacitados aplican en su producción las técnicas
enseñadas. Sin embargo, en algunas evaluaciones, también se indicó que los mecanismos de
recolección de información no permiten obtener información objetiva y veraz, pues parten de
la percepción de los beneficiarios. Además, las evaluaciones indican que los beneficiarios no
siempre se sienten satisfechos por el beneficio que reciben del programa.
En esta meta evaluación se revisaron las evaluaciones de seis programas similares al
FONART en otros países, a partir de las cuales se identificó una gran variedad de
particularidades en cuanto al diseño de los programas, que pueden ser útiles para mejorar el
diseño del FONART, en específico en lo relativo a la impartición de talleres y cursos sobre temas
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
3
empresariales y administrativos, así como a la importancia de evaluar la sostenibilidad de los
proyectos artesanales que se apoyan.
Con base en este análisis, se recomienda una agenda de evaluación con la cual se busca
identificar, de forma más clara, el problema público que el FONART busca atender, mediante la
realización de un nuevo diagnóstico. Además, se propone la implementación de una evaluación
de indicadores con el fin de verificar que los indicadores de la MIR del FONART en efecto estén
capturando la información para la cual fueron diseñados. La evaluación complementaria
propuesta busca generar evidencia empírica para conocer los atributos de diseño con los que
debe contar el programa para ser más eficaz. Además, a partir de la implementación de la
evaluación de procesos se busca conocer los aspectos que deben ser mejorados en la
operación del programa. En la agenda de evaluación se incorporó también una evaluación de
impacto con miras a conocer los efectos del programa en el ingreso de los beneficiarios, en el
desarrollo de sus condiciones productivas y en la preservación de la actividad artesanal.
En materia de Monitoreo, la meta evaluación identificó que la MIR redujo el número de
indicadores a lo largo del periodo de análisis. En cuanto a los resúmenes narrativos de los
niveles de Fin y Propósito, vale anotar que aunque ambos han transitado a definiciones cada
vez más precisas. En el caso del Resumen Narrativo de Fin se identificó que el objetivo último al
que el programa busca contribuir es ambiguo en tanto que no queda claro cómo es que el
programa “mejora las fuentes” de ingreso. En todo caso, se considera que el fin último al que el
programa contribuye es al bienestar económico1, y se recomienda que así se exprese en el
Resumen Narrativo correspondiente. Por otra parte, el Resumen Narrativo a nivel de Propósito
fue valorado positivamente; sin embargo, los indicadores establecidos para este nivel reflejan
los bienes y servicios que produce el programa en lugar de reflejar el resultado que se busca
generar a partir de dichos bienes y servicios. En este sentido, en la meta evaluación se
recomendó como indicador para el nivel de Propósito uno que indicara el incremento en el
nivel de ventas, pues éstas son una expresión del aumento en las condiciones productivas de
los beneficiarios. Para el nivel de Fin, se recomendó un indicador que midiera el número de
proyectos que permanecen por más de dos años, a fin de conocer su sostenibilidad.
1 Por bienestar económico se hace referencia al “ingreso del que disponen las personas para la adquisición de bienes y servicios en el mercado, específicamente, el ingreso corriente, el cual representa el flujo de entradas, no necesariamente monetarias (puede incluir los productos recibidos o disponibles en especie, entre otros), que le permiten a los hogares obtener los satisfactores que requieren, sin disminuir los bienes o activos que poseen” (CONEVAL, 2009: 38-39).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
4
En general, la meta evaluación encontró como principales fortalezas del programa que
su Propósito esté alineado con la estrategia 1.4 del Programa Sectorial de Desarrollo, así como
la correcta definición de dicho indicador. También es destacable el esfuerzo que el programa ha
realizado para atender las recomendaciones hechas por los evaluadores externos, a fin de
mejorar la operación y planeación del programa. Finalmente, en materia de evaluación se
considera que es una fortaleza del programa la regularidad con la que éste se sujeta a
evaluaciones. Sin embargo, en esta meta evaluación también se identificó una inadecuada
definición del problema público que el FONART busca atender, pues éste ha sido definido de
forma muy poco clara, por lo que existe una constante tensión en el diseño del programa que
impide identificar en qué medida las acciones del mismo deben orientarse a la preservación de
la actividad artesanal, y en qué medida deben hacerlo al bienestar económico.
Se recomienda que una vez que el problema haya sido claramente definido en el
diagnóstico, el FONART: (a) incorpore el elemento de “sostenibilidad” a las características que
idealmente deben tener los proyectos artesanales, pues así contribuye a la preservación de las
artesanías, (b) mejore las definiciones tanto de los resúmenes narrativos para los niveles de Fin
y de Propósito, así como las de sus indicadores, de conformidad con lo propuesto en esta
metaevaluación, (c) mejore los mecanismos de recolección de información a fin de asegurar la
confiabilidad y objetividad de los resultados obtenidos, y (d) haga explícitos los criterios
mediante los cuales se establecen las metas de los indicadores, con el fin de conocer si los
resultados de éstos son producto de un buen desempeño del programa, o de metas muy laxas.
En conclusión, el FONART es un programa que necesita contar con evidencia teórica y
empírica que justifique su intervención, y que permita conocer si ésta tiene un efecto positivo
en la población que atiende. El programa presenta problemas muy elementales que amenazan
su eficacia: el problema público que busca atender no ha sido definido y la calidad de la
información que se utiliza para alimentar los indicadores es cuestionable.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
5
LISTA DE ACRÓNIMOS
ADEX: Asociación de Exportadores de Perú
ASM: Aspectos Susceptibles de Mejora
ATA: Aid to Artisans
ATAG: Aid to Artisans Ghana
Coneval: Consejo Nacional de Evaluación de la Política de Desarrollo Social
CUIS: Cuestionario Único de Información Socioeconómica
DD: Método de Diferencia en Diferencias
DGEMPS: Dirección General de Evaluación y Monitoreo de los Programas Sociales
ECyR: Evaluación de Consistencia y Resultados
EED: Evaluación Específica de Desempeño
FONART: Fondo Nacional para el Fomento de las Artesanías
HACER: Honduran Artisans Catalyzing Economic Revitalization
IMSAB: Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales
MIR: Matriz de Indicadores para Resultados
MSP: Microentreprise and Small Producers Support Project
OSC: Organizaciones de la Sociedad Civil
PA: Población Atendida
PASH: Portal Aplicativo de la Secretaría de Hacienda
PO: Población Objetivo
PP: Población Potencial
ROP: Reglas de Operación del Programa
SCC: Sharan Craft Center
SEDESOL: Secretaría de Desarrollo Social
URP: Unidad Responsable del Programa
USAID: Agencia de los Estados Unidos para el Desarrollo Internacional
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
6
Tabla de contenido
1. INTRODUCCIÓN .................................................................................................................. 8
2. DESCRIPCIÓN DEL PROGRAMA .......................................................................................10
2.1 Antecedentes ..................................................................................................................10
2.2 Descripción de los objetivos del programa así como de los apoyos que ofrece ...... 11
2.3 Identificación y cuantificación de la población potencial (PP), objetivo (PO) y atendida (PA) ........................................................................................................................ 13
3. SECCIÓN DE EVALUACIÓN ............................................................................................... 15
3.1 Evaluaciones a las que ha estado sujeto el FONART .................................................... 15
3.1.1 Evaluación de Consistencia y Resultados 2007 (ECyR 07) ......................................... 16
3.1.2Evaluación de Específica de Desempeño 2008-2009 (EED 08-09) ............................ 22
3.1.3Evaluación de Específica de Desempeño 2009-2010 (EED 09-10) ............................. 25
3.1.4 Evaluación de Específica de Desempeño 2010-2011 (EED10-11) ................................ 30
3.1.5 Evaluación de Consistencia y Resultados 2011- 2012 ( ECyR 11-12) ............................ 33
3.1.6 Evaluación de Satisfacción 2012 ................................................................................. 37
3.1.7 Conclusiones ................................................................................................................ 38
3.2 Evaluaciones de programas similares a FONART ....................................................... 40
3.2.1 HACER: Honduran Artisans Catalyzing Economic Revitalization .............................41
3.2.3 Microentreprise and Small Producers Support Project (MSP)............................... 44
3.2.4 Fostering Craft Enterprise and the Voluntary Business Assistance Sector in Russia 46
3.2.5 Sharan Craft Center (SCC) .......................................................................................... 48
3.2.6 Aid to Artisans Ghana (ATAG) .................................................................................... 51
3.2.7 Mpukunyoni Craft Market Project ............................................................................ 53
2.2.8 Hallazgos del análisis de las evaluaciones realizadas a programas similares al FONART ................................................................................................................................ 56
3.3 Agenda de Evaluación ................................................................................................... 58
4. SECCIÓN DE MONITOREO .............................................................................................. 65
4.1 Análisis histórico de los principales cambios en la MIR del FONART ........................ 65
4.2 Cambios en el Resumen Narrativo del nivel de Fin .................................................... 67
4.3 Cambios en el Resumen Narrativo del nivel de Propósito ......................................... 69
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
7
4.4 Pertinencia del Resumen Narrativo 2012 ante los objetivos y actividades del FONART ................................................................................................................................. 71
4.5 Análisis de los indicadores para los niveles de Fin y Propósito ................................. 74
4.6 Conclusiones .................................................................................................................. 93
5. ANÁLISIS FODA ................................................................................................................ 96
6. CONCLUSIÓN ................................................................................................................. 100
7. GLOSARIO ....................................................................................................................... 103
8. REFERENCIAS BIBLIOGRÁFICAS ................................................................................... 104
9. ANEXOS .......................................................................................................................... 106
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
8
1. INTRODUCCIÓN
Este documento presenta los hallazgos de la Meta Evaluación 2007-2012 del Fondo
Nacional para el Fomento de las Artesanías (FONART). Esta meta evaluación tuvo por
objeto analizar los avances y logros del programa en términos de evaluación y
monitoreo, durante el periodo 2007-2012. Asimismo, se buscó identificar las áreas de
oportunidad del programa para mejorar su desempeño en lo referente al monitoreo y
evaluación, en el periodo 2013-2018.
A continuación se presenta un apartado que brinda, a grandes rasgos, una
descripción del programa, de sus objetivos y de su población potencial, objetivo y
atendida. Posteriormente, en el apartado de “Evaluación” se realiza un análisis de las
evaluaciones a las que ha estado sujeto el programa en el periodo 2007-2012. En dicho
apartado se presentan de forma sucinta los principales resultados y hallazgos
derivados de cada una de ellas, y se emite una valoración sobre la mismas.
Dentro de la sección de “Evaluación” también se presentan informes de
evaluaciones de programas similares al FONART, que se llevaron a cabo en el ámbito
nacional o internacional. Se realiza una síntesis de los principales resultados y se realiza
una valoración técnica de la metodología empleada.
A partir del estudio tanto de las evaluaciones realizadas al programa durante el
periodo de análisis, como de las evaluaciones realizadas a programas similares al
FONART, se detectaron los aspectos del programa que no habían sido evaluados, o que
requerían ser evaluados en un nuevo contexto, tomando en cuenta las tendencias
identificadas en las evaluaciones de programas internacionales que pudieren ser útiles
para el caso del FONART. Así, se presenta una agenda de evaluación para el periodo
2013-2018 en la cual se justifica técnica o empíricamente la importancia de cada una de
las evaluaciones propuestas para el programa.
Posteriormente se presenta el apartado de “Monitoreo”, en el cual se realiza un
análisis histórico (2007-2012) de los principales cambios que ha sufrido la Matriz de
Indicadores para Resultados (MIR), y se identifica si dichos cambios obedecen a las
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
9
observaciones emitidas por los actores involucrados en su revisión, o si son producto
de los hallazgos o resultados de evaluaciones externas. Adicionalmente, en el apartado
de monitoreo se presenta un análisis sobre la pertinencia y congruencia tanto de los
resúmenes narrativos de los Niveles de Fin y Propósito como de sus indicadores, a
partir de los bienes y servicios que entrega el programa.
Finalmente se presenta un Análisis FODA sobre el programa, y se realizan las
recomendaciones pertinentes para atender las debilidades y oportunidades
detectadas.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
10
2. DESCRIPCIÓN DEL PROGRAMA
El FONART es operado por la Secretaría de Desarrollo Social (SEDESOL). El FONART
existe como fondo desde 1974 y comenzó a ser operado por la Secretaría de Desarrollo
Social (SEDESOL) en 1995 (ECyR, 2007: 9).
2.1 Antecedentes
El FONART surgió “como una respuesta a la necesidad de promover la actividad
artesanal del país y contribuir así a la generación de un mayor ingreso familiar de los
artesanos; mediante su desarrollo humano, social y económico” (ROP FONART, 2012:
16). De acuerdo con el Diagnóstico de la capacidad de los artesanos en pobreza para
generar ingresos sostenibles, la calidad de vida del gremio de los artesanos se ha
deteriorado con el paso del tiempo debido a que habitan en localidades poco
vinculadas con el mercado nacional o internacional, porque sus proyectos no son
rentables, porque existe una valoración insuficiente de las artesanías y porque el uso
que hacen de los recursos naturales no siempre es sustentable, lo cual afecta su
subsistencia y el equilibrio del medio ambiente.
Estas condiciones han resultado en una pérdida del oficio del artesano, un
deterioro de sus condiciones de salud, pérdida o deterioro de su patrimonio y de los
recursos naturales así como una transmisión intergeneracional de la pobreza. En ese
sentido, el problema central que busca atender el FONART es “la falta de mecanismos
que permitan a los artesanos en pobreza generar ingresos sostenibles y romper con el
ciclo de transmisión intergeneracional de la pobreza” (Nota sobre Población Potencial y
Población Objetivo, 2011: 2). De tal forma, el FONART busca ser un vehículo para lograr
la independencia económica de los artesanos mexicanos de acuerdo con una
perspectiva multidimensional del fenómeno artesanal, es decir, que contempla su
carácter social, económico y cultural, bajo criterios que definen los artesanos como
generadores de su propio desarrollo.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
11
2.2 Descripción de los objetivos del programa así como de los apoyos que
ofrece
El FONART tiene como objetivo general contribuir a mejorar las fuentes de ingreso de
los artesanos cuyo ingreso es inferior a la línea de bienestar, mejorando sus
condiciones productivas. El objetivo específico del programa es mejorar la condición
productiva de los artesanos cuyo ingreso es inferior a la línea de bienestar.
Como se puede apreciar en la Tabla 1, el FONART desempeña cuatro vertientes
de actividades para apoyar la actividad artesanal: Capacitación Integral y Asistencia
Técnica, Apoyos a la Producción, Adquisición de Artesanías y Apoyos a la
Comercialización, y Concursos de Arte Popular, con el propósito de atenderlos de
forma integral y complementaria. “Además, FONART realiza actividades tales como
compras a consignación; comercialización y apertura de mercados; ferias y
exposiciones; organización de reuniones y foros nacionales de especialistas del sector;
y realización y publicación de textos especializados en temas artesanales” (ECyR, 2011:
2).
De acuerdo con las ROP 2012, Con estas acciones “el FONART busca ser la
institución que coordine de forma dinámica y efectiva las distintas políticas y recursos
entre los organismos públicos municipales, estatales y federales, sectores social y
privado con el propósito fundamental de fomentar la actividad artesanal y proteger su
desarrollo” (2012: 2).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
12
Tabla 1. Actividades del FONART y montos de apoyo.
Vertientes Actividades Monto
Capacitación
Capacitación Integral
Transmisión de conocimientos en organización, materias primas, proceso productivo, comercialización, informática, administración y valoración cultural.
$12,000 por artesano.
Asistencia Técnica
Mejoramiento de la condición productiva de los artesanos.
$6,000 por artesano
Apoyos a la producción
Individuales Para la adquisición de activo fijo y capital de trabajo destinado a la producción artesanal.
$15,000 una sola vez al año.
Grupales $225,000 sin
rebasar $15,000 por persona.
Adquisición de artesanías y apoyo a la comercialización
Se compra la producción de un artesano.
$15,000 al año.
Apoyos a la comercialización (renta de espacios, empaques, transportes, etc.)
Individuales $ 15,000
Grupales $225,000 sin
rebasar $15,000 por persona.
Concursos de Arte Popular
Nacional $ 125,000
Estatal $ 15,000
Regional $ 10,000
Fuente: elaboración propia con base en las Reglas de Operación 2012.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
13
2.3 Identificación y cuantificación de la población potencial (PP), objetivo
(PO) y atendida (PA)
De acuerdo con el documento Nota sobre Población Potencial y Población Objetivo, la PP
está definida como “el conjunto de artesanos cuyo ingreso es inferior a la Línea de
Bienestar” (2011: 8). 2 El mismo documento explica que “[e]n el Diagnóstico 3
únicamente se definió y caracterizó a la población potencial. Ello debido a que el propio
Diagnóstico señala que la población objetivo es un subgrupo de la potencial que se
define en función del presupuesto asignado anualmente al Programa y al tipo de
convocatorias que éste emita.” (2011: 5). Es decir, que la población objetivo será
cuantificada en función de los recursos presupuestales de cada año y su definición está
delimitada a un subconjunto de la PP. No obstante, al revisar las ROP (2012: 17) resulta
que la PO está definida como los artesanos cuyo ingreso es inferior a la línea de
bienestar, esto indica que existe una falta de precisión entre las definiciones de las PP y
PO.
La PA, comprendida como los artesanos que fueron apoyados por el FONART
durante 2011, fue de 17, 243.
Como se puede apreciar en la gráfica 1, la PA siempre ha superado a la PO, para
la cual no hay estimación en 2011. También se observa que la PA tuvo un pico en 2009 y
a partir de entonces ha disminuido año tras año (pareciera que se dirige hacia una
convergencia con la última estimación de PO).
Por otro lado, se observa que el presupuesto aumentó hasta 2010 y en 2011 tuvo
una disminución. En teoría, dada la definición de PO, se esperaría que su desarrollo
2 “El cambio en la definición de la población potencial implica que la línea de referencia para identificar a los artesanos pobres, es decir la líneas de pobreza patrimonial, cede su lugar a la denominada Línea de Bienestar, cuyo valor en agosto de 2010, el mes de referencia para la medición oficial de la pobreza, fue de $2,114 en el ámbito urbano y $1,329 en el rural”(Nota sobre Población Potencial y Población Objetivo, 2011: 8-9).
3 Diagnóstico de la capacidad de los artesanos en pobreza para generar ingresos sostenibles, 2012.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
14
estuviera ligado a la par del presupuesto del FONART, sin embargo los picos en la
gráfica de PO y presupuesto ejercido no coinciden.
Gráfica 1. Evolución de la PO, PA y presupuesto ejercido.
Fuente: elaboración propia con base en Informes trimestrales a la cámara de diputados y las EED 2008-2009 y EED 2010-2011.
$ 50,000
$ 50,050,000
$ 100,050,000
$ 150,050,000
$ 200,050,000
$ 250,050,000
5,000
10,000
15,000
20,000
25,000
30,000
2008 2009 2010 2011
Pres
upue
sto
en p
esos
Núm
ero
de b
enef
icia
rios
P. Objetivo P. Atendida Total de presupuesto ejercido
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
15
3. SECCIÓN DE EVALUACIÓN
En esta sección se analizan las evaluaciones a las que estuvo sujeto el FONART, así
como evaluaciones de programas internacionales semejantes. En primer lugar, la
sección sobre las evaluaciones a las que estuvo sujeto el FONART permite identificar
temas que se señalaron de manera recurrente, los cambios que realizó el programa en
función de las recomendaciones o si es que hubieron temas importantes que no se
analizaron. Así, esta sección permite evaluar la capacidad de reacción del programa
ante las evaluaciones y también la calidad de las evaluaciones mismas.
Por su parte, la sección de evaluaciones de programas internacionales sirve para
comparar la forma en la que programas similares al FONART se han evaluado en otras
partes del mundo, qué resultados han obtenido y cómo realizaron dichas
intervenciones de política pública. Los programas revisados comparten con el FONART
el hecho de estar dirigidos a artesanos y el que sean utilizados como un medio para
combatir la pobreza y estimular el desarrollo económico y social de los beneficiarios.
Esta sección permitió identificar algunos resultados generales como el hecho de que
tuvieron un impacto positivo sobre la vida de los beneficiarios medido a través del
ingreso de los artesanos algunos años después de la intervención (entre 2 y 5 años
después), que los talleres impartidos resultaron ser básicos para la supervivencia de los
proyectos artesanales (individuales o de grupo) y que es fundamental tener buena
comunicación y confianza entre los elementos de la cadena que vincula al artesano con
el mercado nacional e internacional.
3.1 Evaluaciones a las que ha estado sujeto el FONART
El análisis que a continuación se presenta ha tomado como referencia a las
Evaluaciones Externas del Programa FONART realizadas en el periodo 2007-2012 (véase
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
16
Anexo 1) 4 , por lo que todos los resultados y hallazgos citados, así como las
recomendaciones que derivaron del ejercicio de evaluación de los años de estudio
contemplados, han sido analizadas y atendidas por el Programa conforme a la
normatividad establecida en el Mecanismo para el seguimiento a los aspectos
susceptibles de mejora derivados de informes y evaluaciones a los programas
presupuestarios de la Administración Pública Federal. Por consiguiente, todas las
opiniones y valoraciones realizadas con base en el análisis anterior son exclusiva
responsabilidad del equipo evaluador.
En general, los principales resultados de este análisis permiten identificar
omisiones en las evaluaciones, problemas recurrentes, así como las fuentes de cambios
en la MIR. Este análisis identificó que nunca se ha recomendado al programa ajustar la
forma en la que estima las metas de sus indicadores a pesar de que las supera
regularmente. El programa tampoco ha cambiado la forma en la que estima sus
indicadores de Propósito por algún tipo de medición objetiva, a pesar de que han sido
cuestionados por provenir de una encuesta y reflejar la opinión de los beneficiarios. Por
último, existen recomendaciones recurrentes como la realización de un estudio de
seguimiento a los beneficiarios; o la necesidad de elaborar una Estrategia de Cobertura,
así como un Plan Estratégico –que de acuerdo con el análisis de las evaluaciones estos
documentos estuvieron listos para 2011 pero se identificaron áreas de mejora en cuanto
a la justificación de la intervención del programa.
3.1.1 Evaluación de Consistencia y Resultados 2007 (ECyR 07)
El FONART estuvo sujeto a una evaluación de Consistencia y Resultados (ECyR) en el
año 2007, realizada por Alternativas en Economía Consultores. La ECyR 07 evaluó la
consistencia y orientación a resultados del FONART con la finalidad de proveer
información que retroalimentara su diseño, gestión y resultados. La evaluación analizó
4 se analizaron todas las evaluaciones externas realizadas durante el periodo 2007-2012, que están normadas en los Programas Anuales de Evaluación (PEA)
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
17
los siguientes temas: diseño, planeación estratégica, cobertura y focalización,
operación, la percepción de la población atendida y la medición de los resultados. Para
realizar esta evaluación se realizó trabajo de gabinete en el que se revisaron los
resultados finales de la MIR, el análisis de la cobertura del FONART así como de su
presupuesto y evaluaciones previas al programa.
La ECyR 07 señaló que el programa no demostró un adecuado progreso para
alcanzar su Propósito y Fin porque tiene importantes problemas en el Diseño. Respecto
al diseño del FONART la ECyR 07 destacó que la lógica vertical de la MIR se validó “ya
que las actividades señaladas son necesarias y suficientes para el logro de los
Componentes; los Componentes de la Matriz modificada son indicados para alcanzar el
Propósito; el Propósito está claramente definido -artesanos en situación de pobreza
fortalecidos en su ciclo productivo- y el logro del mismo contribuye plenamente al logro
del Fin” (ECyR 2007: 1). La lógica horizontal de la MIR también se validó pues “todos los
indicadores de la Matriz modificada son claros, relevantes, económicos, adecuados y
monitoreables; los indicadores tienen línea base, y los supuestos son consistentes para
la realización del objetivo del nivel inmediato superior” (ibíd). Sin embargo, en la
evaluación se estableció que “el problema al que va enfocado FONART no está definido
con claridad, ya que presenta el doble objetivo de atender a los artesanos en pobreza y
de fomentar las artesanías tradicionales y de calidad” (ibíd). Otros aspectos negativos
del diseño, según esta evaluación, se encontraban en la ausencia de un diagnóstico
actualizado que justificara o sustentara la existencia del programa. Asimismo, se señaló
que tampoco se contaba con una definición exacta de la PP,5 y que la definición de la
PO era imprecisa en las ROP (de acuerdo a los criterios establecidos por CONEVAL). Se
señaló que el FONART también carecía de datos sobre las características
socioeconómicas de los artesanos beneficiarios y que en 2007 tampoco contó con un
mecanismo específico para determinar duplicidades con otros programas.
El análisis de la Planeación Estratégica realizado en la ECyR 07 reveló que el
FONART contaba con planes de corto y mediano plazo, que recolectaba información
5 La falta de exactitud se refiere al tipo de artesano que presenta el problema al que se dirige el programa.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
18
sobre su operación de manera periódica, que tenía metas y plazos específicos para sus
indicadores de gestión, y que realizó evaluaciones externas cuyas recomendaciones
usó para mejorar su operación. Sin embargo, entre los aspectos negativos de la
planeación del programa se identificó que los planes de corto y mediano plazo no
contaban con estrategias para alcanzar sus metas, y que no se especificaron planes de
trabajo para implementar sus estrategias.
Con respecto a la Cobertura y Focalización de la PP y PO, la ECyR 07 identificó
varios problemas; en primer lugar, que FONART carecía de un método para cuantificar
ambas poblaciones, en segundo lugar, que la PA en 2007 no se apegó a las
especificaciones de las ROP (pues no todos los artesanos se encontraban en situación
de pobreza) y, en tercer lugar, que las vertientes del programa estimaron como metas
las acciones a realizar y no el número de artesanos por beneficiar, lo que impidió
evaluar correctamente el logro de sus objetivos.
De acuerdo con la ECyR 07, el FONART realizó distintas acciones para mejorar su
operación, entre ellas se destacó el que haya logrado la “unificación del padrón de
beneficiarios, [la] reducción de tiempos de entrega de las piezas que participan en los
concursos, [la] reducción de tiempos de respuesta a las solicitudes de financiamiento y
en el proceso de capacitación” (ECyR, 2007: 4). A pesar de estas mejoras, muchas de las
debilidades identificadas por la ECyR 07 se ubicaron en la sección de operación. Los
hallazgos sobre resultados del programa fueron algo contradictorios y se retomarán en
la valoración técnica de la evaluación.
Para mejorar el diseño del programa, la ECyR 07 recomendó que se reflejara en
el diseño del FONART su doble objetivo: a) establecer un programa específico que
atienda a los artesanos en situación de pobreza, cuyas vertientes de atención serían las
que operaba entonces FONART (capacitación, financiamiento, adquisición y
concursos)6 y b) generar los lineamientos particulares para atender el fomento y
comercialización de los artesanos en general bajo una perspectiva de fomento
artesanal en el país. No obstante, esta recomendación no podía ser implementada
6 De esta manera, las Reglas de Operación normarían, en su caso, al “Programa de Atención a Artesanos en Pobreza”, lo que daría claridad al diseño del Programa.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
19
únicamente por FONART, pues requería la participación de la SEDESOL y de la SHCP.
También se recomendó generar un diagnóstico que permitiera identificar la
problemática que existe en el sector artesanal del país en 2007, así como las
características y necesidades de los artesanos, mediante la realización de los estudios
que se consideraran necesarios para tener un diagnóstico claro, conciso y adecuado.
También se recomendó especificar los criterios de elegibilidad para los artesanos que
buscaran financiamiento, así como analizar la viabilidad de incorporar montos
máximos.
Con relación a la cobertura y focalización, la evaluación mencionó que también
era importante establecer en las ROP definiciones concisas de las PP y PO; delimitando
la PP a los artesanos que presentan la problemática en general. Además, se estableció
también la necesidad de cuantificar ambas poblaciones (las propuestas para hacerlo se
presentaron en el anexo IX de la ECyR 07).7
Por otro lado, se consideró que la planeación del programa podría mejorar si se
diseñaba una estrategia de cobertura de corto, mediano y largo plazo para cada una de
las vertientes del programa. Respecto a la operación del programa la ECyR 07 destacó
que se debería agregar una Cédula de Información Socioeconómica a la solicitud para
incorporar esos datos en el padrón de beneficiarios, y que éste cumpliera con los
criterios de padrones de SEDESOL. También se sugirió establecer un mecanismo de
coordinación con otros programas para garantizar que el FONART no presentara
duplicidades con otros programas del gobierno federal. Con relación a las solicitudes de
apoyo, la evaluación recomendó que se elaborara un formato único para las cuatro
vertientes y que se registraran todas las solicitudes de apoyo en una base de datos.
También recomendaron que debía haber una estructura organizacional, con el personal
suficiente, encargada de la vertiente de Financiamiento. Finalmente, la evaluación
recomendó diseñar cuestionarios que le permitieran al FONART identificar la opinión de
sus beneficiarios respecto de sus resultados y procesos.
7 El anexo mencionado no se pudo revisar porque no venía en la evaluación.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
20
De acuerdo con la evaluación, una fortaleza del FONART fue que su Fin y
Propósito contribuyeron a la solución del problema identificados y que estaban
claramente definidos. También se consideró como fortaleza del programa el hecho de
que la lógica vertical y horizontal de la MIR se validaran.
Otra fortaleza detectada fue que el FONART usó las recomendaciones de las
evaluaciones externas para mejorar su operación; de acuerdo con la ECyR 07, entre
estas mejoras destacaron la unificación del padrón de beneficiarios, la reducción de
tiempos de entrega de las piezas que participan en los concursos y la reducción en los
tiempos de respuesta a las solicitudes de financiamiento y en el proceso de
capacitación.
El análisis de la ECyR 07 permitió concluir que una debilidad del FONART es que
no reflejó en su diseño el doble objetivo de atender a artesanos en pobreza y de
fomentar las artesanías. Otras debilidades relacionadas con el diseño del programa se
refirieron a la ausencia de un diagnóstico que sustentara su existencia, la incorrecta
definición de las PP y PO y la ausencia de su cuantificación. Otra debilidad que se halló
en las ROP fue la falta de criterios de elegibilidad para la vertiente de Financiamiento,
así como la falta de información sobre los montos máximos del resto de las vertientes.
La ECyR 07 del FONART también identificó debilidades en el área de planeación,
pues el programa carecía de un sistema de información que le permitiera conocer la
demanda total de apoyos. Además, se detectó que ninguna de las vertientes del
FONART contaba con una estrategia de cobertura de corto, mediano y largo plazos.
Con respecto a la vertiente de Financiamiento del FONART, la ECyR 07 apuntó que otra
debilidad fue la falta de un área responsable de dicha vertiente.
Con relación a la operación del programa se consideró una debilidad la ausencia
de información socioeconómica de sus beneficiarios, así como la de un mecanismo que
le permitiera determinar duplicidades con otros programas federales. Otras debilidades
identificadas por la ECyR 07 fueron:
La ausencia de un sistema que le permita conocer la demanda total de apoyos.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
21
La falta de homogeneidad entre los formatos de solicitud de apoyos de las
distintas vertientes.
La presencia de un mecanismo de actualización del padrón que no era adecuado
pues no contaba con procedimientos ni documentación que permitiera validar
su creación y actualización.
Los sistemas para llevar la administración financiera estaban desintegrados.
El FONART carecía de una cuantificación sobre el costo de apoyo de cada
vertiente, es decir, no establecía un costo de operación, tampoco contaba con
el costo de efectividad de su ejecución.
Con respecto a la medición de resultados, se consideró como una debilidad el
hecho de que ninguno de los indicadores midiera el impacto que las acciones del
FONART tuvo sobre sus beneficiarios y que tampoco contara con instrumentos para
medir su nivel de satisfacción.
La ECyR 07 al FONART ofreció una visión general sobre el programa. En general,
se consideran bien identificadas las debilidades del programa, así como pertinentes las
recomendaciones emitidas. Sin embargo, se detectaron algunas inconsistencias dentro
de la evaluación. En primer lugar, respecto al apartado de resultados del FONART, la
ECyR 07 declaró que el “FONART ha realizado evaluaciones externas basadas en
metodologías rigurosas, que le han permitido medir el impacto del Programa en su
población objetivo y registrar la percepción de sus beneficiarios” (ECyR, 2007: 5). No
obstante, un par de líneas más adelante la evaluación estableció que "el Diseño del
Programa no [permitía] la elaboración de evaluaciones de impacto rigurosas debido a
que el FONART, al determinar su población objetivo en Reglas de Operación, establece
condiciones simultáneas, que no necesariamente se pueden cumplir" (ibídem). Por lo
tanto, no queda claro si las evaluaciones referidas al principio carecen de rigor o si se
realizaron con una definición distinta de PO que sí permitía que se hicieran
evaluaciones metodológicamente rigurosas.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
22
En segundo lugar la evaluación identificó como una fortaleza del FONART que el
Fin y Propósito del programa contribuyen a la solución del problema identificado; no
obstante, también señaló que el programa no cuenta con un Diagnóstico que le de
sustento, ni con una buena definición del problema que se pretende resolver. De tal
manera que, si no se tiene bien definido el problema por resolver, no puede ser posible
que el Fin y Propósito del programa contribuyan a su solución.
3.1.2Evaluación de Específica de Desempeño 2008-2009 (EED 08-09)
El FONART estuvo sujeto a una Evaluación Específica de Desempeño en el año 2008,
fue realizada por El Colegio de México. La evaluación evaluó el desempeño del FONART
a la luz de sus indicadores. Para hacer esta evaluación se realizó un trabajo de gabinete
en el que se revisaron distintos documentos del programa entre los que se encuentran:
el Portal Aplicativo de la Secretaría de Hacienda (PASH)8 –para revisar la información
reportada en la Cuenta Publica sobre el resultado definitivo de los indicadores-, los
documentos de seguimiento a los Aspectos Susceptibles de Mejora (ASM),
Evaluaciones previas, la cobertura que ha tenido el programa así como la evaluación de
su presupuesto.
Los resultados de la EED 2008-2009 se pueden agrupar en tres: los relacionados
con los indicadores, los relacionados con cobertura y presupuesto y los relacionados
con ASM. En cuanto a la valoración sobre los resultados y productos, la EED señaló que
"los indicadores estratégicos y de gestión toman como base una encuesta de artesanos
con datos para 2006. Asimismo, los indicadores no son totalmente confiables porque
se basan en la opinión de los beneficiarios" (EED, 2008: 12). Más adelante, la EED señaló
que "el principal problema para evaluar la eficiencia de los indicadores radica en que no
existe la definición y cuantificación de las poblaciones potencial y objetivo" (ibíd.: 13).
También destacó que "hay indicadores que se refieren a grupos solidarios -definidos
8 El PASH es un portal a través del cual se sistematiza la información indispensable sobre los programas públicos, y facilita su acceso para mejorar la gestión de los mismos
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
23
como grupos de 5 artesanos o más- lo cual provoca confusión respecto a la unidad de
medida del indicador, a saber, artesanos en lugar de grupos solidarios" (ibíd.: 14).
Con respecto al presupuesto aprobado la EED 2008-2009 identificó que éste ha
aumentado cada año desde 2003 hasta 2008 y presentó un ligero decrecimiento en
2009. La EED también resaltó el hecho de que la PA superó a la PO y explicó que esto se
pudo deber a que la cobertura del FONART depende del presupuesto asignado, no
obstante recalcó que no se aclaró cómo se determinó la cifra de la PO. De acuerdo con
la EED, si bien el programa tuvo cobertura en 30 estados, sus acciones se concentran
en 10 entidades.
Respecto a la valoración de los ASM la EED señaló que las propuestas realizadas
por la evaluación externa en 2007 resultaron en cambios a las ROP y a los criterios de
operación del programa, mismos que mejoraron su funcionamiento y que comenzaron
a aplicarse en 2008. La evolución destacó la disposición del FONART para atender las
recomendaciones de evaluaciones externas.
Aunque la EED no emitió recomendaciones señaló que el FONART no cuenta con
evaluaciones externas de impacto ni de seguimiento a sus beneficiarios; lo cual se
interpreta como una recomendación por atender por parte del programa.
La EED 2008-2009 identificó como fortalezas del FONART el haber ampliado su
cobertura y haber mejorado los criterios de selección de los beneficiarios. También
destacó el incremento en el número de acciones aplicadas –suponiendo que se refiere
al desempeño de los indicadores-, y por último, se destacaron los esfuerzos por vincular
diferentes programas para ofrecer un apoyo integral al beneficiario.
De acuerdo con la EED 2008-2009, entre las debilidades identificadas se cuentan
la falta de una correcta definición y cuantificación de las poblaciones potencial y
objetivo. En este grupo también cabe la falta de precisión técnica respecto a algunos
conceptos: "aunque en las ROP 2008 se define el término 'técnicas tradicionales', el
programa debe precisar la manera en que califica las adquisiciones de artesanías como
'realizadas con técnicas y diseños tradicionales'" (ibíd.: 19).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
24
En la evaluación se detectaron algunas inconsistencias. Aunado a esto, debido a
lo escueto de las recomendaciones y la falta de análisis se considera que la evaluación
no aportó a la mejora del FONART. Una de las primeras inconsistencias identificadas se
refiere a la declarada falta de cuantificación de la PO, sin embargo, en la sección de
análisis de cobertura del programa sí presentó una cifra que cuantifica dicha población -
aclarando que se les explicó cómo se determinó dicha cantidad-, por lo tanto, el lector
se puede confundir respecto a este tema. Sobre este mismo tema se detectó otro error
el cual consistió en reportar que no existía una definición de PO para 2008 cuando en
las ROP 2008 se definió a la PO como los “productores que están en condiciones de
pobreza de acuerdo a los criterios establecidos por el Consejo” (ROP, 2008: 4).
Una segunda inconsistencia se refirió al hecho de la EED hizo una valoración
positiva de la ECyR 07 y declaró que la "evaluación externa realizada para el ejercicio
2007 propuso una serie de mejoras que resultaron oportunas y pertinentes"; sin
embargo, dicha evaluación consideró que los indicadores revisados por esta evaluación
medían adecuadamente el desempeño del programa a nivel de propósito, mismos que
fueron criticados por provenir de una encuesta y depender de la opinión de los
beneficiarios.
Otra debilidad de esta evaluación se refirió a la falta de recomendaciones ante
las debilidades identificadas. No se observó ninguna recomendación de mejora con
respecto a: 1) definición y cuantificación de las PP y PO, 2) cómo subsanar la
confiabilidad de los indicadores, y 3) cómo llevar a cabo una evaluación de impacto.
Por último, la información plasmada en la evaluación reveló que la mayoría de
los indicadores analizados (6 de 10) superaron sus metas por un margen importante
(en el menor de los casos se superó la meta por más de 12%), sin embargo este dato no
fue comentado. Por el contrario, la valoración de dichos indicadores se limitó a
identificarlos como pertinentes, relevantes y confiables.9 Habría sido deseable algún
9 Los indicadores en la evaluación que superaron sus metas son 6 de 10: “Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados”, “Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición”, “Porcentaje de artesanos que incrementaron su producción con respecto al total de artesanos financiados”, “Porcentaje de artesanos que declararon
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
25
comentario respecto a la estimación (o subestimación) de las metas y cómo se podría
haber corregido el problema. Otra inconsistencia relativa a la valoración de los
indicadores se refiere al hecho de haberlos calificado como confiables en el apartado
de valoración de cada indicador y posteriormente criticar que la mayoría de ellos
provinieran de una encuesta a los beneficiarios, lo cual “no les da plena confiabilidad”
(EED, 2008, : 14).
3.1.3Evaluación de Específica de Desempeño 2009-2010 (EED 09-10)
El FONART estuvo sujeto a una Evaluación Específica de Desempeño en el año 2009,
que fue realizada por el Colegio Mexiquense. Se evaluó el desempeño del FONART a la
luz de sus indicadores mediante trabajo de gabinete. Se revisaron distintos
documentos del programa entre los que se encuentran: el PASH –para revisar la
información reportada en la Cuenta Pública sobre el resultado definitivo de los
indicadores-, los documentos de seguimiento a los ASM, evaluaciones previas, la
cobertura que ha tenido el programa así como la evaluación de su presupuesto.
Los principales resultados de la EED 2009-2010 se pueden agrupar en los
hallazgos de los indicadores y los resultados del programa, su cobertura y, por último,
los hallazgos relevantes y las acciones de mejora implementadas. Respecto al análisis
de los indicadores de resultados, 4 de los 5 indicadores fueron identificados como
relevantes y confiables. Respecto al indicador de "Porcentaje de artesanos que
declararon mejora en la calidad de su producción después de participar en los
concursos" se señaló que requería de mayor claridad conceptual para ser confiable. Por
otra parte, la revisión llevada a cabo por la EED respecto a los indicadores de gestión
del FONART identificó a los 5 indicadores revisados como pertinentes, relevantes y
confiables. En su conjunto, la valoración de la EED sobre los indicadores del FONART
mejora en la calidad de su producción después de participar en los concursos, con respecto al total de artesanos concursantes”, “Porcentaje de ejecución de presupuesto para capacitación respecto a los recursos programados para capacitación” y “Porcentaje de recursos ejercidos por financiamiento respecto a los recursos programados para financiamiento”.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
26
señaló que su mayoría registraron valores superiores a sus metas, "siguiendo la
tendencia del año anterior” y que no se cuenta con elementos en el SED “para explicar
cambios entre periodos o cumplimientos de metas” (EED, 2009-2010, p. 12).
Respecto a la cobertura del programa, la EED identificó que "se observó una
clara mejoría en la medición de la población objetivo y en su definición" y señaló que
"tanto la población objetivo como la población atendida presentan una tendencia
positiva respecto del año anterior. La población atendida creció́ aproximadamente 36%.
Que la población atendida sea mayor a la objetivo puede deberse a la disponibilidad de
recursos asignados" (ibíd.:19).
Finalmente, con relación a las mejoras del programa la EED declaró que se han
implementado en su totalidad las acciones relativas al diseño y a la gestión que se
plantearon en la ECyR 07. En cuanto al análisis de los hallazgos relevantes, destacaron
el "haber incorporado en la definición de la población objetivo los artesanos en
condición de pobreza patrimonial [lo cual] es un primer paso importante en mejorar la
eficacia y eficiencia del programa", también "se ha avanzado en homogeneizar los
mecanismos para la identificación de los beneficiarios al incorporar en reglas de
operación el Cuestionario Único de Información Socioeconómica" y el que se hubieran
realizado "los pasos necesarios para diferenciar claramente el objetivo institucional del
fideicomiso con el propósito definido en la Matriz de Indicadores del programa
FONART. Esto evita confusiones y duplicidades" (EED, 2009: 13).
Las principales recomendaciones de la EED se refirieron a los indicadores del
FONART, a la necesidad de elaborar un plan estratégico, a acciones de mejora respecto
a la planeación del programa y a una sugerencia sobre futuras evaluaciones. En
particular, se recomendó definir de forma más clara uno de los indicadores de
Propósito (Porcentaje de artesanos que declararon mejora en la calidad de su producción
después de participar en los concursos), a fin de lograr que éste fuera confiable. Con
relación a los indicadores de gestión la EED recomendó considerar el diseño de
indicadores de tiempos programados para el otorgamiento de cada uno de los apoyos.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
27
Respecto a la planeación del FONART, la EED sugirió "concretar convenios a fin
de evitar duplicidades y aprovechar complementariedades y producir un Plan
Estratégico y una Estrategia de Cobertura de corto, mediano y largo plazo" (ibíd.: 22).
Cuando se concrete el Plan Estratégico del programa sería recomendable “diseñar
indicadores que además de la relación ejecutado/programado, incluyan la relación
ejecutado/demandado” (ibíd.:15). Así mismo, se recomendó avanzar en el mecanismo
de criterios para la recolección de información de los indicadores. Con respecto a la
operación del programa la evaluación sugirió seguir "avanzando en adecuar la
estructura organizacional de las cuatro vertientes del programa" (ibíd.: 22). Por último,
se recomendó estudiar la factibilidad de dar seguimiento de los beneficiarios.
De acuerdo con la EED 2009-2010, las principales fortalezas del FONART se
relacionan con las acciones de mejora implementadas (especialmente en cuanto al
diseño), la inclusión de nuevos indicadores y el hecho de recolectar información
abundante que se podría usar para crear indicadores más relevantes, y avances en
cuanto a la definición y cuantificación de la PO.
La EED destacó que el programa implementó en su totalidad las acciones que se
plantearon en la ECyR 07, las acciones de mejora en materia de diseño se concluyeron
satisfactoriamente. Uno de sus productos relevantes fue la elaboración de un
diagnóstico adecuado y actualizado, que sirvió para avanzar en la definición del
problema que busca resolver. El diseño del FONART también mejoró gracias a que el
programa se centró en apoyar los artesanos quienes, a partir de su ingreso, se les
puede clasificar en situación de pobreza. Finalmente, también fue importante que las
cuatro vertientes del programa contaran con un indicador que midiera la capacidad
ejecutora del programa.
Respecto a los indicadores la EED resaltó que es "destacable el esfuerzo en
diseñar un mayor número de indicadores de actividades" (ibíd.:15), por otro lado el
programa está recolectando bastante información sobre su operación –como se puede
ver en los informes trimestrales- que “permitirá́ avanzar en el diseño de indicadores
más relevantes del comportamiento de los componentes” (ibídem).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
28
Por último, respecto a la cobertura del programa, se destacó que se hubieran
establecido los criterios de elegibilidad así como los montos máximos de apoyo para las
cuatro vertientes. También se resaltó que la focalización del programa mejoró de
manera sustantiva gracias a la recolección de información socioeconómica y al uso de
Zonas de Atención Prioritaria (ZAP). Estas acciones ayudaron a mejorar la definición de
PO. Finalmente, se mencionó que las acciones de cobertura se han complementado
con la medición de la satisfacción de los beneficiarios.
La evaluación no tiene un apartado específico de debilidades, pero con base en
las recomendaciones se puede inferir que el estado en el que se encuentra el Plan
Estratégico del FONART es una debilidad y su conclusión fortalecería al programa al
permitirle avanzar sobre el desarrollo de una estrategia de cobertura nacional de
mediano y largo plazo ajustada a la actividad artesanal del país.
Las recomendaciones de la EED 2009-2010 son pertinentes y buscan la mejora
del programa, sin embargo hubo ciertas inconsistencias técnicas que, de haberse
evitado, habrían resultado en una mejor evaluación. Una primera inconsistencia
importante se refirió a la valoración sobre la definición y cuantificación de la PO. La EED
declaró que "se observó una clara mejoría en la medición de la población objetivo y en
su definición" (ibíd.: 19), como se puede apreciar en la Tabla 2, la mejoría estriba en que
se agregó la palabra “artesanos” productores, pero se perdió la especificación sobre de
dónde provienen los criterios de pobreza utilizados. Por otro lado, la definición de PO
presentada en la evaluación no coincide exactamente con la de las ROP 2009.10
Otro problema de la EED respecto al análisis de la población se refirió al hecho
de que definió de la misma manera a la PP y PO (artesanos productores en situación de
pobreza patrimonial), pero presentó cifras diferentes para cada una. En términos de
lógica, no se puede explicar que dos ideas compartan la misma definición y se
cuantifiquen de manera diferente.
10 La definición tampoco coincide exactamente con la de las ROP 2010 “la población objetivo de FONART son los artesanos productores que habiten en Zonas de Atención Prioritaria, o que vivan fuera de éstas y se encuentren en situación de pobreza patrimonial” (ROP 2010, p. 3).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
29
Tabla 2. Comparación entre definiciones de PO.
Definición de PO en ROP 2008 Definición de PO en ROP 2009 Definición de PO en la EED 2009-
2010
La población objetivo de FONART son productores que están en condiciones de pobreza de acuerdo a los criterios establecidos por el CONEVAL.
La población objetivo de FONART son los artesanos productores en condiciones de pobreza.
Artesanos productores en situación de pobreza patrimonial.
Fuente: elaboración propia con base en las ROP 2008, 2009 y la EED 2009-2010.
Una segunda inconsistencia detectada se refirió al análisis del indicador
"Porcentaje de ejecución de presupuesto para capacitación". La evaluación declaró que
era "pertinente, relevante y confiable" y que "mide la capacidad ejecutora de los
recursos del programa en la vertiente de capacitación"; no obstante la definición del
indicador declara que este refleja los "artesanos capacitados para mejorar el proceso y
la calidad de su producto". Esto quiere decir que no existe consistencia entre el título
del indicador y su definición (una cosa es el presupuesto y otra es el número de
artesanos capacitados), y en ese sentido se debería haber señalado que la definición no
corresponde con el título ni con el método de cálculo y, por lo tanto, se hubiera tenido
que ajustar, por ejemplo: porcentaje de los recursos que se ejercen para la capacitación
de artesanos entre el total del monto de recursos programados para su capacitación.
El contraste entre la EED 2008-2009 y 2009-2010 reveló que tienen opiniones
diferentes sobre la confiabilidad de la fuente de datos pues si bien la EED 2008-2009
señaló que los datos de una encuesta a los beneficiarios podrían no ser del todo
confiables; la EED 2009-2010 no comentó nada al respecto y en su valoración identificó
a dichos indicadores como claros.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
30
Por último, de acuerdo con la EED, el FONART implementó en su totalidad las
acciones que se plantearon en la ECyR 07, no obstante, una de las observaciones de la
ECyR 07 fue "definir entre los objetivos estratégicos del FONART el fomento y la
comercialización de las artesanías con un enfoque dirigido a todos los artesanos que
cumplan con los requisitos de promover la actividad artesanal del país preservando
técnicas y colores tradicionales y, adicionalmente, establecer un programa específico
que atienda a los artesanos en situación de pobreza, cuyas vertientes de atención
serían las que operan hoy en FONART (capacitación, financiamiento, adquisición y
concursos)". Esta sugerencia no fue retomada por las EED y podría ayudar a refinar las
definiciones de Población Potencial y Población Objetivo así como su cuantificación.
3.1.4 Evaluación de Específica de Desempeño 2010-2011 (EED10-11)
El FONART estuvo sujeto a una Evaluación Específica de Desempeño en el año 2010,
realizada nuevamente por el Colegio Mexiquense. Se evaluó el desempeño del FONART
a la luz de sus indicadores. Para llevar a cabo esta evaluación se realizó un trabajo de
gabinete en el que se revisaron distintos documentos del programa entre los que se
encuentran: el PASH –para revisar la información reportada en la Cuenta Publica sobre
el resultado definitivo de los indicadores-, los documentos de seguimiento a los ASM,
Evaluaciones previas, la cobertura que ha tenido el programa así como la evaluación de
su presupuesto.
Los principales resultados de la EED 10-11 se concentraron en hallazgos de
evaluaciones previas así como las acciones realizadas a partir de recomendaciones,
mejoras en la definición de PO, perspectiva de género en los indicadores y las
limitaciones del mecanismo utilizado para evitar duplicidad con otros programas
federales.
Con respecto a los principales hallazgos de Fin y Propósito, la EED destacó el
trabajo en ciertas tareas de seguimiento a los beneficiarios que, de concretarse,
permitirían determinar si el programa contribuye a mejorar los ingresos de los
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
31
artesanos. Por otro lado, al revisar los ASM, producto de evaluaciones pasadas, la EED
destacó los esfuerzos realizados por el FONART para perfeccionar su MIR, el trabajo en
curso por estudiar la factibilidad de darle seguimiento a los beneficiarios, la conclusión
de las estrategias de corto, mediano y largo plazo, así como la estrategia de cobertura y
del padrón de beneficiarios. La EED también identificó que para el año 2009 se habían
implementado la totalidad las acciones de la ECyR 07 y se resaltó la adecuación de la
estructura organizacional del FONART a través de la elaboración de un Manual de
Organización General y el mecanismo para prevenir duplicidades con otros programas
Federales. Sin embargo, se mencionó que este mecanismo se refiere a una pregunta en
el CUIS, y presenta importantes "limitaciones porque no garantiza que se dupliquen los
apoyos en la medida que depende de la buena fe del potencial beneficiario" (EED 2010:
4).
La mejora a la definición de PO volvió identificarse como uno de los resultados
destacados de la evaluación. El cambio se refiere a la inclusión de “los artesanos que
habitan en las Zonas de Atención Prioritaria, y los que habitan fuera de éstas y se
encuentran en pobreza patrimonial”.
Con respecto a indicadores con perspectiva de género la EED 10-11 destacó que
se observó “una incipiente preocupación por elaborar mecanismos concretos del
programa que propicien una igualdad de oportunidades entre hombres y mujeres"
(ibíd).
La revisión de la EED 10-11 permitió agrupar sus recomendaciones en tres temas
generales: el diseño, la definición de PO y la planeación del programa. Respecto al
diseño del programa se recomendó ajustar su estructura organizacional a las cuatro
vertientes que tiene, continuar mejorando la MIR cuidando los indicadores de
componentes, servicio y gestión; estos últimos tienen espacio de mejora si
desarrollaran indicadores que midieran la eficacia del programa en términos de
tiempos programados, por ejemplo: tiempo promedio para la recepción de la solicitud y
la respuesta, tiempo promedio para cobrar los apoyos, etc. Con respecto a los
indicadores de Propósito se sugirió avanzar en una medición objetiva, en vez de la
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
32
percepción de los beneficiarios, sobre la mejora en su condición productiva. Por último,
la EED remarcó que es “imprescindible disponer de información desagregada por sexo,
así como elaborar un plan de mediano y largo plazo para incorporar la perspectiva de
género al programa” (EED 2010: 13).
La EED enfatizó la importancia de finalizar los siguientes proyectos: un plan
estratégico de corto, mediano y largo plazo, una estrategia de cobertura de corto,
mediano y largo plazo y, el Padrón de Beneficiarios. Por último, la EED mencionó lo
importante que sería adecuar la PP a la nueva medición multidimensional de pobreza.
Las fortalezas identificadas por la revisión de la EED se concentraron en temas
de diseño y operación. En el rubro de diseño, destacó la mejora en la definición de PO
gracias a la incorporación de Zonas de Atención Prioritaria y la medición de la pobreza
patrimonial; también se señaló que fortalecieron la confiabilidad de los indicadores de
propósito mediante la reelaboración de su línea base. En el rubro de operación, se
identificó que se habían concretado algunos mecanismos para evitar duplicidades con
otros programas y que se estaba analizando la factibilidad de un estudio de
seguimiento de los beneficiarios –lo cual podría ofrecer una alternativa a la medición
del incremento del ingreso de los beneficiarios-.
Al analizar las observaciones realizadas por la EED se infiere que las debilidades
del FONART se referían a la ausencia de documentos metodológicos y de discusión
teórica sobre la construcción de sus indicadores, métodos de cálculo y dificultades
operativas que impactan en la confiabilidad de los indicadores. Otra debilidad que se
identificó fue la necesidad de que los indicadores de resultados del FONART fueran
objetivos y no fueran productos de las opiniones de los beneficiarios. Por último,
también se podría considerar como una debilidad el hecho de que los indicadores de
propósito y componentes hubieran sido declarados muy parecidos.
Esta EED incorporó las preocupaciones generales de las EED anteriores: la
necesidad de terminar un plan estratégico, así como una estrategia de cobertura,
orientar los indicadores de resultados hacia mediciones más objetivas, incorporar en la
MIR indicadores relativos a los tiempos de entrega de distintos procesos, evaluar la
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
33
necesidad de realizar un estudio de seguimiento a los beneficiarios y la evolución
constante de la definición de PO.
La lectura de la EED 2010-2011 no reveló que se hubieran atendido todas las
recomendaciones que se detectaron en la EED 2009-2010, pues no se identificó el
seguimiento que se hizo a la recomendación respecto al indicador de "Porcentaje de
artesanos que declararon mejora en la calidad de su producción después de participar
en los concursos" para el que se señaló que requería de mayor claridad conceptual para
ser confiable (por otra parte la EED 2009-2010 tampoco hizo recomendaciones
concretas de mejora). Vale la pena destacar que en esta evaluación la definición de PO
y su cuantificación sí correspondieron a un subconjunto de la PP.
3.1.5 Evaluación de Consistencia y Resultados 2011- 2012 ( ECyR 11-12)
El FONART estuvo sujeto a una Evaluación de Consistencia y Resultados en el periodo
de 2011-2012. La ECyR 11-12 evaluó la consistencia y orientación a resultados del FONART
con la finalidad de proveer información que retroalimentara su diseño, gestión y
resultados. La evaluación analizó los siguientes temas: diseño, planeación estratégica,
cobertura y focalización, operación, percepción de la población atendida y la medición
de los resultados. Para realizar esta evaluación se realizó trabajo de gabinete en el que
se revisaron los resultados finales de la MIR, los ASM, análisis de la cobertura del
FONART así como de su presupuesto y evaluaciones previas al programa.
Los resultados de la ECyR 11-12 se pueden agrupar en los siguientes grandes
temas: diseño, planeación, cobertura, operación, percepción de la PO y medición de
resultados. Entre los resultados destacados relativos al diseño del FONART se encontró
el que hubiera cumplido con los requisitos administrativos de tener un diagnóstico, una
justificación, una vinculación con objetivos sectoriales, además de estar alineado con
los objetivos del milenio. Para la realización de la ECyR 11-12 el FONART también contó
con una definición de PP y una metodología para su medición. Otra de las conclusiones
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
34
respecto al análisis del diseño del FONART fue que existía correspondencia entre las
ROP y la MIR.
Por su parte, los principales resultados respecto a la planeación del FONART, se
refirieron a la subestimación de la PO (por lo cual la PA siempre ha superado a la PO) y a
la falta de evidencia sobre la contribución del programa para mejorar el ingreso de los
beneficiarios. Los hallazgos positivos relacionados con la planeación se refirieron a las
mejoras en el Plan Operativo (ya que ahora incorporó misión, visión y objetivos del
programa, así como actividades y componentes) y a la generación de información que
le permitió identificar si estaba cumpliendo con sus actividades y componentes.
La ECyR 11-12 señaló que la cobertura creció sistemáticamente durante la
administración. La ECyR 11-12 ofreció más hallazgos con relación a la operación del
FONART pues, para empezar, destacó que el programa registró mejoras en sus ROP
respecto a los montos económicos para los beneficiarios (para las vertientes de apoyo
a la producción y la comercialización), pero que es un proceso que debe continuar y
que el siguiente paso sería documentar una serie de acciones que el programa realiza
pero que no están contempladas en las ROP, por ejemplo la asistencia a espacios y
eventos artesanales, registro de marca, renta, construcción o acondicionamiento de
espacios artesanales, inclusión de niños como beneficiarios (en la vertiente de
Concursos de Arte Popular), entre otros.
En el área de percepción de la PO, la evaluación concluyó que el programa contó
con 10 ítems dicotómicos para medir el grado de satisfacción de los beneficiarios, lo
cual demostró el interés por conocer la percepción que tiene la población atendida. Sin
embargo, las metas establecidas para los mismos deberían ser revisadas, ya que es
prácticamente un hecho, independientemente de lo que suceda, que éstas se alcancen,
lo cual sugiere que han sido subestimadas. Una ausencia considerable fue la falta de
evaluaciones externas que les hubieran permitido identificar el impacto del programa
en términos de Fin y Propósito.
Las recomendaciones de la evaluación se refirieron al diseño, la planeación, la
operación y la percepción de la PA. Para refinar el diseño del FONART se recomendó
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
35
mejorar la calidad del diagnóstico y fortalecer su justificación. La ECyR 11-12 también
indicó la necesidad de homogeneizar los términos utilizados en los distintos
documentos del programa (por ejemplo, en el Documento Estratégico y en el
Diagnóstico se refieren con términos diferentes a la PP en algunos casos se refiere a
indígenas y en otros a artesanos en pobreza y en otros a artesanos en pobreza
patrimonial). Finalmente, con respecto a los indicadores de resultados la ECyR 11-12
consideró recomendable revisar su definición, cuidando que se midieran los efectos del
programa en términos de Fin y Propósito.
Por otra parte, la ECyR 11-12 consideró que la planeación del FONART podría
mejorar si precisaran la definición de la PP y PO, no obstante, reconoció que “esto no
puede ocurrir en el corto plazo dado que la política social en su conjunto se encuentra
en un periodo de alineación a la medición de pobreza multidimensional” (ECyR 2011: 3).
Para apuntalar la estrategia de cobertura del programa se sugirió que el Documento
Estratégico contara con un apartado para este tema. Respecto al Documento
Estratégico del FONART la ECyR 11-12 consideró necesario reforzar su justificación sobre
por qué “el oficio de artesano es una actividad económica que forma parte de este
patrimonio cultural inmaterial, pero esto sólo se menciona, no se justifica” (ECyR 2011:
9). La evaluación también consideró necesario justificar teórica o empíricamente el
hecho de que la intervención del FONART sea la mejor opción de política pública. Con
respecto a la operación del FONART, la ECyR 11-12 consideró que hay actividades que el
programa realizó y que no están contempladas en las ROP y por lo tanto, no se pueden
documentar.
Por último, para mejorar el componente de medición de la percepción de la PO
la ECyR 11-12 recomendó mejorar el diseño y el método del instrumento para medir el
grado de satisfacción de los beneficiarios refinando la definición conceptual y empírica
de satisfacción, y usando una escala numérica del 1 al 10, para tener mayor varianza. Por
otro lado, se indicó que las metas se deben establecer con el fin de lograr los objetivos
de Fin y Propósito del programa, y no con el fin de cumplir un requisito administrativo.
Finalmente, la ECyR 11-12 manifestó que las limitaciones presupuestales no se pueden
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
36
convertir en la justificación para no realizar evaluaciones de impacto o de seguimiento
a los beneficiarios, para superar este obstáculo se recomienda explorar alternativas
viables económicamente y sólidas desde un punto de vista técnico.
La mayoría de las fortalezas identificadas por la ECyR 11-12 se refirieron a
características del diseño y el uso de las evaluaciones. De tal manera que se resaltó el
que el FONART hubiera usado las recomendaciones de las evaluaciones externas para
mejorar su operación, entre las recomendaciones destacó la unificación del padrón de
beneficiarios, la reducción de tiempos de entrega de las piezas que participan en los
concursos, reducción en los tiempos de respuesta a las solicitudes de financiamiento y
en el proceso de capacitación –salvo por el padrón unificado de beneficiarios, no se
identificaron estas recomendaciones en las evaluaciones revisadas en este análisis.
También se identificaron como fortalezas el que el Fin y Propósito del programa
contribuyeran a la solución del problema identificado y estuvieran claramente
definidos. En ese sentido, la evaluación consideró que la lógica vertical y horizontal del
programa se validaron en su totalidad. La lógica vertical de la MIR se validó pues contó
con los elementos que garantizan el logro del Propósito y Fin; y la lógica horizontal de
la MIR se validó porque los indicadores son claros, relevantes, económicos, adecuados,
monitoreables, y los supuestos son los adecuados para el logro del nivel inmediato
superior.
Las debilidades identificadas por la ECyR 11-12 se refirieron a problemas de
estimación de metas y la falta de evidencia del impacto del programa. Respecto al tema
de metas la ECyR 11-12 declaró que “[l]a definición de población objetivo ha sido
subestimada a lo largo de la Administración, con lo cual la población atendida resulta
muy por encima de la población objetivo” (ibíd.: 3), y relacionado a este tema se sumó
el hecho de que, al momento de la ECyR 11-12, no se contaba con una Estrategia de
Cobertura.
El otro conjunto de debilidades identificado se refirió a que el programa no
cuenta con evidencia sobre su contribución “a mejorar las fuentes de ingreso (y/o la
condición productiva) de los artesanos que habitan en Zonas de Atención Prioritaria”
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
37
(ibídem), la falta de evidencia se extiende a una falta de evaluaciones que permitan
identificar los logros en términos de Fin y Propósito. Se recomendó que ante las
limitaciones presupuestales se buscaran alternativas viables económica y
técnicamente.
Se considera que la evaluación ofreció una visión general sobre el FONART y sus
principales obstáculos, pero no abordó uno de los problemas señalados regularmente
en las evaluaciones previas, la subjetividad de los indicadores de propósito. La
evaluación también reveló que las debilidades se concentran en el área de planeación
(particularmente la estimación de su PO) y en la de medición de resultados.
Llama la atención que no se hubiera mencionado el tema de la fuente de
información subjetiva con la que se alimentan los indicadores de propósito del
programa. Esta fue una discusión que estuvo presente a lo largo de las evaluaciones
previas pero que fue obviada.
Por otra parte, se detectaron algunas inconsistencias dentro de la evaluación. La
primera radica en que la ECyR 11-12 señaló como fortaleza del programa la validación de
su lógica vertical, no obstante, también señaló que se deben revisar los indicadores de
resultados, cuidando que se cumpla con el requisito de medir los efectos del programa
en términos del fin y el propósito. Se considera que no se puede validar la lógica
vertical si los indicadores de resultados no miden los efectos del programa.
Otra inconsistencia de la ECyR 11-12 residió en que se señaló que no se contaba
con información para saber si el programa cumplía con el indicador de satisfacción de
los beneficiarios, aún cuando en otro apartado de la evaluación se hizo referencia a “un
instrumento de 10 ítems dicotómicos para medir el grado de satisfacción de los
beneficiarios”, e incluso se propusieron algunas mejoras para dicho instrumento.
3.1.6 Evaluación de Satisfacción 2012
FONART estuvo sujeto a una evaluación de satisfacción en el año 2012, realizada por la
Universidad Autónoma de Tamaulipas. El objetivo del proyecto consistió en la
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
38
elaboración de una metodología homogénea que permitiera estimar la satisfacción de
los beneficiarios de los Programas Sociales a cargo de SEDESOL. Para este fin, en un
primer momento, se construyó un modelo teórico para estimar el Índice Mexicano de
Satisfacción de los Beneficiarios de los Programas Sociales (IMSAB), a través del uso de
ecuaciones estructurales con variables latentes. Posteriormente, se llevó a cabo la
estimación de los índices de satisfacción de cuatro programas sociales, entre ellos
FONART, a través del Método de Estimación de Máxima Verosimilitud.
Los principales resultados de la evaluación indican que el FONART cumple sólo
“regularmente” con las expectativas del beneficiario, por lo que el nivel de satisfacción
fue de 7.20 (en una escala del 1 al 10). Esto tiene que ver con dos cuestiones
fundamentales. En primer lugar, los beneficiarios perciben poca amabilidad por parte
del personal del programa y de quienes les entrega el apoyo; en segunda instancia, los
beneficiarios perciben un efecto “regular” en sus condiciones de vida tras haber
recibido el apoyo, lo cual se explica por el hecho de que probablemente los artesanos
continúan padeciendo problemas de ingresos.
En el informe de la evaluación se presentan los resultados del índice, más no se
hace referencia a las fortalezas, oportunidades o debilidades de los programas a los
que se aplicó el IMSAB. En consecuencia, tampoco se hicieron recomendaciones para
mejorar la satisfacción de los beneficiarios de los apoyos de los programas sociales.
Se considera que en el informe de la evaluación se explica claramente el proceso
a través del cual se creó el IMSAB; sin embargo, no se hacen explícitos los rangos
utilizados para determinar a qué nivel de satisfacción corresponde el puntaje obtenido
en el índice. Es decir, no queda claro por qué el nivel de satisfacción “regularmente
satisfecho” entra en un rango que abarca el puntaje 7.2. Aclarar este punto resulta
importante para darle validez externa a la metodología utilizada en la creación de este
índice.
3.1.7 Conclusiones
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
39
Durante el periodo analizado el FONART fue evaluado de manera regular. La ECyR 07
hizo recomendaciones pertinentes que ayudaron a mejorar la operación del FONART,
entre ellas se destacó la necesidad de elaborar un documento diagnóstico y un plan de
cobertura de mediano y largo plazo, la necesidad de incorporar una CUIS en las
solicitudes de acceso al programa y la importancia de tener una estructura
organizacional adecuada a las vertientes de beneficios que ofrece el programa.
Las EED que se le realizaron al FONART fueron dispares respecto a su utilidad y
recomendaciones puesto que la primera (2008-2009) realizó un análisis poco crítico,
del cual se derivaron recomendaciones poco relevantes para lograr una verdadera
mejoría en el desempeño del programa; por el contrario, las siguientes evaluaciones
revisaron con mayor detalle los indicadores, la cobertura, los ASM y detallaron mejor
sus recomendaciones.
La revisión de las EED 09-10 y 10-11 muestran que el FONART trabajó de manera
continua para precisar la definición de su PO, de tal manera que cada año se reconoció
el esfuerzo por mejorarla. Por otro lado, la revisión de estos documentos también
reveló que los evaluadores presentaron opiniones encontradas sobre a los mecanismos
implementados por el FONART para evitar duplicidades ya que para la EED 09-10 se
consideró una mejora el haber desarrollado dicho mecanismo –incorporado en la
solicitud para ingresar al programa-, mientras que para la EED 10-11, éste fue motivo de
crítica por consistir solamente en una pregunta dentro de la solicitud de incorporación
al programa. Entre estas evaluaciones también existe una falta consenso respecto a la
confiabilidad de los indicadores que provienen de la opinión de los beneficiarios.
En todas las EED se identificó que los indicadores de desempeño del programa
superaron sus metas de manera considerable y ninguna recomendó revalorar la forma
en la que se establecían las metas del programa. Se considera que ésta es una ausencia
importante pues uno de los objetivos de las EED es revisar el desempeño del programa
a la luz de sus indicadores, y en el caso de ser necesario, recomendar los ajustes
pertinentes.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
40
La segunda evaluación de consistencia y resultados que se revisó del FONART
(2011), si se le compara con la primera, ilustra muchos de los cambios realizados por el
programa: elaboración de documento diagnóstico, una definición de PO, PP y una
metodología para su medición, una elaboración de un padrón de beneficiarios y un
instrumento para medir la satisfacción de sus beneficiarios. Sin embargo, señaló un
defecto importante de la planeación del programa que se refirió a la subestimación de
la PO –que lo mismo se podría decir respecto al desempeño de sus indicadores- y la
falta de evidencia sobre el impacto del programa para mejorar el ingreso de sus
beneficiarios.
En general, la mayoría de las evaluaciones revisadas coincidieron en recomendar
mejorar la definición y cuantificación de PO, misma que fue cambiando regularmente, y
en la importancia de contar con un diagnóstico del problema así como en un programa
de mediano y largo plazo.
3.2 Evaluaciones de programas similares a FONART
A FONART se le puede comparar con una serie de intervenciones que se han llevado a
cabo en distintos países con el fin de estimular el sector de las artesanías y mejorar la
situación económica de sus beneficiarios a través de capacitaciones en cuestiones
productivas (véase la Tabla 3). A pesar de que las evaluaciones revisadas para estas
intervenciones, en muchos casos, se titulan de impacto, en realidad se aproximan más
a evaluaciones de resultados pues en ningún caso se realizó una evaluación en la que se
buscara aislar el efecto del programa y se comparara a los beneficiarios con un grupo
de control. Sin embargo, las evaluaciones son reveladoras del tipo de indicadores a los
que podría recurrir el FONART y tener una mejor percepción del efecto que está
logrando sobre sus beneficiarios. En esta sección se analizaron los programas HACER
(Honduras, 2003), Microenterprise and Small Producers (Perú, 2005), Fostering Craft
Enterprise and the Voluntary Buisness Assistance Sector (Rusia, 2005), Sharan Craft
Center (Armenia, 2005), Aid to Artisans (Ghana, 2005) y Mpukunyoni Craft Market
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
41
Project (Sudáfrica, 2005), realizados, en su mayoría, con el apoyo de la Agencia del
Gobierno de Estados Unidos para el Desarrollo Internacional (USAID) (véase Anexo 2).
Se seleccionaron estas intervenciones porque tienen objetivos similares a los del
FONART y realizan actividades similares. En general las evaluaciones revisadas
permitieron identificar que este tipo de programas tienen resultados positivos sobre el
ingreso de los artesanos beneficiarios, sobre el sector de las artesanías (en general
medido a través de su volumen de exportación), además de que una vez terminada la
intervención la mayoría de los proyectos han continuado operando de forma autónoma
y de manera exitosa.
Tabla 3. Evaluaciones analizadas de programas similares al FONART
Nombre del programa País donde se implementa Tipo de evaluación Año de la
evaluación HACER: Honduran Artisans Catalyzing Economic Revitalization
Honduras Resultados 2003
Microenterprise and Small Producers Support Project
Perú Impacto 2005
Fostering Craft Enterprise and the Voluntary Business Assistance Sector in Russia
Rusia Impacto 2005
Sharan Craft Center Armenia Desempeño 2005
Aid to Artisans Ghana Ghana Resultados 2005
Mpukunyoni Craft Market Project Sudáfrica Impacto 2005
Fuente: elaboración propia
3.2.1 HACER: Honduran Artisans Catalyzing Economic Revitalization
El programa HACER se implementó en Honduras y se revisó su evaluación de resultados
realizada en 2003. HACER buscó aumentar las oportunidades de empleo y el acceso a
los mercados de los artesanos de bajos ingresos en zonas urbanas y rurales; así mismo
buscó aumentar la capacidad de producción y marketing de las artesanías hondureñas.
Por último, buscó integrar a los artesanos hondureños al mercado internacional. Las
actividades que realizaron se hicieron en comunidades seleccionadas por el tipo de
habilidades, la necesidad de asistencia técnica y probabilidad de vender los productos
(marketability). Las actividades que se desarrollaron fueron: desarrollo del producto y
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
42
diseño, talleres de control de calidad y eficiencia en la producción, un programa de
entrenamiento en producción y un programa de entrenamiento sobre el mercado
(realizado en Estados Unidos), participación en ferias internacionales y el desarrollo de
mercados para exportar. Se considera que la población objetivo de FONART y HACER
era similar, así como los objetivos que buscaba (aumentar las oportunidades de
empleo, acceso a los mercados y capacidades de producción).
Si bien el estudio no presentó un apartado de Fortalezas y Debilidades, de su
revisión se puede inferir que el programa tuvo un efecto sostenible pues, gracias a los
entrenamientos ofrecidos, los artesanos tuvieron la capacidad de innovar
constantemente y de ponerse al corriente de las tendencias del mercado. El estudio
reveló que el programa tuvo un efecto positivo sobre la autoestima de los artesanos
beneficiarios. Otra virtud fue que se fortalecieron las redes del sector artesanal y se
espera que, en un futuro, tenga mayor dinamismo gracias a la competencia interna del
sector y ayude a preservar tradiciones culturales.
Entre las debilidades del programa se podría señalar la corta duración que tuvo
(2.5 años). El desempeño del programa estuvo influido por un entorno caracterizado
por una cultura identificada como poco empresarial, ajena al funcionamiento del
mercado y a las reglas básicas de administración.
El estudio buscó medir el impacto directo e indirecto del programa, de acuerdo
con sus objetivos. También estudió la sostenibilidad del impacto logrado, identificó
efectos no anticipados del programa sobre el sector de artesanías hondureño, otro de
los objetivos de la evaluación fue identificar lecciones aprendidas de la intervención y
cuáles son las necesidades del sector que no se han atendido. Para lograr sus objetivos
la evaluación recopiló información cualitativa y cuantitativa, combinado entrevistas
(140 artesanos, líderes artesanales, socios exportadores, compradores de las artesanías
y personal de Aid to Artisans –ATA-), visitas a las oficinas y a las tiendas. Los datos se
obtuvieron de los reportes que cada tres meses la organización HACER enviaba a
Estados Unidos sobre ventas, creación de empleos, empresas artesanales beneficiadas
por el programa, etc.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
43
Los resultados de la evaluación se pueden agregar en 3 conjuntos: las
actividades realizadas, el efecto del programa sobre los artesanos y sobre el sector
artesanal. De acuerdo con la evaluación, con las actividades del programa se benefició a
2, 209 artesanos (la meta era de 2000). De los beneficiarios, 70% fueron mujeres, y se
estimó que el programa influyó la vida de 8,000 individuos. Se ofrecieron 1,748 días de
entrenamientos en temas diversos y asesorados por profesionales de las industrias de
regalos, accesorios y productos para el hogar. El costo de incorporar nuevos
beneficiarios disminuyó con el tiempo, sobre todo después de la fase inicial en la que
incorporó el mayor número de artesanos.
El proyecto terminó 6 meses antes de lo planeado, sin embargo en dos años y
medio cubrieron 70% de la meta en términos de ingresos por las ventas de artesanías
(USD $614,000 de $800,000). Así mismo, las proyecciones reportadas por la evaluación
sobre las ventas, una vez que hubiera terminado la evaluación, eran positivas.
El proyecto generó aproximadamente 800 trabajos u oportunidades de generar
ingresos para 800 artesanos; la evaluación estimó que estos trabajos deben haber
generado, en promedio, un ingreso de USD$ 2,300 anuales, lo cual representó un
ingreso mensual promedio de USD$164 (entre 35 y 42% por encima del salario mínimo
en Honduras). El aumento en el ingreso de los artesanos tuvo efectos positivos sobre
sus familias pues en algunos casos aumentaron los recursos destinados para la
educación de sus hijos, en la infraestructura de sus hogares (pisos de concreto) o en la
autoestima de los beneficiarios.
La evaluación se avocó a conseguir principalmente información de tipo
cualitativa para dimensionar y contextualizar el análisis de los indicadores del
programa. No fue propiamente una evaluación de impacto en cuanto que no existió un
grupo de control. No obstante, con la información recabada por el programa y las
entrevistas, se realizó un reporte bastante completo que señaló el desempeño del
programa respecto a sus metas e integró las opiniones de los actores principales.
Hay que tener en cuenta que esta es una intervención realizada por el gobierno
estadounidense, que sólo duró dos años y medio (en vez de los 3 que estaba
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
44
programado) y que sólo funcionó en 8 de las 17 municipalidades de Honduras. La
información en la evaluación no deja del todo claro cómo se llevó el registro de las
ventas de las artesanías ni sobre sus precios. Aunque no fue una evaluación de impacto
propiamente dicha, pues careció de grupo de control, logró ofrecer una perspectiva
bastante general sobre el desempeño del programa gracias al haber contado con
objetivos claros e indicadores relevantes para monitorear su desempeño –en este caso
todo estaba claramente dirigido a medirse en términos económicos.
3.2.3 Microentreprise and Small Producers Support Project (MSP)
El segundo programa revisado fue el de Microentreprise and Small Producers Support
Project (MSP) y se implementó en Perú entre los años 1994-2002. El objetivo del
programa fue reducir la pobreza entre los artesanos a través un aumento en las
exportaciones de artesanías. Las principales actividades realizadas fueron 18
presentaciones en exhibiciones internacionales, identificación de compradores para las
artesanías y 850 días de talleres sobre el diseño y producción. El programa compartía
con el FONART el buscar mejorar la calidad de vida de sus beneficiarios a través del
mercado de las artesanías.
Si bien el estudio no presentó un apartado de Fortalezas y Debilidades, de su
revisión se puede inferir que en el primer grupo se cuenta el que hubieran
documentado ampliamente todas sus actividades y los logros del programa como el
haber mejorado los ingresos de los beneficiarios, así como el aumento en las ventas por
exportaciones de artesanías. Por el contrario, entre las debilidades se podría considerar
que el número de artesanos fue muy pequeño –con relación al sector de artesanías en
Perú-, el financiamiento insuficiente impidió el desarrollo exitoso de varias empresas lo
cual evitó que más artesanos se beneficiaran del programa. La evaluación también
identificó que hubo problemas de agenda entre la organización encargada de la
operación del programa en Perú y la organización representante de USAID. Otra
debilidad importante fue la sostenibilidad del proyecto pues los artesanos beneficiarios
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
45
sienten que las relaciones establecidas con los compradores internacionales no están
suficientemente consolidadas, lo cual hace dudar sobre la sustentabilidad de estas
relaciones y las exportaciones de artesanías.
La evaluación buscó medir el impacto que tuvo el programa, evaluar su
desempeño y derivar algunas lecciones sobre la intervención en Perú. Para lograr sus
objetivos la evaluación recopiló información cuantitativa y cualitativa, la cual se obtuvo
por medio de encuestas (se encuestó a 65 artesanos principalmente ubicados en Lima,
10 exportadores, 8 compradores de las artesanías y 5 miembros de Aid to Artisans –
ATA-). La parte cuantitativa provino de datos que se obtuvieron de los reportes que
cada tres meses la Asociación de Exportadores de Perú (ADEX) y ATA tenían que en
enviar sobre ventas, creación de empleos, empresas artesanales beneficiadas por el
programa, etc.
Los resultados de la evaluación se pueden integrar en dos conjuntos, los efectos
sobre los artesanos y los efectos sobre el mercado de las artesanías. Respecto a los
efectos sobre los artesanos, la evaluación reveló que en el proyecto participaron 30
exportadores y se ofrecieron talleres a 600 artesanos. De acuerdo con la encuesta, los
salarios de artesanos están tan bien remunerados como cualquier otro trabajo que los
artesanos pudieran desempeñar dadas sus calificaciones. Los trabajos de artesano son
ligeramente más demandantes pues tienen que trabajar entre 6 y 9 horas al día.
La evaluación identificó que era más probable que los artesanos beneficiarios
tuvieran los recursos suficientes para cubrir sus necesidades diarias. La evaluación
también identificó que el programa tuvo un efecto positivo sobre la vida de los
artesanos pues consideraban que tenían más dinero y estabilidad.
De acuerdo con la evaluación, los efectos del programa sobre el sector artesanal
fueron considerables, sobre todo en el sector de exportaciones. El programa tuvo un
fuerte impacto sobre la exportación de artesanías peruanas lo cual revitalizó al sector,
las exportaciones aumentaron de USD $16 a USD $29.8 millones. A pesar de sus logros,
el programa sólo benefició a un reducido número de artesanos.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
46
La evaluación buscó conseguir principalmente información de tipo cualitativa a
través de una encuesta. Se averiguó sobre los ingresos en los trabajos que realizaban
antes de dedicarse a ser artesanos de tiempo completo; así como los ingresos de
trabajos alternativos. En la evaluación no dice cómo fue que se seleccionó a los
beneficiarios, y entre los beneficiarios tampoco explicó cómo se seleccionó a los que
serían encuestados. No obstante, con la información recabada por el programa y las
entrevistas se realizó un reporte comprensivo sobre el desempeño del programa
respecto a sus metas y las condiciones de vida de los artesanos.
Hay que tener en cuenta que ésta fue una intervención realizada por el gobierno
estadounidense, que duró 8 años y que en esta ocasión se trabajó directamente con los
exportadores, y sólo de manera indirecta con los artesanos. Habría que analizar por
qué después del tiempo que operó el proyecto los actores involucrados sentían que las
relaciones no están suficientemente consolidadas. Al leer la evaluación se percibe que
hubo una controversia sobre el enfoque de trabajar directamente con los exportadores
que no se aclaró.
3.2.4 Fostering Craft Enterprise and the Voluntary Business Assistance Sector in Russia
El tercer programa revisado se implementó en Rusia entre los años 1993-1996. Los
objetivos de la intervención en Rusia fueron, en primer lugar, aumentar las
oportunidades de empleo, especialmente para las mujeres; y en segundo lugar,
fortalecer las ayudas de las Organizaciones de las Sociedad Civil (OSC) hacia el sector
artesanal. Para llevar a cabo sus objetivos, el programa realizó talleres de capacitación
a los artesanos, colocó las artesanías en cuatro exposiciones internacionales y facilitó
vínculos con importadores estadounidenses. Se considera que el FONART compartía
con esta intervención las actividades de capacitación a los artesanos así como el interés
por fortalecer el sector artesanal.
Si bien el estudio no presentó un apartado de Fortalezas y Debilidades, su
análisis reveló que en el primer grupo se podría contar el haber mejorado el ingreso de
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
47
los beneficiarios, o el haber facilitado a un reducido grupo dentro del sector de las
artesanías la transición de una económica controlada a una de libre mercado. También
se podría considerar una fortaleza el que se hubieran mantenido por sí solas las
principales compañías de artesanas ocho años después de que terminó la intervención.
Por el contrario, entre las debilidades se podría considerar el hecho de que la
innovación en cuanto al diseño de productos ha sido mínima desde que terminó el
proyecto o que los salarios de las artesanas son muy bajos.
Ocho años después de haber terminado la intervención, la evaluación midió el
impacto que tuvo el programa, así como su sostenibilidad. Para lograr sus objetivos la
evaluación trató de localizar a las OSC con las que colaboró así como a los beneficiarios
para entrevistarlos sobre su vida como artesanos y la influencia del programa. La
brecha temporal entre la intervención y la evaluación puede ser un rasgo positivo en
términos de la posibilidad de conocer los efectos de largo plazo del programa; pero
también puede levantar dudar sobre la confiabilidad de la información.
Los principales resultados del estudio se pueden agrupar en tres categorías: el
tamaño de las ventas, lo que sucedió con las OSC y las empresas que participaron, y el
impacto sobre la vida de las artesanas. De acuerdo con el estudio revisado, las ventas
acumuladas superaron el monto de financiamiento del programa a 4 años de haber
terminado el proyecto; se alcanzaron ventas por USD$60,ooo de artesanías al final del
proyecto.
Por otro lado, la mayoría de las OSC con las que se había trabajado se habían
disuelto. Las principales empresas de artesanas seguían operando y daban trabajo a
169 personas. Adicionalmente, el principal importador americano de productos rusos
daba trabajo a 200 artesanos, lo cual da un total de 369 trabajos que se sostuvieron por
8 años.
En términos de ingreso, las artesanas ganaban 100,000 rublos al mes, esto
significa un ingreso entre 35 y 53% menor que el ingreso per cápita nacional; sin
embargo este salario es mayor que la mayoría de trabajos disponibles para mujeres.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
48
La evaluación llevó a cabo un trabajo destacado al buscar a los beneficiarios y
actores principales del proyecto 8 años después de que terminó la intervención. Esta
evaluación reveló información sobre la sostenibilidad del proyecto para el caso ruso –
que se enfocó principalmente en mujeres artesanas. Por otro lado, no es una
evaluación de impacto pues no hay grupo de control y toda la información proviene de
entrevistas.
Hay que tener en cuenta que esta es una intervención realizada por el gobierno
estadounidense, que duró 3 años y que se evaluó 8 años después de que había
terminado, que no se contó un una línea base y que la mayoría de los beneficiarios
fueron mujeres. Un aspecto positivo de la evaluación fue que incorporó un anexo con
los principales indicadores de resultados del proyecto (definición, meta y resultados al
final del proyecto). Estos indicadores podrían servir como sugerencias para refinar los
indicadores del FONART.
3.2.5 Sharan Craft Center (SCC)
El programa Sharan Craft Center se desarrollo en la región de Yerevan, en Armenia
entre 1995-1997. Los principales objetivos del proyecto fueron generar empleos dentro
del sector artesanal, preservar la cultura de artesanías en Armenia y mejorar la calidad
de vida de los artesanos. El proyecto ofreció asistencia técnica en cuestiones
empresariales, realizó talleres con consultores sobre pequeños cambios o
adecuaciones para que sus productos tuvieran mayor posibilidad de insertarse en el
mercado internacional, facilitó la exposición de las artesanías a través de su
presentación en ferias y facilitó el vínculo con importadores. Al igual que el FONART el
programa buscó mejorar la calidad de vida de los artesanos y preservar la cultura de las
artesanías, entre las actividades similares se encuentra el hecho de realizar talleres así
como la exposición de los productos. El programa comenzó a operar en Armenia en un
periodo de transición después de la caída de la Unión Soviética, en esta etapa el país
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
49
entró en crisis y el desempleo aumentó significativamente. En este escenario muchas
personas calificadas recurrieron a las artesanías para sobrevivir.
Si bien el programa no presentó un apartado específico de Fortalezas y
Debilidades, de su análisis se podría considerar en el primer grupo el hecho de que el
proyecto hubiera sobrevivido 5 años después que terminara la intervención. Otra
fortaleza sería el que hubieran aumentado los salarios de los artesanos y que éstos
fueran, en promedio, mayores al ingreso armenio promedio. En términos del volumen
de venta también se considera que la intervención fue exitosa pues aumentó. Los
artesanos entrevistados consideraron que los consultores externos y los
entrenamientos aportaron habilidades y conocimientos fundamentales para el
adecuado desarrollo del proyecto y su sostenibilidad. Una última fortaleza fue que
llevaron a cabo actividades previas al inicio del proyecto que abonaron a su factibilidad.
Por el contrario, entre las debilidades de la intervención se podría contar el que
fueron muy pocos los artesanos beneficiarios, o que se creó una gran dependencia
sobre la compañía exportadora, de tal manera que si esta quebrara todos los artesanos
se quedarían sin vínculos con el mercado externo. Una última debilidad podría ser que
conforme la economía mejore, existe la posibilidad de que los artesanos busquen
regresar a los trabajos que tenían antes de la crisis.
El estudio buscó determinar los factores que contribuyeron al éxito de la
compañía SCC, enfatizando los insumos provistos por la organización ATA; asimismo
evaluó la sostenibilidad del proyecto al darle seguimiento 5 años después de que
hubiera concluido la intervención. El estudio revisó los documentos y reportes de la
intervención y realizó entrevistas con artesanos (22), consultores, personal de ATA y
SCC así como con consumidores. El estudio se realizó en 2002.
De acuerdo con el estudio, los resultados se pueden agregar entre los efectos
sobre el sector artesanal, el papel de la intervención durante la independencia de la
URSS y los efectos sobre los artesanos. Respecto al sector artesanal, el proyecto
comenzó con la meta de generar empleos para 300 artesanos, cuando éste concluyó
505 estaban empleados. De los 1,100 artesanos que se registraron al principio del
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
50
proyecto con SCC, 500 seguían activos en 2002, de los cuales 400 eran mujeres.
Durante los primeros 17 meses de vida del proyecto se generaron ventas por USD$ 61,
124. En contraste, los últimos seis meses del proyecto las ventas ascendieron a USD$
129,000. Las ventas continuaron creciendo y cubriendo sus objetivos hasta superar los
USD$ 600,000 en el año 2002.
Entre los resultados de la evaluación destacó que la intervención sirvió para
encarar la crisis por la que atravesó Armenia luego de su independencia de la URSS en
1991, y ante la enorme tasa de desempleo algunas personas encontraron refugio en el
sector artesanal; de acuerdo con la evaluación, muchos artesanos eran ingenieros,
físicos, maestros y trabajadores de fábricas durante la era soviética.
Al inicio del proyecto se buscó que el ingreso mensual de los artesanos se
aproximara a USD$ 30, al concluir el proyecto, el ingreso mensual promedio de los
artesanos armenios durante el tiempo de la intervención fue de USD$ 30.7 lo cual era
164% superior al ingreso promedio nacional. Para 2002, la evaluación halló que el
ingreso de los artesanos beneficiarios había aumentado a USD$ 60 al mes y que era
128% mayor al salario promedio en Armenia.
El estudio ofreció información que permitió contextualizar el desempeño de la
intervención en términos de ventas, empleos generados, la tasa de retorno de la
inversión y la opinión de los beneficiarios. Hay que tener en cuenta que ésta es una
intervención realizada por el gobierno estadounidense, que duró 2 años y que se evaluó
5 años después de que había terminado y que no se contó con una línea base. En esta
intervención la OSC vinculada con ATA se convirtió en una empresa exportadora y de
ventas locales de artesanías y para 2002 empleaba a 500 artesanos. Los indicadores
para medir el éxito del proyecto cambiaron conforme el proyecto se fue desarrollando.
Al inicio del proyecto el indicador principal era el número de artesanos empleados, sin
embargo, hacia el final del proyecto se enfatizó la necesidad de generar suficientes
ingresos para cubrir los costos de operación, logrando así transitar de una lógica de
proyecto de asistencia para las artesanías a una lógica de negocios orientada al
mercado. Una conclusión recurrente de las evaluaciones realizadas a los proyectos de
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
51
ATA es que las capacitaciones sobre negocios y administración, las asesorías para hacer
más rentables los productos artesanales en el mercado moderno y el uso de nuevas
técnicas han sido fundamentales para el éxito de los proyectos.
3.2.6 Aid to Artisans Ghana (ATAG)
El quinto programa revisado se implementó en Ghana entre los años 1993 y 1997. El
objetivo del programa fue mejorar la calidad de vida de los artesanos y de sus familias,
para lograrlo se ofrecieron capacitaciones (sobre la calidad del producto y sobre
cuestiones administrativa), se promocionaron los productos y se creó una red de
consumidores internacionales. El FONART compartía con esta intervención las
actividades de capacitación a los artesanos así como el interés por fortalecer el sector
artesanal.
Si bien el estudio no presentó un apartado de Fortalezas y Debilidades, el
análisis reveló que dentro del primer grupo se podría considerar el que hubiera existido
una buena coordinación entre ATA y ATAG, y el hecho de que al término de la
intervención ATAG hubiera continuado realizando talleres y vinculando artesanos con
importadores fue muy importante. Otra fortaleza de la intervención fue haber logrado
un aumento en el número de empresas artesanales. De acuerdo con las entrevistas
realizadas, el hecho de haber otorgado talleres sobre innovación en los diseños
artesanales resultó en una ventaja para las artesanías ghanesas a la hora de venderse
en el mercado internacional. En general, la intervención resultó en efectos positivos
sobre las vidas de los artesanos en términos de ingresos, ahorros y compra de equipo.
Por el contrario, entre las debilidades de la intervención se podría considerar el
que hubiera existido desconfianza entre el gremio de artesanos ante los miembros de
ATAG una vez que ellos crearon sus propias empresas de artesanías, en este sentido, el
hecho de que ATAG estaba tratando de adoptar una actitud más empresarial la podría
poner en una situación de competencia con los que fueron anteriormente sus
beneficiarios.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
52
La ATAG realizó labores relacionadas con las artesanías en Ghana desde 1987, sin
embargo la evaluación se concentró en el periodo de 1993-1997, el tiempo que duró la
intervención financiada por USAID. La evaluación documentó las principales
actividades, los resultados y las lecciones aprendidas del proyecto; y ofreció un
seguimiento a las empresas artesanales que fueron beneficiarias. El estudio revisó los
documentos y reportes de la intervención y realizó entrevistas con artesanos (62),
consultores (2), personal de ATAG así como con consumidores, en total se
entrevistaron a 100 personas. El estudio se realizó en 2003, 6 años después que terminó
la intervención.
Los resultados del estudio se pueden agregar en tres categorías: los resultados
de la intervención sobre el valor de las ventas de artesanías y las actividades realizadas,
el impacto sobre la vida de los artesanos y el impacto sobre el sector artesanal.
Respecto al valor de las ventas acumuladas, éste se aproximó a USD$ 859,000, lo cual
superó el presupuesto destinado por ATA para la operación del proyecto. Las
exportaciones de artesanías de Ghana aumentaron de USD$ 160,000 en 1989 a USD$ 11
millones en 2002; de acuerdo con la evaluación, 60% de este aumento es atribuible a la
intervención de ATA y ATAG. Respecto a las actividades realizadas, el estudio
documentó que entre 11 consultores se impartieron 424 días de talleres sobre diseño,
asesoría de negocios y un programa de entrenamiento para el mercado que se impartió
en Nueva York. Así mismo, se difundió el trabajo de los artesanos en 8 ferias
internacionales y también se coordinaron visitas de los compradores al sitio.
Respecto a la vida de los artesanos, éstos reportaron tener un ingreso 155%
superior al ingreso promedio en Ghana, sin embargo, en promedio pasan 3 meses sin
trabajo.
Por último, el impacto de la intervención sobre el sector artesanal, de acuerdo
con la evaluación, se relacionó con la existencia de 6 empresas artesanales
identificadas como grandes productores/exportadores (es decir contaban con un
modelo de producción en el que vendían colecciones enteras a mercados americanos y
europeos, que contaban con una bodega, daban seguimiento y análisis a sus ventas y
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
53
que tenían procesos de empaquetado y envío). Así mismo, se crearon más de una
docena de pequeñas y medianas empresas artesanales que no existían antes de la
intervención, y que daban crédito a los talleres de diseño impartidos por la ATA por
haber sido fundamentales para su supervivencia.
El estudio reconoció que es imposible distinguir los impactos derivados de la
intervención realizada con financiamiento de USAID del trabajo realizado por ATAG de
manera posterior. La mayoría de los datos del estudio provinieron de los reportes de
indicadores del programa y esta información se complementó con las entrevistas con
los actores relevantes del proceso que sirvieron para contextualizar los resultados de la
intervención.
Hay que tener en cuenta que ésta fue una intervención realizada por el gobierno
estadounidense, que duró 4 años, se evaluó 6 años después de que terminó y no se
contó con un una línea base. Una carencia de la evaluación es que no reportó cuántos
artesanos se capacitaron, la mayoría de los logros de la intervención se presentaron en
términos de ventas de artesanías. Una conclusión recurrente de las evaluaciones
realizadas a los proyectos de ATA es que las capacitaciones sobre negocios y
administración, las asesorías para hacer más rentables los productos artesanales en el
mercado moderno y el uso de nuevas técnicas fueron fundamentales para el éxito de
los proyectos. En términos de sostenibilidad y ventas de artesanías se podría decir que
la intervención en Ghana fue exitosa.
3.2.7 Mpukunyoni Craft Market Project
El proyecto de mercado de artesanías Mpukunyoni se realizó en Sudáfrica y se evaluó
en 2005. El programa se ubicó dentro del Proyecto de Desarrollo Económico Local del
gobierno local de KwaZulu-Natal, cuyo objetivo general era estimular y apoyar el
desarrollo económico a nivel local. El proyecto surgió por iniciativa de los artesanos en
la municipalidad de Hlabisa, quienes operaban de manera informal en sus casas y se
concibió como una oportunidad para que los artesanos rurales involucrados con la
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
54
elaboración de prendas tradicionales expusieran sus trabajos y mejoraran su situación
económica al conectarse a los mercados doméstico, provincial, nacional e
internacional. El producto final de la intervención fue la creación de un espacio en el
que los artesanos de la región pudieran concentrarse y exponer sus productos. El
objetivo particular del programa de artesanías era reducir la pobreza mediante la
creación de empleo en el sector de las artesanías, enfocado para mujeres y jóvenes en
la municipalidad de Hlabisa. El proyecto se implementó a lo largo de la ruta R618 para
atender las necesidades los artesanos de la región. Compartía con el FONART el hecho
de que buscaba reducir la pobreza enfocándose al sector de las artesanías y que
buscaba facilitar su acceso al mercado.
Si bien la evaluación no tuvo un apartado de Fortalezas y Debilidades, su revisión
permite inferir que en el primer grupo se podría considerar el hecho de que, de acuerdo
con las entrevistas, los beneficiarios consideran que este era un proyecto importante
en su región, por encima de otros relacionados con parques o aves de corral.
Entre las debilidades se podrían ubicar la falta de una adecuada comunicación
entre las autoridades y los beneficiarios, que redundó en una percepción de que el plan
de negocios no fue adecuadamente monitoreado; además que no se le dio seguimiento
por parte de las autoridades. Un grave problema que tuvo este programa se refirió a la
falta de registros documentales. Finalmente, otro problema fue la falta de continuidad
entre los coordinadores del proyecto, lo cual dio una mala impresión a los beneficiarios
y afecto el liderazgo del proyecto.
La evaluación buscó averiguar cuál fue la utilidad de los recursos destinados
para este programa y si se lograron sus objetivos. Un segundo objetivo de la evaluación
fue probar diferentes herramientas de evaluación y monitoreo. Para evaluar el impacto
del programa se recurrió a una revisión de los documentos del programa así como a
una serie de entrevistas con los actores principales. El análisis documental se hizo con
base en los términos de referencia del programa y el reporte de cierre de actividades,
sin embargo se identificó una falta de soporte documental y no se pudieron localizar las
copias sobre la factibilidad para realizara la intervención o un plan de negocios,
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
55
documentos que supuestamente tenían toda la información para justificar la
intervención. Por su parte, a las entrevistas asistieron 25 participantes y se les preguntó
su opinión sobre el éxito del proyecto, sus retos y las lecciones aprendidas.
Las entrevistas con los beneficiarios indagaron sobre los orígenes del programa,
a lo cual los artesanos respondieron que había sido producto de una iniciativa de varias
organizaciones artesanales que se congregaban a vender sus artesanías a lo largo de la
carretera –nunca mencionaron que había sido el gobierno-. Los beneficiarios
reportaron que el propósito del proyecto es crear una situación de ingreso estable y
sostenible, consideran que las artesanías son una opción de tiempo completo con lo
que podrán reducir la pobreza.
Respecto al financiamiento los beneficiarios reportaron que los recursos se
usaron para la adquisición de estructura física, poner bardas, entrenamientos de
habilidades artísticas, compra de maquinaria y materia prima. En términos de
perspectiva de género se constató que el proyecto está dirigido por mujeres y sólo un
hombre atendió a los talleres. Respecto las habilidades de los artesanos, los
beneficiarios reportaron que no se sentían con el mismo entrenamiento que otros
competidores en la región y que por lo tanto sus productos eran de menor calidad.
En el sentido estricto, ésta no es una evaluación de impacto pues no se comparó
el efecto de la intervención sobre un grupo de tratamiento y uno de control, más bien
se aproxima a una evaluación de resultados. La mayoría de los datos presentes en el
reporte se refieren a los resultados documentados por el programa y están
contextualizados por las entrevistas a los beneficiarios. Cabe señalar que el equipo
evaluador reportó que entre la documentación otorgada por el programa no se
contaba con estudios de probabilidad de éxito del programa ni un plan de negocios,
supuestamente estos reportes debían contener toda la información necesaria del
proyecto.
Este fue un programa que no tuvo un adecuado registro documental y con
serios errores de comunicación que afectaron su desempeño. En comparación con los
proyectos desarrollados por USAID-ATA se observa que hizo falta un mayor énfasis en
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
56
la capacitación a los artesanos sobre el uso o modernización de técnicas tradicionales,
así como un mayor esfuerzo por vincular a los beneficiarios con el mercado.
Ciertamente no fue una evaluación de impacto y la información presentada difícilmente
sirve para evaluar el éxito o su desempeño pues no se presentan metas ni resultados ni
recursos utilizados.
2.2.8 Hallazgos del análisis de las evaluaciones realizadas a programas similares al
FONART
Después de la revisión de las experiencias en Honduras, Perú, Rusia, Armenia y Ghana
se podría decir que el modelo de fomento a las artesanías de USAID-ATA funcionó
bastante bien, aunque no tuvo las mismas proporciones que el FONART como se puede
apreciar en la tabla 4. Por otro lado, la evaluación del programa en Sudáfrica ilustra la
importancia de documentar minuciosamente los programas y tener una idea clara de
los objetivos de cada evaluación, más allá de esto la información en dicha evaluación no
fue de mucha utilidad para el FONART. La información en la tabla revela que la
intervención más comparable con el FONART -en cuanto al número de artesanos
beneficiarios- sería la realizada en Perú, sin embargo, dado que el FONART no cuenta
con la información sobre la venta de las artesanías de sus beneficiarios es difícil
comparar sus resultados.
Tabla 4. Comparación entre programas de fomento a las artesanías.
País de origen Honduras Perú Rusia Armenia Ghana México
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
57
Nombre del programa
HACER: Honduran Artisans
Catalyzing Economic
Revitalization
Microenterprise and Small Producers
Support Project
Fostering Craft Enterprise and the Voluntary
Business Assistance
Sector in Russia
Sharan Craft
Center
Aid to Artisans Ghana
FONART
Tiempo que duró la intervención
2001-2003 1994-2002 1993-1996 1995-1997 1993-1997 1972-2012
Costo del proyecto usd $ 1.2 millones
usd $ 2.4 millones
usd $ 790,000 usd $
537,000 usd $
666,000
MX $ 180,545,449 (ejercido en
2011)
Beneficiarios 2,209 15,000 369 500 * 17,243
Valor de las ventas reportadas en la
evaluación
usd $ 614,000 (valor de
ventas en el último año).
usd $ 23 millones (valor
de ventas acumuladas).
usd $ 60,000 (ventas
reportadas en el último año).
usd $ 2.5 millones (valor de
ventas acumulada
s).
usd $ 859,000
*
Fuente: elaboración propia con base en las evaluaciones revisadas, el cuarto informe trimestral a la cámara de diputados de 2011. No se incluyó información del programa realizado en Sudáfrica por no tener la información para compararlo.
Hay aspectos positivos que se podrían aprender de estas intervenciones como el
énfasis en talleres y cursos para hacer más atractivas las artesanías para el mercado, y
los talleres y capacitaciones sobre temas empresariales y administrativos. Por otro
lado, a la luz de las evaluaciones revisadas se sugiere considerar la pertinencia de que el
FONART mida su desempeño con base en resultados económicos y de volumen de
ventas. Esto permitiría tener indicadores objetivos, y comparables con otras
intervenciones, y también facilitaría dimensionar el impacto del programa sobre la vida
de los artesanos en términos de sus ingresos. También, como se ha visto en otros
países se recomendaría reforzar la vertiente de capacitación tomando como modelo las
prácticas que han probado ser exitosas en otros países y dividir los talleres en
adaptación de los productos a los mercados internacionales, capacitación en temas de
administración y presentación final del producto –esto implicaría prolongar la duración
de los talleres y trabajar de manera más cercana con los artesanos-.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
58
Finalmente, sería deseable que se estudiara la supervivencia de los proyectos
artesanales apoyados, tomando como medida de éxito las ventas generadas y en
cuánto tiempo superan el monto del apoyo otorgado. Idealmente, el apoyo del
FONART debería de darse una sola vez y eso debería ser suficiente para que los
artesanos beneficiados lograran insertar sus artesanías en el mercado nacional e
internacional, y fueran capaces de administrar un negocio de artesanías sostenible.
3.3 Agenda de Evaluación
Los resultados de las evaluaciones realizadas a FONART durante el periodo analizado
reflejan un desempeño medianamente satisfactorio del programa. FONART ha
mejorado gradualmente su cobertura y otros aspectos relativos al diseño y operación.
Al mismo tiempo, el análisis de las evaluaciones realizadas al programa pone en
evidencia la preocupación de los evaluadores por contar con una adecuada justificación
sobre por qué es necesario que desde la SEDESOL se destinen fondos para preservar
las artesanías. Esta preocupación, sin duda, es producto de un diagnóstico poco claro
sobre el problema que atiende el FONART.
El análisis de las evaluaciones de programas internacionales similares a FONART
fue útil para, desde un panorama más amplio, definir recomendaciones sobre el
programa. A partir de este análisis, se hace evidente la necesidad de incorporar en los
objetivos del programa el que los proyectos artesanales que se apoyan logren ser
sostenibles. De ahí se sigue que la lógica causal detrás de los resúmenes narrativos
propuestos para la MIR del programa11 estén orientados a dejar en claro que el motivo
por el que FONART es un programa que opera desde la SEDESOL es porque el objetivo
último al que busca contribuir es al de mejorar el bienestar económico de los artesanos
11 El Resumen Narrativo sugerido para el nivel de Fin es el de “contribuir al bienestar económico de los beneficiaros preservando la actividad artesanal entre los artesanos cuyo ingreso es inferior a la línea de bienestar, mediante la generación de proyectos sostenibles”; mientras que el del nivel de Propósito se recomienda que continúe siendo “Artesanos productores cuyo ingreso es inferior a la línea de bienestar, mejoran sus condiciones productivas”.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
59
en situación de pobreza, preservando la actividad artesanal. Esto no significa negar la
importancia de otros propósitos asociados a FONART, como la capacidad exportadora
de los artesanos. La lógica causal propuesta supone que estos objetivos solo pueden
ser atendidos desde FONART si los artesanos desarrollan capacidades productivas para
que sus proyectos sean sostenibles.
Es por lo anterior que, con los indicadores sugeridos para la MIR en la sección de
monitoreo, no sólo se busca identificar si los proyectos artesanales son sostenibles,
sino que se pretende identificar si las capacidades de los artesanos realmente están
siendo desarrolladas a través de los apoyos que brinda el programa (lo cual se sugiere
que sea medido a través del aumento que los artesanos tienen en sus ventas).
Se recomienda, por tanto, realizar un nuevo diagnóstico en el que se dé cuenta
de la complejidad del problema que busca atender el programa, pero en el que, al
mismo tiempo, se deje claro que el objetivo último de FONART es el de procurar el
bienestar de la PA, preservando la actividad artesanal.
Tomando en cuenta que en la presente meta evaluación se identificaron algunas
deficiencias en los indicadores de la MIR, se sugiere que la agenda de evaluación (véase
Anexo 3) comience por llevar a cabo, en 2013, una evaluación de indicadores con el fin
de contar con evidencia para determinar si éstos deben ser conservados, o en qué
medida deberán modificarse. El objetivo de esta evaluación es el de verificar que los
indicadores de la MIR del FONART en efecto estén capturando la información para la
cual fueron diseñados. La metodología con la cual se sugiere que se lleve a cabo esta
evaluación es, en primer lugar, mediante un trabajo de gabinete en el cual se realice un
análisis de las definiciones, métodos de cuantificación, frecuencia de medición y medios
de verificación de cada indicador. En segundo lugar, mediante un trabajo de campo que
capture información para confirmar que la información de cada indicador coincida con
los resultados del análisis llevado a cabo en el trabajo de gabinete. Esta evaluación se
justifica porque los indicadores con los que hasta ahora cuenta el programa presentan
algunas dificultades en cuanto a los medios de verificación de la información, con lo
cual la confiabilidad de la información que alimenta los indicadores resulta
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
60
cuestionable. Esta problemática puede ser identificada en su justa dimensión a través
de la evaluación sugerida, pues con ella será posible comprobar que los indicadores
son suficientes para medir el logro de sus resultados.
Debido a que los resultados de la encuesta de satisfacción realizada al FONART
indican que los beneficiarios no perciben una mejora en sus condiciones de vida tras
haber participado en el programa, se recomienda que, en 2014, se realice una
evaluación de procesos con el fin de conocer cómo los procesos del programa
conducen al logro del Propósito, así como para detectar problemas operativos. De
acuerdo con la evaluación de satisfacción, la mala percepción que se tiene del
programa tiene que ver con cuestiones administrativas, por lo que esta evaluación será
ideal para identificar en qué eslabón del proceso de implementación es en donde
surgen los problemas de eficiencia, que terminan por afectar la percepción de la PA
sobre el programa. Aunque los resultados de esta evaluación deben ser tomados con
cierta reserva debido a que el instrumento presentó algunas fallas en el diseño, se
recomienda llevar a cabo una evaluación de procesos con el objetivo de conocer cómo
los procesos del programa conducen al logro del Propósito. Se sugiere que la
evaluación valore la eficiencia y oportunidad con la que se lleva a cabo la
calendarización del ejercicio de los recursos, así como la entrega de los mismos (sobre
todo en la vertiente de Apoyos a la Producción). Además, para la vertiente de
Capacitación Integral y Asistencia Técnica es importante que se identifique si el
diagnóstico se lleva a cabo en los plazos establecidos, y si el plan de trabajo se cumple
en tiempo y forma. En cuanto a la vertiente de Adquisición de Artesanías y Apoyo a la
Comercialización, se recomienda evaluar el proceso mediante el cual se seleccionan a
los productores cuyas artesanías serán compradas, a fin de que éste coincida con los
criterios establecidos en este sentido en las ROP, a decir, la baja o nula existencia del
producto en los almacenes del FONART. Se recomienda que esta evaluación analice
que la coordinación y celebración de los Concursos de Arte Popular se lleve a cabo con
apego a lo dispuesto en las ROP. Finalmente, en esta evaluación se deberían evaluar
también los mecanismos de recolección de información utilizados para alimentar los
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
61
indicadores, con el objetivo de conocer si éstos son confiables.
En 2015, se sugiere llevar a cabo una evaluación complementaria con el
propósito de generar evidencia sobre cómo distintos componentes del programa
generan efectos diferenciados en el Propósito y el Fin de la intervención. Muchas de las
decisiones sobre el diseño del programa, o sobre las asignaciones presupuestarias a
distintos componentes del programa, no están sustentadas en evidencia que permita
especificar por qué conviene un diseño sobre otro, o por qué se espera que sea más
rentable asignar mayor presupuesto a un componente determinado. Para esas
decisiones es necesario contar con evidencia que se pueda tener de forma
razonablemente económica, a partir de micro evaluaciones concentradas en averiguar
los efectos diferenciados de diseños alternativos del programa.
Este tipo de evaluaciones no se preguntan sobre los efectos de los programas,
sino sobre la eficacia relativa de atributos de diseño (Banerjee y Duflo:2011; Appel y
Karlan: 2012). En otras palabras, el objetivo de estas evaluaciones no es el de saber si el
programa sirve, sino qué componentes del programa contribuyen mejor al propósito
del programa. En el caso específico del FONART, el objetivo es saber a qué tipos de
apoyos se deben otorgar, a quién se les debe dar el apoyo y cuánto se le debe otorgar.
Es decir, el objetivo es contar con evidencia para definir si los apoyos deben ser
económicos, de capacitación o si deben de consistir en premios; para evaluar la
conveniencia de otorgar distintos apoyos a un mismo beneficiario, logrando que los
apoyos que brinda el programa abarquen toda la cadena productiva, o bien, continuar
distinguiéndolos como se hace hasta ahora; para definir a qué tipo de proyectos se les
debe otorgar el apoyo, y qué montos de apoyo tienen un mejor rendimiento.
Por otra parte, es importante mencionar que los indicadores aquí sugeridos,
congruentes con aquéllos utilizados en programas internacionales similares a FONART,
han sido propuestos para cumplir un objetivo adicional: contar con la información
necesaria para poder evaluar si el proyecto está siendo eficaz. Así, se sugiere que en
2016, se lleve a cabo un análisis de costo-beneficio con la finalidad de conocer cuánto le
está costando al programa generar cada proyecto artesanal, dado el beneficio que
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
62
genera (en términos de ventas). Para realizar el análisis de costo beneficio, es
importante que, a partir de la entrada en vigor de las nuevas reglas de operación
(2013), se comience a recolectar información acerca de las ganancias que los artesanos
productores generan por concepto de ventas. De hecho, se recomienda hacer un uso
más estratégico del CUIS, esto es, utilizarlo como medio para optimizar los mecanismos
de recopilación de información, para facilitar la realización de cualquier tipo de
evaluación. Para tal fin, se sugiere que la aplicación del CUIS, se realice de manera anual
para una muestra representativa de beneficiarios, o bien, que se cree un instrumento
ad hoc (una encuesta) que sirva como mecanismo de monitoreo para capturar
información relevante para el programa12.
Una vez subsanadas las deficiencias detectadas relativas a los puntos en el
proceso operativo en los cuales la gestión del programa es poco eficaz y eficiente, se
deberá llevar a cabo, en 2017, una nueva evaluación de satisfacción que permita
conocer si los errores en el proceso han sido enmendados de forma adecuada.
Adicionalmente, esta evaluación se justifica porque la encuesta de satisfacción antes
realizada partió de un instrumento estandarizado para varios programas sociales, por
lo que en muchos casos las preguntas no eran pertinentes para conocer la percepción
de la población, dadas las características particulares del FONART. Por ejemplo, se
evaluó de la misma forma a los programas cuyos beneficios se entregan en una sola
emisión, al inicio de la participación de los beneficiarios en el programa, que aquéllos
cuyos apoyos se entregan de manera periódica, a lo largo del tiempo que permanece el
beneficiario en el programa. Además, en el caso del FONART los artesanos productores
se pueden ver beneficiados por uno o varios apoyos, cada uno dirigido a fortalecer un
eslabón de la cadena productiva, por lo que la percepción general de dos beneficiarios
con respecto al desempeño del programa, puede partir de dos experiencias
independientes (y excluyentes) respectivamente.
Ya sea porque el instrumento de medición de la satisfacción de los beneficiarios
12 Si bien el equipo evaluador considera que el CUIS es un instrumento que, de implementarse anualmente, podría servir para monitorear el desempeño del programa; también es consciente de que ésta decisión no depende de la unidad responsable del programa. Por tal motivo, se sugiere como una alternativa el crear un instrumento ad hoc para monitorear el desempeño del programa.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
63
haya sido inexacto, o porque los beneficiarios realmente no se encuentren del todo
satisfechos con los beneficios que genera el programa en la PA, es importante llevar a
cabo esta evaluación para conocer la percepción de los beneficiarios sobre los
beneficios que genera el programa. En específico, se recomienda que esta evaluación
mida la satisfacción de los beneficiarios en los siguientes aspectos: la difusión y
accesibilidad de la convocatoria, la complejidad de los trámites para ser beneficiario del
Programa, la oportunidad con la que el beneficiario recibe el apoyo y la magnitud de la
contribución del apoyo otorgado para desarrollar el proyecto artesanal.
En 2017, se recomienda llevar a cabo una evaluación de impacto sólo si el
programa logra mejorar sus métodos para recolectar información sobre los
beneficiarios, así como contar con un diseño acorde a la intervención que debe llevar a
cabo el FONART. Este diseño, a su vez, debe ser consistente con el problema
identificado en el diagnóstico programado para 2013. Como sucede para todos los
programas, es importante contar con evidencia sólida para poder atribuir en el cambio
en el bienestar económico de la PA del FONART a la intervención. De ahí que pueda ser
pertinente llevar a cabo una evaluación de impacto del programa. En ese caso, se
recomienda que la evaluación se lleve a cabo mediante el método de Emparejamiento
por Puntajes de Propensión, seguido del de Diferencia en Diferencias (DD) para
conocer qué parte de la variación temporal en el efecto presente en el grupo de
tratamiento se produce gracias al programa (pues esta metodología identifica la
diferencia en la variación del nivel de ventas antes y después de la intervención, tanto
en el grupo de tratamiento como en el de control). Para conformar el grupo de control
se sugiere evaluar la posibilidad de utilizar la información recuperada por la ENOE, pues
en ella se presentan datos socioeconómicos de las personas y, en el apartado IV del
cuestionario, se especifica el tipo de ocupación que tiene la persona encuestada.
Se sugiere que mediante esta evaluación se valore la incidencia del programa
cuatro aspectos: en las capacidades productivas de los artesanos; en su bienestar
económico, lo cual se sugiere medir a partir del ingreso del hogar y del incremento en
las ventas; en la ampliación de su mercado, mediante una variable que dé cuenta del
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
64
aumento en el número de compradores, y en la preservación de la actividad artesanal,
lo cual puede ser medido mediante la percepción de los propios artesanos con
respecto a su contribución a la actividad artesanal, así como al identificar si los
artesanos buscan enseñar a sus hijos o familiares las técnicas para la elaboración este
tipo de productos.
Es importante señalar que no se recomienda llevar a cabo esta evaluación antes
de 2017, puesto que se considera que a partir de 2013 y hasta el 2017 es necesario que
el programa cuente con definiciones adecuadas de las poblaciones potencial y objetivo.
En segundo lugar, es deseable que antes de realizar una evaluación de impacto el
programa cuente con datos sobre las ventas de los beneficiarios, así como con un
diseño consolidado, lo cual será resultado de los ajustes realizados a partir de los
hallazgos de distintas evaluaciones programadas para el periodo previo a 2017.
En el periodo 2013-2018, se recomienda llevar a cabo evaluaciones específicas de
desempeño para conocer la evolución de los indicadores, la cobertura y el desempeño
general del programa. Es deseable que se realicen de forma rutinaria (cada dos años),
pues independientemente de los cambios en el diseño a los que se sujete el programa,
las EED permiten conocer la forma en la que se está desarrollando el programa. Una
vez ajustados los indicadores y construidos los mecanismos de recolección de
información (idealmente mediante el CUIS), estas evaluaciones podrían ser realizadas
de manera rápida y económica. Por ello, es importante destacar la importancia de
recoger información a partir de la entrada en vigor de las ROP de 2013, de lo contrario
se terminará destinando recursos a la implementación de evaluaciones cuyo alcance
será muy limitado a causa de la falta de datos. Se requiere contar con información
socioeconómica de los beneficiarios (por ejemplo, ingresos reales derivados de la venta
de los proyectos artesanales, porcentaje de exportaciones y número de compradores)
al inicio del Programa y, para un grupo representativo, en los años siguientes para
poder llevar a cabo el análisis de costo beneficio, así como la evaluación de impacto en
donde sea factible medir los efectos del programa en el bienestar de la PA.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
65
4. SECCIÓN DE MONITOREO
Esta sección presenta los principales cambios a los que estuvo sujeta la MIR durante el
periodo 2007-2012. También se analiza su Resumen Narrativo a nivel de Fin y Propósito
(véase Anexo 5), así como el nombre, la definición, el método de cálculo, la meta y los
resultados obtenidos por los indicadores de Fin y Propósito. Así mismo, se trató de
identificar con base en los documentos de Seguimiento a los Aspectos Susceptibles de
Mejora, Cambios a la MIR y las evaluaciones a las que estuvo sujeto el programa, cuál
fue el origen de dichos cambios. El análisis sólo comprende los indicadores vigentes en
la MIR 2012, así como los cambios que sufrieron en el periodo analizado. En el Anexo 6
se presenta una lista de todos los indicadores del programa para los niveles de Fin y
Propósito, utilizados entre 2007 y 2012.
4.1 Análisis histórico de los principales cambios en la MIR del FONART
La MIR del FONART ha experimentado varios cambios en el número de sus indicadores.
El máximo número de indicadores que utilizó fue de 34 en 2008 y éstos se redujeron
hasta llegar a 15 en 2012. La sección de Fin ha conservado el mismo indicador durante el
periodo analizado (Porcentaje de artesanos beneficiarios que incrementaron su ingreso
derivado de la actividad artesanal) y la sección de Propósito también mantuvo 4
indicadores durante el periodo analizado (Porcentaje de artesanos beneficiados por la
adquisición de artesanías y apoyos a la comercialización que ampliaron mercado,
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de
participar en los concursos, Porcentaje de artesanos capacitados que aplican en su
producción las técnicas enseñadas, y Porcentaje de artesanos beneficiados con apoyos a la
producción que incrementaron su producción). Entre 2008 y 2009, contó con 5
indicadores, pero el indicador Porcentaje de beneficiarios que se sienten satisfechos con
el programa se pasó a la sección de actividades. Los elementos de Fin y Propósito serán
analizados con mayor detalle en las siguientes secciones.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
66
Como se puede ver en la Gráfica 2, el número de indicadores para la sección de
componente se ha mantenido alrededor de 5. Estos indicadores presentan información
sobre el número de artesanos capacitados, los artesanos beneficiados con apoyos a la
producción, los beneficiados por la adquisición de artesanías y apoyos a la
comercialización, el número de premios otorgados en los concursos de arte popular así
como los beneficios entregados a los artesanos (Artesanos capacitados, Artesanos
beneficiados con apoyos a la producción, Artesanos beneficiados con adquisición de
artesanías y apoyos a la comercialización, Premios otorgados en concursos de arte
popular, y Beneficios entregados a artesanos). Estos indicadores corresponden a cada
una de las cuatro vertientes del programa. El indicador de beneficios entregados a los
artesanos es el que concentra a todos los beneficiarios. Sin embargo, hay vertientes
que deberían contar con dos indicadores cada una, por ejemplo, la vertiente de
capacitación integral y asistencia técnica, así como la vertiente de adquisición de
artesanías y apoyo a la comercialización, pues al ser dos actividades distintas, se
debería distinguir entre los artesanos que reciben uno u otro apoyo. También sería
importante distinguir entre el número de concursos realizados a nivel nacional, estatal
o regional. La vertiente de capacitación integral y asistencia técnica debería contar con
indicadores agrupados por tipo de capacitación. Con respecto a los apoyos a la
producción se recomienda revalorar la inclusión del indicador de Porcentaje de grupos
solidarios apoyados con financiamiento, pues el programa hace la diferencia entre
apoyos a grupos o individuales, de tal manera que sus indicadores deberían reflejar esta
diferencia también.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
67
Gráfica 2. Número de indicadores de la MIR de FONART en el periodo 2007-2012.
Fuente: elaboración propia con base en MIR 2007-2012.
La sección de la MIR que más cambios experimentó fue la de actividades: llegó a
contar con un máximo de 23 indicadores en 2008 que se fueron adecuando hasta llegar
actualmente a 5. De estos 5 indicadores, 3 han estado presentes desde 2007 mientras
que 2 se comenzaron a registrar desde 2010. Esta también fue la sección que más
indicadores nuevos –que no hubieran estado presentes en la MIR previamente–
presentó. Los 5 indicadores vigentes analizan la gestión de los recursos, así como la
satisfacción de los beneficiarios.
4.2 Cambios en el Resumen Narrativo del nivel de Fin
En 2007, de acuerdo con el Resumen Narrativo, el Fin del FONART era “contribuir al
incremento del ingreso de los artesanos en situación de pobreza”. Sin embargo, el Fin
del programa sufrió modificaciones durante los años 2009, 2010 y 2012 (véase Tabla 5).
4 5 5 4 4 4
4 5 5 5 5 5
6
23
17 15 14
5
0
5
10
15
20
25
30
35
40
2007 2008 2009 2010 2011 2012
Fin Propósito Componentes Actividades
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
68
Lo que revelan estos cambios es que se atendieron recomendaciones de evaluaciones
externas y se alineó el Fin del programa con la definición de PO, de tal manera que para
2012 el Fin del FONART es “contribuir a mejorar las fuentes de ingreso de los artesanos
cuyo ingreso es inferior a la línea de bienestar, mejorando sus condiciones
productivas”. Al contrastar ambas versiones del Fin se observa que la de 2012 es más
específica en cuanto a la PO (artesanos cuyo ingreso es menor a la línea de bienestar).
El primer cambio del Resumen Narrativo del nivel de FIN provino de una
recomendación hecha en la Evaluación de Consistencia y Resultados 2007 (ECyR 07) en
la que se sugiere "modificar el Resumen Narrativo para vincularlo al mejoramiento en el
nivel de ingresos de los artesanos, y mantener el indicador que tiene la Matriz original"
(2007: 25). La evaluación también recomendó “establecer en Reglas de Operación
(ROP) definiciones concisas de las PP y PO delimitando, en el caso de la PP, a los
artesanos que presentan la problemática en general” (2007: 112); las recomendaciones
se implementaron hasta 2009.
Por otro lado, los cambios respecto al Fin del programa de 2010 y 2012 reflejan
cambios que se implementaron sobre la definición de PO y que repercutieron en el Fin
del FONART. El cambio que se dio en 2010 consistió en especificar que se atendería a
aquellos artesanos que “habiten en zonas de atención prioritaria o que habiten fuera
de éstas y se encuentren en situación de pobreza patrimonial” (MIR FONART, 2010);
para 2012 se volvió a modificar esta especificación de tal forma que ahora el programa
se enfoca en aquellos artesanos cuyo “ingreso sea inferior a la línea de bienestar” (MIR
FONART, 2012). En las evaluaciones no se hallaron recomendaciones específicas sobre
los cambios para 2010, aunque en la Evaluación Específica de Desempeño 2010-2011
(EED 10-11) se advierte que en 2010 INEGI tendría nuevos datos sobre el ingreso de los
hogares (ENIGH 2010) y que la medición de pobreza multidimensional representaría
cambios sobre la PP del FONART. Por su parte, la Evaluación de Consistencia y
Resultados 2011 (ECyR 11) mencionó que dado que la política social se “encuentra en un
periodo de alineación a la medición de la pobreza multidimensional” la precisión de las
definiciones de PP y PO deberían ocurrir en el mediano plazo (2011: 3).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
69
Aunque las recomendaciones de evaluaciones revisadas respecto al Resumen
Narrativo del FONART fueron más bien indirectas en cuanto a que advertían cambios
en la estimación de la PP y PO, el cambio que tuvo el Resumen Narrativo a nivel de Fin
en 2012 fue producto de una recomendación de la propia SEDESOL en la que observó
una falta de alineación entre el objetivo expresado en las ROP y el Resumen Narrativo y
recomendó que se cambiara la redacción para que dijera “contribuir a mejorar las
fuentes de ingreso de los artesanos cuyo ingreso es inferior a la línea de bienestar,
mejorando sus condiciones productivas” (Documento interno de la DGEMPS, 2012).13
4.3 Cambios en el Resumen Narrativo del nivel de Propósito
Como se puede apreciar en la Tabla 5, el Resumen Narrativo del FONART a nivel de
Propósito sólo experimentó dos cambios: uno en 2010 y otro en 2012. En ambos casos,
al igual que el Resumen Narrativo de Fin, fueron cambios para alinear la redacción con
las precisiones hechas a la definición de PO del programa. Con cada cambio se precisó
más la población a la que está dirigido el FONART, en 2008 el Propósito era “artesanos
en situación de pobreza mejoran su condición productiva”. En 2010 cambió a
“artesanos productores que habiten en Zonas de Atención Prioritaria, o fuera de éstas
y se encuentren en situación de pobreza patrimonial mejoran su condición productiva”.
Este cambio se puede atribuir a la ECyR 07 en la que recomiendan “modificar la
redacción para determinar con claridad el tipo de artesanos que atiende el Programa,
enfocando dicha población únicamente a la condición de pobreza” (2007: 22), pero no
hay ninguna explicación sobre el retraso en atender el cambio. Para 2012 el Propósito
es “artesanos productores cuyo ingreso es inferior a la línea de bienestar mejoran su
condición productiva”. El último cambio, también fue producto de una sugerencia
realizada por parte de SEDESOL.
13 En los informes de Cuenta Pública emitidos por la Auditoría Superior de la Federación no se identificaron comentarios relativos al FONART, se revisaron los informes de 2007, 2008, 2009 y 2010.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
70
Tabla 5. Evolución de los Resúmenes Narrativos de los niveles de Fin y Propósito
2007 2008 2009 2010 2011 2012
FIN
Contribuir al incremento del ingreso de los
artesanos en situación de pobreza.
Contribuir al incremento del ingreso de los artesanos en situación de pobreza.
Contribuir al incremento del a mejorar las fuentes de
ingreso de los artesanos en situación de pobreza,
mejorando sus condiciones productivas.
Contribuir a mejorar las fuentes de ingreso de
los artesanos en situación de pobreza que habiten en Zonas
de Atención Prioritaria, o que habiten fuera de éstas y se encuentren
en situación de pobreza patrimonial.
Contribuir a mejorar las fuentes de ingreso de los artesanos que habiten en
Zonas de Atención Prioritaria, o que habiten
fuera de éstas y se encuentren en situación de pobreza patrimonial.
Contribuir a mejorar las fuentes de ingreso de los artesanos que habiten en Zonas de Atención Prioritaria, o que habiten fuera de éstas y se encuentren en situación de pobreza patrimonial cuyo ingreso es inferior a la línea de bienestar, mejorando sus condiciones productivas
PRO
PÓSI
TO
Artesanos en situación de pobreza fortalecidos en su
ciclo productivo
Artesanos en situación de pobreza fortalecidos en su
ciclo productivo mejoran su condición productiva.
Artesanos en situación de pobreza mejoran su
condición productiva.
Artesanos productores que habiten en Zonas
de Atención Prioritaria, o fuera de éstas y se
encuentren en situación de pobreza patrimonial mejoran su condición
productiva.
Artesanos productores que habiten en Zonas de
Atención Prioritaria, o fuera de éstas y se
encuentren en situación de pobreza patrimonial mejoran su condición
productiva.
Artesanos productores que habiten en Zonas de
Atención Prioritaria, o que habiten fuera de éstas y se encuentren en situación de pobreza patrimonial cuyo
ingreso es inferior a la línea de bienestar mejoran su
condición productiva.
Fuente: elaboración propia a partir de las MIR de FONART de 2007 a 2012
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
71
4.4 Pertinencia del Resumen Narrativo 2012 ante los objetivos y
actividades del FONART
De acuerdo con las ROP, el objetivo del FONART es “contribuir a mejorar las fuentes de
ingreso de los artesanos cuyo ingreso es inferior a la línea de bienestar, mejorando sus
condiciones productivas” (ROP FONART, 2012: 2), y su objetivo específico busca
“mejorar las condiciones productivas” de la PO. Para conseguir este objetivo el
FONART realiza actividades que se pueden agregar en 4 vertientes y con distintos
montos de apoyo por artesano o por grupo de artesanos, como se puede observar en
la Tabla 6.
El documento Metodología para la elaboración de la Matriz de Indicadores de los
programas presupuestarios de la APF señala respecto al Resumen Narrativo del nivel de
Fin del programa, que “es la descripción de cómo el programa contribuye, en el
mediano o largo plazo a la solución de un problema de desarrollo o a la consecución de
los objetivos estratégicos de la dependencia” (CONEVAL, s.f: 14). Actualmente el
Resumen Narrativo de Fin del programa explica que contribuirá a mejorar las fuentes
de ingreso de la PO mejorando sus condiciones productivas. Sin embargo, tomando en
cuenta las actividades que se realizan en el marco del FONART, se considera que el
Resumen Narrativo no refleja la verdadera contribución del programa a los artesanos
productores. Es decir, en realidad el fin último que persigue el FONART va más allá de
un aumento en el ingreso; de hecho, se cree que el FONART contribuye al aumento en
el bienestar económico de los artesanos productores, y para lograrlo, la solución que
brinda el programa no es la mejora de las condiciones productivas, sino la generación
de proyectos artesanales sostenibles.
La lógica causal es entonces la siguiente: el FONART desarrolla las capacidades
productivas de la PA, con lo cual se generan proyectos artesanales sostenibles, y en
consecuencia, se contribuye tanto al bienestar económico como a preservar la
actividad artesanal entre los productores. De esta forma, el Resumen Narrativo puede
estar expresado de la siguiente forma: “contribuir al bienestar económico de los
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
72
beneficiaros preservando la actividad artesanal entre los artesanos cuyo ingreso es
inferior a la línea de bienestar, mediante la generación de proyectos sostenibles". Es
importante que el Resumen Narrativo a nivel de Fin exprese la contribución del
programa al bienestar económico, puesto que este atributo del programa es tan
importante como el de la preservación de las artesanías. De hecho, en las propias ROP
del programa se concibe al programa como “un vehículo para lograr la independencia
económica de los artesanos mexicanos de acuerdo a una perspectiva multidimensional
del fenómeno artesanal (…), que surge como una respuesta a la necesidad de
promover la actividad artesanal del país y contribuir así a la generación de un mayor
ingreso familiar de los artesanos” (ROP, 2012: 16).
Por este motivo, es necesario hacer hincapié en el componente “sostenible” de
los proyectos artesanales que impulsa este programa. Los programas equivalentes en
otros países (como los implementados por la Agencia para el Desarrollo Internacional
del gobierno de Estados Unidos en Honduras, Perú, Armenia, Rusia y Ghana) ponen
especial énfasis en la procuración de proyectos que cumplan con esta característica. Se
considera que se debería incorporar en el objetivo de FONART la inserción en el
mercado o la sostenibilidad de los proyectos; a la luz de los programas mencionados en
el apartado de Evaluación, el FONART debería buscar ser una intervención que capacite
y facilite la inserción de los artesanos y sus productos en el mercado nacional y global
de tal manera que cada uno de los proyectos fuera sostenible en sí mismo, exitoso en el
largo plazo y así se pudiera ayudar a mejorar las fuentes de ingreso de los artesanos.
Sin el componente de sostenibilidad, el objetivo del FONART y su Resumen Narrativo
de Fin carecen de un objetivo sustantivo para evaluar el éxito del programa en el
mediano y largo plazo.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
73
Tabla 6. Actividades del FONART y montos de apoyo.
Vertientes Actividades Monto
Capacitación
Capacitación Integral
Transmisión de conocimientos en organización, materias primas, proceso productivo, comercialización, informática, administración y valoración cultural.
$12,000 por artesano.
Asistencia Técnica Mejoramiento de la condición productiva de los artesanos.
6,000 por artesano
Apoyos a la producción
Individuales Para la adquisición de activo fijo y capital de trabajo destinado a la producción artesanal.
$15,000 una sola vez al año.
Grupales $225,000 sin rebasar
$15,000 por persona.
Adquisición de artesanías y apoyo
a la comercialización
Se compra la producción de un artesano.
$15,000 al año.
Apoyos a la comercialización
(renta de espacios, empaques,
transportes, etc.)
Individuales $ 15,000
Grupales $225,000 sin rebasar
$15,000 por persona.
Concursos de Arte Popular
Nacional $ 125,000
Estatal $ 15,000
Regional $ 10,000
Fuente: elaboración propia con base en las Reglas de Operación 2012.
Por su parte, el documento Metodología para la elaboración de la Matriz de
Indicadores de los programas presupuestarios de la APF señala que el Resumen Narrativo
a nivel de Propósito debe expresar “el resultado directo a ser logrado por la población
objetivo como consecuencia de la utilización de los componentes (bienes y servicios
públicos) producidos o entregados por el programa. Es la aportación específica a la
solución del problema” (CONEVAL, s.f: 14). En este sentido, el Resumen Narrativo de
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
74
Propósito del FONART expresa que la PO mejorará su condición productiva.
A diferencia del Resumen Narrativo para el nivel de Fin, se considera que el
Resumen Narrativo para este nivel sí refleja los resultados directos que se logran como
consecuencia de la utilización de los componentes, con excepción de aquéllos relativos
a los concursos de arte popular y de compras de artesanías. Si bien estos componentes
representan vertientes de apoyo que incentivan a los artesanos a mejorar la calidad de
sus productos (puesto que suponen una oportunidad para adquirir reconocimiento
dentro del gremio y de la propia comunidad), no queda clara la relación causal entre la
premiación en el concurso o bien, el otorgamiento del apoyo “adquisición de
artesanías” a un beneficiario y el Propósito del programa (mejora de las condiciones
productivas). Es decir, con la adquisición de artesanías o con los concursos no se
mejoran las “condiciones productivas”, sino que se premian.
4.5 Análisis de los indicadores para los niveles de Fin y Propósito
A continuación se presenta un análisis sobre la evolución de los indicadores de los
niveles de Fin y Propósito, en el periodo 2007-2012, así como de su pertinencia y
congruencia a la luz de los resúmenes narrativos diseñados para estos mismos niveles
(véase Anexo 6).
Indicador de Fin “Porcentaje de artesanos beneficiados que incrementaron su ingreso
derivado de la actividad artesanal”
El indicador de Fin del FONART ha sido estable durante el periodo analizado (véase
Tabla 7). Si bien experimentó cambios menores respecto a su nombre, el análisis de su
definición y su fórmula revela que éste no ha cambiado durante el sexenio. Por otro
lado, en la revisión de las evaluaciones al FONART sólo se halló una recomendación
para cambiar dicho indicador14. La EED 09-10 señaló que "existe espacio de mejora para
14 Ir a Anexo 1 para encontrar una ficha técnica de todas las evaluaciones externas realizadas a FONART.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
75
redefinir el indicador de Fin y diseñar mecanismos objetivos de recolección de
información que alimenten estos indicadores" (2009-2010: 14). A pesar de que la
evaluación no presentó propuestas concretas para atender la recomendación, la
necesidad de diseñar un mecanismo de recolección de información sigue siendo un
problema para el indicador, pues no se han reportado sus resultados durante todo el
periodo analizado. De acuerdo con la información del PASH, es un indicador cuyos
datos se presentan cada tres años, por lo tanto deberían existir, por lo menos,
información para dos años, pero ese no ha sido el caso. Se considera que esto es un
problema grave que debería resolverse.
Tomando en cuenta que el CUIS no se utiliza de manera estratégica como
instrumento de recolección de información para monitorear y evaluar al programa
(pues el CUIS sólo se aplica una vez a cada beneficiario, inclusive si éste recibe apoyos
del programa por varios años consecutivos, lo cual sucede en las mayorías de las
ocasiones), se recomienda utilizar un indicador que cumpla con las características
establecidas al respecto por el CONEVAL. En específico, y considerando que el
Resumen Narrativo sugerido para el nivel de Fin plantea como la solución que brinda el
programa el desarrollo de proyectos artesanales sostenibles, se sugiere utilizar como
indicador el porcentaje de proyectos artesanales apoyados, que permanecen después
de dos años de recibido el apoyo.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
76
Tabla 7. Cambios en el indicador de Fin “Porcentaje de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal”
Fuente: elaboración propia a partir de las MIR de FONART de 2007 a 2012
2007 2008 2009 2010 2011 2012
Nombre
Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.
Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.
Porcentaje de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal
Porcentaje de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal
Porcentaje de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal
Porcentaje de artesanos beneficiados que incrementaron su ingreso derivado de la actividad artesanal
Definición
Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.
Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.
Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.
Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.
Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.
Método de
Cálculo
(Número de Artesanos que incrementaron su ingreso derivado de la actividad artesanal / No de artesanos beneficiados)*100
(Número de Artesanos que incrementaron su ingreso derivado de la actividad artesanal / Nº de artesanos beneficiados)*100
(Número de Artesanos que incrementaron su ingreso derivado de la actividad artesanal / Nº de artesanos beneficiados)*100
(Número de artesanos que incrementaron su ingreso derivado de la actividad artesanal / Número de artesanos beneficiados)*100
(Número de artesanos que incrementaron su ingreso derivado de la actividad artesanal / Número de artesanos beneficiados)*100
(Número de artesanos que incrementaron su ingreso derivado de la actividad artesanal / Número de artesanos beneficiados)*100
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
77
Indicador de Propósito “Porcentaje de artesanos beneficiados por adquisición de
artesanías y apoyos a la comercialización que ampliaron mercado”
El indicador de Porcentaje de artesanos beneficiados por adquisición de artesanías y
apoyos a la comercialización que ampliaron mercado se vincula directamente a la
vertiente de adquisición de artesanías y apoyo a la comercialización. Como se puede
apreciar en la Tabla 8, en 2009 y 2010 se cambió su nombre, además en 2010 también se
modificó su definición y método de cálculo. Dado que la ED 2007 no hizo
recomendaciones sobre cambios en los indicadores, y la EED 2008-2009 hizo una buena
valoración del indicador, se presume que el cambio de 2009 fue producto de la
iniciativa del programa o de alguna evaluación interna.15 El cambio consistió en hacer
más conciso el nombre del indicador: en 2008 se llamaba “Porcentaje de artesanos
beneficiados por adquisición que ampliaron mercado con respecto a los artesanos
beneficiados por adquisición” y en 2009 se llamó “Porcentaje de artesanos
beneficiados por adquisición que ampliaron mercado”, de tal manera que se eliminó
una frase que hacía el nombre redundante, pero que delimitaba el total de beneficiarios
sobre los que se calculaba el porcentaje. Se considera que este cambio sobre el nombre
no fue importante, además de que no alteró su método de cálculo.
Por su parte, la EED 2009-2010 no hizo ninguna recomendación respecto a este
indicador y se limitó a señalar que "el indicador es pertinente. Mide la eficacia del
programa en fortalecer la posición de los artesanos en el mercado. Es igualmente
relevante y confiable" (2009-2010: 4). En esta ocasión también se puede suponer que
los cambios realizados sobre el nombre, definición y método de cálculo del indicador se
realizaron por iniciativa del programa o por recomendaciones de evaluaciones internas.
En 2010, el nombre del indicador se amplió para que expresara el tipo de apoyos sobre
los que se calcula el indicador, de tal manera que el nombre del indicador fue
“Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la
comercialización que ampliaron mercado”. Este cambio también se reflejó en el
15 La EED 2008-2009 valoró el indicador de la siguiente manera "el indicador reúne las características de pertinencia, relevancia, claridad y confiabilidad" (2008-2009: 7).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
78
método de cálculo y en la definición, dónde, además, se agregó una puntualización
sobre lo que significa para el programa la expresión “ampliación de mercado”
(aumento en el número de compradores). Se considera un aspecto positivo el que se
agregara lo que se entiende por “ampliación de mercado”. Este indicador no ha sufrido
cambios desde 2010.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
79
Tabla 8. Cambios en el indicador Propósito “Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado”
Fuente: elaboración propia a partir de las MIR de FONART de 2007 a 2012
2007 2008 2009 2010 2011 2012
Nombre
Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición.
Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición.
Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado
Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado
Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado
Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado
Definición
Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición.
Porcentaje de artesanos beneficiados por adquisición que ampliaron mercado con respecto a los artesanos beneficiados por adquisición.
Porcentaje de beneficiados que por el otorgamiento de apoyos a la comercialización y por la adquisición de sus artesanías, ampliaron mercado, es decir, aumentaron el número de sus compradores.
Porcentaje de beneficiados que por el otorgamiento de apoyos a la comercialización y por la adquisición de sus artesanías, ampliaron mercado, es decir, aumentaron el número de sus compradores.
Porcentaje de beneficiados que por el otorgamiento de apoyos a la comercialización y por la adquisición de sus artesanías, ampliaron mercado, es decir, aumentaron el número de sus compradores.
Método de Cálculo
(Número de artesanos beneficiados por adquisición que ampliaron mercado / Número artesanos beneficiados por adquisición) * 100
(Número de artesanos beneficiados por adquisición que ampliaron mercado / Número artesanos beneficiados por adquisición) * 100
(Número de artesanos beneficiados por adquisición que ampliaron mercado / Número artesanos beneficiados por adquisición) * 100
(Número de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado / Número artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización) * 100
(Número de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado / Número artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización) * 100
(Número de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado / Número artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización) * 100
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
80
Por otro lado, el número de artesanos que ampliaron el número de compradores
no es el mejor indicador para expresar el desempeño del programa sobre esta
vertiente. En primer lugar, este indicador debería ser trasladado al nivel de
Componente, y una vez ahí habría que tener un indicador para cada actividad, pues la
adquisición de artesanías no es igual a los apoyos a la comercialización y actualmente,
con este indicador se les agrega.
Se recomienda utilizar un indicador con el cual realmente se pueda conocer si
los apoyos que brinda el programa inciden en una mejora en las condiciones
productivas de los artesanos (pues éste es el propósito del programa). Un buen proxy
para saber esto es a través de la medición del aumento en las ventas de los proyectos
artesanales, un año después de recibido el apoyo. Otra opción para medir si las
condiciones productivas mejoraron es la siguiente: desvincular, en todos los
indicadores de Propósito, el tipo de apoyo que el programa otorga, del objetivo que se
desea alcanzar al otorgarlo. Es decir, en lugar de que el indicador pretenda medir el
porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la
comercialización que ampliaron mercado, se recomienda que el indicador mida
únicamente el resultado que el programa desea obtener a partir de un determinado
componente, esto es, la ampliación del mercado. Así, el indicador propuesto para este
nivel es el porcentaje de artesanos productores que ampliaron su mercado a partir de
su participación en el programa. El método de cálculo sugerido es el siguiente:
(Número de artesanos beneficiados que ampliaron mercado)/(total de artesanos
beneficiados) * 100.
Ambas alternativas presentan problemas para la recolección de información,
pues de acuerdo con los operadores del programa, los artesanos no llevan un registro
sobre sus ventas o el número de compradores. De cara a la imposibilidad de obtener
esta información a partir de datos objetivos, debido a las particularidades de los
beneficiarios, se recomienda que esta información se continúe obteniendo a partir del
“Estudio muestral para obtener indicadores de Propósito”. No obstante, es importante
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
81
que la forma en la que se le pregunte este aspecto a los artesanos no induzca una
respuesta. En otras palabras, se recomienda que en vez de preguntarles directamente
si ellos consideran que han ampliado su mercado desde que son beneficiarios del
programa, se les pregunte, por ejemplo, cuántas personas le compraban sus piezas
antes de recibir el apoyo del FONART, seguido de una pregunta que referente a
cuántas personas le compran sus piezas desde que es beneficiario del programa.
En cualquier caso, el actual indicador sí cuenta con información sobre su
desempeño y, como se observa en la Gráfica 3, el indicador ha superado sus metas cada
año excepto en 2011, año en que los resultados y las metas convergieron. Las metas
aumentaron muy poco durante el sexenio, a pesar de que en los primeros años fueron
superadas por un amplio margen, también parece ser un problema que el indicador
hubiera tenido muy buenos resultados (alrededor de 73%) al principio para terminar con
una marcada caída -32%. Esto podría ser indicativo de que la forma en la que se estiman
las metas ha subestimado el desempeño del programa, por lo que se recomienda
ajustar la meta con base en el desempeño de los últimos años, así como hacer
explícitos los procedimientos y los criterios con los que se estima dicha meta.
Gráfica 3. Desempeño del indicador “Porcentaje de artesanos beneficiados por adquisición de artesanías y apoyos a la comercialización que ampliaron mercado”
Fuente: elaboración propia con datos del PASH (2012) y EED 2009-2010.
0%
20%
40%
60%
80%
100%
2008 2009 2010 2011
Meta Resultado
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
82
Indicador de Propósito “Porcentaje de artesanos que declararon mejora en la calidad
de su producción después de participar en los concursos”
El indicador de Porcentaje de artesanos que declararon mejora en la calidad de su
producción después de participar en los concursos está directamente vinculado a la
vertiente de concursos populares que realiza el FONART, por lo que este tipo de
indicador sería más adecuado para el nivel de Componente.
En todo caso, como se puede apreciar en la Tabla 9, el indicador sufrió cambios
en 2009 respecto a su nombre y en 2010 respecto a su definición. Sin embargo, se
considera que estos cambios se deben haber realizado por iniciativa del programa o
por recomendación de alguna evaluación interna porque la EED 2008-2009 declaró que
el indicador era pertinente, relevante, claro y confiable (2008-2009: 8) y por su parte la
EED 2009-2010 declaró el indicador requería de “mayor claridad conceptual para ser
más confiable” (2009-2010: 7), pero no dio más información sobre cómo mejorarlo. Por
último, ni los comentarios de CONEVAL a la MIR 2010, ni los de los documentos internos
de la DGEMPS, hicieron alguna recomendación de cambio sobre dicho indicador. Al
revisar el indicador, se observa que el cambio se realizó respecto a su nombre en 2009
y consistió en eliminar una frase para hacerlo más conciso, de forma que pasó de ser
“Porcentaje de artesanos que declararon mejora en la calidad de su producción
después de participar en los concursos, con respecto al total de artesanos
concursantes” en 2008 a “Porcentaje de artesanos que declararon mejora en la calidad
de su producción después de participar en los concursos”. Este cambio se homologó un
año después con la definición en la que también se quitó la frase “con respecto al total
de los artesanos concursantes”. Sin embargo, el método de cálculo del indicador
permaneció constante durante el periodo analizado de tal manera que no se considera
que hayan sido cambios sustantivos sobre el indicador. Como se puede apreciar en la
Gráfica 4 los resultados de este indicador siempre han superado sus metas, aunque en
los últimos años el margen por el que se superan las metas se ha reducido. Esta
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
83
tendencia revela que las metas han subestimado la capacidad del programa, por lo
tanto se deberían ajustar en función del desempeño obtenido en los últimos años. Se
recomienda hacer explícitos los criterios utilizados para establecer las metas de dicho
indicador. De acuerdo con la ficha técnica, este indicador obtiene su información de los
registros administrativos del programa.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
84
Tabla 9. Cambios en el indicador de Propósito "Porcentaje de artesanos que declaran mejorías en la calidad de la producción después de participar en los concursos"
Fuente: elaboración propia a partir de las MIR de FONART de 2007 a 2012
2007 2008 2009 2010 2011 2012
Nombre
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos con respecto al total de artesanos concursantes.
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos, con respecto al total de artesanos concursantes
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos
Definición
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos, con respecto al total de artesanos concursantes
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos, con respecto al total de artesanos concursantes
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos,
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos,
Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos,
Método de
Cálculo
(Número de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número de artesanos concursantes) * 100
(Número de Artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número. de artesanos concursantes)*100
(Número de Artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número de artesanos concursantes)*100
(Número de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número de artesanos concursantes) * 100
(Número de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número de artesanos concursantes) * 100
(Número de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos / Número de artesanos concursantes) * 100
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
85
Debido a que los premios de los concursos son económicos, la revisión de este
indicador no permite una interpretación clara sobre su lógica causal pues la relación
entre participar en un concurso y mejorar la calidad de la producción no resulta obvia.16
De tal forma, este indicador no se considera pertinente para medir el Propósito, sino
que debe ser trasladado al nivel de Componente, y ahí ser mejorado. Para mejorar la
medición de la vertiente de concursos artesanales, se podría recurrir a medir el número
de artesanos que participan en los concursos del FONART, lo cual revelaría información,
indirectamente, sobre el conocimiento que se tiene de los concursos y la importancia
que tienen para la PO.
Gráfica 4. Desempeño del indicador "Porcentaje de artesanos que declararon mejoras en la calidad de su producción después de participar en sus concursos”, (2008-2011).
Fuente: elaboración propia con base en el PASH (2012).
16 Por otro lado, si el fin de los concursos es reconocer a los artesanos por el trabajo que han hecho -premiando sus prácticas- difícilmente se podría esperar un cambio en la calidad; un resultado de los concursos artesanales podría ser el dar a conocer un nuevo artesano a nivel nacional, estatal o regional, lo cual debería tener mayor incidencia sobre la venta de sus artesanías, mayor prestigio entre su comunidad, etc.
0%
20%
40%
60%
80%
100%
120%
2008 2009 2010 2011
META RESULTADOS
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
86
Indicador de Propósito “Porcentaje de artesanos beneficiados con apoyos a la
producción que incrementaron su producción”
El indicador de “Porcentaje de artesanos beneficiados con apoyos a la producción que
incrementaron su producción” está directamente vinculado con la vertiente de apoyos
a la producción, por lo cual se recomienda trasladarlo al nivel de Componente.
En cualquier caso, como se puede apreciar en la Tabla 10, este indicador sufrió
cambios de nombre en 2008, 2oo9 y 2010; en 2010 también se modificó su definición y
método de cálculo. Los cambios consistieron en hacer el nombre más corto; sin
embargo la revisión de la ECyR 07 y la de la EED 08-09 reveló que no se hicieron
recomendaciones respecto a este indicador, de hecho la EED 08-09 declaró que el
indicador “reúne las características pertinencia, relevancia y confiabilidad” (2008-2009:
6). El nombre del indicador en 2007 era “Porcentaje de artesanos financiados que
incrementaron su producción con respecto al total de artesanos financiados”, para
2008 se eliminó la palabra “financiados” y para 2009 se volvió a agregar la palabra
“financiados” en el mismo lugar, pero se eliminó el final de la definición de tal manera
que en 2009 el indicador se llamaba “Porcentaje de artesanos financiados que
incrementaron su producción”. La EED 09-10 analizó este indicador y concluyó que “es
uno de los indicadores más relevantes y confiables de la MIR” (2009-2012: 5). Por su
parte, CONEVAL declaró que este era un indicador relevante, claro, monitoreable y
económico (Informe de sesiones de la mesa técnica de revisión de indicadores de
resultados, Programa del Fondo Nacional de Fomento a las Artesanías, 2009). A la luz de
esas opiniones, se asume que los cambios se realizaron por iniciativa propia o por la
recomendación de alguna evaluación interna. En 2010 el nombre del indicador cambió
otra vez y se hizo más puntual al indicar a qué tipo de artesanos y vertiente del
programa está evaluando.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
87
Tabla 10. Cambios en el indicador de Propósito "Porcentaje de artesanos que aplican en su producción las técnicas enseñadas"
Fuente: elaboración propia a partir de las MIR de FONART de 2007 a 2012
2007 2008 2009 2010 2011 2012
Nom
bre
Porcentaje de artesanos financiados que incrementaron su producción con respecto al total de artesanos financiados.
Porcentaje de artesanos que incrementaron su producción con respecto al total de artesanos financiados.
Porcentaje de artesanos financiados que incrementaron su producción
Porcentaje de artesanos beneficiados con apoyos a la producción que incrementaron su producción
Porcentaje de artesanos beneficiados con apoyos a la producción que incrementaron su producción
Porcentaje de artesanos beneficiados con apoyos a la producción que incrementaron su producción
Def
inic
ión
.
Número de artesanos financiados que incrementaron su producción por número de artesanos financiados.
Número de artesanos financiados que incrementaron su producción por número de artesanos financiados.
Porcentaje de artesanos apoyados que incrementaron su producción, derivado del apoyo otorgado por la vertiente de Apoyos a la Producción.
Porcentaje de artesanos apoyados que incrementaron su producción, derivado del apoyo otorgado por la vertiente de Apoyos a la Producción.
Porcentaje de artesanos apoyados que incrementaron su producción, derivado del apoyo otorgado por la vertiente de Apoyos a la Producción.
Mét
odo
de C
álcu
lo
(Número de artesanos financiados que incrementaron su producción / No de artesanos financiados) * 100
(Número de artesanos financiados que incrementaron su producción / Nº de artesanos financiados) * 100
(Número de artesanos financiados que incrementaron su producción / Nº de artesanos financiados) * 100
(Número de artesanos beneficiarios con apoyos a la producción que incrementaron su producción / Número de artesanos apoyados) * 100
(Número de artesanos beneficiarios con apoyos a la producción que incrementaron su producción / Número de artesanos apoyados) * 100
(Número de artesanos beneficiarios con apoyos a la producción que incrementaron su producción / Número de artesanos apoyados) * 100
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
88
Desde 2010 el indicador se llama “Porcentaje de artesanos beneficiados con
apoyos a la producción que incrementaron su producción”. El cambio en el nombre
también modificó su definición expresando que el indicador es un porcentaje –y no un
número como aparecía en la definición anterior– y que se refiere a los artesanos que
aumentaron su producción derivado del apoyo de esta vertiente. En el método de
cálculo, si bien cambió la redacción el espíritu de la fórmula es el mismo: Total de
artesanos que aumentaron su producción / total de artesanos apoyados.
Además de trasladar este indicador al nivel de Componente, se recomienda que
su cálculo sea más específico pues el número de artesanos apoyados se podría
interpretar como el total de artesanos apoyados por el FONART y este indicador se
refiere a los artesanos que recibieron apoyos económicos para la producción, por lo
tanto se debería ajustar la redacción de la fórmula.
Como se puede apreciar en la Gráfica 5, el desempeño de este indicador siempre
ha superado su meta, esto quiere decir que el cálculo de las metas ha subestimado el
desempeño del programa y se deberían ajustar. La fuente de este indicador, de
acuerdo con su Ficha Técnica, es una encuesta. Este indicador se podría mejorar si, en
vez de estimar cuántos artesanos declaran que aumentaron su producción, pudiera
estimar en cuántas piezas aumentó la producción de los artesanos beneficiarios. Al
igual que en otros indicadores revisados, en este caso se podría agregar una pregunta
en la solicitud de inscripción al programa relativa al número de piezas que el artesano
hizo el año previo para que posteriormente con la encuesta se indagara respecto al
número de piezas que elaboró el artesano un año después de haber recibido el apoyo
para la producción. Este indicador sería más preciso si la información no proviniera de
una encuesta sino se mantuviera un registro del número de piezas producidas y
vendidas, esto se podría obtener a través de establecerlo como obligación de los
beneficiarios, lo cual a la vez les ayudaría para tener registros administrativos mejor
documentados. Como sugerencia se propone que la meta del indicador se podría
establecer con base en la información proporcionada por los solicitantes y calcular el
promedio del número de artesanías producidas y buscar que todos los artesanos
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
89
aumenten su producción en una desviación estándar.
Gráfica 5. Desempeño del indicador "Porcentaje de artesanos beneficiados con apoyos a la producción que incrementaron su producción"
Fuente: elaboración propia con base en el PASH (2012) y EED 2009-2010.
Indicador de Propósito "Porcentaje de artesanos capacitados que aplican en su
producción las técnicas enseñadas"
El indicador Porcentaje de artesanos capacitados que aplican en su producción las
técnicas enseñadas se vincula directamente con la vertiente de capacitación integral y
asistencia técnica, por lo cual se recomienda trasladarlo al nivel de Componentes.
En cualquier caso, como se puede apreciar en la Tabla 11 este indicador cambió
en 2009 y 2010. Al revisar las EED 2008-2009 y 2009-2010, no se halló ninguna
recomendación para modificarlo, de hecho, ambas declararon que era relevante y
confiable. Por lo tanto, se asume que las modificaciones al indicador se hicieron por
iniciativa del programa o por una recomendación de evaluaciones internas no
revisadas. En 2007, el nombre del indicador era “Porcentaje de artesanos capacitados
que aplican en su producción las técnicas enseñadas con respecto a los artesanos
0%
20%
40%
60%
80%
100%
120%
2008 2009 2010 2011
Meta
Resultado
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
90
capacitados”, el primer cambio al indicador se realizó sobre su nombre en 2009 y
consistió en hacerlo más breve eliminando la frase “con respecto a los artesanos
capacitados”; desde entonces el nombre no ha cambiado. El segundo cambio se hizo
en 2010 también fue un cambio sobre la redacción en la que se pasó de “Porcentaje de
artesanos capacitados que aplican en su producción las técnicas enseñadas con
respecto a los artesanos capacitados” a “Porcentaje de artesanos que aplican en su
producción las técnicas enseñadas en las capacitaciones que imparte la vertiente”. Se
considera que estos cambios no fueron sustantivos pues el método de cálculo del
indicador no se modificó. De acuerdo con la Ficha Técnica, la información con la que
alimenta dicho indicador proviene de una encuesta.
Como se puede apreciar en la Gráfica 6 este indicador ha superado cada año sus
metas, aunque se observa una tendencia hacia la convergencia. Esto quiere decir que el
desempeño del programa con respecto a este indicador ha decaído: de haber
alcanzado porcentajes de 100% en los primeros años, posteriormente se colocó
alrededor del 70%, sin embargo este resultado sigue siendo superior a su meta. Se
considera que las metas han subestimado el desempeño del programa y habría que
ajustarlas con base en su desempeño.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
91
Tabla 11. Cambios en el indicador de Propósito “Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas”.
Fuente: elaboración propia a partir de las MIR de FONART de 2007 a 2012
2007 2008 2009 2010 2011 2012
Nom
bre
Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados.
Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados.
Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas
Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas
Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas
Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas
Def
inic
ión
Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados.
Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas con respecto a los artesanos capacitados.
Porcentaje de artesanos que aplican en su producción las técnicas enseñadas en las capacitaciones que imparte la vertiente
Porcentaje de artesanos que aplican en su producción las técnicas enseñadas en las capacitaciones que imparte la vertiente
Porcentaje de artesanos que aplican en su producción las técnicas enseñadas en las capacitaciones que imparte la vertiente
Mét
odo
de C
álcu
lo
(Número de artesanos que producen con las técnicas enseñadas en la capacitación / Número de artesanos capacitados) * 100
(Número de artesanos que producen con las técnicas enseñadas en la capacitación / Número de artesanos capacitados) * 100
(Número de artesanos que producen con las técnicas enseñadas en la capacitación / Número de artesanos capacitados) * 100
(Número de artesanos que producen con las técnicas enseñadas en la capacitación / Número de artesanos capacitados) * 100
(Número de artesanos que producen con las técnicas enseñadas en la capacitación / Número de artesanos capacitados) * 100
(Número de artesanos que producen con las técnicas enseñadas en la capacitación / Número de artesanos capacitados) * 100
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
92
Por otro lado, se considera que este indicador no es suficiente para evaluar el trabajo
que realiza el FONART en la vertiente de capacitación y asistencia técnica. Se
recomienda que, además de ubicar este indicador en el nivel de Componente, éste sea
desagregado en tres indicadores respecto a la capacitación técnica: uno relativo a la
producción (por ejemplo, número de artesanías realizadas con técnicas enseñadas, o
retomar los indicadores de actividades relativos a los prototipos), otro respecto a la
adopción de buenas prácticas administrativas (por ejemplo, número de artesanos con
inventario) y otro relacionado a la comercialización (por ejemplo, aumento en el
número de compradores). También en el nivel de Componente, debería haber un
indicador que le dé seguimiento a las actividades que se realizan para la capacitación
técnica, por ejemplo si el Comité de Validación para Proyectos Artesanales se reúne
regularmente, también podrían valorar una muestra estadísticamente representativa
de artesanías realizadas por los beneficiarios para sopesar el uso de las nuevas técnicas.
Gráfica 6. Desempeño del indicador “Porcentaje de artesanos capacitados que aplican en su producción las técnicas enseñadas”
Fuente: elaboración propia con base en el PASH (2012).
Esta es una vertiente del FONART a la que habría que ponerle mayor atención
pues las evaluaciones de las intervenciones realizadas por programas equivalentes en
otros países revelan que la mayoría de los artesanos valoran mucho las capacitaciones
recibidas y que éstas resultaron fundamentales para una adecuada inserción en los
0%
20%
40%
60%
80%
100%
120%
2008 2009 2010 2011
Meta Resultado
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
93
mercados globales. Por otro lado, el estudio Factores de éxito en los negocios de
artesanías en México (2007) concluyó que existen nueve factores de éxito relacionados
con los negocios de artesanías: innovación administrativa, impacto del financiamiento,
tecnología de la producción, tecnología en administración, capacidad en el manejo de
proceso, del empaque, diferenciación e información. La mayoría de estos factores se
realizan en la vertiente de capacitación y asistencia técnica, por lo tanto se considera
que había que diseñar más indicadores para estimar el trabajo que se está
desempeñando en este rubro, por ejemplo: número de artesanos capacitados por
temas (uso de recursos sustentables, administración, etc.).
4.6 Conclusiones
La revisión de las prácticas de monitoreo del FONART nos permite concluir que el
FONART ha tenido una gran variación respecto al número de indicadores utilizados. El
nivel de Actividades es el que mayor volatilidad presentó en el periodo analizado.
El Resumen Narrativo de Fin no refleja el objetivo último al que el programa
busca contribuir. Se recomienda que como fin último se defina la mejora en el bienestar
económico de la PO, y que se establezca que la forma en la que el programa contribuye
al logro de este fin sea la generación de proyectos artesanales sostenibles. Es
importante que se incorpore el elemento de sostenibilidad de los proyectos, ya que
esta información permitiría saber qué tan útiles son los apoyos del FONART para
mejorar el bienestar económico de sus beneficiarios en el largo plazo, pues idealmente
se debería buscar que la intervención ocurra en un momento y que posteriormente los
beneficiarios ya no requieran el apoyo.
En cuanto al Resumen Narrativo a nivel de Propósito, se considera que éste es
correcto. Sin embargo, los indicadores establecidos para este nivel reflejan los bienes y
servicios que produce el programa para cumplir con su propósito, de ahí que se
recomiende trasladarlos al nivel de Componentes, y utilizar en su lugar un indicador
que dé cuenta del desarrollo de las capacidades productivas que han tenido los
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
94
beneficiarios. Es importante señalar que aun cuando se trasladen los actuales
indicadores de Propósito al nivel de Componentes, éstos miden ciertas actividades,
como la participación en concursos, o la compra de artesanías que no expresan una
lógica causal directa ni con el objetivo de mejorar las condiciones productivas de los
beneficiarios, ni con el Propósito.
Por otra parte, no se considera que el indicador de Fin sea el más apropiado para
medir el desempeño del programa. De hecho, si no se atiende la recomendación de
modificar el Resumen Narrativo antes sugerida, se recomienda buscar una medida más
precisa como aumento en el ingreso del artesano beneficiario; también se recomienda
distinguir entre tipos de beneficiarios. En caso de atender la recomendación de
modificar el Resumen Narrativo para que refleje que la forma en la que contribuye el
programa a la consecución del objetivo superior (bienestar económico de la PO), es
mediante la generación de proyectos sostenibles. Así, se recomienda utilizar un
indicador a través del cual se pueda determinar si los proyectos artesanales son
sostenibles, pues esto sería indicativo de que el proyecto funciona sin necesidad de los
apoyos del programa, y que está generando ingresos para los artesanos. En este
sentido, se recomienda que el indicador sea el siguiente: "Porcentaje de proyectos
artesanales apoyados que permanecen después de dos años de recibido el apoyo".
Las modificaciones sugeridas pueden contribuir a solucionar la falta de claridad
inherente al problema público que busca solucionar el FONART. Es decir, se considera
que la razón de ser del programa no tiene que ver ni con la erradicación de la pobreza,
ni con el desarrollo artesanos que conviertan al país en una potencia cultural; FONART
fue creado para generar las condiciones necesarias para que existan artesanos en una
situación de bienestar, haciendo artesanías. Es precisamente esto lo que justifica el que
el programa sea impulsado desde la SEDESOL, y no desde la Secretaría de Economía o
desde CONACULTA.
Como se hizo evidente, los indicadores regularmente han superado sus metas,
por lo tanto se considera deseable revalorar su método de cálculo y hacer explícitos sus
criterios. Es importante hacer hincapié en este último punto, pues al no hacer públicos
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
95
los criterios a través de los cuales se fijan las metas de los indicadores, es imposible
determinar si éstos están teniendo un buen desempeño, o si más bien las metas
establecidas son muy laxas.
Finalmente, vale anotar que el FONART es un programa complejo y que
actualmente los indicadores que utiliza no tienen el grado de detalle suficiente para
ilustrar su desempeño. Por ejemplo, un indicador de Propósito agrega actividades que
no son comparables. Tal es el caso de la compra de artesanías con apoyos a la
comercialización –una cosa es que se le compre la producción a un artesano y otra cosa
es que se le apoye con recursos para comercializar sus bienes; otro indicador carece de
una lógica causal clara como participar en un concurso y declarar una mejora en la
calidad de la producción; por último, la vertiente de capacitación y asistencia técnica
imparten cursos muy diversos que sería mejor evaluarlos por módulos. En este sentido,
se recomienda trasladar estos indicadores a nivel de Componente, y desagregarlos de
forma que cada uno mida el desempeño de cada apoyo que brinda el programa.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
96
5. ANÁLISIS FODA
A partir de las evaluaciones realizadas al FONART y del análisis de sus indicadores, se
identificaron fortalezas, debilidades y oportunidades del programa, de las cuales se
derivan algunas recomendaciones que tienen por objeto mejorar su desempeño (véase
Anexo 4).
5.1 Fortalezas
Las fortalezas del FONART tienen que ver con que su Propósito esté alineado con la
estrategia 1.4 del Programa Sectorial de Desarrollo, así como al objetivo 2 del Plan
Nacional de Desarrollo, con lo cual se demuestra que el programa contribuye a atender
problemas tales como la falta de ingresos y de calidad de vida de la población más
pobre. Destaca también el esfuerzo que el programa ha realizado para atender las
recomendaciones hechas por los evaluadores externos, a fin de mejorar la operación y
planeación del programa.
5.2 Debilidades
Una de las principales debilidades del FONART es la falta de un diagnóstico claro que
justifique la intervención desde la SEDESOL. La definición imprecisa del problema que
pretende resolver FONART se manifiesta en una constante confusión al determinar si el
objetivo del FONART es el de contribuir a que los artesanos abandonen una situación
de la pobreza, el de preservar las artesanías o el de catapultar el sector artesanal en
México.
Naturalmente, esto se ha visto reflejado en resúmenes narrativos poco claros
para los niveles de Fin y Propósito, pues de acuerdo a la forma en la que actualmente
han sido definidos, no existe una diferencia entre el Fin y el Propósito del programa (en
ambos casos es mejorar las condiciones productivas). En este sentido, se recomienda
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
97
realizar un nuevo diagnóstico del problema público que justifica la intervención del
programa, así como la modificación de los resúmenes narrativos para los niveles de Fin
y Propósito, en los términos que fueron planteados en el apartado de Monitoreo.17
Los indicadores de la MIR representan una debilidad adicional, pues el utilizado
para el nivel de Fin es poco económico (y carece de información), y los de propósito
corresponden al nivel de Componentes18 . Además, los mecanismos de recolección de
información no permiten obtener información objetiva y veraz que sirva para conocer
el verdadero efecto del programa. Finalmente, en la evaluación de satisfacción el
FONART obtuvo un puntaje en el índice de satisfacción de 7.2, en una escala del 0 al 10.
Esta calificación es producto de la percepción de los beneficiarios de que no existe una
mejora en sus condiciones de vida tras haber participado en el programa, así como de
la existencia de muchos problemas de índole administrativo (Rodríguez, V., 2012: 63-
64). Se recomienda realizar una evaluación de procesos con el fin de detectar
problemas de eficiencia operativa en el programa, pues éstos terminan teniendo un
impacto negativo en la percepción de la PA sobre el programa.
5.3 Oportunidades
Una de las principales oportunidades del programa está relacionada con la
incorporación de aspectos de diseño identificados en los programas similares al
FONART que se implementan en otras partes del mundo (Véase apartado de
Evaluación). En particular, estos programas internacionales hacen énfasis en la
importancia de destinar apoyos al desarrollo de proyectos artesanales sostenibles. Se
considera que al incorporar el elemento de “sostenibilidad” a los proyectos
17 En la sección de monitoreo se recomendó el siguiente Resumen Narrativo para el nivel de Fin: “Contribuir a mejorar el bienestar económico de los artesanos cuyo ingreso es inferior a la línea de bienestar, mediante el desarrollo de proyectos artesanales sostenibles”. Para el nivel de Propósito se recomendó mantener el mismo Resumen Narrativo. 18 El actual indicador de Fin (Porcentaje de artesanos beneficiados que incrementaron su ingreso, derivado de la actividad artesanal), requiere de la aplicación de una encuesta; mientras que los de Propósito hacen referencia a distintos componentes del programa: adquisición de artesanías y apoyos a la comercialización, y participación en concursos.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
98
artesanales, se estará contribuyendo al bienestar económico de los beneficiarios en el
largo plazo e, indirectamente, a la preservación de las artesanías. Es decir, al promover
proyectos sostenibles, las ventas contribuyen a mejorar el bienestar de los beneficiarios
y, a su vez, esto contribuye a que se preserven las artesanías.
5.4 Amenazas
La principal amenaza que tiene el FONART, está relacionada con la naturaleza del
mercado. Si bien definir este aspecto como una amenaza puede parecer un lugar
común, si la demanda por bienes artesanales no es suficiente como para permitir que
los proyectos artesanales sean sostenibles, el FONART estará condenado a otorgar
permanentemente apoyos para la realización de este tipo de proyectos, sin que con
ello se logre mejorar las capacidades de los artesanos productores, sus ventas, sus
ingresos, o su bienestar.
5.5 Recomendaciones
A partir del análisis de las fortalezas, debilidades y oportunidades del programa, se
recomienda lo siguiente:
1. Realizar un nuevo diagnóstico del problema que atiende el FONART, a fin de
dejar claramente establecidas las razones por las que un programa de apoyo a
la producción artesanal es impulsado desde SEDESOL.
2. Incorporar el elemento de “sostenibilidad” a las características que idealmente
deben tener los proyectos artesanales, pues tal como lo evidencia en los
programas internacionales similares al FONART, éste es un componente que
contribuye a la preservación de las artesanías.
3. Mejorar las definiciones tanto de los resúmenes narrativos para los niveles de
Fin y de Propósito, así como las de sus indicadores. Se recomienda atender las
sugerencias realizadas al respecto, en el apartado de Monitoreo, pues estas
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
99
capturan la idea de promover el desarrollo de proyectos artesanales
sostenibles.
4. Mejorar los mecanismos de recolección de información a fin de asegurar la
confiabilidad y objetividad de los resultados obtenidos. Es importante que aún
cuando se utilice como fuente de información el “Estudio muestral para
obtener indicadores de Propósito”, la forma en la que se le pregunte este
aspecto a los artesanos no induzca una respuesta. Es decir, se recomienda que
en lugar de preguntarles directamente si ellos consideran que han ampliado su
mercado desde que son beneficiarios del programa, se les pregunte, por
ejemplo, cuántas personas le compraban sus piezas antes de recibir el apoyo
del FONART, seguido de una pregunta que referente a cuántas personas le
compran sus piezas desde que es beneficiario del programa.
5. Hacer explícitos los criterios mediante los cuales se establecen las metas de los
indicadores, con el fin de conocer si los resultados de éstos son producto de un
buen desempeño del programa, o de metas muy laxas.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
100
6. CONCLUSIÓN
El FONART ha sido evaluado de manera regular. En las evaluaciones se presentan
algunos resultados del programa y, en la mayoría de los casos, los indicadores han
superado sus metas. Las evaluaciones de programas similares implementados en otros
países presentan una gran variedad de particularidades en cuanto al diseño de los
programas, que pueden ser útiles para mejorar el del FONART. A grandes rasgos, en
materia de monitoreo destaca la falta de información sobre el indicador de Fin, así
como la ausencia de mecanismos de recolección de información confiables y objetivos.
Se identificó que el Resumen Narrativo a nivel de Propósito presenta como producto
de los bienes y servicios que genera el programa, la mejora de las condiciones
productivas de los artesanos. Sin embargo, en el Resumen Narrativo a nivel de Fin
también se plantea la mejora de las condiciones productivas de los artesanos
productores como la solución que brinda el programa. Aparte de que el Fin y el
Propósito deberían reflejar cosas distintas, se considera que el Resumen Narrativo de
Fin debería de plantear como la solución que genera el FONART, el fomento de
proyectos productivos sostenibles.
En materia de evaluación destacan los resultados obtenidos en las EED, en las
cuales ha sido señalado que existe un avance en las definiciones de las PP y PO, y que
los indicadores en la mayoría de los casos han superado sus metas, excepto por el
indicador de Fin, para el cual no se cuenta con información. Sin embargo, en éstas
también se ha señalado la falta de un diagnóstico claro y de mecanismos de recolección
de información confiables. La evaluación de satisfacción muestra que los beneficiarios
del programa no se sienten totalmente satisfechos con la labor que realiza el FONART.
Como resultado de la revisión de las evaluaciones de distintos países con programas
similares al FONART, se identificaron algunos aspectos de diseño que podrían ser
recuperadas por el programa para mejorar su eficacia, sobre todo en términos del
contenido de las capacitaciones y talleres que se llevan a cabo, así como en lo relativo a
la importancia de buscar que los proyectos apoyados sean sostenibles.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
101
A partir del análisis de las evaluaciones a las que ha estado sujeto el FONART
desde 2007, así como de las evaluaciones de programas similares implementados en
otras partes del mundo, se generó una agenda de evaluación que, a grandes rasgos,
busca contar con un diagnóstico claro, además de garantizar la congruencia entre el
diseño del FONART y las disposiciones del próximo PND. Asimismo, busca generar
evidencia empírica para afinar los detalles de diseño tanto del programa, como de sus
procesos. En la agenda de evaluación se incorporó también una evaluación de impacto
con miras a conocer los efectos del programa en el ingreso de los beneficiarios, en el
desarrollo de sus capacidades productivas y en la preservación de la actividad
artesanal.
Del apartado de monitoreo se concluye que el indicador utilizado para medir el
Fin del programa es poco económico, pues no se cuenta con información sobre sus
resultados. Se considera que el Resumen Narrativo de Propósito es adecuado, pero que
debe distinguirse del Fin. Se recomienda que el Resumen Narrativo a nivel de Fin
exprese que el objetivo último que persigue el programa es el bienestar económico, y
que la solución que el programa brinda es la del desarrollo de proyectos sostenibles.
En general, se recomienda definir claramente el problema que el FONART busca
atender, después de lo cual se sugiere que el programa incorpore el elemento de
“sostenibilidad” a las características que idealmente deben tener los proyectos
artesanales, que mejore las definiciones tanto de los resúmenes narrativos para los
niveles de Fin y de Propósito, así como las de sus indicadores, así como mecanismos de
recolección de información, a fin de asegurar la confiabilidad y objetividad de los
resultados obtenidos. Se recomienda también que el programa haga explícitos los
criterios mediante los cuales se establecen las metas de los indicadores.
Es necesario enfatizar que el FONART es un programa que necesita contar con
evidencia teórica y empírica que justifique su intervención, y que permita conocer si
ésta tiene un efecto positivo en la población que atiende. El programa presenta
problemas muy elementales que amenazan su eficacia: el problema público que busca
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
102
atender no ha sido definido y la calidad de la información que se utiliza para alimentar
los indicadores es cuestionable.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
103
7. GLOSARIO
Bienestar económico: ingreso del que disponen las personas para la adquisición de
bienes y servicios en el mercado, específicamente, el ingreso corriente, el cual
representa el flujo de entradas, no necesariamente monetarias (puede incluir los
productos recibidos o disponibles en especie, entre otros), que le permiten a los
hogares obtener los satisfactores que requieren, sin disminuir los bienes o activos que
poseen (CONEVAL, 2009: 38-39).
Población atendida (PA): es la población beneficiada por el programa en un ejercicio
fiscal.
Población objetivo (PO): es la población que el programa tiene planeado o programado
atender para cubrir la población potencial, y que cumple con los criterios de elegibilidad
establecidos en su normatividad.
Población Potencial (PP): es la población total que presenta la necesidad y/o problema
que justifica la existencia del programa, y que por lo tanto pudiera ser elegible para su
atención.
Proyecto sostenible: proyectos capaces de mantenerse por sí mismos, sin necesidad de
contar con ayuda económica de alguna fuente externa (RAE, 2012).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
104
8. REFERENCIAS BIBLIOGRÁFICAS
Appel, J. y Karlan, D. (2012) More Than Good Intentions: Improving the Ways the World's
Poor Borrow, Save, Farm, Learn, and Stay Healthy. Dutton: Inglaterra.
Banerjee, A. y Duflo, E. (2011) Poor Economics: A Radical Rethinking of the Way to Fight
Global. Global Public Affairs Books: Estados Unidos.
Cockram, M., & Johnson, J. (2002). A Revolution in Design-Driven Export: A Case Study of
Aid to Artisans in Peru, 1994-2002. Hartford, CT.
Cockram, M., & Pollack, L. (2003). Hoduran Artisans Catalyzing Economic Revitalization
(HACER). Hartford, CT.
Consejo Nacional de Evaluación de la Política de Desarrollo Social (2009) Metodología
para la medición multidimensional de la pobreza en México. CONEVAL: México,
D.F.
De la Paz Hernández Giron, J., Domínguez, M. L., y Caballero, M. (2007). “Factores de
innovación en negocios de artesanía de México”. Gestión y política, XVI(2).
México, D.F. 353–379.
De la Paz Hernández Giron, J., Yescas, M., y Domínguez, M. L. (2007). “Factores de
éxito en los negocios de artesanía en México”. Estudios Gerenciales, 23(104).
México, D.F. 77–99.
Evaluación de Consistencia y Resultados 2007 (2007). Fondo Nacional para el Fomento
de las Artesanías. México, D.F.
Evaluación de Específica de Desempeño 2008-2009 (2010). Fondo Nacional para el
Fomento de las Artesanías. México, D.F.
Evaluación de Específica de Desempeño 2009-2010 (2010). Fondo Nacional para el
Fomento de las Artesanías. México, D.F.
Evaluación de Específica de Desempeño 2010-2011 (2011). Fondo Nacional para el
Fomento de las Artesanías. México, D.F.
Gottschling, B., Lewis, D., & Cockram, M. (2005). Entrepreneurs Prosper in Rusia: A Case
Study of AID to Artisans in Russia, 1993-1996. Hartford, CT.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
105
Litrell, M., Cockram, M., & Strawn, S. (2005). Entrepreneurship and Cultural Passion: A
Case Study of AID to artisans in Armenia, 1995-1997. Hartford, CT.
Littrell, M., Cockram, M., & Strawn, S. (2005). A Rich and Deeply Cultural Tradition A Case
Study of AID to Artisans in Ghana, 1993-1997. Hartford, CT.
Real Academia de la Lengua Española (2012, “sostenible”).
Rodríguez, V. (2012) “Informe Final del Índice Mexicano De Satisfacción De Los
Beneficiarios De Programas Sociales Implementados por la SEDESOL En México
(IMSAB)”. Universidad Autónoma de Tamaulipas: México.
Secretaría de Desarrollo Social. (2012). Reglas de Operación del Programa del Fondo
Nacional para el Fomento a las Artesanías, FONART, para el ejercicio 2012. México,
D.F.
Secretaría de Desarrollo Social. (s.f) Diagnóstico de la capacidad de los artesanos en
pobreza para generar ingresos sostenibles. México, D.F.
Secretaría de Desarrollo Social y Consejo Nacional de Evaluación de la Política Social
(2011). Nota Sobre Población Potencial y Población Objetivo del FONART. México,
D.F
SEDESOL y CONEVAL, (2012). Evaluación de Consistencia y Resultados 2011-2012.
México, D.F.
Wezokuthuthukiswa, D. of E. D. U. (2007). Mpukunyoni Craft Market Project Impact
Assessment Report. South Africa.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
106
9. ANEXOS
Anexo 1. Fichas técnicas de Evaluaciones 2007-2012 del Fondo Nacional para el Fomento a las Artesanías (FONART).
Nombre del programa: Fondo nacional para el Fomento a las Artesanías Año de Evaluación: 2007 Nombre de la Evaluación: Evaluación de consistencia y resultados del programa Fondo Nacional para el Fomento a las Artesanías 2007 Tipo de la Evaluación: Consistencia y Resultados Metodología utilizada: Trabajo de gabinete Objetivo de la evaluación: verificar la consistencia y orientación a resultados del FONART con la finalidad de proveer información que retroalimentara su diseño, gestión y resultados Valoración técnica: La ECyR 2007 al FONART ofrece una visión general sobre el programa, sin embargo se detectaron las siguientes inconsistencias: 1. Uno de los aspectos positivos del programa fue que la lógica vertical de su MIR se validaba; sin embargo también se señaló que "ninguno de los indicadores que reportó FONART en 2007 mide el impacto que sus acciones tienen en los beneficiarios, pues se trata de indicadores de los productos (componentes), además de que no cuentan con una línea base". No se puede tener una MIR que no mida el impacto de sus acciones y que al mismo tiempo tenga consistencia lógica vertical. 2. En la sección de Resultados la ECyR 2007 declaró que las evaluaciones realizadas al programa le habían permitido registrar la percepción de sus beneficiarios, mientras que en la sección de Percepción de la PO la evaluación declaró que el FONART no cuenta con instrumentos para medir la satisfacción de su PO. 3. La evaluación también declaró que las evaluaciones externas al programa se han realizado bajo metodologías rigurosas, mismas que le han permitido medir el impacto del programa; pero más adelante la evaluación declaró que "el Diseño del Programa no permite la elaboración de evaluaciones de impacto rigurosas debido a que el FONART, al determinar su población objetivo en Reglas de Operación, establece condiciones simultáneas, que no necesariamente se pueden cumplir". 4. Entre las fortalezas del programa se señaló que el Fin y Propósito del programa contribuyen a la solución del problema identificado; no obstante también se señaló que el problema que pretende resolver el programa no estaba bien definido. Principales resultados: Respecto al diseño del FONART, en la ECyR 2007 se destacó que tanto la lógica vertical de la MIR como la horizontal era válida, pero que el problema público que FONART busca atender no estaba definido con claridad, ya que presentaba el doble objetivo de atender a los artesanos en pobreza y de fomentar las artesanías tradicionales y de calidad. Además, se señaló que las definiciones de PP y PO son incorrectas. Se destacó que el FONART carecía de datos sobre las características socioeconómicas de los artesanos beneficiarios. En cuanto a la planeación estratégica del programa, en la ECyR 2007 se destacó que éste contaba con planes de corto y mediano plazo, que recolectaba información sobre su operación de manera periódica, que tenía metas y plazos específicos para sus indicadores de gestión, y que había realizado evaluaciones externas cuyas recomendaciones había usado para mejorar su operación. Sin embargo, también se señaló que en los planes de corto y mediano plazo del FONART no se indicaron las estrategias para alcanzar las metas de sus indicadores ni se utilizaron indicadores para medir el impacto que sus acciones tienen en los beneficiarios. En lo referente a la cobertura y focalización, la evaluación detectó que se carecía de un método para cuantificar a la PP y PO, y que la PA no se apegó a las especificaciones de las ROP. Por otra parte, en la evaluación se detectó que no existe homogeneización en los formatos de solicitud de los apoyos puesto que adquisición y capacitación se basan en un escrito libre. Además, se dijo que el FONART no tenía un sistema que le permitiera conocer la demanda total de apoyos y que los sistemas para llevar la administración financiera están desintegrados. La evaluación también detectó que dentro de la estructura organizacional no se contaba con un área específica para la operación de la vertiente de Financiamiento; y la vertiente de concursos sólo es operada por el subdirector con el apoyo del director. Se señaló que el FONART carecía de una cuantificación sobre el costo de apoyo de cada vertiente, y que los mecanismos de actualización del padrón no eran adecuados en tanto que no tenían procedimientos ni documentación que permitiera validar su creación y actualización. En cuanto a la percepción de la PO, la ECyR 2007 detectó que el FONART no contaba con instrumentos para medir el nivel de satisfacción de la población objetivo; mientras que en materia de Resultados, la evaluación señaló que FONART había realizado evaluaciones externas basadas en metodologías rigurosas, que le habían permitido medir el impacto del Programa en su PO
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
107
y registrar la percepción del beneficiario respecto a los apoyos que le brinda FONART. Finalmente, la ECyR 2007 declaró que el programa no había demostrado un adecuado progreso para alcanzar su Propósito y Fin porque tiene importantes problemas en el Diseño.
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades y Recomendaciones
Fortalezas identificadas por la ECyR 2007: 1. El Fin y el Propósito del FONART contribuyen a la solución del problema identificados y están claramente definidos. 2. Las lógicas horizontal y vertical de la MIR se validan en su totalidad 3. FONART ha usado las recomendaciones de las evaluaciones externas para mejorar su operación, destacan la unificación del padrón de beneficiarios, reducción de tiempos de entrega de las piezas que participan en los concursos, reducción en los tiempos de respuesta a las solicitudes de financiamiento y en el proceso de capacitación.
La ECyR 2007del FONART no identificó oportunidades
Debilidades identificadas por la ECyR 2007: 1.El FONART requiere reflejar en su diseño el doble objetivo de atender a artesanos en pobreza y de fomentar las artesanías. 2. El FONART no cuenta con un diagnóstico que de sustento al programa. 3. La PP y PO presentan problemas en su definición y cuantificación. 4. Aunque existe la información sobre los beneficiarios, ésta no incluye las características socioeconómicas. 5. Ninguno de los indicadores en las ROP mide el impacto que las acciones del FONART tiene en sus beneficiarios. 6. Ninguna de las vertientes del FONART cuenta con una estrategia de cobertura de corto, mediano y largo plazos. 7. No existe homogeneidad entre los formatos de solicitud de apoyos de las distintas vertientes. 8. El programa no tiene un sistema de información que le permita conocer la demanda total de apoyos. 9. Ninguna de las vertientes del FONART cuenta con instrumentos para medir el nivel de satisfacción de la PO.
Recomendaciones planteadas por la ECyR 2007: 1.Reflejar en el diseño del FONART su doble objetivo 2.Generar un diagnóstico. 3. Establecer en ROP definiciones concisas de las PP y PO delimitando, en el caso de la PP, a los artesanos que presentan la problemática en general. 4.Levantar y anexar una Cédula de Información Socioeconómica a la solicitud de apoyo para incorporar dichos datos en un padrón de beneficiarios. 5. Cumplir con el apartado 5.1 de las ROP del FONART y establecer los mecanismos de coordinación necesarios para garantizar que sus programas no presenten duplicidades con otros programas del gobierno federal. 6. Se debe cuantificar a la PP y PO, las propuestas para hacerlo se presentaron en el anexo IX de la ECyR 2007. 7. Elaborar una estrategia de cobertura de corto, mediano y largo plazo para cada una de las vertientes del programa. 8. Crear un formato único de solicitud de apoyo para las cuatro vertientes. 9. Registrar en una base de datos la totalidad de solicitudes que recibe cada vertiente. 10. Especificar los criterios de elegibilidad para los artesanos que busquen financiamiento, así como analizar la viabilidad de incorporar montos máximos. 11.Adecuar la estructura organizacional para que exista un área encargada de la vertiente de Financiamiento y determinar el personal necesario para su operación. 12. Desarrollar un padrón de acuerdo a los criterios establecidos por la Dirección de Padrones de SEDESOL. 13. Diseñar cuestionarios que le permitan al FONART identificar la opinión de sus beneficiarios respecto de sus resultados y procesos.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
108
Nombre del programa: Fondo nacional para el Fomento a las Artesanías Año de Evaluación: 2008 Nombre de la Evaluación: Evaluación Específica de Desempeño 2008-2009 Tipo de la Evaluación: Específica de Desempeño
Metodología utilizada: Trabajo de gabinete. Objetivo de la evaluación: evaluar el desempeño del FONART a la luz de sus indicadores Valoración técnica: 1. Se considera que la evaluación no aportó a la mejora del FONART puesto que presentó algunas inconsistencias, señalo apenas incipientes recomendaciones y evidenció una falta de análisis. Dentro de las inconsistencias detectadas se encuentran las siguientes: a. En un apartado se declaró la inexistencia de la cuantificación de la PO; mientras que en otro apartado de la evaluación se presentó una cifra que cuantifica dicha población. b. En la EED 2008 se hizo una valoración positiva de la ECyR 2007 al declarar que “propuso una serie de mejoras que resultaron oportunas y pertinentes", sin embargo, dicha evaluación propuso muchos de los indicadores revisados por esta evaluación, mismos que fueron criticados por provenir de una encuesta y depender de la opinión de los beneficiarios. c. En lo relativo a la valoración de los indicadores, en la evaluación se calificaron como confiables en el apartado de valoración de cada indicador y posteriormente se criticó el hecho de que la mayoría de ellos provinieran de una encuesta a los beneficiarios, lo cual “no les da plena confiabilidad”. 2. A pesar de que la evaluación detecta múltiples debilidades, no realiza ninguna recomendación. 3. Según los datos presentados en la evaluación, la mayoría de los indicadores analizados (6 de 10) superaron sus metas por un margen importante –en el menor de los casos se superó la meta por más del 12%-, sin embargo este fenómeno no fue comentado. Por el contrario, la valoración de dichos indicadores se limita a identificarlos como pertinentes, relevantes y confiables. Hubiera sido deseable algún comentario respecto a la estimación –o subestimación- de las metas y cómo se podría haber corregido el problema. Otra inconsistencia (EED, 2008: 14).
Principales resultados: Los resultados de la EED 2008-2009 se pueden agrupar alrededor de los indicadores, los relacionados con cobertura y presupuesto y los relacionados con ASM. En cuanto a la valoración sobre los resultados y productos la EED señaló que "los indicadores estratégicos y de gestión toman como base una encuesta de artesanos con datos para 2006. Asimismo, los indicadores no son totalmente confiables porque se basan en la opinión de los beneficiarios" (EED, 2008: 12). Más adelante, la EED señaló que "el principal problema para evaluar la eficiencia de los indicadores radica en que no existe la definición y cuantificación de las poblaciones potencial y objetivo" (EED, 2008: 13). También destacó que "hay indicadores que se refieren a grupos solidarios -definidos como grupos de 5 artesanos o más- lo cual provoca confusión respecto a la unidad de medida del indicador, a saber, artesanos en lugar de grupos solidarios" (EED, 2008: 14). Con respecto al presupuesto aprobado la EED 2008-2009 identificó que éste ha aumentado cada año desde 2003 hasta 2008 y presentó un ligero decrecimiento en 2009. La EED también resaltó el hecho de que la PA superó a la PO y explicó que esto pudo deberse a que la cobertura del FONART depende del presupuesto asignado, no obstante recalcó que no se aclaró cómo se determinó la cifra de la PO. De acuerdo con la EED, si ben el programa tiene cobertura en 30 estados, sus acciones se concentran en 10 entidades. Respecto a la valoración de los ASM la EED señaló que las propuestas realizadas por la evaluación externa en 2007 resultaron en cambios a las ROP y a los criterios de operación del programa, mismos que mejoraron su funcionamiento y que comenzaron a aplicarse en 2008. En ese sentido, la evolución destacó la disposición del FONART para atender las recomendaciones de evaluaciones externas.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
109
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades y
Recomendaciones
Fortalezas identificadas por la EED 2008: La EED 2008-2009 identificó como fortalezas del FONART el haber ampliado su cobertura y haber mejorado los criterios de selección de los beneficiarios. También destacó el incremento en el número de acciones aplicadas –suponiendo que se refiere al desempeño de los indicadores-, y por último, se destacaron los esfuerzos por vincular diferentes programas para ofrecer un apoyo integral al beneficiario. Oportunidades identificadas por la EED 2008: La EED señaló que el FONART no cuenta con evaluaciones externas de impacto ni de seguimiento a sus beneficiarios; esto se interpreta como una oportunidad de mejora por parte del programa.
Debilidades identificadas por la EED 2008: La EED identificó como debilidades del programa la ausencia de una correcta definición y cuantificación de las poblaciones potencial y objetivo. La otra debilidad señalada por la EED fue que, "aunque en las ROP-2008 se define el término 'técnicas tradicionales', el programa debe precisar la manera en que califica las adquisiciones de artesanías como 'realizadas con técnias y diseños tradicionales'".
La EED 2008 no planteó recomendaciones.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
110
Nombre del programa: Fondo nacional para el Fomento a las Artesanías
Año de Evaluación: 2009
Nombre de la Evaluación: Evaluación Específica de Desempeño 2009-2010
Tipo de la Evaluación: Específica de Desempeño
Metodología utilizada: Trabajo de gabinete Objetivo de la evaluación: evaluar el desempeño del FONART a la luz de sus indicadores Valoración técnica: Se considera que las recomendaciones de la EED 2009-2010 son pertinentes y buscan la mejora del programa, sin embargo se detectaron las siguientes inconsistencias: 1. La EED declaró que "se observó una clara mejoría en la medición de la población objetivo y en su definición" (2009: 19) en tanto que agregó la palabra “artesanos” productores; sin embargo con la nueva definición se perdió la especificación sobre la fuente para considerar los criterios de pobreza. Por otro lado, la definición de PO presentada en la evaluación no coincide exactamente con la de las ROP 2009. 2. No se identificó el hecho de que están definidas de la misma manera la PP y la PO, pero cada una está cuantificada de forma distinta. 3. En el análisis del indicador "Porcentaje de ejecución de presupuesto para capacitación", en la evaluación se declaró que éste era pertinente, relevante y confiable y que medía la capacidad ejecutora de los recursos del programa en la vertiente de capacitación; sin embargo la definición del indicador declara que este refleja los "artesanos capacitados para mejorar el proceso y la calidad de su producto". Esto quiere decir que no existe consistencia entre el título del indicador y su definición (una cosa es el presupuesto y otra es el número de artesanos capacitados), y en ese sentido se debería haber señalado que la definición no corresponde con el título ni con el método de cálculo y por lo tanto se hubiera tenido que ajustar, por ejemplo: porcentaje de los recursos que se ejercen para la capacitación de artesanos entre el total del monto de recursos programados para su capacitación. 4. No se realizó ningún comentario sobre la necesidad de valorar la forma en la que se calculan las metas de los indicadores, aun cuando la mayoría las superaron. 5. En la evaluación se señaló que FONART implementó en su totalidad las acciones que se plantearon en la ECyR 2007, no obstante, una de las observaciones de la ECyR 2007 fue "definir entre los objetivos estratégicos del FONART el fomento y la comercialización de las artesanías con un enfoque dirigido a todos los artesanos que cumplan con los requisitos de promover la actividad artesanal del país preservando técnicas y colores tradicionales y, adicionalmente, establecer un programa específico que atienda a los artesanos en situación de pobreza, cuyas vertientes de atención serían las que operan hoy en FONART (capacitación, financiamiento, adquisición y concursos)". Esta sugerencia no fue retomada por las EED's y podría ayudar a refinar las definiciones de Población Potencial y Población Objetivo así como su cuantificación.
Principales resultados: Respecto al análisis de los indicadores de resultados, 4 de los 5 indicadores fueron identificados por la evaluación como relevantes y confiables. Respecto al indicador de "Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos" se señaló que requería de mayor claridad conceptual para ser confiable. Por otra parte, la revisión llevada a cabo por la EED respecto a los indicadores de gestión del FONART identificó a los 5 indicadores revisados como pertinentes, relevantes y confiables. En su conjunto, la valoración de la EED sobre los indicadores del FONART señaló que su mayoría reportó valores superiores a sus metas, "siguiendo la tendencia del año anterior” y que no se cuenta con elementos en el SED “para explicar cambios entre periodos o cumplimientos de metas” (EED, 2009-2010: 12). Respecto a la cobertura del programa la EED identificó que "se observó una clara mejoría en la medición de la población objetivo y en su definición" y señaló que "tanto la población objetivo como la población atendida presentan una tendencia positiva respecto del año anterior. La población atendida creció́ aproximadamente 36%. Que la población atendida sea mayor a la objetivo puede deberse a la disponibilidad de recursos asignados" (EED, 2009-2010: 19). Finalmente, con relación a las mejoras del programa la EED declaró que se han implementado en su totalidad las acciones relativas al diseño y a la gestión que se plantearon en la ECyR 2007. En cuanto al análisis de los hallazgos relevantes, destacaron el "haber incorporado en la definición de la población objetivo los artesanos en condición de pobreza patrimonial [lo cual] es un primer paso importante en mejorar la eficacia y eficiencia del programa", también "se ha avanzado en homogeneizar los mecanismos para la identificación de los beneficiarios al incorporar en reglas de operación el Cuestionario Único de Información Socioeconómica" y el que se hubieran realizado "los pasos necesarios para diferenciar claramente el objetivo institucional del fideicomiso con el propósito definido en la Matriz de Indicadores del programa FONART. Esto evita confusiones y duplicidades" (EED, 2009-2010: 13).
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
111
Resumen de Análisis de Fortalezas,
Oportunidades, Debilidades y
Recomendaciones
Fortalezas identificadas por la EED 2009-2010: 1. Se llevaron a cabo acciones de mejora tales como la inclusión de nuevos indicadores y el hecho de recolectar información abundante que se podría usar para crear indicadores más relevantes, y avances en cuanto a la definición y cuantificación de la PO. 2. Una mejora en el diseño del FONART gracias a que éste se ha centrado en apoyar a los artesanos quienes, a partir de su ingreso, se les puede clasificar en situación de pobreza. 3. Existe un esfuerzo del programa para diseñar un mayor número de indicadores de actividades y para recolectar información sobre su operación 4. Se establecieron criterios de elegibilidad y montos máximos de apoyo para las cuatro vertientes. 5. La focalización del programa mejoró de manera sustantiva gracias a la recolección de información socioeconómica y al uso de Zonas de Atención Prioritaria (ZAP). 6. Las acciones de cobertura se han complementado con la medición de la satisfacción de los beneficiarios. Oportunidades identificadas por la EED 2009-2010: 1. Se debe seguir avanzando en la elaboración de un Plan Estratégico de corto, mediano y largo plazo que genere un círculo virtuoso entre objetivos, metas, acciones, plazos e indicadores de impacto. La EED 2009-2010 no identificó debilidades.
Recomendaciones planteadas por la EED 2009-2010: 1. Respecto al indicador de "Porcentaje de artesanos que declararon mejora en la calidad de su producción después de participar en los concursos" se observó que requería de mayor claridad conceptual para ser confiable. Con relación a los indicadores de gestión la EED recomendó "considerar el diseño de indicadores de tiempos programados para el otorgamiento de cada uno de los apoyos (días capacitación, cobro de cheques, duración del proceso de adquisición de artesanías, etc.)" (2009-2010: 15). 2. Respecto a la planeación del FONART, la EED sugirió "concretar convenios a fin de evitar duplicidades y aprovechar complementariedades y producir un Plan Estratégico y una Estrategia de Cobertura de corto, mediano y largo plazo" (2009-2010: 22). 3. Cuando se concrete el Plan Estratégico del programa será recomendable “diseñar indicadores que además de la relación ejecutado/programado, incluyan la relación ejecutado/demandado” (2009-2010: 15). 4. Avanzar en el mecanismo de criterios para la recolección de información de los indicadores. Con respecto a la operación del programa la evaluación sugirió seguir "avanzando en adecuar la estructura organizacional de las cuatro vertientes del programa" (2009-2010: 22). 5. Estudiar la factibilidad de una evaluación de seguimiento de los beneficiarios.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
112
Nombre del programa: Fondo Nacional para el Fomento a las Artesanías Año de Evaluación: 2010 Nombre de la Evaluación: Evaluación Específica de Desempeño 2010-2011 Tipo de la Evaluación: Específica de Desempeño
Metodología utilizada: Trabajo de gabinete. Objetivo de la evaluación: evaluar el desempeño del FONART a la luz de sus indicadores Valoración técnica: 1 . La evaluación omitió comentar las implicaciones que tiene el que 7 de 9 indicadores hayan superado sus metas. 2. La EED 2009-2010 tampoco hizo recomendaciones concretas de mejora-. 3. En esta evaluación la definición de PO y su cuantificación sí corresponden a un subconjunto de la PP.
Principales resultados: Con respecto a los principales hallazgos de Fin y Propósito, la EED destacó el trabajo en ciertas tareas de seguimiento a los beneficiarios, que de concretarse permitirán determinar si el programa contribuye a mejorar los ingresos de los artesanos. Por otro lado, al revisar los ASM producto de evaluaciones pasadas, la EED destacó los esfuerzos realizados por el FONART para perfeccionar su MIR, el trabajo en curso por estudiar la factibilidad de darle seguimiento a los beneficiarios, la conclusión de las estrategias de corto, mediano y largo plazo, así como la estrategia de cobertura y del padrón de beneficiarios. La EED también identificó que para el año 2009 se habían implementado la totalidad las acciones de la ECyR 2007 y se resaltó la adecuación de la estructura organizacional del FONART a través de la elaboración de un Manual de Organización General y el mecanismo para prevenir duplicidades con otros programas Federales. La mejora a la definición de PO volvió identificarse como uno de los resultados destacados de la evaluación. El cambio se refiere a la inclusión de los artesanos que habitan en las Zonas de Atención Prioritaria, y los que habitando fuera de éstas que se encuentren en pobreza patrimonial. Con respecto a indicadores con perspectiva de género la EED destacó que se observa “una incipiente preocupación por elaborar mecanismos concretos del programa que propicien una igualdad de oportunidades entre hombres y mujeres" (EED 2010: 4). Resumen de Análisis
de Fortalezas, Oportunidades,
Debilidades y Recomendaciones
Fortalezas identificadas por la EED 2010-2011: 1. Hay una mejora en la definición de PO gracias a la incorporación de Zonas de Atención prioritaria y la medición de la pobreza patrimonial. 2. Existe un fortalecimiento de la confiabilidad de los indicadores de propósito a causa de la reelaboración de su línea base. 3. Se concretaron mecanismos para evitar duplicidades con otros programas. Oportunidades identificadas por la EED 2010-2011: 1. Incorporar algunos documentos metodológicos sobre la MIR (instrumentos de recolección, discusión teórica-metodológica de la construcción de indicadores, métodos de cálculo, etc), y sobre el seguimiento a ASM que son responsabilidad de otras instancias distintas al programa. Debilidades identificadas por la EED 2010-2011: 1. Los indicadores de resultados del FONART no son objetivos, y los indicadores de propósito y componentes son muy parecidos. Recomendaciones planteadas por la EED 2010-2011: 1. Ajustar su estructura organizacional a las cuatro vertientes que tiene, continuar mejorando la MIR, específicamente desarrollando indicadores de componentes, servicio y gestión que midan la eficacia del programa en términos de tiempos programados. Realizar una medición objetiva de los indicadores de Propósito, en vez de la percepción de los beneficiarios 3. Disponer de información desagregada por sexo, así como elaborar un plan de mediano y largo plazo para incorporar la perspectiva de género al programa. 4. Finalizar los siguientes proyectos: un plan estratégico de corto, mediano y largo plazo, una estrategia de cobertura de corto, mediano y largo plazo y, el Padrón de Beneficiarios. 5. Adecuar la PP a la nueva medición multidimensional de pobreza.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
113
Nombre del programa: Fondo nacional para el Fomento a las Artesanías Año de Evaluación: 2011 Nombre de la Evaluación: Evaluación de consistencia y resultados del programa Fondo Nacional para el Fomento a las Artesanías 2011 Tipo de la Evaluación: Consistencia y Resultados Metodología utilizada: Trabajo de gabinete Objetivo de la evaluación: verificar la consistencia y orientación a resultados del FONART con la finalidad de proveer información que retroalimentara su diseño, gestión y resultados
Valoración técnica: 1. La evaluación ofrece una visión general sobre el FONART y sus principales obstáculos, pero no abordó uno de los problemas señalados regularmente en las evaluaciones previas 2. La evaluación también revela que las debilidades se concentran en el área de planeación –particularmente la estimación de su PO- y en la de medición de resultados. Sin embargo, se considera que faltó enfatizar el problema de la cuantificación de las metas de los indicadores de resultados. 3. No se hace mención sobre la fuente de información subjetiva con la que se están alimentando los indicadores de propósito del programa. Esta fue una discusión que estuvo presente a lo largo de las evaluaciones previas pero que fue obviada, lo cual se considera una omisión importante. 4. Se detectaron algunas inconsistencias dentro de la evaluación. Se señaló como fortaleza del programa la validación de su lógica vertical, no obstante, también señaló que se deben revisar los indicadores de resultados, cuidando que se cumpla con el requisito de medir los efectos del programa en términos del fin y el propósito. Se considera que no se puede validar la lógica vertical si los indicadores de resultados no miden los efectos del programa. Además, primero se señaló que no se cuenta con información para saber si el programa cumple con el indicador de satisfacción de los beneficiarios y más adelante mencionan una herramienta que se ha diseñado para ese propósito y propone formas de mejorarlo.
Principales resultados: Entre los resultados destacados relativos al diseño del FONART, se cumplió con los requisitos administrativos de tener un diagnóstico, una justificación, una vinculación con objetivos sectoriales, además de estar alineado con los objetivos del milenio. Para la realización de la ECyR el FONART también contó con una definición de PP y una metodología para su medición. Otra de las conclusiones respecto al análisis del diseño del FONART fue que existe correspondencia entre las ROP y la MIR. Por su parte, los principales resultados respecto a la planeación del FONART, se refirieron a la subestimación de la PO –por lo cual la PA siempre ha superado a la PO- y a la falta de evidencia sobre la contribución del programa para mejorar el ingreso de los beneficiarios. Los hallazgos positivos relacionados con la planeación se refirieron a las mejoras en el Plan Operativo –ya que ahora incorporó misión, visión y objetivos del programa, así como actividades y componentes- y a la generación de información que le ha permitido al programa identificar si se esta cumpliendo con sus actividades y componentes. Con respecto a la cobertura la ECyR simplemente señaló que ésta creció sistemáticamente durante la administración. La ECyR ofreció más hallazgos con relación a la operación del FONART pues, para empezar, destacó que el programa ha registrado mejoras en sus ROP respecto a los montos económicos para los beneficiarios (para las vertientes de apoyo a la producción y la comercialización), pero que este es un proceso que debe continuar y el siguiente paso es la documentación de una serie de acciones que el programa realiza pero que no están contempladas en las ROP, por ejemplo la asistencia a espacios y eventos artesanales; registro de marca; renta, construcción o acondicionamiento de espacios artesanales, inclusión de niños como beneficiarios, entre otros. En el área de percepción de la PO la evaluación concluyó que el programa cuenta con 10 ítems dicotómicos para medir el grado de satisfacción de los beneficiarios, lo cual muestra que existe interés en conocer cuál es la percepción que tiene la población atendida. Sin embargo, las metas establecidas para los mismos deben ser revisadas, ya que es prácticamente un hecho, independientemente de lo que suceda, que éstas se alcancen, lo cual sugiere que han sido subestimadas. Una ausencia considerable es la falta de evaluaciones externas que les hayan permitido identificar el impacto del programa en términos de Fin y Propósito.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
114
Resumen de Análisis de Fortalezas,
Oportunidades, Debilidades y
Recomendaciones
Fortalezas identificadas por la ECyR 2011: 1. FONART usó las recomendaciones de las evaluaciones externas para mejorar su operación, tales como la unificación del padrón de beneficiarios, la reducción de tiempos de entrega de las piezas que participan en los concursos, reducción en los tiempos de respuesta a las solicitudes de financiamiento y en el proceso de capacitación 2. El Fin y Propósito del programa contribuyen a la solución del problema identificado y estén claramente definidos. Las lógicas vertical y horizontal del programa se validaron en su totalidad. La ECyR 2011 FONART identificó las siguientes oportunidades:
Debilidades identificadas por la ECyR 2011: 1. La definición de la PO ha sido subestimada a lo largo de la Administración 2. No se cuenta con una Estrategia de Cobertura. 3. El programa no cuenta con evidencia sobre su contribución para mejorar las fuentes de ingreso de los artesanos que habitan en Zonas de Atención Prioritaria, a causa de una falta de evaluaciones que permitan identificar los logros en términos de Fin y Propósito. Recomendaciones planteadas por la ECyR 2011: 1. Mejorar la calidad del diagnóstico y fortalecer la justificación. 2. Homogeneizar los términos utilizados en los distintos documentos del programa (por ejemplo, en el Documento Estratégico y en el Diagnóstico se refieren con términos diferentes a la PP en algunos casos se refiere a indígenas y en otros a artesanos en pobreza y en otros a artesanos en pobreza patrimonial). 3. Revisar la definición de los indicadores, cuidando que se midan los efectos del programa en términos de Fin y Propósito. 4. Mejorar la planeación del FONART mediante una definición más precisa de la PP y PO 5. Justificar teórica o empíricamente el hecho de que la intervención del FONART sea la mejor opción de política pública. 6. Mejorar el diseño y el método del instrumento para medir el grado de satisfacción de los beneficiarios refinando la definición conceptual y empírica de satisfacción, y usar una escala numérica del 1 al 10, para tener mayor varianza. 7. Establecer las metas de los indicadores con el fin de lograr alcanzar los objetivos de Fin y Propósito del programa, y no con el de cumplir un requisito administrativo. 8.Explorar alternativas viables económicamente y sólidas desde un punto de vista técnico, para poder llevar a cabo evaluaciones de impacto.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
115
Nombre del programa: Fondo Nacional para el Fomento a las Artesanías Año de Evaluación: 2012 Nombre de la Evaluación: Evaluación de satisfacción Tipo de la Evaluación: de satisfacción Objetivo de la evaluación: medir las percepciones de las personas que reciben los beneficios de ciertos programas sociales, entre ellos el FONART Metodología utilizada: en un primer momento se construyó un modelo teórico para estimar el Índice Mexicano de Satisfacción de los Beneficiarios de los Programas Sociales (IMSAB), a través del uso de ecuaciones estructurales con variables latentes. Posteriormente, se llevó a cabo la estimación de los índices de satisfacción de cuatro programas sociales, entre ellos FONART, a través del Método de Estimación de Máxima Verosimilitud. Valoración técnica: 1 . No se hacen explícitos los rangos utilizados para determinar a qué nivel de satisfacción corresponde el puntaje obtenido en el índice.
Principales resultados: De acuerdo con la evaluación, el FONART cumple sólo “regularmente” con las expectativas del beneficiario, por lo que el nivel de satisfacción fue de 7.20 (en una escala del 1 al 10). Esto tiene que ver con dos cuestiones fundamentales. En primer lugar, los beneficiarios perciben poca amabilidad por parte del personal del programa y de quienes les entrega el apoyo; en segunda instancia, los beneficiarios perciben un efecto “regular” en sus condiciones de vida tras haber recibido el apoyo, lo cual se explica por el hecho de que probablemente los artesanos continúan padeciendo problemas de ingresos. Resumen de Análisis
de Fortalezas, Oportunidades,
Debilidades y Recomendaciones
En el informe de la evaluación se presentan los resultados del índice, más no se hace referencia a las fortalezas, oportunidades o debilidades de los programas a los que se aplicó el IMSAB. En consecuencia, tampoco se hicieron recomendaciones para mejorar la satisfacción de los beneficiarios de los apoyos de los programas sociales
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
116
Anexo 2. Fichas técnicas de Evaluaciones realizadas al programas similares al Fondo Nacional para el Fomento a las Artesanías (FONART).
Nombre del Programa similar: HACER: Honduran Artisans Catalyzing Economic Revitalization (Honduras)
Señalas las características similares o tipos de apoyo que entrega considerados como similares: HACER buscó aumentar las oportunidades de empleo y el acceso a los mercados de los artesanos de bajos ingresos en zonas urbanas y rurales, así mismo buscó aumentar la capacidad de producción y marketing de las artesanías hondureñas, por último buscó integrar a los artesanos hondureños al mercado internacional. Las actividades que realizaron se hicieron en comunidades seleccionadas por el tipo de habilidades, la necesidad de asistencia técnica y probabilidad de vender los productos (marketability). Las actividades que se desarrollaron fueron: desarrollo del producto y diseño, talleres de control de calidad y eficiencia en la producción, un programa de entrenamiento en producción y un programa de entrenamiento sobre el mercado (realizado en Estados Unidos), participación en ferias internacionales y el desarrollo de mercados para exportar. Se considera que la población objetivo de ambos programas es similar así como los objetivos que buscar (aumentar las oportunidades de empleo, acceso a los mercados y capacidades de producción).
Año de evaluación: 2003
Nombre de la Evaluación: HACER Final Report and Project Evaluation.
Tipo de Evaluación: Evaluación del Proyecto.
Objetivos de la Evaluación: El estudio buscó medir el impacto directo e indirecto del programa, de acuerdo a sus objetivos. También estudió la sostenibilidad del impacto logrado, identificó efectos no anticipados del programa sobre el sector de artesanías Hondureño, identificar lecciones aprendidas de la intervención y cuáles son las necesidades del sector que no se han atendido.
Metodología utilizada: Para lograr sus objetivos la evaluación recopiló información cualitativa y cuantitativa, combinado entrevistas (140 artesanos, líderes artesanales, socios exportadores, compradores de las artesanías y personal de Aid to Artisans –ATA-), visitas a las oficinas y a las tiendas. Los datos se obtuvieron de los reportes que cada tres meses la organización HACER tenía en enviar ventas, creación de empleos, empresas artesanales beneficiadas por el programa, etc.
Valoración técnica: La evaluación se avocó a conseguir principalmente información de tipo cualitativa para dimensionar y contextualizar el análisis de los indicadores del programa. No es propiamente una evaluación de impacto en cuanto que no existe un grupo de control. No obstante, con la información recabada por el programa y las entrevistas se realizó un reporte bastante completo que señala el desempeño del programa respecto a sus metas e integra las opiniones de los actores principales.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
117
Principales Resultados: A través de las actividades del programa se beneficiaron a 2, 209 artesanos (la meta era de 2000). De los beneficiarios, el 70% son mujeres, y dado que en promedio, cada artesano es responsable por 2 o 6 miembros más de su familia, se estima que el programa influyó la vida de 8,000 individuos. Se ofrecieron 1,748 días de entrenamientos en temas diversos y asesorados por profesionales de las industrias de regalos, accesorios y productos para el hogar. El costo de incorporar nuevos beneficiarios disminuyó con el tiempo, sobretodo después de la fase inicial en la que incorporó el mayor número de artesanos. El proyecto terminó 6 meses antes de lo planeado, sin embargo en dos años y medio cubrieron el 70% de la meta en términos de ingresos por las ventas de artesanías (USD $614,000 de $800,000). Así mismo, las proyecciones de las ventas de artesanías una vez que termine la intervención son positivas. El proyecto generó aproximadamente 800 trabajos o oportunidades de generar ingresos para 800 artesanos; estos trabajos –con una estimación conservadora- deberían generar, en promedio, un ingreso de USD$ 2,300 anual, lo cual representa in ingreso mensual promedio de USD$164 (entre 35 y 42% por encima del salario mínimo en Honduras). El aumento en el ingreso de los artesanos tuvo efectos positivos sobre sus familias pues en algunos casos aumentaron los recursos destinados para la educación de sus hijos, en la infraestructura de sus hogares (pisos de concreto) o en la autoestima de los beneficiarios.
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caracteres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: 1. Se considera que el programa tendrá un efecto sostenible pues, gracias a los entrenamientos ofrecidos los artesanos tendrás la capacidad de innovar constantemente y estar al corriente de las tendencias del mercado. 2. Se fortalecieron las redes del sector artesanal y se espera un mayor dinamismo gracias a la competencia interna del sector. 3. El programa ayuda a preservar tradiciones culturales y tuvo un efecto positivo sobre la autoestima de los artesanos beneficiarios. Debilidades: 1. La reducción de la duración del programa. 2. Se detectó una falta de cultura empresarial, principalmente en términos del funcionamiento del mercado y reglas básicas de administración. Oportunidades/Retos: 1. Ampliar sus contactos con el mercado exterior. 2. Ampliar las capacidades de producción. 3. Buscar un nicho de productos y vincularse con redes locales de turismo. 4. Mayor acceso al financiamiento.
Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que sólo duró dos años y medio (en vez de los 3 que estaba programado) y que sólo funcionó en 8 de las 17 municipalidades de Honduras. La información en la evaluación no deja del todo claro cómo es que se llevaba un registro sobre las ventas de las artesanías ni sobre sus precios. Aunque esta no fue una evaluación de impacto propiamente dicha, pues careció de grupo de control, logró ofrecer una perspectiva bastante general sobre el desempeño del programa gracias al haber contado con objetivos claros e indicadores relevantes para monitorear su desempeño –en este caso todo estaba claramente dirigido a medirse en términos económicos-. Bajo los criterios del programa se podría decir que fue una intervención exitosa.
Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3&ved=0CFcQFjAC&url=http%3A%2F%2Fpdf.usaid.gov%2Fpdf_docs%2FPDABX905.pdf&ei=hVUbUNO8MeOh2QW05oCAAQ&usg=AFQjCNEw8wY-f4lMIac83Y_LpnWKfgpePg
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
118
Nombre del Programa similar: Microentreprise and Small Producers Support Project (MSP), Perú.
Señalas las características similares o tipos de apoyo que entrega considerados como similares: El objetivo del programa fue reducir la pobreza entre los artesanos a través un aumento en las exportaciones de artesanías, las principales actividades realizadas fueron 18 presentaciones en exhibiciones internacionales, identificación de compradores para las artesanías y 850 días de asistencia sobre el diseño y producción. El programa comparte con el FONART de, a través del mercado de las artesanías, mejorar la calidad de vida de sus beneficiarios.
Año de evaluación: 2005
Nombre de la Evaluación: A Revolution in Design-Driven Export: A case study of Aid to Artisans in Peru, 1994-2002.
Tipo de Evaluación: Evaluación del Proyecto.
Objetivos de la Evaluación: La evaluación buscó medir el impacto que ha tenido el programa, evaluar su desempeño y derivar algunas lecciones sobre la intervención en Perú.
Metodología utilizada: Para lograr sus objetivos la evaluación recopiló información cuantitativa y cualitativa, la cual se obtuvo por medio de encuestas (se encuestaron 65 artesanos principalmente ubicados en Lima, 10 exportadores, 8 compradores de las artesanías y 5 miembros de Aid to Artisans –ATA-). Los datos se obtuvieron de los reportes que cada tres meses la Asociación de Exportadores de Perú y ATA tenían que en enviar sobre ventas, creación de empleos, empresas artesanales beneficiadas por el programa, etc.
Valoración técnica: La evaluación se avocó a conseguir principalmente información de tipo cualitativa a través de una encuesta averiguando sobre sus ingresos en los trabajos que realizaban antes de dedicarse a ser artesanos de tiempo completo; así como los ingresos de trabajos alternativos. En la evaluación no dice cómo fue que se seleccionó a los beneficiarios, y entre los beneficiarios tampoco explica como se seleccionó a los que serían encuestados. No obstante, con la información recabada por el programa y las entrevistas se realizó un reporte comprensivo sobre el desempeño del programa respecto a sus metas y las condiciones de vida de los artesanos.
Principales Resultados: En el proyecto participaron 30 exportadores y se ofrecieron talleres a 600 artesanos. De acuerdo con la encuesta, los salarios de artesanos están tan bien remunerados como cualquier otro trabajo que los artesanos pudieran desempeñar dadas sus calificaciones. Los trabajos de artesano son ligeramente más demandantes pues se trabajan entre 6 y 9 horas al día. La evaluación identificó que era más probable que los artesanos beneficiarios tuvieran los recursos suficientes para cubrir sus necesidades diarias. La evaluación también identificó que el programa tuvo un efecto positivo sobre la vida de los artesanos pues consideraban que tenían más dinero y estabilidad, por otra parte también se identificó que 75% de los artesanos proveían entre el 90 y 100% del ingreso de sus hogares. De acuerdo con la evaluación, el programa tuvo un fuerte impacto sobre la exportación de artesanías peruanas lo cual ha revitalizado al sector, las exportaciones aumentaron de usd$16 a usd$29.8 millones. A pesar de sus logros el programa sólo benefició a un reducido número de artesanos.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
119
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Se logró mejorar el ingreso de los beneficiarios. Aumentaron las ventas por exportaciones de artesanías. Debilidades: El número de artesanos beneficiados fue muy pequeño con relación al sector de las artesanías en Perú. A pesar de que se entrenó a varios artesanos, el hecho de no contar con suficiente financiamiento impidió el desarrollo exitoso de varias empresas y así se impidió que varios artesanos y exportadoras se beneficiaran plenamente del programa. ATA, como una agencia consultora externa, no tuvo mucho margen de maniobra para influir sobre el diseño del programa. Oportunidades/Retos: La sostenibilidad del proyecto no es muy clara una vez que termine la intervención pues los actores involucrados sienten que las relaciones establecidas no están suficientemente consolidadas. Para aumentar el número de artesanos beneficiarios habría que realizar un mayor esfuerzo interinstitucional con el gobierno y ONG’s para informarles del proyecto y para comprender mejor las necesidades de los artesanos de cada región. Para conocer verdaderamente el impacto del programa se debería instaurar un sistema de impacto y monitoreo.
Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 8 años y que en esta ocasión se trabajó directamente con los exportadores y sólo de manera indirecta con los artesanos. Habría que analizar porqué después del tiempo que operó el proyecto los actores involucrados sienten que las relaciones no están suficientemente consolidadas. Al leer la evaluación se percibe que hubo una controversia sobre el enfoque de trabajar directamente con los exportadores que no se encuentra aclarada.
Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEoQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D56&ei=XmsbUJ27F6m62wWS6YC4CQ&usg=AFQjCNEAwgOUxsx7aAh0D0BHUokMBdKaKQ
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
120
Nombre del Programa similar: Fostering Craft Enterprise and the Voluntary Buisness Assistance Sector in Russia
Señalas las características similares o tipos de apoyo que entrega considerados como similares: Los objetivos de la intervención en Rusia fueron, en primer lugar, aumentar las oportunidades de empleo, especialmente para las mujeres; en segundo lugar, fortalecer las asistencias de ONG’s hacia el sector artesanal. Para llevar a cabo sus objetivos el programa realizó talleres de capacitación a los artesanos, colocó las artesanías en 4 exposiciones internacional y facilitó vínculos con importadores estadounidenses. Se considera que el FONART comparte las actividades de capacitación a los artesanos así como el interés por fortalecer el sector artesanal.
Año de evaluación: 2005
Nombre de la Evaluación: Entrepreneurs Prosper in Russia: A Case Study of Aid to Artisans in Russia, (1993-1996).
Tipo de Evaluación: Evaluación del Proyecto.
Objetivos de la Evaluación: Ocho años después de haber terminado la intervención, la evaluación buscó medir el impacto que tuvo el programa, así como su sostenibilidad.
Metodología utilizada: Para lograr sus objetivos la evaluación trató de localizar a las ONG con las que se había colaborado así como a los beneficiarios para entrevistarlos sobre su vida como artesanos y la influencia del programa.
Valoración técnica: La evaluación llevó a cabo un trabajo destacado al buscar a los beneficiarios y actores principales del proyecto 8 años después de su término. Esta evaluación reveló información sobre la sostenibilidad del proyecto para el caso Ruso –que se enfocó principalmente en mujeres artesanas-. Por otro lado, no es una evaluación de impacto pues no hay grupo de control y toda la información proviene de entrevistas.
Principales Resultados (máximo 1,500 caractéres): Las ventas acumuladas superaron el monto de financiamiento del programa a 4 años de haber terminado el proyecto. Se alcanzaron ventas por usd$60,ooo de artesanías al final del proyecto. La mayoría de las ONG’s con las que se había trabajado se habían disuelto. Las principales empresas de artesanas seguían operando y daban trabajo a 169 personas. Adicionalmente, el principal importador americano de productos rusos daba trabajo a 200 artesanos, lo cual da un total de 369 trabajos que se sostuvieron por 8 años. En términos de ingreso, las artesanas ganan 100,000 rublos al mes, esto significa un ingreso entre 35 y 53% menor que el ingreso per cápita nacional; sin embargo este salario es mayor que la mayoría de trabajos disponibles para mujeres.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
121
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Se logró mejorar el ingreso de los beneficiarios. El programa facilitó la transición de una económica controlada a una de libre mercado. Se lograron mantener las principales compañías de artesanas. Se creó una asociación informal entre los principales participantes del proyecto (por lo menos 5 de los líderes artesanales estaban en comunicación entre ellos). Debilidades: La innovación en cuanto al diseño de productos ha sido mínima desde que terminó el proyecto. La mayoría de las ONG que participaron en el proyecto se desintegraron. Los salarios de las artesanas son muy bajos.
Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 3 años y que se evaluó 8 años después de que había terminado, que no se contó un una línea base y que la mayoría de los beneficiarios fueron mujeres. Un aspecto positivo de la evaluación es que incorpora un anexo con los principales indicadores de resultados del proyecto (definición, meta y resultados al final del proyecto). Estos indicadores podrían servir como sugerencias para refinar los indicadores del FONART.
Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEsQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D59&ei=LXsbUK3BGqeU2wWlwIHAAw&usg=AFQjCNF5au95org2Odc0eAfEJe8vJczn4A
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
122
Nombre del Programa similar: Sharan Craft Center (SCC) in Yerevan, Armenia
Señalas las características similares o tipos de apoyo que entrega considerados como similares: Los principales objetivos del proyecto fueron generar empleos dentro del sector artesanal, preservar la cultura de artesanías en Armenia y mejorar la calidad de vida de los artesanos. El proyecto ofreció asistencia técnica en cuestiones empresariales, realizó talleres con consultores sobre pequeños cambios o adecuaciones para que sus productos tuvieran una mayor posibilidad de insertarse en el mercado internacional, facilitó la exposición de las artesanías a través de su presentación en ferias y facilitó el vínculo con importadores. Al igual que el FONART el programa busca mejorar la calidad de vida de los artesanos y preservar la cultura de las artesanáis, entre las actividades comparten el hecho de realizar talleres así como la exposición de los productos.
Año de evaluación: 2005
Nombre de la Evaluación: Entrepreneurship and Cultural Passion: A Case Study of Aid to Artisans’ Work in Armenia, 1995-1997.
Tipo de Evaluación: Evaluación del Proyecto.
Objetivos de la Evaluación: El estudio buscó determinar los factores que contribuyeron al éxito de la compañía SCC, enfatizando los insumos provistos por la organización Aid to Artisans; asimismo evaluó la sostenibilidad del proyecto al darle seguimiento 5 años después de que hubiera concluido la intervención.
Metodología utilizada: El estudio revisó los documentos y reportes de la intervención y realizó entrevistas con artesanos (22), consultores, personal de ATA y SCC así como con consumidores. El estudio se realizó en 2002, 5 años después de que terminó la intervención.
Valoración técnica: El estudio ofrece información que permite contextualizar el desempeño de la intervención en términos de ventas, empleos generados, la tasa de retorno de la inversión y la opinión de los beneficiarios.
Principales Resultados (máximo 1,500 caractéres): Las ventas acumuladas superaron el monto de financiamiento del El proyecto comenzó con la meta de generar empleos para 300 artesanos, cuando éste concluyo 505 estaban empleados. De los 1,100 artesanos que se registraron al principio del proyecto con SCC, 500 seguían activos en 2002, de los cuales 400 eran mujeres. Entre los resultados de la evaluación se destacó que la intervención había servido para encarar la crisis por la que atravesó Armenia luego de su independencia de la URSS en 1991, y ante la enorme tasa de desempleo algunas personas encontraron refugio en el sector artesanal; de acuerdo con la evaluación, muchos artesanos eran ingenieros, físicos, maestros y trabajadores de fábricas durante la era soviética. Al inicio del proyecto se buscó que el ingreso mensual de los artesanos se aproximara a USD$ 30, al concluir el proyecto, el ingreso mensual promedio de los artesanos armenios durante el tiempo de la intervención fue de USD$ 30.7 lo cual era 164% superior al ingreso promedio nacional. Para 2002, la evaluación halló que el ingreso de los artesanos beneficiarios había aumentado a USD$ 60 al mes y que era 128% mayor al salario promedio en armenia. Durante los primeros 17 meses de vida del proyecto se generaron ventas por USD$ 61, 124, en contraste los últimos seis meses del proyecto las ventas ascendieron a USD$ 129,000, las ventas continuaron creciendo y cubriendo sus objetivos hasta superar los USD$ 600,000 en el año 2002.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
123
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: El proyecto demostró ser sostenible 5 años después de la intervención. Los salarios de los artesanos beneficiarios eran, en promedio, mayores al ingreso armenio promedio. Los salarios de los artesanos beneficiarios aumentaron. El volumen de venta ha aumentado. Los consultores externos y los entrenamientos aportaron habilidades y conocimientos fundamentales para el adecuado desarrollo del proyecto y su sostenibilidad. La realización de actividades previas al inicio del proyecto de dos años abonaron a su factibilidad. Debilidades: Son muy pocos los artesanos beneficiarios. Si la compañía exportadora SCC quebrara, todos los artesanos se quedarían sin vínculos con el mercado externo. Conforme la economía mejore existe la posibilidad de que los artesanos busquen regresar a sus trabajos anteriores.
Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 2 años y que se evaluó 5 años después de que había terminado y que no se contó un una línea base. En esta intervención la ONG vinculada con ATA se convirtió en una empresa exportadora y de ventas locales de artesanías y para 2002 empleaba a 500 artesanos. Los indicadores para medir el éxito del proyecto cambiaron conforme el proyecto se fue desarrollando. Al inicio del proyecto el indicador principal era el número de artesanos empleados, sin embargo, hacia el final del proyecto se enfatizó la necesidad de generar suficientes ingresos para cubrir los costos de operación, logrando así que transitar de una lógica de proyecto de asistencia para las artesanías a una lógica de negocios orientada al mercado. Una conclusión recurrente de las evaluaciones realizadas a los proyectos de ATA es que las capacitaciones sobre negocios y administración, las asesorías para hacer más rentables los productos artesanales en el mercado moderno y el uso de nuevas técnicas han sido fundamentales para el éxito de los proyectos.
Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=entrepreneurship%20and%20cultural%20passion%3A%20a%20case%20study%20of%20aid%20to%20artisans%E2%80%99%20work%20in%20armenia%2C%201995-1997.&source=web&cd=1&ved=0CE8QFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D57&ei=U-sbUKLiFYqa2AW_wYGIAQ&usg=AFQjCNGdijGNXvyOzn6PRrPIDcRNcOO7iQ&cad=rja
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
124
Nombre del Programa similar: Aid to Artisans Ghana (ATAG)
Señalas las características similares o tipos de apoyo que entrega considerados como similares: El quinto programa revisado se implementó en Ghana entre los años 1993 y 1997. El objetivo del programa fue mejorar la calidad de vida de los artesanos y de sus familias, para lograrlo se ofrecieron capacitaciones (sobre la calidad del producto y sobre cuestiones administrativa), se promocionaron los productos y se creó una red de consumidores internacionales. Se consideró que el FONART compartía con esta intervención las actividades de capacitación a los artesanos así como el interés por fortalecer el sector artesanal.
Año de evaluación: 2005
Nombre de la Evaluación: A Rich and Deeply Cultural Tradition, A Case Study of Aid to Artisans in Ghana, 1993-1997.
Tipo de Evaluación: Evaluación del Proyecto.
Objetivos de la Evaluación: La ATAG ha realizado labores relacionadas con las artesanías en Ghana desde 1987, sin embargo la evaluación se concentró en el periodo de 1993-1997, que fue el periodo durante el que duró la intervención financiada por USAID. La evaluación busca documentar las principales actividades, los resultados y las lecciones aprendidas del proyecto; así como ofrecer un seguimiento a las empresas artesanales que fueron beneficiarias.
Metodología utilizada: El estudio revisó los documentos y reportes de la intervención y realizó entrevistas con artesanos (62), consultores (2), personal de ATAG así como con consumidores, en total se entrevistaron a 100 personas. El estudio se realizó en 2003, 6 años después de que terminó la intervención.
Valoración técnica: El estudio reconoció que es imposible distinguir los impactos derivados de la intervención realizada con financiamiento de USAID del trabajo ralizado por ATAG de manera posterior. La mayoría de los datos del estudio provienen de los reportes de indicadores del programa y esta información fue complementada con las entrevistas con los actores relevantes del proceso que sirvieron para contextualizar los resultados de la intervención. Es interesante que esta evaluación se hubiera realizado 6 años después de que se realizó la intervención para probar la supervivencia de los proyectos.
Principales Resultados (máximo 1,500 caractéres): El valor de las ventas acumuladas se aproximó a USD$ 859,000, lo cual superó el presupuesto destinado por ATA para la operación del proyecto. Las exportaciones de artesanías de Ghana aumentaron de USD$ 160,000 en 1989 a USD$ 11 millones en 2002; de acuerdo con la evaluación, 60% de este aumento es atribuible a la intervención de ATA y ATAG. Los artesanos reportaron tener un ingreso 155% superior al ingreso promedio en Ghana, sin embargo, en promedio pasan 3 meses sin trabajo. De acuerdo con la evaluación, existen 6 empresas artesanales que se pueden identificar como grandes productores exportadores, es decir que un modelo de producción en el que venden colecciones enteras a mercados americanos y europeos, que cuentan con una bodega, que dan seguimiento y análisis a sus ventas y que tienen in proceso empaquetado y envío. Existen más de una docena de pequeñas y medianas empresas artesanales que no existían antes de la intervención, y que dan crédito a los talleres de diseño impartidos por la ATA por haber sido fundamentales para su supervivencia. Se difundió el trabajo de los artesanos en 8 ferias internacionales y también se coordinaron visitas de los compradores al sitio. Entre 11 consultores se impartieron 424 días de talleres sobre diseño. Se otorgó también una asesoría de negocios y un programa de entrenamiento para el mercado en NY.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
125
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: Existió una buena coordinación entre ATA y ATAG, y al terminar la intervención el hecho de que ATAG permaneciera realizando talleres y vinculando artesanos fue muy importante. El programa logró que aumentara el número de empresas artesanales. El haber otorgado talleres sobre innovación en los diseños artesanales resultó en una ventaja para las artesanías ghanesas a la hora de venderse en el mercado internacional. La intervención resultó en efectos positivos sobre las vidas de los artesanos en términos de ingresos, ahorros y compra de equipo. Debilidades: Algunos de los miembros que trabajaron en ATAG crearon sus propias empresas de artesanías, esto fue visto con desconfianza por el gremio artesanal original que fue apoyado por la intervención. Actualmente ATAG esta tratando de adoptar una actitud más empresarial lo cual la podría poner en una situación de competencia con los que fueron antiguamente sus beneficiarios.
Observaciones Generales: Hay que tener en cuenta que esta es una intervención realizada por el gobierno estadounidense, que duró 4 años, se evaluó 6 años después de que había terminado y no se contó un una línea base. Una carencia de la evaluación es que no reportó cuántos artesanos se capacitaron, la mayoría de los logros de la intervención se presentaron en términos de ventas de artesanías. Una conclusión recurrente de las evaluaciones realizadas a los proyectos de ATA es que las capacitaciones sobre negocios y administración, las asesorías para hacer más rentables los productos artesanales en el mercado moderno y el uso de nuevas técnicas han sido fundamentales para el éxito de los proyectos. En términos de sostenibilidad y ventas de artesanías se podría decir que la intervención en Ghana fue todo un éxito. Después de la revisión de las experiencias en Honduras, Perú, Rusia, Armenia y Ghana se podría decir que el modelo de fomento a las artesanías de USAID-ATA funciona bastante bien, aunque no tiene las mismas proporciones que el FONART. Hay aspectos positivos que se podrían aprender de estas intervenciones como el énfasis en talleres y cursos para hacer más atractivas las artesanías para el mercado, y los talleres y capacitaciones sobre temas empresariales.
Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CEwQFjAA&url=http%3A%2F%2Fwww.aidtoartisans.org%2Fdownload.php%3Ffile_id%3D58&ei=X2EcUPrBLZKiqwHgwoCoCA&usg=AFQjCNHK5d3WW7CBiebhJgzHCx0Mlzt1fQ
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
126
Nombre del Programa similar: Mpukunyoni Craft Market Project
Señalas las características similares o tipos de apoyo que entrega considerados como similares: El programa se ubicó dentro del Proyecto de Desarrollo Económico Local del gobierno local de KwaZulu-Natal, cuyo objetivo general era estimular y apoyar el desarrollo económico a nivel local. El proyecto surgió por iniciativa de los artesanos en la municipalidad de Hlabisa, quienes operaban de manera informal en sus casas y se concibió como una oportunidad para que los artesanos rurales involucrados con la elaboración de prendas tradicionales expusieran sus trabajos y mejoraran su situación económica al conectarse a los mercados doméstico, provincial, nacional e internacional. El producto final de la intervención fue la creación de un espacio en el que los artesanos de la región pudieran concentrarse y exponer sus productos. El objetivo particular del programa de artesanías era reducir la pobreza mediante la creación de empleo en el sector de las artesanías, enfocado para mujeres y jóvenes en la municipalidad de Hlabisa. El proyecto se implementó a lo largo de la ruta R618 para atender las necesidades los artesanos de la región. Compartía con el FONART el hecho de que buscaba reducir la pobreza enfocándose al sector de las artesanías y que buscaba facilitar su acceso al mercado.
Año de evaluación: 2005
Nombre de la Evaluación: Mpukunyoni Craft Market Project Impact Assessment Report.
Tipo de Evaluación: Evaluación del Proyecto.
Objetivos de la Evaluación: La evaluación buscó averiguar cuál fue la utilidad de los recursos destinados para este programa y si se han logrado sus objetivos. Un segundo objetivo de la evaluación fue probar diferentes herramientas de evaluación y monitoreo.
Metodología utilizada: Para evaluar el impacto del programa se recurrió a una revisión de los documentos del programa así como a una serie de entrevistas con los actores principales.
Valoración técnica: Esta no es una evaluación de impacto pues no se comparó el efecto de la intervención sobre un grupo de tratamiento y uno de control, más bien se aproxima a una evaluación de resultados. La mayoría de los datos presentes en el reporte se refieren a los resultados documentados por el programa y están contextualizados por las entrevistas a los beneficiarios. Cabe señalar que el equipo evaluador reportó que entre la documentación otorgada por el programa no se contaba con estudios de probabilidad de éxito del programa ni un plan de negocios, supuestamente estos reportes debían contener toda la información necesaria del proyecto.
Principales Resultados (máximo 1,500 caractéres): Con base en las entrevistas con los beneficiarios se les preguntó sobre los orígenes del programa a lo cual los artesanos respondieron que había sido producto de una iniciativa de varias organizaciones artesanales que se congregaban a vender sus artesanías a lo largo de la carretera. Los beneficiarios reportaron que el propósito del proyecto es crear una situación de ingreso estable y sostenible, consideran que las artesanías son una opción de tiempo completo con lo que podrán reducir la pobreza. Respecto al financiamiento los beneficiarios reportaron que los recursos se usaron para la adquisición de estructura física, poner bardas, entrenamientos de habilidades artísticas, compra de maquinaria y materia prima. En términos de perspectiva de género se constató que el proyecto está dirigido por mujeres y sólo un hombre atendió a los talleres. Respecto las habilidades de los artesanos, los beneficiarios reportaron que no se sentían con el mismo entrenamiento que otros competidores en la región y que por lo tanto sus productos eran de menor calidad.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
127
Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones (máximo 1,500 caractéres): Si bien el estudio no hace un análisis FODA, con base en la información presentada se puede inferir lo siguiente: Fortalezas: De acuerdo con las entrevistas, los beneficiarios consideran que este era un proyecto importante en su región, por encima de otros relacionados con parques, aves de corral o tejidos. Debilidades: No existió una adecuada comunicación entre las autoridades y los beneficiarios. Existe la percepción de que el plan de negocios no fue adecuadamente monitoreado; además que no se le dio seguimiento por parte de las autoridades. La falta de registros documentales es una práctica negativa que se debe eliminar en un futuro. Existió una falta de continuidad entre los coordinadores del proyecto que dio una mala impresión a los beneficiarios y afecto el liderazgo del proyecto. Recomendaciones: La ausencia de un plan de negocios revela un escaso conocimiento en prácticas administrativas; dicho plan se debe elaborar y poner al alcance de todos los actores involucrados. Se debe hacer un mayor esfuerzo por mantener informada a la comunidad sobre el desarrollo del proyecto, los resultados de los estudios y las decisiones que les conciernan. Se debe llevar a cabo un monitoreo constante, realizado con base en un plan acordado entre los administradores y proveedores del proyecto. Se debe desarrollar una estrategia de salida y hacerla del conocimiento de sus beneficiarios para eliminar la dependencia del sector hacia el departamento.
Observaciones Generales: Este fue un programa que no tuvo un adecuado registro documental y con serios errores de comunicación que afectaron su desempeño. En comparación con los proyectos desarrollados por USAID-ATA se observa que hizo falta un mayor énfasis en la capacitación a los artesanos sobre el uso o modernización de técnicas tradicionales, así como un mayor esfuerzo por vincular a los beneficiarios con el mercado. Ciertamente no fue una evaluación de impacto y las información presentada difícilmente sirve para evaluar el éxito o su desempeño pues no se presentan metas ni resultados ni recursos utilizados.
Disponibilidad en internet: http://www.google.com.mx/url?sa=t&rct=j&q=&esrc=s&source=web&cd=1&ved=0CE0QFjAA&url=http%3A%2F%2Fwww.kznded.gov.za%2FPortals%2F0%2Fdocs%2FReports%2FDED%2520Mpunkunyoni%2520Craft%2520Market.pdf&ei=u2IcULGmIcqqrQGtrIDQDg&usg=AFQjCNE47lib7DqXjLKAl1_axiBBvtrH4w
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
128
Anexo 3. Agenda de Evaluación para el Fondo Nacional para el Fomento a las Artesanías (FONART).
Año de
inicio
Tipo de Evaluación
Objetivos
Duración o
periodo de
ejecución
Componentes a evaluar Justificación e importancia Refere
ncia Insumos Necesarios
2013 Diagnósti
co
Identificar el problema que busca atender el programa
2013 Problema Público que atiende el programa.
Existe una tensión entre el objetivo del programa por contribuir al desarrollo artesanal y al desarrollo económico.
Pg.59
Para realizar el diagnóstico no se requiere contar
con ninguna información previa
2013-2018
Evaluación
Específicas de
Desempeño
Conocer la evolución de los indicadores, la
cobertura y el desempeño general del programa.
Cada dos
años
Desempeño y calidad de los indicadores
Es importante contar con evidencia para conocer si los programas, de manera regular, tiene un adecuado desempeño
Pg.64
Para todas las evaluaciones se
recomienda recoger
información socioeconómica
de los beneficiarios (información acerca de las
ganancias que los artesanos
productores generan por concepto de
ventas), a partir de la entrada en vigor
de las ROP de 2013, utilizando
como mecanismo de recolección al
CUIS o al instrumento ad
2013
Evaluación de
Indicadores
Verificar que los indicadores de la MIR del FONART estén capturando la información para la cual fueron diseñados.
2013-2014
Diseño y desempeño de los indicadores
Los indicadores con los que hasta ahora cuenta el programa presentan algunas dificultades en cuanto a los medios de verificación de la información, con lo cual la confiabilidad de la información que alimenta los indicadores resulta cuestionable.
Pg.59
2014 Evaluació
n de procesos
Conocer cómo los procesos del programa conducen al logro del Propósito, así como para detectar problemas operativos.
2014-2015
Aspectos del proceso relativos a la gestión de proyectos y entrega de apoyos.
De acuerdo con la evaluación de satisfacción, existe una mala percepción del programa por parte de los beneficiarios, que tiene que ver con cuestiones de índole administrativo, por lo que esta evaluación será ideal para identificar en que eslabón del proceso de implementación es en donde surgen los problemas de eficiencia, que terminan por afectar la percepción de la PA sobre el programa
Pg.60
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
129
2015
Evaluación
Complementaria
Generar evidencia sobre cómo distintos componentes del programa generan efectos diferenciados en el Propósito y el Fin de la intervención.
2015-2016
Los tipos de apoyos que se deben otorgar, a quién se les debe dar el apoyo y cuánto se le debe otorgar. Conocer si los errores en el proceso han sido enmendados de forma adecuada.
Esta evaluación se justifica puesto que muchas de las decisiones sobre el diseño
del programa no están sustentadas en evidencia que permita especificar por qué
conviene un diseño sobre otro
Pg.61
hoc ideado para este fin.
Se requiere contar con dicha
información al inicio del
Programa y, para un grupo
representativo, en los años siguientes para poder llevar a
cabo distintas evaluaciones del
programa.
2016 Análisis Costo-
Beneficio
Conocer cuánto le está costando al programa generar cada proyecto artesanal, dado el beneficio que genera (en términos de ventas) , y contar con la información necesaria para poder evaluar si el proyecto está siendo eficaz
2016-2017
Costos del programa y beneficios de los beneficiarios en términos de ventas.
En comparación con otros programas similares al FONART, éste cuenta con un amplio presupuesto, y se desconoce el beneficio que está generando para los beneficiarios.
Pg.62
2017
Evaluación de
Satisfacción
Conocer la percepción que los beneficiarios tienen con respecto al programa.
2017-2018
Satisfacción de los beneficiarios con
respecto al programa, la calidad
de los apoyos, y la eficacia de los
mismos.
Al haber sido atendidas las áreas de oportunidad detectadas a partir de las evaluaciones complementarias y de proceso, el programa estará sujeto a ciertos ajustes que deberán ser evaluados nuevamente en términos de la satisfacción de los beneficiarios
Pg.62
2017 Evaluació
n de Impacto
Conocer cuál es el impacto que el programa tiene en los beneficiarios, en términos de bienestar económico
2017-2018
Nivel de ventas antes y después de la intervención, y bienestar económico de la población atendida
Hasta el momento no se cuenta evidencia sólida para poder saber si ha habido un cambio en el bienestar económico de la PA del POP, por la intervención del mismo. Se espera que para este punto, se cuente con evidencia de este efecto. A fin de poder atribuirle este efecto al programa, se recomienda llevar a cabo esta evaluación de impacto.
Pg. 63 Datos sobre las ventas de los beneficiarios
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
130
Anexo 4. Principales fortalezas, retos y recomendaciones para el Fondo Nacional para el Fomento a las Artesanías (FONART). Tema de
evaluación Aspecto Identificado Referencia Recomendación
Fortaleza
El Propósito de FONART está alineado a la estrategia 1.4 del Programa Sectorial de Desarrollo, así como al objetivo 2 del Plan Nacional de Desarrollo, con lo cual se demuestra que el programa contribuye a atender problemas tales como la falta de ingresos y de calidad de vida de la población más pobre.
Pg. 97 NA
Existe un esfuerzo del FONART por atender las recomendaciones hechas por los evaluadores externos, a fin de mejorar la operación y planeación del programa.
Pg. 97 NA
Oportunidad
Incorporación de aspectos de diseño (sobre todo relativos a la sostenibilidad de los proyectos), identificados en programas similares al FONART en otras partes del mundo
Pg. 98 Incorporar el elemento de "sostenibilidad" a las características que idealmente deben tener los proyectos artesanales
Debilidad
Falta de un diagnóstico claro que justifique la intervención desde la SEDESOL
Pg. 97 Realizar un nuevo diagnóstico del problema que atiende el FONART
Resúmenes narrativos poco claros para los niveles de Fin y Propósito pues no existe una diferencia entre el Fin y el Propósito del programa
Pg. 97
Modificar los resúmenes narrativos para los niveles de Fin y Propósito en el sentido propuesto en el aparato de Monitoreo. Además, se recomienda hacer explícitos los criterios mediante los cuales se establecen las metas de los indicadores, con el fin de conocer si los resultados de éstos son producto de un buen desempeño del programa, o de metas muy laxas.
El indicador de la MIR utilizado para el nivel de Fin es poco económico y carece de información. Los indicadores de Propósito corresponden al nivel de Componente.
La percepción de los beneficiarios de que no existe una mejora en sus condiciones de vida tras haber participado en el programa, así como de la existencia de muchos problemas de índole administrativo resultado de la evaluación de satisfacción
Pg. 97 Se recomienda realizar una evaluación de procesos con el fin de detectar problemas de eficiencia operativa en el programa
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
131
Amenaza
La naturaleza del mercado, pues si la demanda por bienes artesanales no es suficiente para permitir su sostenibilidad, FONART estará obligado a otorgar apoyos permanentemente sin que esto se traduzca en una mejoría en el bienestar de la PA.
Pg. 99 Se recomienda orientar los proyectos artesanales hacia una lógica de sostenibilidad, pues sólo de esta forma se
podrá lograr que éstos permanezcan en el mercado.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
132
Anexo 5. Evolución del Resumen Narrativo para los niveles de Fin, Propósito y Componente
2007 2008 2009 2010 2011 2012
FIN
Contribuir al incremento del ingreso
de los artesanos en situación de pobreza.
No cambió.
Contribuir a mejorar las fuentes de ingreso de
los artesanos en situación de pobreza,
mejorando sus condiciones productivas.
Contribuir a mejorar las
fuentes de ingreso de los artesanos que habiten en
Zonas de Atención Prioritaria, o que habiten fuera de éstas y se encuentren en situación
de pobreza patrimonial.
No cambió.
Contribuir a mejorar las
fuentes de ingreso de los artesanos cuyo ingreso es
inferior a la línea de bienestar, mejorando sus condiciones productivas
PRO
PÓSI
TO
Artesanos en situación de pobreza fortalecidos en su ciclo productivo
Artesanos en situación de pobreza mejoran su condición
productiva.
No cambió.
Artesanos productores que habiten en Zonas de Atención Prioritaria, o fuera de éstas y
se encuentren en situación de pobreza patrimonial mejoran
su condición productiva.
No cambió.
Artesanos productores cuyo ingreso es inferior a la línea de bienestar mejoran
su condición productiva.
COM
PON
ENTE
S
Artesanos apoyados con capacitación
No cambió. Artesanos capacitados. No cambió. Artesanos capacitados. No cambió.
Artesanos apoyados con financiamiento
No cambió. Artesanos apoyados con financiamiento.
Artesanos beneficiados con apoyos a la producción
No cambió. No cambió.
Artesanos beneficiarios por la adquisición de
artesanías
Artesanos beneficiados por la
adquisición de artesanías.
Artesanos beneficiados con adquisición de
mercancías
Artesanos beneficiados con adquisición de artesanías y
apoyos a la comercialización. No cambió. No cambió.
Artesanos beneficiados a través de concursos
de arte popular
Artesanos beneficiados a través
de concursos artesanales.
Artesanos beneficiados mediante concursos
Artesanos beneficiados mediante concursos de Arte
Popular. No cambió. No cambió.
Artesanos Beneficiados. No cambió. No cambió.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
133
Anexo 6. Evolución de los indicadores para los niveles de Fin y Propósito
2007 2008 2009 2010 2011 2012
FIN
Porcentaje de artesanos beneficiados por FONART que incrementaron su ingreso derivado de la actividad artesanal respecto a los artesanos beneficiados.
No cambió.
Porcentaje de artesanos beneficiados que
incrementaron su ingreso derivado de la actividad
artesanal
No cambió. No cambió. No cambió.
PRO
PÓSI
TO
Porcentaje de artesanos beneficiados por adquisición que
ampliaron mercado con respecto a los artesanos beneficiados por
adquisición.
No cambió.
Porcentaje de artesanos beneficiados por
adquisición que ampliaron mercado
Porcentaje de artesanos beneficiados por
adquisición de artesanías y apoyos a la comercialización
que ampliaron mercado
No cambió. No cambió.
Porcentaje de artesanos que declararon mejora en la calidad de
su producción después de participar en los concursos con respecto al total de artesanos
concursantes.
No cambió.
Porcentaje de artesanos que declararon mejora en
la calidad de su producción después de participar en
los concursos
No cambió. No cambió. No cambió.
Porcentaje de artesanos capacitados que aplican en su
producción las técnicas enseñadas con respecto a los artesanos
capacitados.
No cambió.
Porcentaje de artesanos
capacitados que aplican en su producción las técnicas
enseñadas
Porcentaje de artesanos que aplican en su
producción las técnicas enseñadas en las
capacitaciones que imparte la vertiente
No cambió. No cambió.
Porcentaje de artesanos financiados que incrementaron su
producción con respecto al total de artesanos financiados.
Porcentaje de artesanos que incrementaron su
producción con respecto al total de artesanos
financiados.
Porcentaje de artesanos financiados que
incrementaron su producción
No cambió. No cambió. No cambió.
Meta evaluación del Fondo Nacional para el Fomento de las Artesanías, 2012
134
Porcentaje de Beneficiarios que perciben mejoras con
los bienes y servicios prestados por el programa
respecto al total de beneficiarios apoyados
Porcentaje de beneficiarios que se sienten satisfechos
con el servicio prestado por el programa