Post on 20-Sep-2018
II Seminario Internacional de Seguimiento y Evaluación
“Construyendo una cultura de Seguimiento y Evaluación de la Gestión Estratégica”
“¿En qué consiste el seguimiento de la política pública en los programas de apoyo a la internacionalización de la empresa?”
Joaquín María Núñez Varo ICEX-España, Exportación e Inversiones
DEPARTAMENTO DE EVALUACIÓN
II Seminario Internacionalde Seguimiento y EvaluaciónCoorganizado por el CEPLANy el Ministerio de Economía y Finanzas de Perú
¿En qué consiste el monitoreoen los programas de apoyo a la internacionalización de la empresa?
Lima, 11 de noviembre de 2014
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
«Nuestras ideas deben ser tan amplias como la naturaleza si aspiran a interpretarla»
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Ministerio de Economía y Competitividad
Secretaría de Estado de Comercio
ICEX
El ICEX
5
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Plan estratégico del ICEX
6
TransparenciaEficacia
Eficiencia
Evaluación continua de la calidad y del impacto de
los programas
Valores
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
• ICEX España Exportación e Inversiones tiene como misión promover la internacionalización de las empresas españolas para contribuir a su competitividad y aportar valor a la economía en su conjunto, así como atraer inversiones exteriores a España.
• Tras una reflexión llegamos a la conclusión de que la misión del ICEX es en realidad ofrecer apoyo al proceso de internacionalización de la empresa española.
Misión del ICEX
Promover es iniciar o impulsar una cosa o un proceso, procurando su logro.
7
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Diseño de evaluación
8
Empresa con potencial de internacionalizaciónBeneficiarioApoyoTratamiento
Proceso de internacionalización
Resultado
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Diseño de evaluación
9
Empresa con potencial de internacionalizaciónBeneficiarioApoyoTratamiento
Producto
Proceso de internacionalización
Resultado
Impacto
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Diseño de evaluación
10
Características de la empresaBeneficiarioInstrumentos de apoyo del ICEX TratamientoServicio prestado o producto entregado(Cuestionario de calidad y satisfacción)Producto
Mejora de competitividad(mayor valor añadido de la oferta española)ExportaciónInversión exteriorCuenta de pérdidas y gananciasEmpleo de calidad
Resultado
Retorno de inversión pública vía impuestosImpacto
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Beneficiarios
11
Tipología de empresa (clusterización)Diferentes poblaciones por programa
Matriz de transiciones
Capacidad de internacionalización (indicador sintético calculado de forma
empírica)
¿Quiénes son?
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
• Años de experiencia en el mercado internacional
• Cifra de negocios• Países con presencia comercial• Países con implantación productiva• Número de empleados• Número de empleados dedicados a labores de
I+D+i
• Certificados de calidad y de responsabilidad social de validez internacional (ISO, Global Compact, etc.)
• Marcas internacionales• Índice de solvencia• Índice de reputación
corporativa• Cuota de exportación• Estructura corporativa
Beneficiarios: datos
12
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Beneficiarios: clusterización
13
Tasas de respuestaMínima: 35%Máxima: 60%
Tipologías coherentes con los logros mostrados (clústeres de
aprovechamiento)
MuestraClasificación
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Beneficiarios: modelo de clasificación
14
ConjuntoEstadístico Entrenamiento Test Validación
N 461 348 343MISC 0 0.00575 0.00583ROC 1 1 1GINI 1 1 1GAIN 297.414 304.651 294.253LIFT 3.97414 4.04651 3.94253KS 1 1 1AIC 88.9321SBC 331.799
Población objetivo: Participantes en Ferias de Pabellón OficialModelo de clasificación: Regresión logísticaVariable objetivo: Clúster de aprovechamiento Variables explicativas: Características de empresa
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Beneficiarios: matriz de transición
• Matriz de transición P(clúster2014│clúster2013)
15
Clúster FPO (2014)Clúster_FPO (2013) 1 2 3 4 5
1 93.65% 1.59% 0.00% 1.59% 3.17%2 1.71% 96.58% 0.00% 0.85% 0.85%3 20.00% 21.54% 29.23% 4.62% 24.62%4 11.59% 11.59% 0.00% 34.78% 42.03%5 3.76% 4.51% 2.26% 0.75% 88.72%
• Matriz de probabilidades inversas P(clúster2013│clúster2014)Clúster FPO (2013)
Clúster_FPO (2014) 1 2 3 4 51 80.82% 1.37% 8.90% 5.48% 3.42%2 1.40% 79.02% 9.79% 5.59% 4.20%3 0.00% 0.00% 86.36% 0.00% 13.64%4 6.45% 3.23% 9.68% 77.42% 3.23%5 2.38% 0.60% 9.52% 17.26% 70.24%
Población objetivo: Participantes en Ferias de Pabellón Oficial
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Tratamiento
16
¿En qué consiste?¿Es un apoyo puntual o
un acompañamiento continuado?
¿Cómo nos usan las empresas?¿Siguen alguna estrategia?
Apoyo público a la internacionalizaciónAnálisis secuencial
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Tratamiento: efectividad
• ¿Tendrá el mismo resultado acudir a un seminario sobre el calzado en Alemania que acudir 6 años seguidos a la feria más importante de calzado en Alemania?
17
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Tratamiento: datos
18
BeneficiariasTipo de actividad
Fecha de actividadPaís de actividad
No elegibles (empresas que han solicitado apoyo pero no han
recibido tratamiento)
ProcesoPosible contrafactual
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Tratamiento: duración
Clúster Planes PGEN PSECGeneral 2.02
(1.98 , 2.07)3.09
(3.05 , 3.14)3.17
(3.12 , 3.22)Clúster_aprovechamiento_PGEN
PG1 4.25(3.79 , 4.71)
2.57(2.28 , 2.87)
4.52(3.93 , 5.10)
PG2 3.76(3.31 , 4.21)
2.44(2.17 , 2.71)
4.04(3.41 , 4.68)
PG3 3.69(3.16 , 4.22)
2.66(2.24 , 3.08)
3.87(3.07 , 4.66)
PG4 4.42(3.91 , 4.94)
2.31(2.00 , 2.63)
4.90(4.24 , 5.55)
PG5 4.18(3.76 , 4.6)
2.41(2.16 , 2.67)
4.74(4.20 , 5.27)
Clúster Planes PGEN PSECClúster PSEC
PS1 6.51(6.05 , 6.97)
3.04(2.44 , 3.63)
6.28(5.82 , 6.75)
PS2 3.35(2.94 , 3.76)
2.20(1.66 , 2.75)
3.12(2.71 , 3.52)
PS3 4.38(4.07 , 4.70)
2.47(2.06 , 2.88)
4.34(4.03 , 4.66)
PS4 6.00(5.63 , 6.38)
2.65(2.23 , 3.06)
5.91(5.53 , 6.29)
PS5 5.59(5.18 , 6.00)
2.60(2.19 , 3.00)
5.54(5.12 , 5.95)
PS6 2.79(2.42 , 3.16)
2.06(1.57 , 2.55)
2.57(2.20 , 2.94)
PS7 3.12(2.71 , 3.52)
2.11(1.41 , 2.81)
3.02(2.62 , 3.42)
PS8 3.28(2.88 , 3.67)
1.76(1.32 , 2.20)
3.15(2.76 , 3.55)
PS9 6.94(6.53 , 7.34)
3.20(2.75 , 3.65)
6.74(6.32 , 7.16)
PS10 6.50(5.92 , 7.08)
2.52(2.04 , 3.00)
6.43(5.84 , 7.02)
19
Datos: Participación en actividades de PGEN y PSEC entre 2003 y 2013Técnica: Test de diferencias de mediasVariable de estudio: Permanencia en Planes Variable de clase: Clústeres de aprovechamiento
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.
Tratamiento: control PSEC
20
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.
Tratamiento: control PGEN
21
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.
Tratamiento: PSEC
22
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Curva de respuesta de la evolución de la probabilidad de mostrar un determinado grado de aprovechamiento con respecto al tiempo. Los valores marcados son para una permanencia de 7.12 años.
Tratamiento: PGEN
23
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Probabilidad de mostrar un determinado grado de aprovechamiento para una permanencia de 7.12 años según grupo de comparación.
Tratamiento: comparación para 7.12 años
24
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
DatosParticipación en programas ICEX con apoyo económico entre 2003 y 2013 por NIF Tamaño del fichero582 345 registrosTotal de secuencias28 231 secuenciasTécnicaAnálisis secuencial
Tratamiento: patrones genéricos
25
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Producto
26
AsesoramientoInformación
Agenda de contactosIntermediación
Servicio integral de logísticaAlerta temprana
Apoyo económico
Calidad y satisfacción (Certificación ISO)Valor añadido (cadena de valor pública)
¿Qué ofrecemos?
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
• Valoración clientes 2013
Producto: calidad y satisfacción
Instrumento Nº participaciones Valoración mediaCAUCE 80.803 consultas 7,89 / 10Aula Virtual 4.588 altas 72,07% contenidos de interésPasaporte al Exterior 21.717 accesos 65,66% acorde a expectativas Seminarios sectoriales de mercados 1.333 asistentes 8,30 / 10CONECTA con el mercado 647 entrevistas contratadas 8,60 / 10Servicios Personalizados 3.849 servicios 7,84 / 10Pabellones Oficiales 2.018 expositores 88% valoración excelente/bienFerias de Participación Agrupada 2.669 expositores 85% valoración excelente/bienMisiones de inversores 49 8,4 / 10Encuentros empresariales 64 8,1 / 10Foros de inversión y cooperación empresarial
104 4,5 / 5
Partenariados 109 4,37 / 5
27
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Producto: preferencias
28
Preferencias de apoyo parasuperar barreras de mercado
¿Realmente piden lo que necesitan?
¿Qué nos piden?¿Qué necesitan?
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Producto: análisis de preferencias
29
ProgramaPlanes SectorialesTécnicaEscalamiento multidimensionalVariablesPreferencias de apoyo
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Producto: análisis de necesidades
30
Clúster: PSEC 8Descripción: Ocasionales, sobre todo industriales, con experiencia media, pero escasa proyección internacional (pocos países, cuota baja…). Baja facturación, en general estable, con ISO e I+D+i.
Diagnóstico: Potencial de crecimiento, si asumen la exportación como su palanca de crecimiento.
Conclusiones y recomendaciones: Las preferencias de clúster casan con el reconocimiento en adicionalidad, y resulta significativo que sea el único clúster que aparece en instrumentos de trading. La combinación de acciones presenciales clásicas con instrumentos nuevos de operativa comercial puede aportarles negocio y nuevas ideas.
AdicionalidadEntrada_mercados
Nuevas_ideasBeneficios
Efecto_perdidas_gananciasEntrada_mercados
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Resultado
31
Mejora de la competitividadConsolidación del proceso de
internacionalizaciónExportación
Valor añadidoMejor calidad en el empleo
Problema de la atribuciónNecesidad de contrafactual
¿En qué incidimos?¿Cómo lo medimos?
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Resultado
• ¿La asistencia a un seminario sobre el mercado de Kazajistán es la única causa del incremento de la exportación en ese año o en el futuro en todo el mundo?
32
• ¿La participación puntual en una feria en México es la causa única del total de la exportación de una empresa en ese mismo año o en algún año posterior?
• No parece que tomando cada participación en un instrumento de forma aislada permita inferir una relación causa-efecto entre la participación en dicha actividad y los resultados medidos.
• Intervenciones puntuales y aisladas
• Acompañamiento continuado
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Resultado: diseño de la evaluaciónSegmentación:
Clusteres de empresa
Fase del programa
Tiempo transcurrido desde finalización
Expectativas Logros Resultados
Impactos
Valor añadido:BeneficiosAdicionalidad
Servicios club PIPE
Programa de seguimiento
33
ProgramaPIPE
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Resultado: diseño cuasiexperimental
2006 2007 2008 2009 2010 2011 2012NRAND O1 X X O2 O3NRAND O1 X X O2 O3NRAND O1 X X O2 O3
NRAND (NON-RANDOM): autoselección, asignación no aleatoria al grupo de estudioX: aplicación de tratamiento: programa PIPEO: observación de variables
O1: expectativas antes de entrar en el programaO2: logros tras salir del programaO3: impactos, resultados y valor añadido del programa
EMPRESA ANTESExpectativas
PROGRAMA PIPEValor añadido:
Beneficios
Adicionalidad
EMPRESA DESPUÉSLogros
Resultados
Impactos
34
Programa: PIPE
Contrafactual: Falso contrafactual (pregunta implícita)
Técnica de evaluación del impacto: Regresión logística sobre variables de impacto y resultado
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Por clúster Por fase Por año de cierre Por valoración de la utilidad del club PIPE
TOD
AS
LAS
EMPR
ESA
S
Clú
ster
1
Clú
ster
2
Clú
ster
3
Clú
ster
4
Clú
ster
5
P. P
IPE
cerr
ado
P. S
egui
mie
nto
en c
urso
P. S
egui
mie
nto
final
izad
o
Tres
año
s de
spué
s (2
009)
Dos
año
s de
spué
s (2
010)
Un
año
desp
ués
(201
1)
No
lo u
tiliz
aron
En n
ada
Esca
sam
ente
De
algu
na m
aner
a
Bas
tant
e
En g
ran
med
ida
Fue
deci
sivo
Cambios de comportamiento
Introduccion_mejoras XMayor_confianza X X XGasto_I_D X XDpto_Internacional
Cambio_cultura X X X X X
Nuevas habilidades
Nuevas_ideasEstrategia_marketing X X X X X XHabilidades_investigacionIntangibles
Operativa comercial
Entrada_nuevos_mercados X X X X X X XCartera_clientes X X X XEfecto_facturacion XEfecto_personal XEfecto_perdidas_ganancias
Logros
Diagnostico_LConsultoria_LColaborador_L XPromocion_L X X X X X X X X XClubPIPE_L X XInstituciones_L X X X X X
Resultado: valor añadido
Adicionalidad: ¿El apoyo prestado por ICEX le ha permitido lograr resultados que por sí solo no le hubiera sido posible conseguir?35
Programa:PIPETécnica:Regresión logísticaVariables explicativas:Variables de impacto y resultadoVariable objetivo:ADICIONALIDAD de la política pública
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Por clúster Por fase Por año de cierre Por valoración de la utilidad del club PIPE
TOD
AS
LAS
EMPR
ESA
S
Clú
ster
1
Clú
ster
2
Clú
ster
3
Clú
ster
4
Clú
ster
5
P. P
IPE
cerr
ado
P. S
egui
mie
nto
en c
urso
P. S
egui
mie
nto
final
izad
o
Tres
año
s de
spué
s (2
009)
Dos
año
s de
spué
s (2
010)
Un
año
desp
ués
(201
1)
No
lo u
tiliz
aron
En n
ada
Esca
sam
ente
De
algu
na m
aner
a
Bas
tant
e
En g
ran
med
ida
Fue
deci
sivo
s
Cambios de comportamiento
Introduccion_mejoras X X XMayor_confianza X X XGasto_I_D X XDpto_Internacional X X XCambio_cultura X
Nuevas habilidades
Nuevas_ideas XEstrategia_marketingHabilidades_investigacionIntangibles
Operativa comercial
Entrada_nuevos_mercados X X XCartera_clientes X X X X X XEfecto_facturacion X X X X X XEfecto_personal X X XEfecto_perdidas_ganancias X X X
Logros
Diagnostico_L X X X X X X X X X X X XConsultoria_L XColaborador_L X XPromocion_L X X X X X X X X X X X X X XClubPIPE_L XInstituciones_L X X
Resultado: valor añadido
Beneficios: Valore si los beneficios que le ha supuesto la participación en el Programa PIPE son mayores al coste de su participación.36
Programa:PIPETécnica:Regresión logísticaVariables explicativas:Variables de impacto y resultadoVariable objetivo:BENEFICIOS de la política pública
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Impacto
37
El impacto debe medirse en los propios beneficiarios.
Ver en qué hemos sido útiles para las empresas tres años después de realizada la intervención puede ser una primera apreciación del impacto de la política
pública.
¿Podemos refinar este enfoque?
Podemos y debemos
Cadena de valor pública
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
• Pensamos que el mejor indicador a largo plazo de las políticas públicas en apoyo de la internacionalización de la empresa es el retorno de la inversión pública vía impuestos asociado a aquellos impactos de nuestro apoyo atribuidos a las empresas mediante técnicas de evaluación.En una reunión en Viena el pasado enero, el UKTI británico expuso idéntica opinión.
Impacto a largo plazo
38
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Planeamiento estratégicoPresupuesto por resultados
Características de las empresasActividades de promoción comercial (con o sin ICEX)
Cuenta de pérdidas y ganancias detalladaExportación desglosada por TARIC y país
Inversión directa por tipo y paísEstructura corporativa
Fase de seguimiento
Fase de evaluación
Seguimiento y evaluación
39
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Modelos de aprovechamiento para cada empresa
Tipología de empresaDatos de posicionamiento internacional
Itinerarios de empresaCalidad y satisfacción explícitos
(encuestas)Calidad y satisfacción implícitos
(análisis de redes sociales) ¿Nos quedamos ahí?Sistema de recomendación
Más allá de la evaluación
40
Departamento de EvaluaciónICEX ESPAÑA EXPORTACIÓN E INVERSIONES
Más allá de la evaluación
• Es posible el diseño e implementación de un sistema de recomendación que proponga de manera anticipada las actividades e instrumentos de apoyo (sean productos o servicios) que la Secretaría de Estado esté llevando a cabo o vaya a llevar a cabo y puedan ser de su interés.
41
• El proyecto, todavía una mera propuesta en el ICEX, sería una aplicación natural al poder analizar con técnicas de minería de datos y de optimización matemática no lineal sujeta a análisis de coste-beneficio el gran volumen de datos surgido de la monitorización sistemática de todas las variables expuestas.
Joaquín María Núñez VaroAnalista del Departamento de EvaluaciónICEX España Exportación e Inversionesjoaquin.m.nunez@icex.es
¡Gracias por su atención!
902 349 000www.icex.es
evaluacion@icex.es “Medir para conocer”