El Programa de Investigacion del FMI Relevancia y Utilización

1999-2008

CEPAL Enero 2012

Ruben Lamdany Sub-director

Oficina de Evaluación Independiente del FMI

Estructura de la presentación

• Contexto y metodología

• Resultados

–Relevancia y Utilización

–Calidad técnica

–Gestión del programa

• Recomendaciones

2

Contexto

• 6500 publicaciones entre 1999-2008 – “Surveillance”: WEO, GFSR, REO, SIP

– Quasi-académico: WP, publicaciones externas

• 10% del presupuesto administrativo

• Diez años desde la evaluación externa de 1999 (Mishkin Report)

3

Publicaciones por departamento de origen (1999-2008)

RES FAD MCM Other Functional

Area Dptmt

Total

SIP 2,402 2,402

WEO 62 62

REO 55 55

GFSR 8 31 39

WP 500 293 307 492 878 2,470

External Publications

395 131 73 284 262 1,145

Others 1 29 39 43 38 101 240

Total 994 463 454 814 3,698 6,423

1 Others include Books, Conference Volumes, Occasional Papers, Policy discussion papers/Staff Position Notes, Pamphlets and IMF Special Issues

4

Preguntas principales de la evaluación

• ¿Qué tan relevante fueron los estudios del Fondo, para las autoridades, el staff del Fondo, académicos y otros organismos internacionales?

• ¿Cómo fueron utilizados?

• ¿Cuál fue su calidad técnica?

• ¿Manejo del programa? – Prioridades, consulta, coordinación, diseminación.

5

Métodos de la evaluación

• Encuestas – 75% de los países miembros

– 60% de los economistas del FMI

• 350 entrevistas semi-estructuradas – Autoridades de más de 30 países,

– Centros de investigación, academia, otras organizaciones internacionales

– Economistas del FMI

• Análisis de documentos – Catálogo de publicaciones

– Paneles para analizar la calidad técnica

– Estudio de citas 6

Resultados

7

Resultados Principales • Un volumen muy grande de publicaciones

• Muchos de estos productos son muy leídos e influyentes en la formulación de políticas

• Sin embargo, su utilización fue disminuida por:

– Insuficiente consultas acerca de los temas de investigación

– La falta de contexto nacional e institucional

– “message driven”: la investigación esta controlada por el mensaje

– Muchos productos de baja calidad

• Gestión de la investigación poco efectiva

– Prioridades, control de calidad y diseminación 8

Las opiniones sobre los productos varían mucho…

• WEO: ampliamente leído

• GFSR: leído en bancos centrales

• REO: calidad muy variable. Apreciado solo en Africa

• SIP: papel importante en discusiones con el FMI. Baja calidad y muy variable

• WP: Amplia variación de calidad y sesgos ideológicos.

– 5-10% constituyen un riesgo reputacional y un 30% tienen importantes deficiencias técnicas 9

Relevancia y Utilización

10

Relevancia y utilización • Muchos estudios son muy conocidos e utilizados

– La mayoría de las autoridades pudo identificar alguna publicación que fue relevante para la formulación de políticas en sus países y/o en el diálogo con el Fondo

• Alrededor del 40% del Staff reportó que usaba con mucha frecuencia la investigación del FMI

– En departamentos de área se usó con mucha frecuencia la investigación producida por FAD y MCM, mucho menos de RES

• La mayoría del Staff encontró que los temas fiscales estaban bien cubiertos, pero menos de un cuarto sobre estudios financieros

Obstaculos para la relevancia y utilización

• Brechas en la cobertura: e.g., vínculos macro-financieros, política monetaria, controles de capital

• Falta de consulta sobre temas para los SIP

• Falta de contexto nacional e institucional

• No esta alineado con el interes de los “consumidores”:

– Demasiado teórico y con poca aplicabilidad práctica

• Difícil destilar resultados relevantes y implicaciones de política a través de la vasta producción

• Las recomendaciones de política basadas en estudios cross-country no son prácticas 12

Message-driven • Cerca de la mitad de las autoridades consideró

que la investigación está influida por las politicas y las recomendaciones del Fondo

• Las autoridades también dijeron que la investigación contiene conclusiones predecibles dentro de un conjunto limitado de puntos de vista y que las recomendaciones a menudo no se derivan del análisis

• Más de la mitad del personal sintió presión para alinear conclusiones con las posiciones del FMI

• Demasiado control sobre el mensaje, insuficiente control de calidad

13

Calidad Técnica

14

Calidad técnica muy variable

• Los capítulos analíticos del WEO y del GFSR fueron consistentemente considerados de alta calidad

• Pero la calidad de los SIP varía considerablemente

– en 25% de los SIPs hay una desconexión entre las preguntas, los datos y las técnicas empleadas

• REO: prescriptivos pero con insuficiente fundamento

• Los WP muy desiguales, algunos de primera clase

– Pero 40% tienen importantes deficiencias técnicas

• Publicaciones del FMI citan sobre todo otras investigaciones realizadas por el FMI

Paneles de expertos

• Paneles Académicos

– WP sobre temas fiscales (Ingresos)

– WP sobre modelos para politica monetaria

• Paneles de Profesionales

– WEO/GFSR

– REO

– SIP

Calificación de estudios monetarios

Rating Empirical Theoretical Country studies

Thought pieces ALL

Superior 7 4 1 0 12

Above Average 18 12 4 1 35

Average 15 8 17 1 41

Below average 7 2 14 4 27

Unsatisfactory 1 0 2 2 5

Total 48 26 38 8 120

Average 3.5 3.7 2.7 2.1 3.2

Note: the scale was 1–5, where S=5 and U=1. 17

Estudio de Citas

• 30% de los WP fueron publicados en revistas externas

• 40% de los WP fueron citados

• Las citas del 10% de publicaciones mas citadas aumentaron con el tiempo

• Comparacion positiva con 7 instituciones relevantes – Banco de Canadá

– FED: Board of Governors, NY, San Francisco

– BID

– OCDE

– Banco Mundial

• Más autocitas que en otras instituciones 18

Datos básicos sobre WPs y citas

19

Number of WPs

in Sample Overall citations

Citations by peer

institutions Non Self- Citing 4/

IMF 2016 5405 1808 462

FED 2/ 2604 7384 1771 845

WB 2092 4576 1591 297

Others 3/ 1910 2637 618 218

Total 8622 20002 5788 1822

Source: IEO Estimates.

1/ Only inlcudes citation with a 2 year window after publication, written from 1999-2006.

2/ Includes the FRB, FED NY and FED SF.

3/ Includes the OECD, BCA and IDB.

4/ Non Self Citing (NSC) within peer institutions but not itself.

Table 1: citation of Working Papers 1/

Citas en publicaciones de otras instituciones

Number of Citations by Peer Institutions 1/

BCA FEDSF FRB FEDNY IDB IMF WBK Total

BCA 170 2 9 3 18 2 204

FEDSF 42 298 102 28 4 49 18 541

FRB 34 154 451 80 7 100 29 855

FEDNY 24 35 65 177 6 45 22 374

IDB 1 11 5 1 230 31 24 303

IMF 40 82 43 32 63 1346 202 1808

WBK 10 21 28 4 83 151 1294 1591

Total 321 603 703 325 393 1740 1591 5676

Source: IEO estimates.

1/ Only includes citation with a 2 year window after publication, written from 1999-2006.

Citations across denote citations of that institution’s work at other organizations.

20

Características de las publicaciones más usadas

• Preguntas y presentación relevantes para la audiencia correspondiente

• Marco analítico adecuado y probado

• Análisis cuidadoso - con conclusiones y recomendaciones consistentes

• Suficientes recursos dirigidos a la revisión de calidad y diseminación

21

Gestión del Progrma de Investigación

22

Gestión de la investigación

• Nadie es responsable por el programa de investigación a través de toda la institución

– Cada departamento organizó su agenda de investigación de manera independiente

• Poca consulta y colaboración con los países miembros sobre prioridades

• Poca colaboración entre departamentos

• No hay procesos uniformes para control de calidad, ni estándares sobre niveles de calidad

• Diseminación muy limitada (excepto WEO y GFSR)

Recomendaciones

24

Recomendaciones

• Para incrementar la relevancia: Consultar, colaborar y prioritizar

• Para mejorar la calidad: Mejorar el control de calidad

• Para promover nuevas perspectivas: la apertura a perspectivas : Incentivos

• Para mejorar la gestión: Designar responsable de asignar recursos, establecer estándares, y consultar con los miembros

25

Para incrementar la relevancia

• Revisión estratégica periódica de las diferentes publicaciones

• Preparar una agenda indicativa de investigación de mediano plazo

• Consultar con las autoridades sobre temas de investigación

• Los resultados preliminares deberían ser discutidos con las autoridades y con expertos locales

• Mas tiempo en cada equipo de país

26

Mejorar la calidad técnica

• Mejor calidad – menos publicaciones

• Estándares de calidad

• Establecer un control de calidad y procesos de revisión

• Incentivos para el staff 27

Promover perspectivas alternativas

• Cultivar un ambiente innovador

– Difícil para SIPs, WEO y otros documentos de surveillance

• Cambios en los incentivos y en la cultura institucional

• Permitir la publicación de WP con puntos de vista que difieran de la política del FMI

• Incentivos para colaborar con autoridades nacionales con diferentes puntos de vista

28

Mejorar la gestión

• Coordinador de Investigación

• Agenda y asignación de recursos

• Estándares para la revisión y la calidad

• Difusión y cobertura

• Informe anual al Directorio y a los miembros de las prioridades y los logros

29

Discusión del Directorio

• Directores están de acuerdo con la mayoría de las recomendaciones

• Llevar a cabo una revisión periódica de cada tipo de publicación empezando con un examen de los REO

• Mas consulta con las autoridades nacionales sobre temas y estructura de SIPs y REOs

• Promover mas coordinación y colaboración dentro del FMI y con autoridades

• Mejorar los controles de calidad 30

Mensajes a las autoridades como clientes del FMI

• Para realzar la relevancia – Proponer temas para los SIPs y REO

– Talleres sobre proyectos de investigación en curso

– Proponer proyectos conjuntos de investigación

• Para mejorar la calidad – Solicitar que departamentos funcionales

participen en el control de calidad de SIPs y REO

– Involucrar al equipo del WEO para que obtenga una perspectiva multilateral en la investigación regional y bilateral

31

Gracias!

Visítenos en www.ieo-imf.org