Este artículo describe la evaluación de un proyecto regional para el desarrollo de capacidades en sitios múlti-ples, que se llevó a cabo con el objeto de fortalecer la planificación, seguimiento y evaluación en el campo de lainvestigación agrícola. En este artículo se discuten brevemente algunos desafíos que enfrenta el desarrollo decapacidades y su evaluación, los marcos conceptuales y los métodos adoptados, y los procedimientos que seutilizan. Después, se presentan algunas conclusiones y lecciones consolidadas para el diseño, gestión yevaluación de los esfuerzos de desarrollo de capacidades.

Antecedentes

Durante los últimos 50 años, la práctica de la coopera-ción para el desarrollo en investigación agrícola ha evo-lucionado considerablemente, a medida que cada pasonuevo se convierte en una experiencia de aprendizajebasada en los éxitos y fracasos de las etapas anteriores.Las explosiones de desarrollo de capacidades a cortoplazo dirigidas a la oferta, que usan asignaciones direc-tas de recursos y transferencia de tecnología, han dadolugar a la construcción de capacidades organizaciona-les, con un enfoque en la colaboración en función de lademanda a largo plazo. Esto implica que las disposicio-nes institucionales se deben alinear con las estrategias,metas y objetivos de la organización. La meta del desa-rrollo de capacidades es crear organizaciones de apren-dizaje independientes, capaces de responder satisfac-toriamente a los desafíos, que puedan mantener susniveles de relevancia y desempeño bajo circunstanciascambiantes.

En 1996, ISNAR inició una serie de estudios sobre la eva-luación de los esfuerzos de desarrollo de capacidades.Su propósito era estimular el debate sobre temas dedesarrollo de capacidades y evaluación, y diseñar méto-dos para evaluar los esfuerzos de desarrollo de capaci-dades en organizaciones de investigación agrícola ydesarrollo. De 1997 a 1999, el trabajo se enfocó en unaevaluación a fondo de un proyecto regional complejo enAmérica Latina y el Caribe, conocido como Proyecto delISNAR de Planificación, Seguimiento y Evaluación(PSyE). El tema del presente artículo es la evaluación delproyecto de desarrollo de capacidades y de las leccionesaprendidas.

El Proyecto PSyE: perspectivageneral

El proyecto se implementó de 1992 a 1998 para fortale-cer la PSyE en organizaciones de investigación agrícolaen América Latina y el Caribe. Su objetivo era ayudar alas organizaciones participantes a desarrollar sistemasintegrados de PSyE y, de ese modo, mejorar su gestiónde investigación. La hipótesis que dirigió el proyecto eraque una gestión mejorada contribuiría a la relevancia,efectividad y eficiencia de los programas de investiga-ción agrícola, así como a la producción de nueva infor-mación y tecnología que se pudiera utilizar en el sectorproductivo.

Al principio, el proyecto se enfocó en capacitación enPSyE, dentro de un marco más amplio de la gestiónestratégica. A medida que se desarrollaba, los esfuerzosde capacitación se ampliaron, hasta incluir tres áreasadicionales que los gerentes de la región considerabande alta prioridad: sistemas de gestión de la información,formulación de proyectos y gestión de los procesos decambio institucional.

El proyecto PSyE adoptó tres estrategias:

Información. Se prepararon libros de referencias y mate-rial de capacitación para utilizarse en los talleres y parasu distribución al personal directivo y bibliotecas entoda la región.

Talleres y capacitación. El equipo del proyecto organizótalleres regionales para planificar y revisar las activida-des del proyecto y para difundir los resultados entre losgerentes superiores en la región. Se formó un grupo decapacitadores, escogiéndose para ello a miembros de lasorganizaciones de investigación regionales participan-tes, para que diseñaran y celebraran los eventos decapacitación del proyecto en la región.

1

Desarrollo de capacidades en planificación,seguimiento y evaluación: resultado de unaevaluación

Ronald Mackay y Douglas Horton

ISN

AR

Brie

fing

Pape

rFe

brer

o20

04

65

Facilitación del cambio institucional. En 1996, a solicitud de loslíderes de investigación agrícola de la región, el proyecto PSyEse amplió y comenzó a proporcionar apoyo directo a las orga-nizaciones que habían sido seleccionadas, las cuales estabancomprometidas a llevar a cabo el cambio institucional y aemprender los esfuerzos necesarios para mejorar sus sistemasde PSyE. Estas organizaciones, conocidas como "Casos Piloto",se encontraban en Costa Rica, Cuba, Panamá y Venezuela.

El proyecto se guió por tres principios básicos:

Participación. Se alentó la participación activa de los beneficia-rios meta del proyecto para asegurar la relevancia de sus acti-vidades, su compromiso con los objetivos y la aplicaciónposterior de los resultados. Equipos de gerentes de la regiónparticiparon en la planificación de los talleres del proyecto yelaboraron, probaron y revisaron un juego de material didác-tico. Más tarde, durante la etapa de evaluación, los mismosgerentes participaron en la revisión del proyecto.

Aprendizaje basado en la experiencia. Para fomentar el fortaleci-miento institucional, el personal de ISNAR y las organizacio-nes participantes planificaron conjuntamente actividades,probaron innovaciones y revisaron los resultados, que luegousaron para modificar los planes durante la fase de ejecucióndel proyecto.

Respeto a la diversidad. El proyecto elaboró sobre la diversidadde conocimiento y experiencia presentes en la región y enotras partes, y trabajó con gerentes locales para desarrollarsoluciones adaptadas a problemas locales de gestión específi-cos, en vez de intentar encontrar soluciones genéricas.

Evaluación del Proyecto PSyE

El estudio partió de la premisa que las evaluaciones se debe-rían juzgar por su utilidad para las partes interesadas, encuyos intereses se llevan a cabo. Para que sean útiles, las eva-luaciones deben estar dirigidas explícitamente a los beneficia-rios meta. Para lograrlo, los evaluadores y los representantesde todas las partes interesadas clave se reunieron en tallerespara tomar decisiones conjuntas sobre la conceptualización,diseño y métodos que se usarían en la evaluación.

El primer taller participativo, celebrado en Ecuador a princi-pios de 1997, ayudó a definir las cuatro preguntas que la eva-luación debía contestar:

1. ¿Cuáles han sido las principales contribuciones del proyectoPSyE a la gestión de investigación agrícola?

2. ¿Cómo se lograron las contribuciones del proyecto?

3. ¿Qué lecciones pueden aprenderse para mejorar el diseñode futuros programas de desarrollo de capacidades?

4. ¿Qué lecciones pueden aprenderse para mejorar las evalua-ciones de los futuros programas de desarrollo decapacidades?

Tres talleres adicionales celebrados en 1997 y 1998 ofrecieronla oportunidad para que los participantes revisaran los datos,resultados y conclusiones, y para que se compartieran losborradores de los informes y la retroalimentación.

Marcos conceptualesLos participantes del primer taller de planificación usaron tresmarcos para diseñar la evaluación y para contestar a las cua-tro preguntas.

Primero adaptaron un marco de evaluación institucional (Lust-haus et al. 1995) que ilustraba una organización a partir de lascuatro "dimensiones" siguientes: su entorno operativo, moti-vación, capacidad y desempeño.

El entorno operativo se refiere al contexto legal, social y econó-mico en que opera la organización.

La motivación institucional se relaciona con los factores inter-nos que influencian la dirección en que se encauza la organi-zación y la energía que despliega en sus actividades. Estos, asu vez, son influenciados por variables tales como la cultura ylos incentivos institucionales.

La capacidad institucional se refiere a las capacidades de todoel personal, a otros recursos que posee la organización y a suestructura, sistemas de gestión y vínculos con otrasorganizaciones.

El desempeño institucional se mide en términos de efectividad,eficiencia y sostenibilidad. La efectividad se refiere al grado enque la organización alcanza sus objetivos; la eficiencia es elgrado en que se minimiza el precio unitario. La sostenibilidades la medida en que la organización mantiene su relevanciaante las partes interesadas y, de ese modo, garantiza losrecursos financieros y de otra índole que necesita.

El marco postula que el desempeño de una organización esuna función de su entorno operativo, su motivación ycapacidad.

Ya que el trabajo del proyecto PSyE incluía la participación degerentes y organizaciones de investigación agrícola, el marcose aplicó en dos niveles de análisis: en el nivel del participanteindividual y del nivel organizacional. El proyecto PSyE se con-sideró como un elemento en el nivel operativo de la personaparticipante así como en el de sus organizaciones. El proyectopodía tener consecuencias directas en varios factores en elentorno y en varios aspectos de la motivación y capacidadindividual y organizacional. El proyecto podía contribuir indi-rectamente al desempeño de las personas individuales o de lasorganizaciones, a través de susUna revisión documentada deldiseño, estrategias, a consecuen-cias en los variables del entorno, la motivación o capacidad.

El segundo marco fue un modelo lógico para el proyecto PSyE(Figura 1). Este modelo es una reproducción en papel de lasoperaciones del programa: se manifestaron explícitamente lasformas en que se suponen las acciones y los componentes delesfuerzo para el desarrollo de capacidades, para producir lasmejoras deseadas en las organizaciones participantes.

2

Briefing Paper del ISNAR 65

El proyecto PSyE buscaba incrementar la capacidad de unaorganización a través de: (1) la producción y difusión de infor-mación de PSyE, (2) la capacitación de gerentes de investiga-ción agrícola, (3) la facilitación del proceso de cambio en lasorganizaciones seleccionadas. El modelo lógico postula quelos gerentes usen la información y la capacitación proporcio-nada, para mejorar la manera en que las organizaciones plani-fican, dan seguimiento y evalúan sus actividades deevaluación. Se considera que este tipo de mejoras conduce aprogramas de investigación más relevantes, efectivos y efi-cientes.

El tercer marco que usaron los participantes a los talleres fueun esquema integrado de evaluación que relaciona cada uno delos tres componentes del proyecto con las cuatro áreas poten-ciales de impacto, tanto en los niveles individuales como enlos organizacionales (Figura 2). Esto proporciona una repre-sentación visual concisa de un juego de relaciones complejasque de otra manera se eluden.

Cinco estudios complementariosEl equipo de evaluación determinó que ningún estudio de eva-luación puede proporcionar las respuestas adecuadas a lascuatro preguntas de la evaluación. Por lo tanto, diseñó cincoestudios complementarios para evaluar el impacto de los trescomponentes del proyecto (información, capacitación y facili-tación), en el entorno, motivación, capacitación y desempeñode las personas individuales y las organizaciones. Este juegode estudios complementarios consta de:

• actividades y resultados del proyecto.• Un estudio de los impactos de las publicaciones del proyec-

to en personas individuales y organizaciones.• Un estudio de los impactos de los métodos de capacitación

del proyecto.• Una evaluación de las contribuciones del proyecto para faci-

litar el cambio en los tres casos piloto.

• Una evaluación de las contribucio-nes del proyecto que facilitan loscambios de PSyE en nueve organi-zaciones a lo largo de toda laregión.

El Cuadro 1 representa los cinco estu-dios en una matriz de evaluación, queresume sus objetivos, métodos y fuen-tes de datos. A continuación sigue unadescripción de los estudios.

Estudio 1. El proyecto PSyEEste estudio, escrito por el equipo delproyecto PSyE y el equipo de evalua-ción, proporciona una revisión des-criptiva del proyecto desde suscomienzos. Presenta los antecedentesdel entorno organizacional del pro-yecto y resume los objetivos, estrate-gias, actividades y productos.También se documentan las fuentes yusos de los recursos del proyecto.

Estudio 2. Impactos de la informaciónEl Estudio 2 evalúa el uso de las publicaciones del proyecto ysus efectos en las personas individuales y las organizaciones.Se utilizó una encuesta por correo para recolectar informaciónde más de 500 personas que habían recibido las publicacionesdel proyecto hasta julio de 1997. Se obtuvo un 29% de respues-tas. Los encuestados proporcionaron información sobre el usode las publicaciones del proyecto y evaluaron su utilidad gene-ral, en comparación con otras publicaciones sobre los mismostemas. También evaluaron el impacto de las publicaciones delproyecto, de acuerdo a un juego de indicadores que medían el

3

Desarrollo de Capacidades en Planificación, Seguimiento y Evaluación: Resultado de una evaluación

The individual

The organization

Capacitación

Información

La organización

Componentes del proyecto

Facilitación

EntornoMotivación DesempeñoCapacidad

La persona

Dimension del impacto

Niv

eld

eim

pac

to

Figura 2. Marco integrado de evaluaciónNota: Se parte del supuesto que los tres componentes delproyecto contribuyen principalmente a los aspectos de motivacióny capacidad individual y organizacional, y al del entorno.

La línea doble entre entorno y desempeño refleja el hecho que eldesempeño es una función de la motivación, la capacidad y lasvariables del entorno. Por lo tanto, las contribuciones del proyectoal desempeño son indirectas.

Propósito

Resultado

Actividades

Institucionalización de los sistemas integrados de PSyE y de los principios degestión estratégica en las organizaciones de investigación agrícola

Meta Fortalecimiento de la gestión de la investigación agrícola

Estudios decaso sobre

PSyE

Información Capacitación Facilitación

Difusión deinformación

Preparación depublicaciones

Apoyo delequipo delproyecto

AcuerdossuscritosISNAR -

casos piloto

Intercambio deinformación

Intercambiode

profesionales

Análisis exante de loscasos piloto

Preparaciónde materialdidáctico

Talleresnacionales

Talleresregionales

Talleressubregionales

Talleres deplanificación &

revisión

Figura 1. Modelo lógico del proyecto PSyE

grado en que la información había influenciado la motivación,capacidad, entorno operativo y desempeño, tanto de perso-nas individuales como de organizaciones.

Con el propósito de mejorar la calidad de los datos, se pidió alos encuestados de este estudio y de los siguientes estudios deimpacto que dieran ejemplos concretos. Estos fueron usadospara verificar las afirmaciones y para ilustrar cómo había con-tribuido la información, la capacidad y el entorno operativo aldesarrollo de capacidades.

Estudio 3. Impactos de la capacitaciónEl tercer estudio evaluó el impacto de las actividades de capa-citación del proyecto en el comportamiento tanto de los parti-cipantes como de sus organizaciones. Los 150 profesionalesde la región que habían participado en los eventos de capaci-tación recibieron un cuestionario de encuesta y se obtuvo un45% de respuestas. Un juego de indicadores relacionados conlas áreas en que se había anticipado el cambio ayudaron a losencuestados a medir el grado en que la capacitación del pro-yecto había afectado la motivación, capacidad, entorno opera-tivo y desempeño tanto de las organizaciones como de losprofesionales mismos.

Como medio de corroborar la información recibida, tambiénse pidió al jefe inmediato y a los colegas de cada encuestadoque proporcionaran su evaluación de los efectos que habíatenido la capacitación en los participantes y sus organizacio-nes.

Estudio 4. Cambios en PSyE en las organizacionescon casos pilotoEl componente de facilitación del proyecto se evaluó a travésde una serie de ejercicios de autoanálisis: en cada una de lasorganizaciones con casos piloto, los equipos del cambio orga-nizaron y facilitaron talleres en que la gerencia y el personal

analizó los cambios que habían ocurrido en su organización.También identificaron las fortalezas y las debilidades de losprocesos de cambio que se habían llevado a cabo. Los procedi-mientos e instrumentos se elaboraron en colaboración con elequipo de cambio y los colaboradores de las organizacionescon casos piloto. Después, se organizaron los ejercicios deautoanálisis y se prepararon los informes.

Se utilizó un proceso facilitado de autoanálisis para capitalizarel conocimiento único que poseían los participantes de loscasos piloto acerca de sus respectivas organizaciones y sobrecómo habían cambiado dichas organizaciones. Además deaumentar la profundidad y calidad de la información, el autoa-nálisis también puede tener efectos positivos en la disposiciónde la organización de realizar una revisión significativa.

Estudio 5. Las dinámicas de PSyEEl quinto estudio complementario trató de evaluar las contri-buciones del proyecto PSyE al cambio en los sistemas PSyE eidentificar los efectos de las mejoras de PSyE en el desempeñoinstitucional. Esto se logró analizando los resultados de nueveestudios de caso llevados a cabo para documentar los cambiosen PSyE en las organizaciones de investigación agrícola de laregión desde 1992, comparándolos con los resultados de 13estudios de caso llevados a cabo en 1992.

El protocolo y sus instrumentos se elaboraron basándose enYin (1994). El Protocolo especificaba los procedimientos preci-sos que deberían usarse durante la recolección de datos y en eltrabajo de campo. La evaluación recolectó los datos de lasentrevistas con los gerentes y el personal de cada organiza-ción y con los informantes externos clave familiarizados con laorganización, y revisaron los documentos sobre PSyE de cadaorganización. Los miembros del equipo de evaluación observa-ron las instalaciones y las prácticas durante las visitas a lospaíses, que tuvieron de 5 a 14 días de duración, y en colabora-

4

Briefing Paper del ISNAR 65

Estudio Objetivos Métodos Fuentes de datos del es-tudio

Estudio 1:El proyecto de desarrollo delas capacidades de ISNAR,PS&E

Revisar los objetivos, estrategias, activida-des y resultados del proyecto

Autoanálisis Registros del proyecto

Estudio 2:Impactos de la información

Analizar la difusión, uso e impacto de laspublicaciones

Encuesta por correo 144 destinatarios de las pu-blicaciones del proyecto de 40organizaciones en 24 países

Estudio 3:Impactos de la capacitación

Analizar los impactos de la capacitación. Encuesta por correo 67 participantes a eventos decapacitación de 43 organiza-ciones en 24 países

Estudio 4:Cambios en PS&E en los ca-sos piloto

Analizar los cambios en el PS&E en las orga-nizaciones con casos piloto; identificar lascontribuciones del proyecto PS&E; determi-nar los efectos de los cambios en el desem-peño organizacional.

Autoanálisis Colaboradores en tres organi-zaciones con casos piloto

Cuadro 1. Los objetivos, métodos usados y fuentes de datos de los cinco estudios de evaluación.

ción con uno o varios miembros de la organización participan-te recolectaron los datos disponibles. Primero prepararoninformes separados de los casos de estudio y despuésprodujeron una síntesis a la que incorporaron los resultadosde los 11 casos.

Mejorar la fiabilidad de los resultadosAdemás de la aplicación de las técnicas descritas anteriormen-te, para maximizar el grado de fiabilidad de los datos recolec-tados, los evaluadores sostuvieron entrevistas telefónicas,hicieron visitas de campo y mantuvieron correspondenciapara corroborar los impactos que habían informado los parti-cipantes y verificar la validez de las afirmaciones. También leenviaron un formulario sencillo a los gerentes de investiga-ción agrícola de alta gerencia y a los representantes de organi-zaciones regionales familiarizadas con el proyecto ISNAR,solicitándoles que indicaron los tipos de impactos—caso quelos hubiera—que habían observado. Las respuestas que serecibieron de 51 encuestados se codificaron, analizaron y seusaron para corroborar los datos recolectados de los cincoestudios.

Resultados consolidadosLos marcos conceptuales ayudaron a identificar los efectos delproyecto, tanto en el nivel individual como en el organizacio-nal. Los resultados de estos dos niveles se tratarán por separa-do. Es importante reconocer que el proyecto PSyE no hacausado los cambios que se han reportado, sino que ha contri-buido a ellos.

Contribuciones del proyecto PSyE a la gestión deinvestigación agrícola en el nivel individualLos estudios de evaluación indican que el proyecto ayudó aincrementar la capacidad de muchas personas involucradasen la planificación, seguimiento y evaluación de la investiga-ción agrícola. Las personas individuales opinaron que laspublicaciones del proyecto les habían proporcionado informa-ción útil y que las actividades de capacitación les habían brin-dado numerosas oportunidades para compartir información yexperiencias, y para experimentar con las nuevas técnicas degestión.

La contribución más importante en el nivel individual se notaen el ámbito de la motivación. Los gerentes han aprendido aapreciar la necesidad del cambio y del papel que puede jugarPSyE en el proceso de cambio, para asegurar que las decisionesse basen en la recolección sistemática de datos. El entendi-miento que ha surgido de que un sistema integrado de PSyE esun elemento esencial al dar seguimiento a una tendenciaexterna, al identificar las necesidades y oportunidades, definirmetas relevantes y desarrollar estrategias adecuadas, coordi-nar las actividades de los miembros del personal con los obje-tivos estratégicos de las organizaciones, y asegurar elmejoramiento continuo de varias estrategias, actividades yresultados.

Los resultados de todos los estudios de evaluación demues-tran cómo han contribuido las publicaciones y los esfuerzos decapacitación del proyecto al desarrollo de la capacidad de laspersonas individuales, mejorando sus conocimientos y habili-

dades en PSyE, gestión estratégica y gestión del cambio insti-tucional. Las experiencias documentadas también indican quela capacidad técnica mejorada de PSyE es de poco valor si nohay habilidad para gestionar el cambio institucional.

La mayoría de las mejoras en PSyE que se reportaron en elnivel organizacional han sido instauradas en el nivel de activi-dades de investigación y proyectos, que son gestionadosdirectamente por personas que participaron en las activida-des del proyecto.

El proyecto también ha ayudado a desarrollar la habilidad delas personas individuales para impartir capacitación en ges-tión a otros profesionales, tanto en sus propias organizacio-nes como en otras. Muchas organizaciones se hanaprovechado de esta capacidad reforzada para la capacitaciónen gestión que existe en la región, para elevar el nivel de susprácticas de gestión.

Contribución del proyecto PSyE a la gestión deinvestigación agrícola en el nivel institucionalMuchos de los cambios reportados en el nivel organizacionalocurrieron donde prevalecían las situaciones siguientes:

• El entorno fue conductivo al cambio (por ejemplo, fuertespresiones externas para el cambio).

• La alta gerencia proporcionó liderazgo para fomentar elcambio.

• Una masa crítica de personal se involucró y comprometiócon el proceso de cambio.

• Se pusieron a disponibilidad o fueron desarrolladas innova-ciones institucionales apropiadas.

• Se proporcionaron recursos para el cambio (por ejemplo, de-dicación del tiempo del personal clave y asignación de pre-supuestos para capacitación y facilitación).

• El proceso de cambio fue bien gestionado.

Cuando las organizaciones por sí mismas tomaron el lideraz-go ocurrieron algunos cambios fundamentales. El proyectoISNAR jugó un papel de apoyo catalítico, motivando a losgerentes clave y proporcionando conceptos, información,capacitación y herramientas. También estimuló a las organi-zaciones participantes a que dedicaran recursos esencialespara el proceso de cambio. Tanto en las organizaciones concasos piloto como en otras, la mayoría de las mejoras institu-cionales ocurrieron en el área de la planificación estratégica.En varios centros de investigación y en proyectos, se institu-yeron mejoras en los procesos de planificación de la organiza-ción. Se hicieron algunas mejoras al proceso de seguimiento yalgunas, en menos medida, en el nivel de evaluación, el cualsigue siendo la fase más débil del ciclo de gestión.

El proyecto PSyE ha contribuido más a la gestión en el nivel deproyecto que en los niveles más altos de toma de decisiones.Esto se refleja en el hecho que los gerentes en el nivel mediopueden introducir ellos mismos mejoras en el nivel de proyec-to con más facilidad que en los niveles de decisión más altos,donde el liderazgo y la coordinación deben ser provistos por laalta gerencia.

5

Desarrollo de Capacidades en Planificación, Seguimiento y Evaluación: Resultado de una evaluación

Las acciones para fortalecer e integrar los sistemas de PSyEhan sido más vigorosas en el nivel de los casos piloto. Otrasorganizaciones han mejorado algunos aspectos de sus siste-mas de PSyE pero sin el mismo grado de integración.

El papel del proyecto en la mejora de lacapacidadEl alcance e intensidad del proyecto. El proyectó utilizó tresestrategias principales, presentando cada una de ellas unacombinación diferente de alcance e intensidad. La estrategia deinformación tuvo el mayor alcance y la intensidad más baja deinteracción; la estrategia de capacitación, tanto el alcance comola intensidad fueron "intermedios", mientras que la estrategiade los casos piloto tuvo el alcance más bajo y la intensidad másalta de interacción. Los resultados de la evaluación indicanque la alta intensidad de interacción favorece el desarrollo decapacidades tanto en los niveles individuales como organiza-cionales.

Uso de la información. Las publicaciones del proyecto han sidodifundidas ampliamente entre los participantes, quienes atri-buyen el valor más alto a los manuales de capacitación en pla-nificación estratégica. Es evidente que la mayoría de loscambios más importantes ocurrieron cuando las personasbuscaron activamente maneras de mejorar sus organizacio-nes y encontraron información en publicaciones del proyecto,que pudieron aplicar de inmediato.

Resultados de la capacitación. El proyecto PSyE brindó capacita-ción directa a unos 150 gerentes. Los resultados de la evalua-ción llevaron a la conclusión que aunque la capacitaciónpuede jugar un papel importante dentro de la estrategia gene-ral para el desarrollo de capacidades, la capacitación sola, sinel apoyo activo dentro del entorno organizacional, no es sufi-ciente para producir el cambio institucional.

Cambios en las organizaciones con casos piloto. En las organiza-ciones con casos piloto, el desarrollo de capacidades mostrólos mejores resultados cuando había un fuerte compromisohacia el cambio de parte de la alta gerencia, y los gerentesinteractuaban intensamente con el equipo del proyecto. Losimpactos reportados en la mayoría de los indicadores de moti-vación, capacidad, entorno y desempeño organizacional fue-ron considerablemente más altos en las organizaciones concasos piloto que en otras organizaciones.

Resultados del enfoque del equipo del proyecto. El proyecto utili-zó enfoques muy participativos para conducir todo el trabajode desarrollo de capacidades. Grupos de personas planificaronlas actividades del proyecto, estudiaron PSyE en sus propiasorganizaciones o en otras, prepararon las publicaciones, juga-ron papeles importantes en los talleres y eventos de capacita-ción regionales, facilitaron procesos de cambio en los casospiloto y participaron en numerosas revisiones de trabajo rela-cionadas con el proyecto. A través del tiempo, se desarrolló unfuerte espíritu de equipo entre los participantes.

Limitaciones de las estrategias del proyecto

Los estudios de evaluación identificaron un número de limita-ciones de las estrategias del proyecto.

La naturaleza un tanto genérica de la capacitación del proyecto.Los participantes informaron que la capacitación hubiera sidode más utilidad si se hubiera adaptado más a las necesidadesindividuales específicas de las diferentes organizaciones, envez de estar dirigida a la región en general.

Tiempo limitado para la interacción. La mayoría de los gerentesestuvieron en contacto con el proyecto durante las actividadesde capacitación a corto plazo. Para que trascienda, el desarro-llo de capacidades en el nivel organizacional requiere extensainteracción y apoyo directo.

La corta duración (tres años) del trabajo en las organizaciones concasos piloto. La experiencia indica que la planificación estraté-gica y la institucionalización de los sistemas de PSyE integra-dos requieren un mínimo de cinco años.

El acceso restringido de las organizaciones con casos piloto a lasdestrezas externas. Para cada caso piloto sólo se empleó a unprofesional como facilitador externo. La percepción de los par-ticipantes de los casos piloto es que el acceso a una selecciónmás amplia de habilidades y experiencias resultaría en eldesarrollo de capacidades que conduciría al cambio institucio-nal.

La aparente distribución indiscriminada de actividades y recursosdel proyecto (en especial durante la primera fase). El enfoqueexclusivo en organizaciones comprometidas a emprendercambios de gestión podría haber redundado en mayoresimpactos en el nivel organizacional.

Lecciones para diseñar y gestionar losesfuerzos de desarrollo de capacidades

El equipo de evaluación analizó la información relacionadacon la evaluación del desempeño de las estrategias y resulta-dos del proyecto, en colaboración con el equipo del proyecto,gerentes de investigación agrícola de América Latina, donan-tes y un comité de consulta de expertos. Se sacaron lassiguientes lecciones generales para mejorar el diseño y ges-tión de futuros esfuerzos del desarrollo de capacidades:

Los beneficiarios meta deben jugar un papel central en el diseño ygestión de los esfuerzos de desarrollo de capacidades. Para elISNAR es valioso y factible involucrar a los beneficiarios metaen todas las fases del diseño, ejecución y evaluación del pro-grama. La participación realza el sentido de propiedad local ycontribuye a la aplicación de los resultados de la evaluación ya la sostenibilidad de los esfuerzos de desarrollo de capa-cidades.

Los esfuerzos de desarrollo de capacidades deben articular y com-probar sus teorías y supuestos fundamentales. El desarrollo decapacidades todavía es un proceso de experimentación socialmás que de diseño institucional. Las intervenciones son dirigi-das a los objetivos. Los objetivos y las actividades diseñadas

6

Briefing Paper del ISNAR 65

para alcanzarlos deben describirse claramente desde el princi-pio. Los cambios a los objetivos o actividades y las razones deesos cambios deben registrarse. La experiencia en el desarro-llo de capacidades evolucionará sólo si los esfuerzos se tratancomo investigación aplicada de la cual se aprenden lecciones.

Los esfuerzos de desarrollo de capacidades deben enfocar su aten-ción en organizaciones que están comprometidas con el cambio.El compromiso y liderazgo de la alta gerencia son esencialespara el cambio institucional a gran escala. Las inversiones enorganizaciones no comprometidas son inútiles.

Los esfuerzos de desarrollo de capacidades deben ir más allá deproveer insumos; necesitan facilitar los procesos de cambio. Laclave del desarrollo de capacidades no radica en la provisiónde recursos sino en la utilización adecuada de los insumosexistentes y nuevos, para resolver problemas a través de lamejora de los procedimientos y del trabajo rutinario de laorganización.

Los esfuerzos de desarrollo de capacidades necesitan trabajar enmuchos frentes a la vez. Los resultados de la evaluación desta-can la necesidad de trabajar a la vez tanto en los factores téc-nicos como en los políticos/culturales en diferentes niveles dela organización, abarcando desde la alta gerencia—que facili-ta el cambio—, a los equipos y personal operativo, quienesdependen de apoyo para implementar los nuevos sistemas degestión.

Los esfuerzos de desarrollo de capacidades deben adaptarse a lasnecesidades y circunstancias de la organización que apoyan y noa la inversa. Con frecuencia, se supone que los objetivos y mar-cos de tiempo de las agencias externas son análogos con los delas organizaciones que buscan las mejoras. Sin embargo, unamultitud de factores influyen en el ritmo y la dirección de loscambios institucionales, muchos de los cuales pueden eclipsarun proyecto con financiamiento externo. Las intervencionesexternas de desarrollo de capacidades pueden apoyar losprocesos de cambio, pero no pueden conducirlos eficazmente.

La integración de PSyE es crucial para promocionar el aprendizajeindividual y organizacional y para mejorar las estrategias. En lasorganizaciones, la planificación, el seguimiento y la evalua-ción no son funciones discretas de gestión y control. La expe-riencia del proyecto PSyE confirma el valor de la planificación,seguimiento y evaluación sistemática e integrada en los pro-cesos de desarrollo individuales y organizacionales de capa-cidades y desempeño.

No existen anteproyectos para el desarrollo de capacidades. Cadaorganización debe aprender de su propia experiencia, asícomo de la de otros. El fortalecimiento de PSyE es de impor-tancia fundamental para fomentar el aprendizaje y mejorarlos esfuerzos a través del tiempo.

Lecciones para la evaluación de los esfuerzosde desarrollo de las capacidades

Las siguientes lecciones generales pueden mejorar la evalua-ción de los esfuerzos de desarrollo:

Una evaluación de los esfuerzos de desarrollo de capacidades debebasarse en tres tipos de teorías: teoría de la intervención, teoría deldesempeño y teoría del cambio. Se sabe mucho sobre desarrollo,desempeño y cambio, y las evaluaciones deben estar bieninformadas con conocimientos y teorías imperantes. En loscasos en que los esfuerzos de desarrollo de capacidades care-cen de una teoría de acción, los evaluadores deben ayudar alpersonal a explicar en detalle los supuestos fundamentales desus actividades y elaborar un modelo lógico que relacione susesfuerzos con los rendimientos esperados, y que permita quese identifiquen y expliquen los resultados imprevistos.

Puesto que los esfuerzos de la evaluación del desarrollo de capaci-dades son un campo de estudio relativamente nuevo, todavía senecesita mucho trabajo para aclarar los conceptos y terminologíaclave. Los conceptos claros y un vocabulario bien definido,basados adecuadamente en las teorías y prácticas actuales,son esenciales para el desarrollo de un campo relativamentejoven y fundamentalmente trans-disciplinario como es eldesarrollo de capacidades. En la actualidad, cunde la confu-sión debido a que los donantes, beneficiarios y las agencias decambio usan términos similares en formas diferentes.

En la evaluación del desarrollo de capacidades se debe evitar lametáfora del impacto. La metáfora del impacto militarista noencierra las características primordiales del desarrollo decapacidades, que es el proceso de cambio y crecimiento. En laevaluación de los esfuerzos de desarrollo de capacidades, eltérmino análisis de la contribución (Mayne 2001) puede sermás apropiado política y técnicamente que evaluación delimpacto. La manera que escogemos para pensar sobre la coo-peración para el desarrollo tiene influencia en la manera enque la conducimos y evaluamos. A menudo, los modelostradicionales de evaluación del impacto son inadecuados.

La participación de los miembros de la organización y de las par-tes interesadas es esencial en la evaluación de los programas dedesarrollo de capacidades. Los miembros de la organización ylas partes interesadas entienden las realidades organizaciona-les complejas y se ha descubierto que su participación en laevaluación mejora los estudios del diseño y enriquece la inter-pretación de los resultados. Cuando las partes interesadasparticipan al máximo en una evaluación, de inmediato aumen-ta su capacidad para evaluar y usar los resultados de laevaluación.

Al evaluar el desarrollo de capacidades organizacional, la trian-gulación es muy importante para mejorar la veracidad de losresultados. El uso de diferentes evaluadores para recolectar yanalizar diferentes tipos de datos de diferentes fuentes permi-te corroborar los resultados de manera disciplinada y sistemá-tica. Ninguna fuente es suficiente para encerrar lacomplejidad de los esfuerzos de desarrollo de capacidades.Esto significa que en las evaluaciones se deben emplearmétodos variados.

El desarrollo de capacidades debe ser evaluado de forma que con-tribuya al proceso de desarrollo de capacidades. Dada la fragili-dad de los procesos de desarrollo de capacidades, es muyimportante que las evaluaciones se diseñen no sólo para pro-porcionar información de evaluación para las partes interesa-das externas, sino también para apoyar y reforzar el

7

Desarrollo de Capacidades en Planificación, Seguimiento y Evaluación: Resultado de una evaluación

ISNAR Briefing Paper 62

desarrollo de capacidades en sí. Una evaluación puede apoyarel desarrollo de capacidades fomentando el pensamiento y elaprendizaje analítico disciplinado, e inculcando la motivaciónpara mejorar el entendimiento propio de todo el proceso dedesarrollo de capacidades.

Sobre este estudio y sus autores

Este artículo se basa en el trabajo de los autores y de numero-sos colaboradores en el ISNAR, así como en organizaciones deinvestigación y desarrollo en América Latina y en la región delCaribe. Los autores desean expresar su agradecimiento atodos los colegas que aportaron valiosas contribuciones sobreel desarrollo de capacidades y su evaluación.

Ronald Mackay, catedrático de pedagogía en la Universidad deConcordia, Montreal, Canadá, imparte el programa de planifi-cación, gestión y evaluación. Douglas Horton es especialista endesarrollo de capacidades y evaluación. Es líder del proyectode ISNAR, Linking Research Organizations and Stakeholders ina Changing Context (Enlazando a las Organizaciones de Inves-tigación y a las Partes Interesadas en un Contexto de Cambio).

Bibliografía relevante

Horton, D., R. Mackay, A. Andersen, y L. Dupleich. 2000. Eva-luating Capacity Development in Planning, Monitoring, andEvaluation. A Case from Agricultural Research. ISNAR Re-search Report 17. The Hague: ISNAR.Este informe describe los conceptos y métodos usados para eva-

luar un proyecto regional de desarrollo de capacidades en Amé-rica Latina.

Joint Committee on Standards for Educational Evaluation.1994. The Program Evaluation Standards, 2d ed. ThousandOaks, CA, USA: Sage.Provee treinta normas divididas en cuatro grupos: utilidad, via-bilidad, propiedad y precisión, para guiar la evaluación de pro-gramas educacionales y de otra índole.

Lusthaus, C., G. Anderson, y E. Murphy. 1995. InstitutionalAssessment: A Framework for Strengthening Organizatio-nal Capacity for IDRC's Research Partners. Ottawa: IDRC.Los autores proporcionan un marco conceptual con base en eldetalle y la teoría, para analizar el desempeño de una organiza-ción, en términos de su entorno operacional, su capacidad inter-na y los factores que la motivan a cumplir con su misión.

Mayne, J. 2001. Addressing Attribution through ContributionAnalysis: Using Performance Measures Sensibly. The Cana-dian Journal of Program Evaluation 16 (1): 1-24.Los autores ofrecen un juego sucinto de directrices operaciona-les coherentes, para demostrar cómo los gerentes,investigadores y diseñadores de políticas pueden usar medidasprácticas para el desempeño, que les ayuden a llegar a conclu-siones plausibles que puedan respaldarse, sobre la contribuciónde sus programas a resultados específicos.

Yin, R.K. 1994. Case Study Research: Design and Methods, 2nded. Thousand Oaks, CA, USA: Sage.Los autores proporcionan consejos claros y detallados para in-vestigadores interesados en conducir estudios de caso, comométodo riguroso para la evaluación de la investigación.

Los Briefing Papers del ISNAR examinan los temas de administración ypolíticas que afectan a la investigación agrícola en los países en desarrollo.Están basados normalmente en recientes investigaciones o serviciosdesarrollados o en proceso de desarrollo del ISNAR. Los lectores sonejecutivos de investigación, responsables de políticas, la comunídad dedonantes y la comunidad académica. Todo comentario será bien recibido ydeberá ser dirigado al autor(es). Los Reportes pueden ser citados con elreconocimiento del ISNAR como referencia. Derechos de autor © ISNAR, 2003.

ISSN 1021-2310

El Servicio Internacional para la Investigación Agrícola Nacional (ISNAR) forma parte de los 16 centros 'Future Harvest' apoyado por el Grupo Consultivo para laInvestigación Agrícola Internacional (GCIAI). ISNAR procura contribuir a la generación y uso de conocimiento que fomente sostenibilidad y equidad en el desarrolloagrícola. La misión del ISNAR es ayudar a impulsar innovación en institutos de investigación agrícola en países en desarrollo para aumentar aportes a lainvestigación en el desarrollo agrícola para los pobres.

Una institución no sin ánimo de lucro, ISNAR empezó a operar en sus oficinas principales en la Haya, Países Bajos, en septiembre 1 de 1980.

Servicio Internacional para la Investigación Agrícola Nacional

Laan van Nieuw Oost Indië 133, 2593 BM La Haya, Países BajosP.O. Box 93375, 2509 AJ La Haya, Países Bajos

Teléfono: (31) (70) 349 6100 Fax: (31) (70) 381 9677www.isnar.cgiar.org E-mail: isnar@cgiar.org

�

�GCIAI

Part de la

Red de Investigación

ISNAR es un centro Future Harvest

F U T U R EH A R E S T

SM Este Briefing Paper se pude bajar de la página web del ISNAR.